Technische Samenvatting: SCOPE – Self-Play via Co-Evolving Policies voor Open-Ended Taken

Probleemstelling

Huidige reinforcement learning (RL) benaderingen voor het trainen van grote taalmodellen (LLM's) op open-ended taken (bijv. diepgaand onderzoek, complexe QA, creatief schrijven) kampen met een fundamentele flessenhals: ze zijn afhankelijk van externe supervisie. Deze supervisie neemt de vorm aan van door mensen gecureerde prompts, referentieantwoorden of "frontier-model" rechters (sterkere LLM's die outputs evalueren). Deze afhankelijkheden koppelen de prestaties van het model aan de kwaliteit van menselijke data en beperken de schaalbaarheid.

Bestaande self-play methoden voor LLM's proberen dit te omzeilen door taakgeneratoren en solvers gezamenlijk te laten evolueren (co-evolutie). Echter, deze eerdere benaderingen (bijv. SPICE, Dr. Zero, R-Zero) zijn beperkt tot domeinen met verifieerbare antwoorden (string-matches, numerieke gelijkheid, code-executie). Open-ended taken missen een uniek correct antwoord, waardoor regelgebaseerde verificatie onmogelijk is. Hoewel rubric-gebaseerde evaluatie een weg vooruit biedt, blijven eerdere rubric-gebaseerde RL-methoden (bijv. RaR, DR Tulu, RPG) afhankelijk van gecureerde prompts of externe frontier-model rechters, waardoor ze niet in staat zijn om een werkelijk data-vrije, zelfgesuperviseerde loop te bereiken.

Methodologie: SCOPE

De auteurs introduceren SCOPE (Self-play via Co-evolving Policies for Open-Ended tasks), het eerste framework dat data-vrije self-play naar open-ended taken brengt. Het systeem werkt zonder gecureerde data of externe rechters, en vertrouwt in plaats daarvan op een "self-judge" die afgeleid is van het basismodel zelf.

Kernarchitectuur

SCOPE laat twee policies co-evolueren, geïnitialiseerd vanuit hetzelfde basismodel $M_0$, naast een vaste derde rol:

1. Challenger ($C_t$): Een evoluerende policy die getraind is om open-ended, document-gegronde taken te genereren. Het voert multi-turn retrieval uit over een ongelabelde corpus om taken te construeren die zich nabij de huidige capaciteitsgrens van de Solver bevinden.
2. Solver ($S_t$): Een evoluerende policy die getraind is om de taken van de Challenger te beantwoorden. Het maakt gebruik van multi-turn retrieval-augmented generation (RAG) om bewijs te verzamelen en antwoorden te synthetiseren.
3. Judge ($J = M_0$): Een bevroren kopie van het initiële basismodel. Het vervult twee cruciale functies:
   • Rubric Generatie: Voor elke taak $q$ en brondocument $d$ genereert de Judge taakspecifieke evaluatie-rubrics (criteria) die gegrond zijn in het brondocument.
   • Beoordeling: De Judge scoort de responsen van de Solver tegen deze rubrics.

Trainingsloop

Het trainingsproces wisselt af tussen twee stadia, geoptimaliseerd met behulp van Group Relative Policy Optimization (GRPO):

Fase 1: Challenger Training

• De Challenger genereert een taak $q$ op basis van een brondocument $d$.
• Kwaliteitscontroles (Quality Gates): De Judge past binaire controles toe om te garanderen dat de taak identificeerbare entiteiten bevat en gegrond is in het brondocument. Taken die deze controles niet passeren, worden weggegooid om te voorkomen dat de Challenger generieke, reward-hacking prompts genereert.
• Moeilijkheidsgraad Beloning (Difficulty Reward): De vorige Solver ($S_{t-1}$) probeert de taak te voltooien. De Judge beoordeelt de responsen. De Challenger wordt beloond voor het genereren van taken waarbij de gemiddelde score van de Solver nabij een doel-moeilijkheidsgraad $\tau = 0.5$ ligt. Dit zorgt ervoor dat taken uitdagend maar oplosbaar blijven, wat de feedback-variantie maximaliseert.

Fase 2: Solver Training

• De Challenger genereert een pool van taken.
• Filtering: Taken worden gefilterd op basis van kwaliteitscontroles en moeilijkheidsgraad (alleen die taken behouden waar de gemiddelde score van de Solver binnen $[0.2, 0.8]$ valt).
• Solver Beloning: De Solver wordt getraind op deze gefilterde taken. De beloningsfunctie combineert:
  • Rubric Score: Gewogen gemiddelde van binaire oordelen over specifieke criteria.
  • Format & Search Rewards: Stimulering van correct toolgebruik en structuur.
  • Lengte Straf (Length Penalty): Een cosine-gebaseerde straf voorkomt dat de Solver de neiging van de Judge om langere outputs te bevoordelen exploiteert door excessief verbaal te worden.

Theoretische Rechtvaardiging

Het paper betoogt dat duurzame zelfverbetering leerbare informatie vereist. SCOPE bereikt dit door:

1. Taak-gronding (Task Grounding): De Challenger en de Judge observeren het brondocument $d$, terwijl de Solver alleen de taak $q$ ziet. De Solver moet $d$ ophalen om de taak te beantwoorden, wat een informatiekloof creëert.
2. Verborgen-Rubric Kloof (Hidden-Rubric Gap): De rubrics $G$ bevatten documentspecifieke criteria die niet volledig door de taak $q$ worden onthuld. De Solver moet de specifieke details in $d$ ophalen om aan de rubric te voldoen.
   Naarmate de Solver verbetert, sluit deze de kloof op huidige taken. De Challenger moet co-evolueren om nieuwe taken voor te stellen waar de kloof nog steeds openstaat, om te voorkomen dat het leer-signaal verzadigd raakt.

Belangrijkste Bijdragen

1. Eerste Data-vrije Self-Play voor Open-Ended Taken: SCOPE is het eerste framework dat er succesvol in is geslaagd om self-play toe te passen op open-ended taken zonder afhankelijk te zijn van gecureerde prompts of externe frontier-model rechters.
2. Rubric-gebaseerde Self-Judging: Het demonstreert dat een bevroren kopie van het basismodel effectief taakspecifieke rubrics kan genereren en responsen kan beoordelen, wat de noodzaak voor externe supervisie vervangt.
3. Noodzaak van Co-evolutie: Het paper levert empirisch bewijs dat een statische Challenger faalt in het ondersteunen van duurzame verbetering; de Challenger moet co-evolueren met de Solver om de "moeilijkheidsgrens" te handhaven.
4. Generalisatie: Ondanks dat er uitsluitend getraind is op document-gegronde open-ended taken, verbetert de methode de prestaties op short-form QA en creatief schrijven, wat wijst op overdraagbare winsten in retrieval- en synthesevaardigheden.

Experimentele Resultaten

De auteurs evalueerden SCOPE op drie instruction-tuned modellen (Qwen2.5-7B, Qwen3-8B, OLMo-3-7B) over acht open-ended benchmarks en zeven short-form QA benchmarks.

• Open-Ended Prestaties: SCOPE verbeterde de open-ended prestaties met +5.4 tot +10.4 punten over de modellen heen. Opvallend genoeg steeg de gemiddelde score op Qwen2.5-7B van 24.4 naar 34.8 (+10.4).
• Vergelijking met Gecureerde Data: SCOPE kwam overeen met of overtrof GRPOdata, een baseline getraind op ~9.000 door mensen gecureerde prompts met frontier-model rubrics. Bijvoorbeeld, op Qwen3-8B behaalde SCOPE 43.1 versus 41.5 voor GRPOdata.
• Short-Form QA Transfer: Hoewel alleen getraind op open-ended taken, verbeterde SCOPE de short-form QA scores met +7.8 tot +13.8 punten, waarmee het GRPOdata op alle drie de modellen overtrof.
• Creatief Schrijven: SCOPE vertoonde aanzienlijke winsten in creatief schrijven (tot +7.4), een domein waar GRPOdata vaak onder de baseline van het basismodel zakte, wat aangeeft dat corpus-gegronde self-play robuuste synthesevaardigheden opbouwt.
• Ablatie-studies:
  • Co-evolutie: Het bevriezen van de Challenger resulteerde in verwaarloosbare winsten (+0.8 versus +3.4 voor volledige SCOPE), omdat taken te makkelijk werden.
  • Reward Design: Het verwijderen van kwaliteitscontroles of lengtestrafen leidde tot "reward hacking" (generieke taken of opgeblazen tekst), wat de prestaties onder het niveau van het basismodel deed instorten.
  • Rubric Kwaliteit: De kwaliteit van de rubric-generatie (niet de beoordelingscapaciteit) werd geïdentificeerd als de bottleneck. Rubrics van kleinere modellen (4B) misten vaak specifieke documentfeiten, terwijl 8B+ modellen gegronde, discriminerende criteria produceerden.

Betekenis en Claims

Het paper claimt dat SCOPE een belangrijke stap vormt richting schaalbare, data-vrije zelfverbetering voor LLM's. Door de afhankelijkheid van menselijk gecureerde data en externe frontier-model rechters te vervangen door een zelfgeconten true loop van co-evolving policies en rubric-gebaseerde self-judging, breidt SCOPE de reikwijdte van self-play uit van verifieerbare domeinen (wiskunde, code) naar complexe, open-ended redeneertaken.

De auteurs merken bescheiden op dat de multi-stage pipeline meer rekenkracht vereist dan single-stage GRPO, wat de huidige experimenten beperkt tot 7–8B modellen. Ze argumenteren echter dat in het "post-data regime", waar gecureerde supervisie uitgeput is, het ruilen van rekenkracht voor voortdurende zelfverbetering een gerechtvaardigd en noodzakelijk pad is. De resultaten suggereren dat open-ended taken beheerst kunnen worden via zelfgegenereerde signalen, mits het systeem een dynamische informatie-asymmetrie tussen de taakgenerator en de solver behoudt.