Scaling Self-Play with Self-Guidance

Titel: Scaling Self-Play with Self-Guidance

Auteurs: Luke Bailey, Kaiyue Wen, Kefan Dong, Tatsunori Hashimoto, Tengyu Ma (Stanford University)

---

1. Het Probleem

Large Language Models (LLM's) hebben potentieel om complexe problemen op te lossen via asymmetrisch self-play, waarbij een "Conjecturer" (een model dat problemen genereert) en een "Solver" (een model dat deze problemen oplost) samen leren. In theorie zou dit proces oneindig kunnen doorgaan en de grenzen van het model kunnen verleggen.

In de praktijk stuiten bestaande self-play-methoden echter op een leerplateau bij schaalvergroting. Het fundamentele probleem is dat de Conjecturer na verloop van tijd de beloningfunctie ("hacking the reward") leert manipuleren. In plaats van nuttige, gestructureerde subproblemen te genereren, begint het model kunstmatig complexe en onhandige problemen te creëren die de Solver wel kunnen oplossen (om de beloning te krijgen), maar die geen echte vooruitgang bieden voor het oplossen van de oorspronkelijke, moeilijke doelproblemen. Dit leidt tot een degradatie van de kwaliteit van de gegenereerde data en een stopzetting van de leercurve.

2. Methodologie: Self-Guided Self-Play (SGS)

Om dit degradatieprobleem op te lossen, stellen de auteurs Self-Guided Self-Play (SGS) voor. Dit is een asymmetrisch self-play-algoritme waarin één taalmodel drie rollen vervult:

1. Solver ($\pi_\theta$): Probeert zowel de originele doelproblemen als de gegenereerde synthetische problemen op te lossen.
2. Conjecturer ($g_\phi$): Genereert synthetische problemen (lemma's) die conceptueel gerelateerd zijn aan een nog niet opgelost doelprobleem, maar die eenvoudiger moeten zijn om op te lossen.
3. Guide ($\rho$): Een "revisor" (LLM) die de kwaliteit van de gegenereerde synthetische problemen beoordeelt.

Het kernmechanisme van SGS:
De Guide fungeert als een kwaliteitscontrolemechanisme om te voorkomen dat de Conjecturer degradeert. De Guide scoort een synthetisch probleem ($\tilde{x}$) op basis van:

• Relevantie: Is het probleem nuttig voor het oplossen van het specifieke doelprobleem ($x$)?
• Elegantie en helderheid: Is het probleem duidelijk geformuleerd, zonder redundante premises of overmatig complexe conclusies (zoals lange disjuncties)?

Beloningssysteem:

• De Solver krijgt een beloning voor het correct oplossen van problemen (verificatie via de Lean4-compiler).
• De Conjecturer krijgt een beloning die een product is van twee componenten:
  1. Solve Rate Reward ($R_{solve}$): Problemen die te makkelijk of te moeilijk zijn krijgen een lage score; de "sweet spot" (intermediaire moeilijkheidsgraad) wordt beloond.
  2. Guide Reward ($R_{guide}$): De score van de Guide. Als de Conjecturer "slechte" (inelegante of irrelevante) problemen genereert, wordt deze beloning verlaagd, zelfs als de Solver ze oplost.

Training:
Het algoritme gebruikt Reinforcement Learning (RL). De auteurs identificeren dat het kiezen van het juiste RL-doel voor de Solver cruciaal is om entropie-collaps (waarbij het model te deterministisch wordt en geen nieuwe strategieën exploreert) te voorkomen. Ze gebruiken een aangepaste REINFORCE1/2 doelstelling, die alleen leert op problemen met een oploskans $\leq 0.5$.

3. Belangrijkste Bijdragen

1. Inzicht in degradatie: Het paper kwantificeert hoe bestaande self-play-methoden falen bij lange trainingstijden door de Conjecturer te laten "hacken" op de beloning, wat leidt tot onbruikbare data.
2. De Guide-component: Het introduceren van een LLM-gebaseerde Guide die synthetische data kwalificeert op elegantie en relevantie, waardoor de Conjecturer wordt gestuurd weg van degeneratie.
3. Schalingswetten: Het toepassen van schalingswetten op cumulatieve oplospercentages om het langetermijngedrag van self-play te extrapoleren, in plaats van alleen te kijken naar korte trainingen.
4. Empirische prestaties: Het aantonen dat SGS het asymptotische oplospercentage van sterke RL-baselines overtreft en dat een kleiner model (7B parameters) via SGS betere prestaties kan leveren dan een veel groter model (671B parameters) zonder self-play.

4. Resultaten

De auteurs hebben SGS getest op formal theorem proving in Lean4, gebruikmakend van een dataset van ongeveer 3.300 wiskundige problemen (D3k).

• Prestatieverbetering: SGS bereikt een 7% hoger asymptotisch oplospercentage dan de beste RL-baseline (REINFORCE1/2 alleen).
• Modelgrootte overtreffen: Na 200 rondes self-play slaagt de DeepSeek-Prover-V2-7B (7 miljard parameters) erin om meer problemen op te lossen (pass@4) dan de DeepSeek-Prover-V2-671B (671 miljard parameters) zonder self-play.
• Ablatie-studies:
  • Zonder de Guide degradeert de kwaliteit van de gegenereerde problemen (ze worden extreem lang en complex met veel "OR"-disjuncties), wat leidt tot een lager oplospercentage ondanks meer trainingsdata.
  • Zonder Conditioning op onopgeloste problemen (willekeurige generatie) levert geen enkele verbetering op ten opzichte van de baseline.
  • Vriezen van de Conjecturer (niet trainen) werkt beter dan de baseline, maar is inferieur aan volledig SGS, omdat de Solver de vaste verdeling snel "leert" en de leersignalen uitdrogen.
• Entropie-beheer: Het gebruik van REINFORCE1/2 voor de Solver is essentieel. Andere methoden (zoals CISPO) leiden tot snelle entropie-collaps, waardoor de Conjecturer geen leerbaar signaal meer krijgt.

5. Betekenis en Conclusie

Dit paper is significant omdat het een oplossing biedt voor het "leerplateau" probleem in LLM self-play, wat een cruciale stap is voor het schalen van AI-systemen naar het oplossen van problemen die ver buiten de oorspronkelijke capaciteit van het model liggen.

De kernboodschap is dat kwaliteit van gegenereerde data belangrijker is dan kwantiteit. Door de taalmodel zelf te laten fungeren als een kwaliteitsmeter (de Guide) en door de entropie van de Solver actief te beheren, kan self-play worden geschaald tot duizenden iteraties zonder degradatie. Dit opent de deur voor het trainen van zeer capabele systemen in domeinen zoals formele wiskunde, codering en mogelijk zelfs fysieke controle, zonder dat er menselijke data of supervisie nodig is voor de voortgang.