Vocabulary Dropout for Curriculum Diversity in LLM Co-Evolution

Probleemstelling: Diversiteitsinval in Co-evolutionair Self-Play

Het paper adresseert een fundamenteel probleem bij het trainen van Large Language Models (LLMs) via co-evolutionair self-play. In dit paradigma worden twee rollen uitgesplitst: een proposer (die problemen genereert) en een solver (die deze problemen oplost). De proposer wordt getraind om problemen te genereren die net op de grens van het vermogen van de solver liggen (maximale onzekerheid), terwijl de solver traint op deze gegenereerde curriculum.

In de praktijk convergeert de proposer echter snel naar een smalle verdeling van probleemtemplates. Hoewel de gegenereerde vragen oppervlakkig kunnen variëren, herhalen ze dezelfde onderliggende structuren en logica. Dit fenomeen, termed diversiteitsinval (diversity collapse), maakt het curriculum oninformatief voor de solver, waardoor de co-evolutionaire cyclus stagneert.

De auteurs identificeren de oorzaak als een fundamenteel verschil tussen spelomgevingen (zoals Go of StarCraft) en taal:

• In spellen definiëren regels de legale acties en succesvoorwaarden, wat het moeilijk maakt om een tegenstander uit te dagen zonder echt te verbeteren.
• In taal ontbreekt deze externe structuur. De proposer kan de beloningsfunctie (solver-onzekerheid) bevredigen door te convergeren naar een paar templates die systematisch fouten bij de solver veroorzaken, zonder dat de vragen echt moeilijk of divers zijn. Bestaande methoden die diversiteit proberen te forceren via beloningsfuncties of sampling, blijken onvoldoende om deze stagnatie te voorkomen.

Methodologie: Vocabulary Dropout (VD)

De auteurs introduceren Vocabulary Dropout (VD) als een lichtgewicht mechanisme om de actie-ruimte van de proposer direct te beperken, analoog aan hoe spelregels de actie-ruimte in games beperken.

Kernmechanisme:

1. Hard Mask: Tijdens zowel het trainen van de proposer (GRPO) als het genereren van het curriculum, wordt een hard, niet-stationair masker toegepast op de output-logits van de proposer.
2. Random Selectie: Voor elke batch wordt een willekeurige subset van tokens uit het vocabulaire gemaskeerd (logits worden op $-\infty$ gezet), zodat deze tokens niet gegenereerd kunnen worden.
3. Beschermde Tokens: Een kleine subset van tokens die essentieel zijn voor de formatstructuur (bijv. tags voor antwoorden) wordt uitgesloten van masking om geldige output te garanderen.
4. Niet-stationair: Omdat het masker per batch verandert, kan de proposer niet convergeren naar een vaste set van token-sequenties. Dit dwingt het model om continu nieuwe paden in de token-ruimte te verkennen.

Training Pipeline (gebaseerd op R-Zero):

• Fase 1 (Proposer Training): De proposer genereert problemen met VD actief. De solver (bevroren) probeert deze $M$ keer. De beloning voor de proposer is gebaseerd op de zelfconsistentie van de solver (maximaal bij 50% oplosbaarheid).
• Fase 2 (Solver Training): De proposer genereert een curriculum (met VD actief). De solver traint op deze gefilterde vragen met een binaire beloning voor correctheid.

Belangrijkste Bijdragen

1. Empirische Karakterisering: De auteurs tonen aan dat functionele stagnatie (het vastlopen van de kwaliteit van het curriculum) zeer vroeg optreedt (tussen iteratie 1 en 2) en niet wordt opgevangen door standaard lexicale diversiteitsmetrieken.
2. Vocabulary Dropout: Een nieuwe, eenvoudige methode die direct ingrijpt in de actie-ruimte van de proposer. Dit susteert diversiteit op lexicale, semantische en functionele niveaus.
3. Prestatieverbetering: Het aantonen dat deze voortdurende diversiteit leidt tot significante verbeteringen in de solver, vooral op complexe, competitie-gerichte benchmarks.

Resultaten

De methode werd geëvalueerd op Qwen3-4B en Qwen3-8B modellen voor wiskundig redeneren.

• Solver Prestaties:

  • Bij het 8B-model leidde VD (met een retentieprobabiliteit $\alpha=0.75$) tot een gemiddelde verbetering van +4.4 punten ten opzichte van de baseline.
  • De grootste winsten werden geboekt op competitie-niveau benchmarks zoals AMC, OlympiadBench en AIME.
  • Bij het 4B-model was een mildere masking ($\alpha=0.85$) optimaal; te agressieve masking (0.75) leidde tot incoherente problemen die de solver niet goed kon leren.

• Diversiteitsmetrieken:

  • Lexicaal: Self-BLEU scores waren ongeveer 2x lager onder VD, wat minder herhaling aangeeft.
  • Semantisch: De Vendi Score (een maat voor het effectieve aantal unieke vraagtypes) was ~15 punten hoger, en de novelty rate was 1.5 tot 2 keer zo hoog.
  • Functioneel: De Epiplexity (een maat voor de leerbare informatie-inhoud) was ~35% hoger, wat aangeeft dat het curriculum meer waardevolle structuur bevatte.

• Ablatie-studies:

  • De combinatie van VD tijdens zowel training als generatie gaf de beste resultaten.
  • VD werkt het beste bij capacity-matched modellen (proposer en solver hebben dezelfde grootte). Bij cross-scale setups (8B proposer -> 4B solver) hielp VD niet, omdat de moeilijkheidsgraad al misalign was.
  • Een geannealde schedule (waarbij $\alpha$ geleidelijk van 0.75 naar 1.0 stijgt over de iteraties) leverde de meest stabiele prestaties op, met een piek in prestaties eerder dan bij een vaste masking.

Betekenis en Conclusie

Het paper biedt een krachtig inzicht in de dynamiek van LLM self-play: de structuur van de actie-ruimte is minstens zo belangrijk als het ontwerp van de beloningsfunctie.

• Paradigmaverschuiving: In plaats van te proberen de beloning te verfijnen om diversiteit te forceren, beperken de auteurs de ruimte waarin het model kan opereren. Dit is analoog aan hoe spelregels in games voorkomen dat spelers in een degeneratieve strategie vastlopen.
• Efficiëntie: Vocabulary Dropout vereist geen extra modellen, geen complexe reward-modificaties en geen veranderingen in de modelarchitectuur. Het is een implementatie-vriendelijke toevoeging die direct op de sampling-laag werkt.
• Toekomstperspectief: De bevindingen suggereren dat toekomstige systemen voor autonoom curriculum leren moeten focussen op het handhaven van actie-ruimte diversiteit. De combinatie van VD met sterkere verificatiemethoden (zoals code-executie) zou de "ruis" van onoplosbare problemen kunnen filteren terwijl de diversiteitsvoordelen behouden blijven.

Kortom, Vocabulary Dropout is een eenvoudige maar effectieve techniek om de "diversiteitsinval" te doorbreken die co-evolutionair leren van taalmodellen vaak beperkt, waardoor robuustere en bekwaamere redeneringsmodellen ontstaan.