Technische Samenvatting: REFT – Rollout Exploration met Eerste-Token Diversificatie

Probleemstelling

Versterkt Leren met Verifieerbare Beloningen (RLVR) is naar voren gekomen als een primaire methode om de redeneercapaciteiten van grote taalmodellen (LLMs) te verbeteren zonder afhankelijk te zijn van gelabelde redeneertrajecten. In gegroepeerde RLVR-methoden zoals GRPO en DAPO genereert een beleid een eindige set rollouts (redeneersporen) voor één prompt, die worden gescoord door een automatische verificateur. Het leersignaal wordt afgeleid van de relatieve beloningen binnen deze groep.

Een kritieke bottleneck in dit paradigma is rollout-diversiteit. Als alle rollouts in een groep vergelijkbare redeneerpaden volgen of identieke beloningen ontvangen, biedt de groep weinig contrastief signaal voor beleidsupdates. Bestaande benaderingen proberen de exploratie te verbreden door de bemonsteringstemperatuur te verhogen, te vertakken bij redeneerpunten met hoge entropie, of diverse eindantwoorden te selecteren. Deze methoden gaan echter vaak ervan uit dat vroege prefix-tokens vaste steigers zijn, of dat waardevolle exploratie uitsluitend aanwezig is in onzekere, substantiële redeneerstappen.

De auteurs identificeren een structurele inefficiëntie: het eerste token dat wordt gegenereerd na de redeneermarker (<thought>) is typisch een opener met weinig inhoudelijke lading (bijvoorbeeld "Eerst," "Laten we," "Om"). Standaard bemonsteringsbeleid vertoont een scherp gepiekte verdeling over deze tokens, wat de rollout-groep sterk beïnvloedt naar één enkele opener. Cruciaal merken de auteurs op dat, terwijl de waarschijnlijkheid van deze eerste tokens sterk geconcentreerd is, de juistheid van de resulterende rollouts bijna vlak is over de top-20 kandidaten. Dit creëert een "laag-belaste, hoog-hefboom"-kans: het eerste token heeft minimale semantische lading maar oefent een hoge distributieve hefboomwerking uit, waardoor de gehele daaropvolgende voortzetting naar verschillende semantische gebieden wordt geleid.

Methodologie: REFT

Het artikel introduceert REFT (Rollout Exploration with First-Token Diversification), een minimale ingreep in de RLVR-pijplijn die de eerste token diversifieert zonder de modelarchitectuur, verificateur, beloningsfunctie of RL-doel te wijzigen.

Kernmechanisme

REFT vervangt de standaard stochastische bemonstering van het eerste token door een gestratificeerde bemonsteringsstrategie:

1. Selectie van Kandidaten: Voor een gegeven prompt $x$ wordt de verdeling van het beleid op de positie van het eerste token geëvalueerd. De top-$N$ geldige semantische tokens (exclusief witruimte en speciale tokens) worden geïdentificeerd als de kandidaatset $F_N(x)$.
2. Uniforme Bemonstering: Uit $F_N(x)$ worden $K$ verschillende eerste tokens uniform bemonsterd zonder teruglegging om een set $S_K(x)$ te vormen.
3. Toewijzing van Budget: De totale grootte van de rollout-groep $G$ wordt gelijkmatig verdeeld over de $K$ geselecteerde tokens. Voor elke geselecteerde eerste token $f \in S_K(x)$ genereert het model $G/K$ voortzettingen die zijn geconditioneerd op $f$, waarbij de onveranderde basisdecoder voor de rest van de sequentie wordt gebruikt.
4. Training: De resulterende gediversifieerde groep wordt verwerkt door het standaard RLVR-algoritme (bijvoorbeeld GRPO of DAPO) zonder correcties voor belangswaarde als gevolg van de mismatch in de bemonstering van het eerste token.

Belangrijke Ontwerpkiezen

• Laag-Belast, Hoog-Hefboom: De methode richt zich op een positie waar het model "kunstmatig zeker" is (hoge waarschijnlijkheid voor een specifieke opener), maar waar de juistheid stabiel blijft over alternatieven.
• Geen Globale Ruis: In tegenstelling tot het verhogen van de temperatuur, wat verdelingen over het hele traject afvlakt (potentieel schadelijk voor latere, kritieke redeneerstappen), injecteert REFT diversiteit alleen bij het eerste token, waardoor de integriteit van de daaropvolgende redeneerketen behouden blijft.
• Plug-and-Play Vervanging: REFT vereist geen wijzigingen in het onderliggende RL-doel, de schatting van voordeel of de logica van de verificateur.

Belangrijkste Bijdragen

1. Diagnostisch Inzicht: De auteurs tonen aan dat de verdeling van het eerste token in redeneermodellen scherp geconcentreerd is, maar losgekoppeld van de juistheid. Zij laten zien dat eerste tokens met lage waarschijnlijkheid binnen de top-20 even vaak tot correcte rollouts kunnen leiden als het meest waarschijnlijke token, mits de voortzetting normaal wordt bemonsterd.
2. Routeer-effect: Experimenten bevestigen dat verschillende eerste tokens het model naar verschillende semantische voortzettingsgebieden leiden. Uniforme bemonstering van de top-20 eerste tokens resulteert in aanzienlijk hogere semantische diversiteit in de overige voortzetting (na het verwijderen van het eerste token) in vergelijking met standaard bemonstering.
3. REFT-algoritme: Een eenvoudige, computerefficiënte methode om rollout-groepen te diversifiëren door het vaste rollout-budget opnieuw te verdelen over plausibele openers van het eerste token.
4. Mitigatie van Overwaardering: Het artikel toont aan dat standaard GRPO-updates de voorkeur voor het top-1 eerste token tijdens trainingsstappen neigen te versterken, zelfs wanneer de verificateur deze voorkeur niet sterk ondersteunt. REFT mitigeert dit door te zorgen voor dekking van meerdere plausibele openers, waardoor het beleid wordt voorkomen dat het een specifieke discoursvoorkeur overwaardeert.

Experimentele Resultaten

De auteurs hebben REFT geëvalueerd over vier basismodellen (Qwen2.5-0.5B, 3B, 7B en Llama3.2-3B) en twee RLVR-doelen (GRPO en DAPO) op drie datasets (GSM8K, BigMath-Easy, BigMath).

• Prestatiewinst: REFT verbetert consistent de geaggregeerde prestaties over de Pass@1, Pass@8 en Pass@64-metrieken.
  • Op GSM8K presteren REFT-verrijkte GRPO en DAPO beter dan hun baselines.
  • Op het "Math Gemiddelde" (gemiddelde van MATH-500, AIME 2024/2025, AMC 2023) zijn de winsten bijzonder uitgesproken, wat suggereert dat REFT effectief is wanneer bredere exploratie cruciaal is.
  • Verbeteringen worden waargenomen zelfs op de kleinste schaal (0,5 miljard parameters), wat aangeeft dat de methode niet afhankelijk is van grote modelcapaciteit.
• Diversiteitsanalyse:
  • Trainingsdiversiteit: REFT produceert de meest semantisch diverse rollout-groepen tijdens de training.
  • Inferentieconcentratie: Paradoxaal genoeg produceren modellen die met REFT zijn getraind meer geconcentreerde output op het moment van inferentie, wat suggereert dat de methode het beleid helpt om na het verkennen van diverse paden effectiever te convergeren naar succesvolle patronen.
  • Zero-Variantie Decompositie: REFT vermindert het fractioneel aantal "allemaal-fout" groepen (zero-variantie groepen waarin geen enkel correct traject wordt gevonden) zonder de "allemaal-correct" saturatie te verhogen, wat wijst op nuttigere exploratie.
• Efficiëntie: REFT introduceert verwaarloosbare runtime- overhead. In sommige gevallen vermindert het de GPU-uren lichtjes als gevolg van kortere gemiddelde voltooiingslengten die voortvloeien uit een hogere nauwkeurigheid.

Betekenis en Beweringen

Het artikel beweert dat REFT een "eenvoudige omkering van de gebruikelijke exploratie-intuïtie" biedt. In plaats van diversiteit te zoeken in redeneerforks met hoge entropie en onzekerheid, kan nuttige diversiteit worden teruggewonnen uit laag-belaste prefix-keuzes die scherp bevooroordeeld zijn maar zwak verbonden met de juistheid.

De auteurs benadrukken dat REFT geen nieuw RL-algoritme is, maar een gerichte vervanging voor de eerste beslissing van de rollout-bemonsteraar. De betekenis hiervan ligt in:

• Efficiëntie: Het verbreedt het trainingsignaal zonder het rollout-budget of de rekentkosten te verhogen.
• Robuustheid: Het verbetert zowel de nauwkeurigheid van een enkele steekproef (Pass@1) als de kans om een correcte oplossing te vinden binnen een vast budget (Pass@8/64), waarmee het trade-off wordt aangepakt die vaak wordt gezien in RLVR waarbij het verbeteren van Pass@1 de toegankelijke verdeling versmalt.
• Generaliseerbaarheid: De methode werkt over verschillende modelgroottes en RLVR-doelen heen, wat suggereert dat het "eerste-token-routeer"-fenomeen een fundamenteel kenmerk is van huidige redeneermodellen dat kan worden uitgebuit voor betere training.

Het artikel concludeert dat het eerste token na de redeneermarker een onverwacht goedkope en effectief ingreepspunt is voor RLVR-exploratie, waardoor modellen bredere voortzettingsgebieden kunnen verkennen terwijl de stabiliteit van het redeneerspoor behouden blijft.