Technische Samenvatting: Voorspelling van Voortgang in Realtime bij Redenerende Taalmodellen

Probleemstelling

Recente redenerende taalmodellen (Reasoning LMs), met name die welke lange latente gedachtenketens (CoT) gebruiken, hebben sterke prestaties getoond op complexe agentische taken. Echter, naarmate deze modellen over steeds langere tijdsperiodes opereren, wordt hun interne voortgang ondoorzichtig voor gebruikers. Deze ondoorzichtigheid creëert aanzienlijke uitdagingen voor gebruikersinteractie, specifiek met betrekking tot verwachtingsmanagement en realtime toezicht. Gebruikers kunnen niet eenvoudig bepalen hoe lang een taak zal duren of of het model echte vooruitgang boekt richting een oplossing. Hoewel eerder werk probeert vaste redeneerbudgetten af te dwingen, faalt deze strategie wanneer het benodigde budget niet uit de vraag alleen kan worden afgeleid, wat mogelijk leidt tot voortijdige beëindiging of onjuiste antwoorden.

De kernvraag die wordt behandeld, is of Reasoning LMs informatie bevatten over hun resterende computationele afstand tot een definitief antwoord binnen hun verborgen toestanden, en of deze informatie kan worden benut voor realtime voortgangsvoorspelling.

Methodologie

De auteurs hanteren een tweeledige aanpak: diagnostische probing van bestaande modellen en supervised fine-tuning (SFT) om expliciete voortgangsrapporten te genereren.

1. Diagnostische Probing (Analyse van Verborgen Toestanden)

Om te bepalen of voortgangsinformatie inherent is gecodeerd in modelrepresentaties, trainden de auteurs lineaire probes op tussentijdse verborgen toestanden.

• Dataset: Ongeveer 25.000 wiskundige redeneersporen van OpenR1-Math.
• Labeling: Redeneervooruitgang werd gediscretiseerd in 10 bakken (0–10%, 11–20%, ..., 91–100%) gebaseerd op de genormaliseerde tokenpositie ($k/m$) binnen een spoor van lengte $m$.
• Probe-architectuur: Twee soorten lineaire probes werden getraind:
  • $f_{token}$: Voorspelt de voortgangsbak vanuit de verborgen toestand van de huidige token.
  • $f_{q+token}$: Voorspelt vanuit de concatenatie van de huidige toestand en de verborgen toestanden van de voorgaande $n=2$ tokens.
• Evaluatie: Prestaties werden gemeten met behulp van top-1 nauwkeurigheid en Mean Absolute Error (MAE) op zowel in-domein data als out-of-distribution (OOD) lange sporen (>16K tokens).

2. Supervised Fine-Tuning (Expliciete Voortgangsrapportage)

De auteurs onderzochten of expliciete supervisie de voortgangsschatting kon verbeteren door modellen te trainen om voortgangspercentages direct binnen de CoT uit te geven.

• Dataconstructie: Sporen van OpenR1-Math werden aangevuld met <progressbar> X% </progressbar> tokens die na paragraafsegmenten werden ingevoegd. De voortgangswaarde $a_i$ werd berekend als het cumulatieve tokenaantal van het segment ten opzichte van de totale spoorlengte.
• Trainingsvarianten:
  • Standaard SFT: Modellen werden fine-getuned met LoRA en cross-entropy loss, met opwaartse weging van tokens binnen voortgangsannotaties.
  • Maskeringsschema: Om te voorkomen dat modellen leunen op de regelmatige afstand van markers in plaats van redeneerinhoud, werd een maskeringsschema toegepast waarbij voorgaande voortgangsannotaties willekeurig werden gemaskeerd tijdens training (cosine-schema van 0 tot 0,5).
• Geëvalueerde Modellen: DEEPSCALER-1.5B, QWEN3-0.6B en QWEN3-4B.
• Basislijnen: Vergelijkingen werden gemaakt met token-positie basislijnen (Globale gemiddelde lengte, Taakgemiddelde/mediante lengte) en een "Vorige marker"-basislijn die extrapoleert vanuit eerdere rapporten.

3. Analyse van Intrinsieke Ambiguïteit

Om de inherente onzekerheid in voortgangslabels te kwantificeren, maten de auteurs de spreiding van voortgangswaarden over meerdere stochastische voortzettingen vanuit hetzelfde gedeeltelijke prefix.

• Maatstaf: Mean Absolute Deviation (MAD) en Mean Absolute Percentage Deviation (MAPD) van gerealiseerde voortgangswaarden ($g_{i,\ell}$) over $r=8$ gesamplede voortzettingen.

Belangrijkste Resultaten

Codering in Verborgen Toestanden

Lineaire probes toonden aan dat verborgen toestanden informatie bevatten die correleert met genormaliseerde spoorpositie, hoewel dit signaal niet puur semantisch is.

• Nauwkeurigheid: Probes behaalden nauwkeurigheden significant boven het toevalsniveau (10%), waarbij de beste in-domein resultaten ongeveer 35,9% bereikten (QWEN3-4B, middelste laag).
• Generalisatie: De prestaties daalden aanzienlijk op OOD lange sporen, wat wijst op moeilijkheden bij lengtegeneralisatie.
• Interpretatie: De auteurs merken op dat deze resultaten dienen als een "representatiediagnostiek" in plaats van overtuigend bewijs van semantische voortgangstracking, aangezien labels zijn afgeleid van tokenpositie ($k/m$).

Prestaties van Voortgangsrapportage

Fine-getuned modellen leerden succesvol voortgangsschattingen te genereren, waarbij de prestaties varieerden per modelgrootte en trainingsstrategie.

• Beste Prestaties: Het gemaskerde QWEN3-4B checkpoint behaalde de sterkste resultaten, met een MAE van 0,161 op wiskundige redeneersporen en 0,157 op de BBEH (Big-Bench Extra Hard) out-of-domein set.
• Effect van Maskering: Maskering verbeterde over het algemeen de kwaliteit van de voortgangsvoorspelling (lagere MAE), maar leidde soms tot een trade-off met de nauwkeurigheid van downstream taken. Bijvoorbeeld, het gemaskerde QWEN3-4B had iets lagere macro-nauwkeurigheid op wiskundige benchmarks vergeleken met zijn niet-gemaskerde tegenhanger, maar aanzienlijk betere voortgangsschatting.
• Vergelijking met Basislijnen: Op wiskundige benchmarks presteerden de beste progress-SFT checkpoints in het algemeen beter dan token-positie basislijnen. Echter, op BBEH waren eenvoudige op lengte gebaseerde basislijnen zeer concurrerend, wat suggereert dat out-of-domein voortgangsschattingen zwaar kunnen leunen op structurele regelmatigheden in plaats van inhoudsgevoelige redenering.

Intrinsieke Ambiguïteit

De studie kwantificeerde de "ruis" inherent aan stochastisch redeneren.

• Spreiding: QWEN3-4B vertoonde de laagste rollout-spreiding (MAD = 0,027), gevolgd door DEEPSCALER-1.5B (0,059) en QWEN3-0.6B (0,065).
• Correlatie: Het model met de laagste spreiding (QWEN3-4B) behaalde ook de laagste voorspellings-MAE. Dit suggereert dat grotere modellen voortgangslabels stabieler kunnen maken door variatie in de resterende oplossingslengte te verminderen.
• Kloof: De waargenomen MAE blijft hoger dan de intrinsieke spreiding (MAD), wat aangeeft dat hoewel stochastiek een deel van de fout verklaart, er nog ruimte is voor verbetering in schattingsalgoritmen.

Betekenis en Claims

Het paper claimt vier primaire bijdragen:

1. Realtime Inzicht: Het introduceert een kader voor realtime voortgangsvoorspelling in Reasoning LMs, wat een mogelijke oplossing biedt voor de ondoorzichtigheid van lange redeneertrajecten.
2. Representatiebewijs: Het toont aan dat redenerende modellen voortgangsgerelateerde informatie coderen in hun interne representaties, zoals blijkt uit het succes van lineaire probes.
3. Directe Integratie: Het laat zien dat voortgangsrapportage direct kan worden geïntegreerd in het generatieproces via SFT, waarbij het gemaskerde QWEN3-4B checkpoint een MAE van 0,161 behaalde op wiskundige sporen.
4. Kwantificering van Ambiguïteit: Het kwantificeert de intrinsieke ambiguïteit van voortgangslabels door rollout-spreiding te meten, en vindt dat grotere modellen (QWEN3-4B) stabielere voortgangsschattingen produceren door verminderde variatie in resterende oplossingslengtes.

De auteurs houden een bescheiden standpunt, erkennen dat voortgangssignalen vaak zijn gekoppeld aan tokenpositie en regelmatigheden in spoorlengte in plaats van puur semantisch begrip. Zij merken op dat hoewel voortgangsrapporten parseerbaar en numeriek uitgelijnd zijn buiten het domein, hun interpretatie relatief moet zijn ten opzichte van structurele controles. De studie is beperkt tot drie compacte modellen en voornamelijk wiskundig redeneren, waarbij de voorspellingsprestaties verslechteren op sporen langer dan de trainingsdistributie.