Technische Samenvatting: Het Traceerbaar Maken van Onzekerheid in "Redeneren" van Taalmodellen

Probleemstelling

Taalmodellen (LM's) genereren steeds vaker lange reeksen tussenliggende tokens, aangeduid als "redeneer"-sporen (bijvoorbeeld Chain-of-Thought of schaling tijdens de testfase), die de prestaties verbeteren op verifieerbare taken zoals wiskundig en logisch redeneren. De dynamiek die ten grondslag ligt aan dit generatieve proces blijft echter slecht begrepen. Hoewel de correlatie tussen spoorlengte en prestatie is vastgesteld, blijven de mechanismen die correct van incorrect redeneren onderscheiden, ondoorzichtig. Bestaande benaderingen om deze sporen te verifiëren of te verbeteren, aggregeren vaak informatie (waarbij de temporele structuur wordt verworpen) of vertrouwen op semantische inhoud, wat onbetrouwbaar is gebleken. Bovendien blijft de definitie van "redeneren" in AI omstreden, met aanwijzingen dat modellen semantisch ongeldige sporen kunnen genereren die toch tot het juiste antwoord leiden, of sporen die er geldig uitzien maar falen.

Dit artikel adresseert het ontbrekende inzicht in het generatieve proces door het "redeneer"-spoor niet te behandelen als een statisch semantisch object, maar als een evoluerende modelstaat gekenmerkt door onzekerheid. De auteurs stellen dat de dynamiek van onzekerheid gedurende het generatieproces voorspellende signalen bevat over de juistheid van het uiteindelijke antwoord, onafhankelijk van de semantische inhoud van het spoor.

Methodologie

Kader voor Kwantificering van Onzekerheid

De auteurs passen Kwantificering van Onzekerheid (UQ) toe om het generatieve proces te modelleren als een tijdreeks. Ze ontleden onzekerheid in twee primaire categorieën, die verder worden onderverdeeld voor gedetailleerde analyse:

1. Epistemische Onzekerheid ($U_E$): Weerspiegelt het gebrek aan kennis van het model over een voorspelling op basis van de trainingsdata. Het wordt geschat met behulp van het kwadraat van de $L_2$-norm van de gradiënt van de voorspelde waarschijnlijkheid met betrekking tot modelparameters, afgeleid via een eerste-orde delta-methode-expansie.
2. Aleatorische Onzekerheid: Weerspiegelt de inherente willekeur van de taak. De auteurs onderscheiden twee subtypes:
   • Commitment-Aleatorische Onzekerheid ($U_C$): De Bernoulli-variatie van de voorspelde waarschijnlijkheid van het geselecteerde token. Het meet hoe "vastberaden" het model is in een specifiek token (concentratie) versus het selecteren van een token door eliminatie onder vele onwaarschijnlijke alternatieven.
   • Distributie-Aleatorische Onzekerheid ($U_D$): De verwachte conditionele entropie van de voorspellende distributie over de volledige vocabulaire. Het vangt de vorm van de gehele distributie, niet alleen de modus.

Spoor- en Antwoordkanalen

Voor elke tokenpositie $t$ in een gegenereerd spoor berekenen de auteurs deze drie onzekerheidstypen over twee kanalen:

• Spoor-Onzekerheid ($U_{Tr}$): Het doel $y$ is de volgende token $v_t$. Dit karakteriseert de staat van het model met betrekking tot de directe generatiestap.
• Antwoord-Onzekerheid ($U_A$): Het doel $y$ is het uiteindelijke eindantwoord $\hat{y}$. Dit karakteriseert de staat van het model met betrekking tot de uiteindelijke output, wat een forward/backward-passage vereist die is geconditioneerd op het spoor-prefix maar wordt toegepast op het segment van het eindantwoord.

Dit resulteert in zes tijdreeksen per generatie ($U_{Tr}^D, U_{Tr}^C, U_{Tr}^E, U_{A}^D, U_{A}^C, U_{A}^E$).

Feature-Engineering en Voorspelling

Om deze tijdreeksen samen te vatten, extraheren de auteurs een reeks kenmerken voor elk onzekerheidsspoor, het onzekerheidsspoorprofiel genoemd:

• Statische Kenmerken: Gemiddelde onzekerheid in de vroege ($\mu_{early}$), middelste ($\mu_{mid}$) en late ($\mu_{late}$) segmenten van het spoor.
• Dynamische Kenmerken: De lineaire helling ($m$) van de onzekerheidstrajectorie en de goodness-of-fit ($r^2$) van deze lineaire trend.

Deze kenmerken worden gebruikt om binaire classifiers (Logistische Regressie en Gradient Boosting) te trainen om te voorspellen of een spoor een correct eindantwoord oplevert. De studie evalueert vijf modellen (Llama-3.1, Llama-3.2, Qwen-2.5, DeepSeek R1, Qwen-3) variërend van standaard LM's tot "redeneer"-modellen (RM's) getraind met versterkend leren, over twee datasets: GSM8K (wiskunde) en ProntoQA (logica).

Belangrijkste Resultaten

Voorspellende Prestaties

Het onzekerheidsspoorprofiel is een sterke voorspeller van juistheid en presteert significant beter dan bestaande baselines:

• AUROC-scores: De methode behaalt AUROC-scores tot 0,807 (Qwen-2.5 op GSM8K), een verbetering van 11,5% ten opzichte van de state-of-the-art Circuit-Based Reasoning Verification (CRV) en tot 59% ten opzichte van Self-Certainty.
• Vroege Detectie: Juistheid kan met hoge nauwkeurigheid worden voorspeld met slechts de eerste paar honderd tokens. Op GSM8K bereikt het model een AUROC van 0,801 bij het 300e token, wat suggereert dat fouten vroeg in het generatieproces kunnen worden gedetecteerd.
• Robuustheid: De voorspellende kracht blijft overeind over verschillende modelarchitecturen en trainingsregimes (standaard LM's versus RM's), terwijl eerdere methoden zoals Self-Certainty variabele prestaties vertoonden afhankelijk van het modeltype.

Kwalitatieve Verschillen in Onzekerheidsdynamiek

Een gedetailleerde analyse van correcte versus incorrecte sporen onthult duidelijke patronen:

• Aleatorische Onzekerheid: Incorrecte sporen vertonen over het algemeen hogere niveaus van commitment- en distributie-onzekerheid gedurende de generatie in vergelijking met correcte sporen.
• Epistemische Onzekerheid: Het gedrag is contra-intuïtief. Incorrecte sporen tonen vaak lagere spoor-niveau epistemische onzekerheid ($U_{Tr}^E$) in redeneermodellen, wat aangeeft dat de stappen in een incorrect spoor verrassend goed worden ondersteund door trainingsdata, zelfs als ze leiden tot een verkeerde conclusie. Omgekeerd heeft het uiteindelijke verkeerde antwoord vaak lagere antwoord-niveau epistemische onzekerheid dan het correcte antwoord.
• Temporele Dynamiek: Correcte sporen vertonen de neiging om een steilere en meer lineaire daling in onzekerheid te tonen (hogere $r^2$) naarmate de generatie vordert. Incorrecte sporen vertonen vaak vlakkere, minder lineaire trajecten, of in het geval van RM's, een steilere daling die convergeert naar een verkeerd, maar goed ondersteund antwoord.

Betekenis en Claims

Het artikel claimt een principieel perspectief te bieden voor het bestuderen van het generatieve proces van LM-"redeneren", gebaseerd op besluitvorming onder onzekerheid. De primaire bijdragen zijn:

1. Temporele Karakterisering: In tegenstelling tot eerdere werken die onzekerheid aggregeren of vertrouwen op verborgen toestanden, behandelt deze aanpak het spoor als een evoluerende tijdreeks, waarbij wordt vastgelegd hoe en waar de kwaliteit van het redeneren verandert.
2. Diagnostische Signalen: De studie toont aan dat aleatorische en epistemische onzekerheid diagnostische signalen in tegenovergestelde richtingen dragen. Een faalmodus wordt gekenmerkt door verhoogde aleatorische onzekerheid (wat aangeeft op moeilijkheid of gebrek aan toewijding) in combinatie met verlaagde epistemische onzekerheid (wat aangeeft dat het verkeerde pad bekend is bij het model). Geen van beide maten alleen onthult deze faalmodus.
3. Praktische Nuttigheid: De hoge voorspellende kracht van vroege spordynamiek suggereert een praktische toepassing voor selectieve generatie en schaling tijdens de testfase, waarbij sporen opnieuw kunnen worden bemonsterd of vroegtijdig kunnen worden beëindigd op basis van onzekerheidsprofielen voordat de volledige generatie is voltooid.
4. Complementariteit met Semantische Analyse: De auteurs betogen dat onzekerheidsgedreven analyse fouten kan identificeren die semantische inspectie mist, zoals blijkt uit casestudies waarin het model vastzit aan een verkeerde interpretatie (bijvoorbeeld ratio versus verschil) met een duidelijke onzekerheidspiek die semantische analyse zou kunnen over het hoofd zien.

De auteurs houden een bescheiden standpunt, waarbij ze erkennen dat hun methode afhankelijk is van benaderingen van onzekerheid (specifiek de isotrope benadering voor epistemische onzekerheid) en dat de resultaten kunnen variëren tussen datasets (bijvoorbeeld GSM8K versus ProntoQA) als gevolg van distributieveranderingen. Ze positioneren dit werk als een proof-of-concept voor de informativiteit van onzekerheidsmaten over redeneersporen, en nodigen toekomstig werk uit om uit te breiden naar andere taken en architecturen.