Technische Samenvatting: Gedragsvoorspelling als een Leertakenstelling

Probleemstelling

Vertrouwen in kunstmatige intelligentiesystemen berust op het vermogen om te voorspellen hoe een model zal reageren op nieuwe inputs of onder specifieke omstandigheden. Traditioneel wordt deze voorspelling verankerd door uitleg van de berekening van het model, die vervolgens worden gebruikt om gedrag in nieuwe scenario's te voorspellen. Echter, voor Large Reasoning Models (LRMs) — die lange sequenties van redeneertokens genereren voordat ze een definitief antwoord produceren — kampt deze conventionele aanpak met twee kritieke beperkingen:

1. Generalisatiefout: Verklarende methoden ontworpen voor single-token generaties laten zich niet natuurlijk uitbreiden naar de lange, stochastische redeneertrajecten die door LRMs worden uitgegeven.
2. Ongetrouwheid (Unfaithfulness): De redeneertokens zijn, ondanks hun natuurlijke taalverschijning, vaak geen getrouwe weergave van de onderliggende berekening. Ze kunnen factoren (bijv. bevooroordeelde positie van het antwoord, hints van de gebruiker) weglaten of afwijken van de werkelijke berekeningsstappen, waardoor "naïef lezen" van het traject onbetrouwbaar wordt voor voorspelling.

Consequent zijn bestaande methoden voor gedragsvoorspelling op LRMs ofwel evenredig duur (vereisen massale herbevraging om statistieken te schatten) ofwel blind voor de interne dynamiek van het traject (vertrouwen op single-location probes zoals aandacht of log-waarschijnlijkheden).

Methodologie

De auteurs stellen een alternatief kader voor: het behandelen van gedragsvoorspelling als een leerbare taak. In plaats van te vertrouwen op menselijk leesbare verklaringen, trainen zij een extern model, een zogenaamde Behavior Forecaster, om gedragsstatistieken direct te voorspellen vanuit een enkel geobserveerd redeneertraject.

Kernopzet

• Input: Een enkel geobserveerd traject $\tau = (P, R, A)$, bestaande uit een prompt $P$, redeneertokens $R$, en een definitief antwoord $A$.
• Output: Een voorspelling van een specifieke gedragsstatistiek $b(M, P, A)$ met betrekking tot het toekomstige gedrag van het model, zonder de doel-LRM opnieuw te draaien.
• Generatie van Trainingsdata: De trainingslabels worden gegenereerd door de doel-LRM zelf op grote schaal te bevragen. Voor elke prompt wordt de LRM meerdere keren gedraaid (bijv. 10 keer) om de grondwaarheid van de gedragsstatistieken empirisch te schatten. Dit proces is rekenintensief maar wordt slechts één keer uitgevoerd tijdens de datageneratie, niet tijdens de inferentie.
• Inferentie: De getrainde Behavior Forecaster werkt in een enkele forward pass over het geobserveerde traject, wat orden van grootte goedkoper is dan herbevraging of het gebruik van frontier-modellen als naïeve lezers.

Doeltaken

De paper instantiëren deze aanpak op twee specifieke voorspellingstaken:

1. Rerun Consistentie: De waarschijnlijkheid dat een nieuwe run op dezelfde prompt $P$ hetzelfde antwoord $A$ produceert.
2. Counterfactual Sensitivity (Contrafactische Gevoeligheid): Voor elk verwijderbaar segment $s$ van de prompt, de mate waarin het verwijderen van $s$ de waarschijnlijkheid vermindert dat het model antwoord $A$ produceert.

Architectuur en Training

• Initialisatie: De backbone van de Behavior Forecaster wordt geïnitialiseerd met de gewichten van de doel-LRM zelf. Dit zorgt ervoor dat het model start met representaties die al afgestemd zijn op de specifieke redeneringspatronen van de doel-LRM.
• Fine-Tuning: De backbone wordt end-to-end (niet alleen de prediction head) getraind, gezamenlijk met een taakspecifieke prediction head.
• Input-arrangementen:
  • Counterfactual Sensitivity: Gebruikt een prompt-echo arrangement ($P-R-A-P$). Omdat de backbone een autoregressieve decoder is, moeten voorspellingen voor promptsegmenten worden gedaan op de geëcho'de promptposities om het model de mogelijkheid te geven te attention te hebben op de redenering ($R$) en het antwoord ($A$) bij het evalueren van de prompt ($P$).
  • Rerun Consistentie: Gebruikt een cross-attention pooling mechanisme over het gehele traject ($P-R-A$) om een enkele scalaire score te produceren, aangezien er geen per-segment structuur is om aan toe te schrijven.

Belangrijkste Resultaten

De auteurs evalueren de Behavior Forecaster over drie diverse redeneringsdatasets (FEVEROUS, RuleTaker, TreeCut) en twee doel-LRMs (OLMo-3-7B-Think en Qwen3.5-2B).

1. Superieure Accuratesse: Getrainde Behavior Forecasters presteren significant beter dan naïeve lezers (GPT-5.4 en Claude Opus 4.6) die proberen gedrag te voorspellen door het traject van de tekst te lezen.
   • Op OLMo-3-7B-Think bereikt de forecaster een Spearman-correlatie van 0,731 voor counterfactual sensitivity (vs. 0,672 voor GPT-5.4) en 0,571 voor rerun consistency (vs. 0,305 voor GPT-5.4).
   • De forecaster presteert ook beter dan standaard single-location probes (bijv. attention attribution, final-answer log-likelihood), die presteren nabij de willekeurige baselines.
2. Kostenefficiëntie: De Behavior Forecaster behaalt deze resultaten tegen minder dan 1/10.000ste van de geschatte inferentiekosten van de frontier naïeve lezers.
3. Generalisatie:
   • Zero-shot: Forecasters generaliseren naar uit de dataset gehouden varianten binnen een datasetfamilie (bijv. FEVEROUS numerieke subset) zonder fine-tuning.
   • Transfer Learning: Een forecaster getraind op twee datasets kan worden aangepast aan een derde, uit de dataset gehouden dataset met slechts 600 fine-tuning stappen, wat de prestaties aanzienlijk verbetert ten opzichte van het bronmodel.
   • Cross-Taak Transfer: Een forecaster getraind voor counterfactual sensitivity kan worden aangepast om hint-sensitivity te voorspellen (of een model vertrouwde op een door de gebruiker verstrekte hint), waarbij het de directe training vanaf nul overtreft.
4. Ablatie-inzichten:
   • Initialisatie: Initialiseren vanaf de doel-LRM is noodzakelijk voor sterke prestaties; een willekeurige initialisatie levert aanzienlijk lagere scores op.
   • End-to-End Training: Het bevriezen van de backbone en het trainen van alleen de head resulteert in slechte prestaties, wat aangeeft dat het aanpassen van de backbone-representaties cruciaal is.
   • Inhoud van de Input: Het verwijderen van redeneertokens ($R$) uit de input vermindert de prestaties drastisch, wat bevestigt dat het traject informatie bevat die verder gaat dan de prompt en het antwoord.

Betekenis en Claims

De paper claimt dat redeneertrajecten informatie bevatten over het toekomstige gedrag van een LRM die niet toegankelijk is via naïef lezen. Door gedragsvoorspelling te behandelen als een supervised learning taak, demonstreren de auteurs dat:

• Vertrouwen kan worden verankerd door geleerde patronen: Men kan de betrouwbaarheid (consistentie) en robuustheid (gevoeligheid) van een model voorspellen zonder dat de redeneertekst getrouw of menselijk interpreteerbaar hoeft te zijn.
• Efficiëntie: Hoge-getrouwheid gedragsvoorspelling is mogelijk tegen een fractie van de kosten van herbevraging of het gebruik van grotere frontier-modellen.
• Nieuwe Onderzoeksrichting: Dit werk motiveert het bestuderen van gedragsvoorspelling als een afzonderlijke leerbare taak, wat suggereert dat elke LRM gedragseigenschap die automatisch gelabeld kan worden een kandidaat is voor lage-kosten voorspelling op schaal van implementatie.

De auteurs blijven bescheiden en merken op dat generalisatie naar Out-of-Distribution (OOD) taken die substantieel verschillen van de trainingsdata verdere studie en bredere trainingsdekking vereist, wat momenteel beperkt wordt door de hoge kosten van het genereren van gelabelde data. Ze erkennen ook dat als toekomstige LRMs getrouwer worden in hun redeneringen, de kloof tussen naïef lezen en geleerde voorspelling kleiner kan worden.