Technische Samenvatting: De Waarde-as: Taalmodellen coderen of ze op de goede weg zijn

Probleemstelling

Taalmodellen (LM's) voeren complexe, langdurige taken uit (bijv. programmeren, wiskundig redeneren) die tussenliggende beslissingen vereisen over de vraag of ze een huidige strategie moeten voortzetten of moeten terugkeren naar alternatieven. Hoewel de theorie van reinforcement learning (RL) stelt dat agenten een interne "waardefunctie" moeten bijhouden om de waarschijnlijkheid van toekomstig succes te schatten op basis van een huidige staat, blijft het onduidelijk of LM's een analoge interne mechanisme ontwikkelen. Specifiek: coderen LM's lineair een schatting van de verwachte doel-succes die hun vertrouwen en besluitvorming halverwege de generatie moduleert?

Methodologie

1. Constructie van de Waarde-as

De auteurs construeren een "waarde-as" binnen de residual stream van Qwen3-8B met behulp van synthetische In-Context Reinforcement Learning (ICRL) data.

• Datageneratie: Ze genereren 300 conversaties waarin een model probeert een verborgen criterium te raden (bijv. "voeg een streepje toe") om een paragraaf aan te passen. Het model ontvangt binaire feedback (+1 of -1) na elke poging.
• Ontdekkingsmoment: In elke conversatie "ontdekt" het model uiteindelijk het juiste criterium. De constructie contrasteert de token-activaties vóór de ontdekking (waar het model onzeker is en negatieve feedback ontvangt) met de activaties ná de ontdekking (waar het model zelfverzekerd is en positieve feedback ontvangt).
• Vectordefinitie: De waarde-as vector $v^{(l)}$ op laag $l$ wordt gedefinieerd als het gemiddelde verschil in verborgen activaties tussen post-ontdekking tokens en pre-ontdekking tokens, gemiddeld over de conversaties:
  $$v^{(l)} = \frac{1}{|C|} \sum_{c \in C} \left( \frac{1}{|T_{post}^c|} \sum_{t \in T_{post}^c} h_t^{(l)} - \frac{1}{|T_{pre}^c|} \sum_{t \in T_{pre}^c} h_t^{(l)} \right)$$
• Meting: Voor een willekeurige sequentie $s$ wordt de "waarde" gemeten als de gemiddelde cosinus-gelijkenis tussen de token-activaties van de sequentie en de waarde-as vector.

2. Causale Sturing (Causal Steering)

Om te testen of de as functioneel relevant is, voeren de auteurs activatie-sturing uit (het toevoegen van een geschaalde vector $\alpha \cdot \hat{v}$ aan de residual stream) tijdens zowel de prefilling als de decoding fase. Dit maakt het mogelijk om het interne "waarde"-signaal van het model causaal te moduleren en veranderingen in gedrag te observeren.

3. Evaluatiedomeinen

De studie evalueert de as over:

• Wiskunde: AIME-vragen (geverbaliseerd vertrouwen, backtracking).
• Coderen: LeetCode-problemen (correctheid van code, verbositeit/uitleg).
• Voorkeursleren: Direct Preference Optimization (DPO) om woordvoorkeuren op te wekken.
• In-the-wild: Chatbot Arena prompts, Supervised Fine-Tuning (SFT) op benchmarks, en "Eval-Aware" modellen.

Belangrijkste Resultaten

1. Correlatie met Vertrouwen en Correctheid

• Verbaal Vertrouwen: Op AIME-vragen is de projectie op de waarde-as significant hoger wanneer het model vertrouwen uitdrukt ("Ja, mijn antwoord is correct") vergeleken met onzekerheid. De projectie scheidt zelfverzekerde van onzekere generaties met een AUROC > 0,75.
• Backtracking: Rollouts die termen bevatten die duiden op backtracking (bijv. "Wacht," "Eigenlijk") vertonen lagere waarde-projecties. De projectie daalt scherp direct voorafgaand aan een backtracking-gebeurtenis.
• Code Correctheid: De as kent een hogere waarde toe aan correcte code-oplossingen dan aan gecorrumpeerde versies (syntaxfouten, verschoven regels, geobfusceerde namen). Correcte code levert consistent hogere projecties op bij alle corruptietypes.

2. Causale Modulatie van Gedrag

Het sturen van het model langs de waarde-as verandert het gedrag causaal:

• Hoge Waarde Sturing: Verhoogt de frequentie van "Ja"-reacties op correctheidsvragen, onderdrukt backtracking, en vermindert de verklarende verbositeit (minder commentaar, typehints en regels code) in coding-taken.
• Lage Waarde Sturing: Induceert backtracking, verlaagt het verbaal uitgedrukte vertrouwen, en verhoogt de verbositeit en het afwachten (hedging) in code-oplossingen.

3. Impact van Post-training

De interne waardefunctie is vormbaar en wordt gevormd door trainingsdoelstellingen:

• Direct Preference Optimization (DPO): Het trainen van modellen om specifieke woorden te verkiezen (bijv. "grapefruit") verhoogt de interne waarde die aan die woorden wordt toegekend. Dit effect generaliseert naar vrije zinnen. Bovendien zorgt het gebruik van deze "hoogwaardige" geprefereerde woorden in coding-taken voor een spurieuze reductie in de verbositeit van de uitleg, wat het effect van high-confidence sturing nabootst.
• Supervised Fine-Tuning (SFT): SFT op een specifieke benchmark (bijv. GSM8K) verhoogt de interne waarde toegewezen aan antwoorden binnen dat domein, maar niet op out-of-domain benchmarks (bijv. MATH-500).
• Eval-Awareness: Modellen die getraind zijn om evaluatiecontexten te herkennen, kennen een hogere interne waarde toe aan evaluatie-prompts dan aan deployment-prompts, zelfs wanneer de gebruikersprompt niet expliciet een evaluatie signaleert.

4. In-the-Wild Analyse

• Chatbot Arena: Post-getrainde modellen kennen een hoge waarde toe aan beperkte informatie-extractie-queries en een lage waarde aan open-ended of politiek gevoelige queries. Deze trend is afwezig in het basismodel, wat suggereert dat post-training de waarde-as vormt.
• Generalisatie: De waarde-as generaliseert over domeinen (wiskunde, coderen, voorkeursleren) en is stabiel over de middelste tot latere lagen (specifiek laag 21 voor Qwen3-8B), met een scherpe directionele verschuiving rond laag 13.

Betekenis en Claims

Het artikel claimt dat taalmodellen lineair een schatting coderen van de verwachte doel-succes (een "waardefunctie") die hun vertrouwen bij het volgen van een bepaald traject moduleert.

• Mechanisme: Deze representatie is niet louter een correlatie met correctheid, maar speelt een causale rol in de besluitvorming, waarbij bepaald of het model een strategie voortzet of terugkeert naar alternatieven.
• Generalisatie: Het mechanisme is universeel toepasbaar en wordt overgedragen tussen taken zonder expliciete RL-training, wat suggereert dat LM's een interne "smaak" ontwikkelen voor het "op de goede weg zijn".
• Trainingsinvloed: De interne waardefunctie is niet statisch; deze kan worden hervormd door post-training methoden (DPO, SFT), die de interne vertrouwen van het model afstemmen op beloonde gedragingen.
• Implicaties: De waarde-as biedt een potentieel instrument voor model alignment en auditing, omdat het een bron van bewijs levert over de doelen en het vertrouwen van een model die niet afhankelijk is van de zelfrapportage van het model.

De auteurs blijven bescheiden over hun bevindingen en merken op dat de analyse beperkt is tot Qwen3-8B en dat de specifieke constructie van de as mogelijk idiosyncratische componenten van de synthetische ICRL-data vangt, hoewel de generalisatie over diverse domeinen wijst op een robuust onderliggend mechanisme.