🤖 machine learning

Predicting Future Behaviors in Reasoning Models Enables Better Steering

Dit artikel stelt Future Probe Controlled Generation (FPCG) voor, een methode voor sturing op tekstniveau die gebruikmaakt van activatieprobes die getraind zijn om toekomstige gedragsuitkomsten te voorspellen vanuit tussenliggende redeneerstappen, waardoor effectieve controle van grote redeneermodellen mogelijk wordt met minimale degradatie van de outputkwaliteit in vergelijking met traditionele activatiesturing.

Oorspronkelijke auteurs: Evgenii Kortukov, Piotr Komorowski, Florian Klein, Paula Engl, Gabriele Sarti, Seong Joon Oh, Sebastian Lapuschkin, Wojciech Samek

Gepubliceerd 2026-06-10

📖 4 min leestijd☕ Koffiepauze-leesvoer

CC BY 4.0

Oorspronkelijke auteurs: Evgenii Kortukov, Piotr Komorowski, Florian Klein, Paula Engl, Gabriele Sarti, Seong Joon Oh, Sebastian Lapuschkin, Wojciech Samek

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je voor dat je een zeer slimme, praatgrage robot hebt die probeert een probleem op te lossen of een vraag te beantwoorden. Soms raakt deze robot in de war of besluit hij iets te doen wat jij niet wilde (zoals onbeleefd zijn, liegen of regels overtreden).

Een lange tijd probeerden wetenschappers dit te repareren door naar de "gedachten" van de robot te kijken nadat hij ze al hardop had uitgesproken. Ze zeiden: "O, ik zie dat hij zojuist iets slechts heeft gezegd. Laten we zijn brein in de tegenovergestelde richting duwen om het te stoppen."

Het probleem met deze oude methode is dat het is alsof je een auto probeert te sturen door aan het stuur te rukken nadat je al tegen een boom bent gecrasht. Dit zorgt er vaak voor dat de antwoorden van de robot vreemd, kapot of onzinnig klinken.

Dit artikel introduceert een nieuwe manier om de robot te sturen: De "Future Gaze" Methode.

Zo werkt het, stap voor stap uitgelegd:

1. De Oude Manier: In de achteruitkijkspiegel kijken

De onderzoekers noemen de oude methode "Detection" (Detectie).

De Analogie: Stel je een beveiliger voor die pas je ID controleert nadat je al door de deur bent gelopen. Tegen de tijd dat de bewaker je ziet, ben je al binnen. Als ze je dan proberen terug te trekken, is het een rommelige en chaotische situatie.
De Wetenschap: Oude methoden kijken naar de tekst die het model al heeft gegenereerd om "slecht gedrag" te vinden. Vervolgens proberen ze het model te dwingen zijn verborgen hersensignalen aan te passen op basis van die tekst uit het verleden. Het artikel laat zien dat dit vaak de kwaliteit van het antwoord ruïneert omdat het model in de war raakt over wat het net heeft gezegd.

2. De Nieuwe Ontdekking: De Kristallen Bol

De onderzoekers ontdekten dat het brein van de robot eigenlijk beschikt over een tweede type signaal dat fungeert als een kristallen bol.

De Analogie: Voordat de robot zelfs maar een woord spreekt, draait hij in stilte een simulatie in zijn hoofd. Het is als een schaker die denkt: "Als ik mijn pion hier verplaats, kan ik over drie zetten de partij verliezen." De robot weet wat hij bedoelt te doen voordat hij het daadwerkelijk uitspreekt.
De Wetenschap: Ze vonden "Prediction Features" (Voorspellingskenmerken). Dit zijn verborgen signalen in het brein van het model die de toekomstige waarschijnlijkheid van een gedrag voorspellen (bijv. "Er is een kans van 90% dat deze zin onbeleefd zal zijn"). Deze signalen bestaan voordat de slechte tekst wordt geschreven.

3. De Nieuwe Methode: "Future Probe Controlled Generation" (FPCG)

In plaats van aan het stuur te rukken na een crash, controleert deze nieuwe methode de GPS voordat de auto in beweging komt.

Hoe het werkt:
1. De robot staat op het punt om de volgende zin te schrijven.
2. In plaats van alleen één zin te schrijven, maakt de robot snel verschillende opties (zoals een schrijver die drie verschillende manieren bedenkt om "Hallo" te zeggen).
3. De "Kristallen Bol" (de nieuwe probe) kijkt naar elk concept en vraagt: "Als we deze zin kiezen, hoe waarschijnlijk is het dat de rest van het gesprek fout gaat?"
4. Het systeem kiest de zin die leidt tot het beste toekomstige resultaat.
5. De robot schrijft die zin en herhaalt het proces voor de volgende stap.

Waarom is dit beter?

Geen Crashes: Omdat de robot het beste pad kiest voordat hij zich eraan committeert, hoeft hij zijn fouten later niet te herstellen. De antwoorden blijven van hoge kwaliteit en natuurlijk.
Werkt wanneer anderen falen: Het artikel testte dit in lastige situaties waar de oude "Achteruitkijkspiegel"-methode de robot volledig kapot maakte (waardoor hij onbegrijpelijke taal uitkraamde). De nieuwe "Kristallen Bol"-methode hield de robot werkend en vloeiend.

De Belangrijkste Conclusie

Het artikel bewijst dat het voorspellen van de toekomst anders is dan het detecteren van het verleden.

Oude Manier: "Ik zie dat je onbeleefd bent, dus stop!" (Te laat, veroorzaakt chaos).
Nieuwe Manier: "Ik zie dat je op het punt staat om onbeleefd te zijn, dus laten we in plaats daarvan een andere zin kiezen." (Voorkomt het probleem, houdt het proces vloeiend).

Door gebruik te maken van de eigen interne "toekomstplanningssignalen" van de robot, kunnen we hem sturen om veiliger en behulpzamer te zijn zonder dat hij klinkt als een kapotte machine.

Technische Samenvatting: Het voorspellen van toekomstig gedrag in redeneermodellen maakt betere sturing mogelijk

Probleemstelling

Gedeployed Large Reasoning Models (LRMs) vertonen vaak onverwacht gedrag, wat robuuste controlesystemen noodzakelijk maakt. Hoewel test-time activation steering—het ingrijpen op verborgen representaties om outputs te controleren—veelbelovend is gebleken, lijdt het frequent aan een kritieke beperking: de degradatie van de kwaliteit van de output en de capaciteiten van het model.

De auteurs stellen dat bestaande sturingsmethoden impliciet vertrouwen op detectiekenmerken (detection features), wat interne representaties zijn die gedragingen identificeren die reeds aanwezig zijn in de gegenereerde tekst. LRMs behouden echter een distributie over meerdere mogelijke toekomstige reacties tijdens hun Chain-of-Thought (CoT) redenering, vaak nog voordat ze een beslissing verwoorden. Het artikel stelt dat het vertrouwen op kenmerken die het verleden detecteren een suboptimale interventiedoelstelling is, omdat deze kenmerken slechte voorspellers zijn van toekomstige gedragsuitkomsten. Bijgevolg dwingt sturing op basis van detectiekenmerken het model om af te wijken van zijn natuurlijke generatie-manifold, wat leidt tot incoherente of kwalitatief minderwaardige outputs.

Methodologie

1. Analyse van de dynamiek van gedragsdistributies

De studie stelt eerst vast dat LRMs vaak "gedragsonzekerheid" vertonen, waarbij een enkele prompt tot meerdere gedragsuitkomsten kan leiden, afhankelijk van het redeneerpad. Middels een resampling-analyse traceren de auteurs hoe de waarschijnlijkheid van een specifiek gedrag zich zin voor zin ontwikkelt tijdens de CoT-redenering. Ze ontdekten dat het model bij onzekere voorbeelden convergeert op een definitieve beslissing tijdens het redeneerproces, in plaats van dit vooraf te bepalen.

2. Onderscheid tussen Detectie- en Voorspellingskenmerken

De kern van de theoretische bijdrage is de identificatie van twee verschillende klassen van interne kenmerken:

Detectiekenmerken (Detection Features): Activaties die signaleren dat een gedrag al heeft plaatsgevonden in de tekst (meestal geëxtraheerd uit de uiteindelijke antwoorden).
Voorspellingskenmerken (Prediction Features): Activaties die de neiging van het model coderen om op een bepaalde manier te handelen in de toekomst, afgeleid van tussenliggende redeneerstappen.

Om dit te valideren, trainden de auteurs Lineaire Probes (en MLP Probes) op de residual stream activaties aan het einde van elke zin om de waarschijnlijkheid van een toekomstig gedrag te voorspellen.

Voorspellingsprobes (Prediction Probes): Getraind op tussenliggende CoT-activaties om de waarschijnlijkheid van toekomstig gedrag te voorspellen. Deze behaalden een hoge nauwkeurigheid (64%–91% binarized accuracy) in het voorspellen of een gedrag zou optreden.
Detectieprobes (Detection Probes): Getraind op de activaties van het uiteindelijke antwoord om het gedrag te detecteren. Wanneer deze werden gebruikt om toekomstige uitkomsten te voorspellen (gebaseerd op tussenliggende stappen), presteerden deze kenmerken aanzienlijk slechter, wat bevestigt dat detectie- en voorspellingskenmerken verschillend zijn en niet samenvallen.

3. Future Probe Controlled Generation (FPCG)

Bouwend op het bestaan van voorspellingskenmerken, stellen de auteurs Future Probe Controlled Generation (FPCG) voor, een algoritme voor sturing op tekstniveau. In tegen tegenstelling tot activation steering, dat de residual stream van gegenereerde tokens aanpast, werkt FPCG als volgt:

Kandidaten-generatie (Candidate Generation): Bij elke redeneerstap (zin) genereert het model $M$ kandidaat-zinnen.
Scoring: De activaties van het model voor elke kandidaat-zin (tot aan het einde van de zin) worden geëxtraheerd.
Voorspelling: Een getrainde probe voorspelt de waarschijnlijkheid van het gewenste (of ongewenste) toekomstige gedrag voor elke kandidaat.
Selectie: De kandidaat die de voorspelde waarschijnlijkheid van het doelgedrag maximaliseert (of minimaliseert) wordt geselecteerd.
Iteratie: Het proces herhaalt zich voor de volgende zin.

Deze aanpak stelt het model in staat om het pad te "kiezen" dat overeenkomt met het gewenste gedrag, terwijl het op de natuurlijke data-manifold blijft, aangezien de selectie gebaseerd is op de eigen probabilistische planning van het model in plaats van externe vector-additie.

Belangrijkste Resultaten

Voorspellingsnauwkeurigheid

Lineaire probes getraind op tussenliggende activaties voorspelden de waarschijnlijkheid van toekomstig gedrag met hoge nauwkeurigheid. De binarized accuracy (het voorspellen of een gedrag waarschijnlijker dan niet zou zijn) varieerde van 64% tot 91% over diverse modellen (DeepSeek-R1-Distill-Llama-8B, Qwen3-14B, gpt-oss-20b, QwQ-32B) en datasets (Myopic Reward, Refusal, Prompt Injection, etc.). Dit bevestigt dat interne representaties sterke signalen bevatten over toekomstige gedragstendenities.

Prestaties van Sturing en Kwaliteit

De auteurs evalueerden FPCG tegenover standaard Difference-in-Means activation steering:

Gedragscontrole: FPCG slaagde erin om de fractie van gedrag aanzienlijk te verschuiven over alle geteste modellen en datasets (bijv. het verminderen van "Myopic Reward" gedrag van 46,2% naar 5,1% in DeepSeek-R1).
Outputkwaliteit: Cruciaal is dat FPCG vrijwel geen degradatie van de outputkwaliteit veroorzaakte. De fractie van generaties die werden weggefilterd vanwege formatfouten of incoherentie bleef nabij nul (0–3% in de meeste gevallen). In contrast veroorzaakte activation steering significante kwaliteitsdegradatie, waarbij tot 18% van de generaties werd weggefilterd en de perplexiteit toenam in 9 van de 12 scenario's.
Perplexiteit: Activation steering verhoogde de generatie-perplexiteit in de meeste scenario's, wat suggereert dat het activaties van de natuurlijke data-manifold duwt. FPCG verhoogde de perplexiteit in slechts één van de 12 scenario's.
Stuurbaarheid (Steerability): Op het gpt-oss-20b model faalde activation steering volledig (het verbrak de generatie) bij Refusal, Prompt Injection en Wealth Seeking taken, terwijl FPCG deze gedragingen succesvol stuurde zonder kwaliteitsverlies.

Betekenis en Claims

Het artikel claimt dat het onderscheiden tussen gedragsdetectie en gedragsvoorspelling essentieel is voor effectieve controle van LRMs.

Conceptueel Inzicht: De studie levert bewijs dat LRMs intern een probabilistische distributie van toekomstig gedrag onderhouden, gerepresenteerd door kenmerken die verschillen van diegene die gerealiseerde tekst detecteren.
Praktisch Nut: Door voorspellingskenmerken te targeten via FPCG, is het mogelijk om het gedrag van het model met grote kracht te sturen terwijl de outputkwaliteit behouden blijft, waarmee de primaire beperking van huidige activation steering-methoden wordt overwonnen.
Complementariteit: FPCG wordt gepresenteerd als een complementaire benadering voor bestaande methoden, in staat om te sturen in scenario's waar activation-gebaseerde methoden falen of prestaties verslechteren.

De auteurs concluderen dat het begrijpen van de evolutie van interne representaties van planning naar verbalisatie een meer genuanceerde en effectieve controle van LRM-gedragingen mogelijk maakt.