Technische Samenvatting: Helpen Denk-tokens bij Veiligheid?

Probleemstelling

Large Reasoning Models (LRM's) genereren uitgebreide "denktraces" voordat ze een definitief antwoord produceren, een mechanisme dat wordt toegeschreven aan de verbeterde prestaties op complexe taken zoals wiskunde en programmeren. Een heersende hypothese suggereert dat deze deliberatieve modus de veiligheid ook zou moeten verbeteren door het model een "veilige ruimte" te bieden om te evalueren of een verzoek de veiligheidsprincipes schendt voordat het zich vastlegt op een antwoord. Deze intuïtie vormt de basis voor veel regelgebaseerde en specificatiegebaseerde veiligheidsverdedigingen. Recent werk wijst echter uit dat veiligheidsafstemming in standaard instructie-afgestemde modellen vaak oppervlakkig is, waarbij het gedrag wordt bepaald door de vroege tokens en gemakkelijk kan worden omzeild. De centrale vraag die dit artikel behandelt, is of het uitgebreide denkproces in LRM's de veiligheidsbesluitvorming daadwerkelijk verbetert, of dat het slechts dient als post-hoc rationalisatie voor beslissingen die al vroeg in het generatieproces zijn genomen.

Methodologie

De auteurs evalueren vier vooraanstaande open-weight reasoning modellen: Qwen3-8B, Olmo-3-7B-Think, Phi-4-Reasoning en GPT-OSS-20B. De studie hanteert een veelzijdige aanpak:

1. Decodabiliteitsanalyse: De auteurs onderzoeken de verborgen representaties van de eerste denk-token ($h_0$) om te bepalen of de uiteindelijke weigering/naleving al is gecodeerd voordat er enige zichtbare reflectie plaatsvindt. Ze gebruiken een lineaire probe (logistische regressie) op de representatie van de eerste token en meten de prestaties via AUROC en Balanced Accuracy (BAcc). Ze berekenen ook de Fisher discriminant ratio ($J(t)$) over de gehele denktrace om de scheidbaarheid van de weigerings- en nalevingsgroepen in de loop van de tijd te volgen.
2. Continuatie-variantie: Om te testen of denken de beslissings-traject verandert, genereren de auteurs meerdere onafhankelijke denktraces voor een enkele prompt, waarbij ze deze afkappen op verschillende percentages (20% tot 100%) van hun natuurlijke lengte. Vervolgens samplen ze de uiteindelijke antwoorden, geconditioneerd op deze prefixes, om de variantie in uitkomsten te meten. Een lage variantie impliceert dat de prefix de beslissing vastlegt.
3. Oscillatie-analyse: De auteurs analyseren zinsniveau-segmenten van de denktrace met behulp van vooraanstaande LLM's (GPT-5.4, Gemini 3 Pro, Sonnet 4.6) om standpuntlabels toe te kennen (weigerings-gericht, neutraal, naleving-gericht). Ze identificeren "oscillaties" (veranderingen in standpunt) en bepalen of deze "betekenisvol" zijn (statistisch verschuivend in de distributie van het uiteindelijke antwoord) of "performatief" (tekstuele veranderingen zonder impact op de uiteindelijke beslissing).
4. Verdedigingsevaluatie: De studie evalueert bestaande inference-time verdedigingen (bijv. SafePath ZS, PSR, SafeRemind) en training-gebaseerde verdedigingen (bijv. STAR-1, R1-ACT, ThinkSafe, STAIR, RAPO) om te zien of ze de ASR (Attack Success Rate) en ORR (Over-Refusal Rate) tradeoff verbeteren of het deliberatieve karakter van de denktrace vergroten.

Belangrijkste Bijdragen en Resultaten

1. Veiligheidsbeslissingen zijn decodeerbaar vóór zichtbare redenering

De meest opvallende bevinding is dat de weigerings-/nalevingsuitkomst sterk voorspelbaar is vanuit de verborgen representatie van de eerste denk-token ($h_0$), nog voordat er substantiële redeneringstekst wordt gegenereerd.

• Metrieken: Lineaire probes op $h_0$ bereiken AUROC-scores tussen 0,84 en 0,95 en een Balanced Accuracy tussen 76% en 88% over alle modellen.
• Contrast: Probes gebaseerd op enkel de oppervlakte-tekst van de eerste token presteren nabij toeval (AUROC ~0,5), wat aangeeft dat het signaal is gecodeerd in de latente representatie, niet in de identiteit van de token.
• Traject: De Fisher discriminant ratio vertoont een "U-vorm" of "vallei": hoge scheidbaarheid aan het begin ($t=0$), dalend door het midden van de trace, en herstellend aan het einde. Dit suggereert dat de beslissing vroeg wordt geconsolideerd en wordt overgenomen door de rest van de trace.

2. Denken fungeert als Prefix Completion, niet als Deliberatieve Revisie

Het denkproces stuurt het model zelden weg van het traject dat door de initiële prefix is vastgesteld.

• Continuatie-variantie: Zelfs wanneer de denktrace wordt afgekort tot slechts 20% van de lengte, is de variantie in de uiteindelijke uitkomsten bijna nul (<0,2). Latere denk-tokens veranderen bijna nooit een weigering in een naleving of vice versa.
• ASR-ORR Tradeoff: Het inschakelen van denken verbetert niet consistent zowel de ASR als de ORR. In plaats daarvan verschuift het de modellen langs de tradeoff-curve (bijv. het verminderen van ASR verhoogt vaak de ORR, of vice versa), in plaats van de Pareto-frontier te bewegen naar de ideale laag-ASR/laag-ORR regio.

3. De meeste "Deliberatie" is Performatief

Hoewel denktraces vaak tekst bevatten die lijkt te delibereren (oscillerend tussen weigerings- en nalevingsstandpunten), hebben deze segmenten minimale causale impact op de uiteindelijke beslissing.

• Performatief vs. Betekenisvol: Van de gevonden oscillaties zijn 71–92% "performatief", wat betekent dat de tekst van standpunt verandert maar de uiteindelijke respons-distributie ongewijzigd blijft. Slechts een klein deel van de segmenten is "betekenisvol" (statistisch significante verschuivingen).
• Locked State: Ongeveer 73–77% van alle oscillaties vindt plaats wanneer de beslissing van het model al "vastgelegd" is (waarschijnlijkheid >0,95 of <0,05), waardoor de tekstuele deliberatie irrelevant is voor de uitkomst.

4. Bestaande Verdedigingen Falen om Echte Deliberatie te Induceren

De studie evalueert diverse veiligheidsinterventies en stelt vast dat zij grotendeels falen om echte veiligheidsdeliberatie te induceren.

• Inference-Time Verdedigingen: Methoden zoals SafePath ZS en PSR verminderen over het algemeen de ASR ten koste van een hogere ORR (over-refusal). Cruciaal is dat zij de reeds zwakke deliberatie-signalen onderdrukken, waardoor het aantal betekenisvolle oscillaties in sommige modellen met wel 95% afneemt.
• Training-gebaseerde Verdedigingen: Methoden zoals STAR-1 en ThinkSafe induceren grotere gedragsverschuivingen, maar duwen modellen eveneens richting over-refusal. Ze vergroten niet consistent de deliberatieve kwaliteit van de denktrace; sommige verminderen zelfs de betekenisvolle oscillaties terwijl ze de vroege decodeerbaarheid van het weigeringssignaal behouden.

Betekenis en Claims

Het artikel betoogt dat het huidige paradigma van reasoning modellen de denk-tokens niet gebruikt voor de veiligheidsdeliberatie die gewoonlijk wordt aangenomen. In plaats daarvan is het veiligheidsgedrag in deze modellen:

1. Pre-gedetermineerd: Gecodeerd in de verborgen staat van de eerste denk-token.
2. Niet-deliberatief: De daaropvolgende denktrace dient grotendeels als een rationalisatie van een vroege beslissing in plaats van een revisieproces.
3. Kwetsbaar voor Misinterpretatie: Huidige verdedigingen verwarren de schijn van deliberatie (tekstuele oscillatie) vaak met werkelijke veiligheidsredenering, en veel interventies onderdrukken onbedoeld de weinige bestaande deliberatie-signalen.

De auteurs concluderen dat het veiligheidsgedrag in huidige LRM's "veel minder deliberatief is dan algemeen wordt aangenomen". Ze benadrukken de noodzaak voor nieuwe trainingsdoelstellingen die echte veiligheidsdeliberatie belonen in plaats van enkel het genereren van tekst met een veiligheidskarakakter te stimuleren. Het werk suggereert dat het simpelweg verlengen van de denktijd of het invoegen van veiligheidsherinneringen onvoldoende is; het mechanisme van de besluitvorming zelf moet worden gewijzigd om het denkproces de uiteindelijke veiligheidsuitkomst daadwerkelijk te laten beïnvloeden.