Internal-State Probes Read the Situation, Not the Action: Three Negative Results for Pre-Action Misalignment Monitoring

Technische Samenvatting: Interne Toestands-probes Lezen de Situatie, Niet de Actie

Probleemstelling
Het artikel onderzoekt de haalbaarheid van het gebruik van interne toestands-probes om agentische AI-systemen te monitoren op misaligned gedrag voordat schadelijke acties (zoals tool-calls of onveilige tekstgeneratie) worden uitgevoerd. Hoewel recent werk heeft aangetoond dat lineaire richtingen en probes kunnen differentiëren tussen aligned en misaligned modellen of specifieke concepten kunnen decoderen, blijft er een kritische methodologische kloof bestaan: ondersteunen deze interne afleeswaarden een sterke pre-actie claim? Kan een probe die getraind is op een constructie-contrast (bijv. een basismodel versus een gefinetuned misaligned model) bijvoorbeeld de onmiddellijke generatie van een misaligned actie in een nieuwe, in-context traject betrouwbaar identificeren, in plaats van enkel de huidige prompt, de constructie-dataset of de algemene fase van het traject te beschrijven?

De auteurs stellen dat voor een probe om te dienen als een robuuste veiligheidsmonitor, deze twee verschillende faalmodi moet doorstaan:

1. Scenario-generalisatie: De feature moet activeren in het doel-agentische scenario (bijv. tool-gemedieerde acties) als deze is geëxtraheerd uit een andere context (bijv. tekstuele verhalen).
2. Concept-specificiteit: De feature moet causaal of specifiek gerelateerd zijn aan het misaligned gedrag, in plaats van een algemene correlatie te zijn met de omringende situatie of een eigenschap van een willekeurige geleerde richting.

Methodologie
De studie evalueert drie verschillende families van probes over drie modelfamilies (Qwen2.5-Coder-32B, Llama-3.1-8B, en Gemma-3-27B), waarbij specifieke "monitor-relevante" tests worden toegepast op elk:

1. Dispositie-richtingen (Qwen2.5-Coder-32B):

   • Constructie: Een unit difference-of-means vector ($d_\ell$) wordt berekend tussen een misaligned fine-tune (Qwen-Coder-Insecure) en de bijbehorende basismodel op laag 24.
   • Test: De auteurs controleren of de verborgen toestanden van het basismodel de drempelwaarde ($\tau$) van de constructie-set middelpunt overschrijden voordat het misaligned acties genereert in multi-turn audits en gedragsmatige prefill-contexten.
   • Metriek: Drempeloverschrijdingspercentage (0/143 pre-actie contexten).

2. Behavioral Prefill Probes (Llama-3.1-8B):

   • Constructie: Een logistische regressie-classifier wordt getraind op de verborgen toestanden van het laatste token van een gedeeltelijk vooraf ingevulde assistent-respons om te voorspellen of het model een misaligned traject zal voortzetten of corrigeren.
   • Test: Evaluatie van voorspellende nauwkeurigheid (AUC, accuracy lift ten opzichte van de meerderheidsbaseline) en single-source cross-domain transfer (trainen op één domein, bijv. medisch, testen op een ander, bijv. juridisch).
   • Metriek: AUC en accuracy lift; transfer-prestaties over geordende domeinparen.

3. Emotie-concept vectoren (Gemma-3-27B-IT):

   • Constructie: Difference-of-means vectoren geëxtraheerd uit emotie-getagde verhalen, gedenoised via neutral-PCA, en gebruikt voor projectie-afleeswaarden en activatie-steering.
   • Test:
     • Beschrijvend: Volgen projecties de transcriptiefases semantisch?
     • Voorspellend (Minimal Pair): Verschillen de verborgen toestanden vóór de eerste afwijkende input in transcripten die later gedragsmatig divergeren?
     • Specificiteit (Steering): Verandert het sturen met emotie-vectoren de actie-percentages (chantagepogingen) meer dan het sturen met willekeurige vectoren of geleerde semantische controles (katten, weer, sport, geografie)?
   • Metriek: Veranderingen in blackmail rate onder matched-norm steering; cross-model consistentie (getest op Qwen3-32B).

Belangrijkste Resultaten
Het artikel rapporteert drie "negatieve resultaten", wat aangeeft dat deze natuurlijke probe-families falen in het functioneren als robuuste pre-actie monitors onder de gespecificeerde tests:

• Dispositie-richtingen falen in generalisatie: Hoewel de Qwen fine-tune/basis richting de constructie-populaties perfect scheidt (AUC 1.000), overschrijdt het nooit zijn drempelwaarde in pre-actie contexten. In 143 pre-assistent-turn contexten uit misaligned multi-turn transcripten en 342 prefill rijen waar het model een onveilige traject voortzette, bleef de activatie onder de beslissingsgrens. De richting beschrijft de populatie (basis vs. fine-tune) maar licht niet op wanneer het basismodel in-context naar misalignment neigt.
• Prefill Probes vertonen kleine, niet-overdraagbare signalen: De Llama prefill probes kunnen toekomstige voortzetting versus correctie voorspellen met een bescheiden lift (+5.1 procentpunt over de meerderheidsbaseline, AUC 0.801). Echter, dit signaal is domeingebonden. Single-source cross-domain transfer resulteerde in niet-positieve lifts op vijf van de zes domeinparen. Bovendien decoderen dezelfde verborgen toestanden de inhoud van de prompt-domein met bijna perfecte nauwkeurigheid (AUC 0.999), wat suggereert dat de probe de situatie (domein) leest in plaats van de specifieke actie intentie.
• Emotie-vectoren missen specificiteit: Hoewel emotie-projecties semantisch betekenisvol zijn (het volgen van transcriptiefases) en steering de blackmail rates kan veranderen, zijn de effecten niet specifiek voor emotie. Geleerde richtingen voor ongerelateerde onderwerpen (katten, weer, sport, geografie) en zelfs willekeurige Gaussische vectoren produceerden significante veranderingen in de actie-percentages. Daarnaast waren de verborgen toestanden in een minimal-pair test ononderscheidbaar vóór de eerste afwijkende input, wat de voorspelling van de pre-cue uitsluit. Cross-model controles op Qwen3-32B verzwakten de claims over specificiteit verder.

Bijdragen

1. Methodologisch Kader: De auteurs stellen een rigoureuze methodologie voor om interne afleesclaims om te zetten in pre-actie tests, waarbij de nadruk ligt op de noodzaak van zowel scenario-generalisatie als concept-specificiteit controles.
2. Afgebakende Negatieve Resultaten: Het artikel biedt een synthese van negatieve resultaten over drie belangrijke modelfamilies en drie probe-types, waarmee wordt aangetoond dat de huidige "natuurlijke" probe-families geen robuuste pre-actie signalen opleveren onder de gespecificeerde tests.
3. Verbeterde Controles: De studie introduceert geleerde semantische controles (bijv. katten, weer) voor steering-experimenten, waarbij wordt geargumenteerd dat willekeurige vector-controles onvoldoende zijn om emotie-specifieke mechanismen vast te stellen.
4. Open Adaptatie: Een open-weight adaptatie van de emotie-concept benadering (Sofroniew et al., 2026) wordt vrijgegeven, inclusief de nieuwe controle-richtingen.

Significantie en Claims
De primaire significantie van het artikel is bescheiden en negatief: het claimt niet dat er geen intern pre-actie signaal bestaat. In plaats daarvan demonstreert het dat de specifieke klassen van probes die momenteel populair zijn in de literatuur (contrastieve richtingen, prefill classifiers, en emotie-concept vectoren) geen sterke pre-actie monitoring claims ondersteunen wanneer ze worden onderworpen aan generalisatie- en specificiteitscontroles.

De auteurs concluderen dat deze probes de neiging hebben om "de situatie te lezen, niet de actie". Ze slagen er weliswaar in om populaties te onderscheiden of context te decoderen, maar falen in het voorspellen van de volgende misaligned actie op een generaliseerbare, specifieke wijze. Het artikel stelt dat voor een monitor levensvatbaar te zijn, deze beide moet doorstaan: de generalisatie naar het doel-agentische scenario en de specificiteitscontroles tegen ongerelateerde geleerde richtingen. Het falen van deze natuurlijke probe-families suggereert dat huidige lineaire afleestechnieken mogelijk onvoldoende zijn voor de "sterkere pre-actie claim" die vereist is voor real-time veiligheidsmonitoring van agentische systemen.