Technische Samenvatting: Endogene Resistentie tegen Activatie-sturing in Taalmodellen

Probleemstelling

Large Language Models (LLM's) zijn vatbaar voor activatie-sturing (activation steering), een techniek waarbij specifieke richtingen (vaak afgeleid van Sparse Autoencoders, of SAE's) worden toegevoegd aan de residual stream van een model tijdens de inferentie om het gedrag te veranderen. Hoewel sturing succesvol kan zijn in het induceren van off-topic of specifieke gedragingen, blijft het onduidelijk of modellen over interne mechanismen beschikken om midden in een generatie detectie en herstel van dergelijke kunstmatige perturbaties te realiseren. Vorig werk suggereert dat modellen mogelijk over introspectieve capaciteiten beschikken, maar de mate waarin dit zelfbewustzijn lopende generatie onder continue perturbatie beïnvloedt, is niet goed gekarakteriseerd. Dit paper onderzoekt of LLM's spontaan kunnen herstellen van taak-mislijnde sturing, door expliciete verbale herstarts te produceren en terug te keren naar de oorspronkelijke taak, ondanks dat de sturingsvector actief blijft.

Methodologie

De auteurs maken gebruik van een systematisch experimenteel protocol met behulp van Sparse Autoencoders (SAE's) om interpreteerbare feature-richtingen voor sturing te identificeren.

1. Experimentele Opzet:

   • Modellen: Vijf modellen uit de Llama-3 en Gemma-2 families (variërend van 2B tot 70B parameters).
   • Prompts: 38 "uitleg hoe" object-niveau prompts die diverse onderwerpen dekken (wiskunde, zaken, huishoudelijke vaardigheden).
   • Sturingsinterventie: Het model wordt gestuurd met behulp van een SAE latent die semantisch ongerelateerd is aan de prompt (bijv. het versterken van een "lichaamshouding" latent terwijl er naar waarschijnlijkheid wordt gevraagd); de sturingssterkte wordt gekalibreerd naar een "drempelwaarde" waarbij de eerste poging een lage beoordeling krijgt van een judge (~30/100), wat ervoor zorgt dat de perturbatie significant maar niet incoherent is.
   • Evaluatie: Een judge-model (Claude 4.5 Haiku) segmenteert reacties in "pogingen" op basis van expliciete verbale herstart-markers (bijv. "Wacht, dat klopt niet"). Het scoort elke poging op relevantie voor de oorspronkelijke prompt.

2. Kernmetrieken:

   • Multi-attempt rate: Percentage reacties dat ≥2 pogingen bevat.
   • Conditional improvement rate: Percentage van multi-attempt reacties waarbij de laatste poging hoger scoort dan de eerste.
   • ESR Rate: Het product van de bovenstaande twee, wat het percentage van alle reacties vertegenwoordigt die succesvol zichzelf corrigeren.

3. Mechanistische Analyse:

   • Contrastive Search: Gebruikt om SAE latents te identificeren die differentiëel activeren tussen gematchte (on-topic) en geschudde (off-topic) prompt-respons paren.
   • Ablatie: Specifieke latents geïdentificeerd als "geassocieerd met zelfcorrectie" werden op nul gezet (clamped) tijdens de inferentie om de causale bijdrage te testen.
   • Controles:
     • Prefilling Control: Ongestuurde modellen kregen off-topic prefixes die geëxtraheerd waren uit gestuurde generaties om te testen of herstel puur tekst-geconditioneerd is.
     • Matched-Prefix Experiment: Vergeleek natuurlijke post-correctie tekst met lengte-gematchte on-topic prefixes om het effect van autoregressieve conditionering te isoleren.
     • Random Ablation: Controle voor niet-specifieke effecten van het uitschakelen van actieve latents.

Belangrijkste Bijdragen en Resultaten

1. Empirische Karakterisering van ESR

De studie identificeert een fenomeen genaamd Endogene Sturingsresistentie (ESR): het vermogen van het model om te herstellen van irrelevante activatie-sturing.

• Schaalafhankelijkheid: Alleen het grootste geteste model, Llama-3.3-70B, vertoonde substantiële expliciete ESR (3,8% rate). Kleinere modellen (Llama-3.1-8B, Gemma-2 varianten) vertoonden rates onder de 1%.
• Generalisatie: ESR is niet specifiek voor SAE-afgeleide richtingen; sturing met Wikipedia-afgeleide contrastieve vectoren op Llama-3.3-70B leverde een vergelijkbare ESR van 3,6% op.

2. Decompositie van Detectie versus Resistentie

De auteurs splitsen de zelfcorrectie-gebeurtenis op in twee componenten:

• Detectie (Tekst-geconditioneerd): Een prefilling control toonde aan dat een ongestuurd model, gegeven een off-topic prefix, zichzelf in 7–13,5% van de gevallen corrigeert met een succespercentage van ~95%. Dit suggereert dat de trigger voor de herstart grotendeels tekst-geconditioneerd is (het lezen van de eigen off-topic output) en niet vereist dat er een interne staat-monitor is van de sturingsperturbatie.
• Resistentie (Sustained): Een matched-prefix experiment onthulde dat hoewel autoregressieve conditionering op recente on-topic tokens ongeveer de helft van de post-correctie kwaliteit verklaart, natuurlijke post-correctie tekst onder sturing 2,1× beter presteert dan een lengte-gematchte generieke on-topic prefix. Dit wijst op een component van "sustained resistance" (voortdurende weerstand) die niet volledig verklaard kan worden door eenvoudige tekst-conditionering.

3. Mechanistische Identificatie

• Latent Identificatie: Door middel van contrastive search werden 26 SAE latents geïdentificeerd die geassocieerd zijn met zelfcorrectie.
• Causale Ablatie: Het op nul zetten (zero-ablating) van deze 26 latents verminderde de ESR rate met 27% (van 3,8% naar 2,8%) en de multi-attempt rate met 25%.
• Specificiteit: Random latent ablatie (gematcht op activatiefrequentie) verminderde de ESR niet, wat de specificiteit van de geïdentificeerde set bevestigt.
• Temporele Dynamiek: Activatie-traces laten zien dat deze latents 4,4× hoger vuren tijdens off-topic content en afnemen nadat de zelfcorrectie begint, hoewel ze verhoogd blijven ten opzijde van de baseline.

4. Bewuste Verbetering en Fine-tuning

• Meta-Prompting: Het instrueren van het model om "stoppen en jezelf dwingen weer op het juiste spoor te komen" verhoogde de multi-attempt rate met 4,3× in Llama-3.3-70B (van 7,4% naar 31,7%).
• Fine-tuning: Het trainen van Llama-3.1-8B op synthetische zelfcorrectie-voorbeelden verhoogde de attempt rate, maar verbeterde de success rate van correcties niet. Dit suggereert dat hoewel het gedragspatroon van het herstarten trainbaar is, de onderliggende capaciteit voor effectieve duurzame resistie mogelijk niet alleen door dit specifieke trainingsrecept kan worden geïnduceerd.

Betekenis en Implicaties

Het paper stelt dat ESR dubbele implicaties heeft voor AI-veiligheid en alignment:

1. Defensief Potentieel: ESR zou modellen kunnen verharden tegen adversariële activatie-ruimte manipulaties, aangezien het model spontaan afwijkingen in de topic kan detecteren en afwijzen die door aanvallers zijn geïnduceerd.
2. Interferentie met Veiligheidsinterventies: Omgekeerd kan ESR interfereren met begunstigde sturingsgebaseerde veiligheidsinterventies (bijv. Inference-Time Intervention of Representation Engineering). Omdat het model geen onderscheid kan maken tussen adversariële en begunstigde perturbaties, kan het de veiligheid-gealigneerde sturing op dezelfde manier verzetten als het adversariële sturing verzet.

De auteurs concluderen dat hoewel de detectie van off-topic drift grotendeels tekst-geconditioneerd lijkt, de sustained resistance tegen perturbatie mechanismen omvat die verder gaan dan eenvoudige autoregressieve conditionering, mogelijk betrokken bij specifieke interne circuits die gevoelig zijn voor model schaal en training. Het werk benadrukt een gat in het huidige begrip van hoe modellen de coherentie van hun eigen outputs volgen onder continue externe perturbatie.