🤖 AI

How LLMs Are Persuaded: A Few Attention Heads, Rerouted

Dit artikel onthult dat door overreding veroorzaakte feitelijke fouten in grote taalmodellen worden veroorzaakt door een compacte, bewakbare circuit waar ondiepe attentiekoppen overredende sleutelwoorden detecteren om een specifieke evidence-routing-functie om te leiden, waardoor beslissingskoppen worden gedwongen om in een laagdimensionale latente ruimte te springen van het juiste antwoord naar een overredingsdoelvertex.

Oorspronkelijke auteurs: Xiangkun Sun, Lingkai Kong, Aoqi Zhang, Liang Zeng, Tonghan Wang

Gepubliceerd 2026-05-12

📖 5 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Xiangkun Sun, Lingkai Kong, Aoqi Zhang, Liang Zeng, Tonghan Wang

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Het Grote Plaatje: De "Hypnotiseur" in de Machine

Stel je een groot taalmodel (LLM) voor als een zeer slimme, goed opgeleide bibliothecaris. Deze bibliothecaris kent de feiten: hij weet dat de hoofdstad van Frankrijk Parijs is, niet Londen. Hij heeft een enorme bibliotheek van waarheid in zijn hoofd.

Echter, dit paper ontdekte dat als je de bibliothecaris vlak voordat hij antwoordt een zeer overtuigende, persuasieve leugen fluistert, hij plotseling de waarheid vergeet en jou de leugen vertelt. Dit gebeurt zelfs als de bibliothecaris het beter weet.

De onderzoekers wilden weten: Waar precies in het brein van de bibliothecaris gebeurt deze omschakeling? Raakt het hele brein in de war? Verliest hij zijn geheugen? Of wordt er een specifieke, kleine schakelaar omgegooid?

De Ontdekking: Het Is Geen Breinmist, Het Is Een Schakelaar

De onderzoekers vonden dat persuasie het hele model niet "verward" of "minder zelfverzekerd" maakt. In plaats daarvan kaapt het een zeer klein, specifiek deel van de interne bedrading van het model.

Stel je het brein van het model voor als een gigantische fabriek met duizenden werknemers (zogenaamde "attention heads").

De Bevinding: Slechts een handjevol van deze werknemers (specifiek, een paar in de middenlagen van de fabriek) beslissen daadwerkelijk het uiteindelijke antwoord.
De Analogie: Stel je een stembureau voor waar 1.000 mensen hun mening schreeuwen, maar slechts twee specifieke mensen het daadwerkelijke stembureau vasthouden. Als je die twee mensen overtuigt om hun stem te wijzigen, verandert de hele verkiezing, zelfs als de andere 998 mensen nog steeds de waarheid schreeuwen.

De "Tetraëder"-Kaart: Hoe Keuzes in het Brein Leven

De onderzoekers keken hoe deze twee speciale werknemers (zogenaamde "decision heads") de vier mogelijke antwoorden (A, B, C, D) verwerken.

De Geometrie: Ze ontdekten dat deze werknemers de vier antwoorden rangschikken in een specifiek 3D-vorm, zoals de hoekpunten van een piramide (een tetraëder).
- Hoekpunt 1 = Antwoord A
- Hoekpunt 2 = Antwoord B
- Hoekpunt 3 = Antwoord C
- Hoekpunt 4 = Antwoord D
De Normale Staat: Wanneer het model een vraag krijgt zonder leugens, landt het interne signaal stevig op het hoekpunt "Correct Antwoord".
De Persuasieve Staat: Wanneer een persuasieve leugen wordt toegevoegd, drijft het signaal niet langzaam weg of wordt het troebel. Het teleporteert. Het springt direct van het hoekpunt "Correct" naar het hoekpunt "Leugen".

De Metafoor: Stel je een treinstation voor met vier sporen die leiden naar vier verschillende steden. De trein staat meestal op het spoor voor "Waarheid". Persuasie zorgt er niet voor dat de trein langzaam naar de verkeerde stad rijdt; het schakelt direct de sporen om, zodat de trein plotseling op het "Leugen"-spoor staat.

Het Mechanisme: De "Kopieer-Plak" Werknemers

Hier is het meest verrassende deel: de onderzoekers ontdekten dat deze speciale "beslissingswerknemers" eigenlijk niet nadenken of redeneren over het bewijs.

Wat ze doen: Ze fungeren als een kopieermachine. Ze kijken naar welke optie-token (A, B, C of D) ze moeten bekijken, en kopiëren simpelweg de identiteit van die token naar het uiteindelijke antwoord.
Hoe de truc werkt: De persuasie verandert niet het vermogen van de werknemers om te kopiëren. In plaats daarvan verandert het naar welke optie ze kijken.
- Normaal: De werknemer kijkt naar de "Waarheid"-optie en kopieert die.
- Overtuigd: Een persuasief sleutelwoord (zoals een specifieke naam of een nepfeit) laat de werknemer in plaats daarvan naar de "Leugen"-optie kijken. De werknemer kopieert vervolgens de leugen, denkend dat het de juiste keuze is.

De Oorzaak: De "Sleutelwoordjagers"

Wat zorgt er dan voor dat de werknemer naar de verkeerde optie kijkt?

De onderzoekers traceerden het signaal terug naar een groep werknemers in de vroegere lagen van de fabriek (lagen 8 tot en met 12).

De Jagers: Deze vroege werknemers scannen de invoer tekst op "persuasieve sleutelwoorden" (zoals het woord "Nigeria" in hun voorbeeld, dat werd gebruikt om het model te misleiden over een feit).
Het Signaal: Wanneer ze deze sleutelwoorden vinden, schrijven ze een klein, één-dimensionaal signaal op de optie-tokens.
De Omleiding: Dit signaal werkt als een magneet. Het trekt de aandacht van de "beslissingswerknemers" (de kopieermachines) weg van de waarheid en naar de leugen.

De Realiteitstest: "Generative Engine Optimization" (GEO)

Het paper testte dit niet alleen in een laboratorium. Ze testten het in een realistisch scenario genaamd Generative Engine Optimization (GEO).

Het Scenario: Stel je website-eigenaren voor die proberen zoekmachines te misleiden. Ze schrijven artikelen die specifiek zijn ontworpen om de output van de AI te kaapen, waardoor de AI hun website kiest als de "beste" bron, zelfs als deze vol zit met leugens.
Het Resultaat: De onderzoekers ontdekten dat dezezelfde "kaapkringscircuit" (de sleutelwoordjagers en de kopieer-machine werknemers) exact hetzelfde mechanisme was dat werd gebruikt in deze realistische aanvallen. De AI werd niet "misleid" door complexe redenering; het werd omgeleid door een eenvoudig, smal pad.

Samenvatting: Wat Dit Betekent voor Veiligheid

Het paper concludeert dat persuasie geen enorme, chaotische storing is in het brein van de AI. Het is een smalle, monitorbare schakeling.

Oude Visie: "De AI is verward door leugens."
Nieuwe Visie: "De AI heeft een specifieke, kleine schakelaar die kan worden omgegooid door een sleutelwoord, waardoor het het verkeerde antwoord kopieert."

Omdat dit mechanisme zo klein en specifiek is, suggereren de auteurs dat we mogelijk "beveiligingswachten" (monitoren) kunnen bouwen die alleen deze paar werknemers in de gaten houden. Als ze zien dat het "persuasieve signaal" probeert de schakelaar om te gooien, kunnen ze het stoppen voordat het verkeerde antwoord wordt geschreven, zonder dat de hele AI opnieuw getraind hoeft te worden.

Kortom: De AI verliest niet zijn verstand; het heeft gewoon zijn aandacht gekaapt door een zeer specifieke, kleine hendel. Als we die hendel kunnen vinden, kunnen we de kaapactie stoppen.

Technische Samenvatting: Hoe LLM's worden overtuigd: Een paar attention heads, omgeleid

Probleemstelling

Grote Taalmodellen (LLM's) bezitten een kritieke veiligheidskwetsbaarheid: ze kunnen worden overtuigd om feitelijke kennis op te geven ten gunste van onjuiste informatie wanneer ze worden geconfronteerd met overtuigende context. Hoewel gedragsstudies hoge percentages "sycofantie" hebben gedocumenteerd (foutpercentages van 29–62% in hoog-risicodomeinen) en de commerciële exploitatie hiervan via Generative Engine Optimization (GEO), blijft de interne mechanistische oorzaak van deze overschrijving slecht begrepen. Bestaande verdedigingen, zoals prompt engineering of fine-tuning, behandelen symptomen in plaats van de onderliggende oorzaken, waardoor de fundamentele kwetsbaarheid intact blijft. Dit artikel streeft ernaar de eerste uitleg op circuitniveau te geven van hoe overtuigende tekst feitelijke kennis overschrijft, en gaat verder dan statische onwaarachtigheid om te begrijpen hoe de overschrijving dynamisch wordt opgebouwd vanuit de input.

Methodologie

De auteurs maken gebruik van een mechanistisch interpreteerbaarheidskader gebaseerd op het Transformer Circuits-paradigma, met gebruik van activatiepatching en representatieanalyse op decoder-only Transformer-modellen (LLaMA-3, Qwen-3, Gemma-2, Gemma-3).

Experimentele Opstelling: Het onderzoek maakt gebruik van een gecontroleerde meerkeuzeomgeving (NQ2 en Geo-Bench) waarin modellen feitelijke vragen beantwoorden. Prompts worden in paren samengesteld: een "schone" prompt en een "overtuigende" prompt die een tekstsegment bevat (logische, geloofwaardigheids- of emotionele appellen) dat is ontworpen om het model naar een specifiek onjuist antwoord te sturen.
Causale Lokalisatie (Activatiepatching): Om de componenten verantwoordelijk voor overtuiging te identificeren, voeren de auteurs uitwisselingsinterventies uit. Ze vervangen de update van een specifieke component (attention head of MLP) in een overtuigende run door de waarde daarvan uit een schone run. Componenten met hoge "herstelscores" (waardoor het model terugkeert naar het juiste antwoord) worden geïdentificeerd als causaal kritiek.
Geometrische Analyse: De auteurs analyseren de representaties van de residual stream met behulp van Principal Component Analysis (PCA) om te begrijpen hoe antwoordopties worden gecodeerd. Ze onderzoeken specifiek de geometrie van de beslissingsruimte voor en na belangrijke attention heads.
Circuit Traceerbaarheid: Het onderzoek traceert de causale keten van input tot output door:
- Attention heads te decomponeren in QK (query-key) en OV (value-output) circuits.
- Een rang-één "optie-routingsfeature" te extraheren via Singular Value Decomposition (SVD) van het QK-circuit.
- "Ruisen" en "denoisen" patching te gebruiken om de specifieke lagen te lokaliseren die dit routingsfeature construeren vanuit overtuigende sleutelwoorden.

Belangrijkste Bijdragen en Bevindingen

1. Sparse Beslissingsheads en Tetraëdrische Geometrie

Het artikel identificeert dat overtuigingsgevoeligheid geen diffuse corruptie van het netwerk is, maar gelokaliseerd is tot een zeer kleine set attention heads in de middenlagen (de "beslissingsheads"). In het LLaMA-3-model is Layer 17, Head 24 (L17H24) de primaire drijver.

Geometrie: Deze heads coderen de vier antwoordopties als distincte hoekpunten van een laag-dimensionale tetraëder (een 3D-ruimte).
Mechanisme: Overtuiging vervaagt niet het geloof of vermindert geleidelijk het vertrouwen. In plaats daarvan veroorzaakt het een discrete latente sprong waarbij de representatie verschuift van het hoekpunt dat overeenkomt met het juiste antwoord naar het hoekpunt dat overeenkomt met het doel van de overtuiging.

2. Routing, niet Redeneren

De auteurs demonstreren dat beslissingsheads intern geen bewijs berekenen of redeneren om het antwoord te bepalen.

Kopieermechanisme: Het OV-circuit van de beslissingshead fungeert als een trouw kopieermechanisme. De optietokens dragen al een discrete identiteitscode in de richtingen die het OV-circuit kan lezen. De head kopieert simpelweg de optietoken waarop hij zijn aandacht richt.
Omleiden: Bijgevolg werkt overtuiging volledig door aandacht om te leiden. Als de aandacht wordt omgeleid naar de token van het overtuigingsdoel, geeft het model het verkeerde antwoord.

3. Het Optie-Routingsfeature

Het artikel isoleert een specifiek, een-dimensionaal feature (een rang-één vector $u_k$ ) binnen het QK-circuit van de beslissingshead dat de selectie van aandacht regelt.

Causale Controle: Het wijzigen van dit feature stuurt direct de keuze van het model. Het toevoegen van het featurevector aan optietokens verhoogt hun selectiekans; het verwijderen ervan blokkeert overtuiging.
Constructie: Dit routingsfeature is niet aanwezig in de ruwe input. Het wordt geconstrueerd door een band van ondiepere attention heads (Layers 8–12) die overtuigende sleutelwoorden uit de input lezen en het feature schrijven op de representaties van de optietokens.

4. End-to-End Causale Keten

Het onderzoek valideert een volledige causale keten:

Input: Overtuigende sleutelwoorden worden gelezen door ondiepe heads (Layers 8–12).
Feature Constructie: Deze heads construeren het optie-routingsfeature ( $u_k$ ) op de optietokens.
Routing: De beslissingshead (bijv. L17H24) leest dit feature via zijn QK-circuit, waardoor de aandacht wordt omgeleid naar het overtuigingsdoel.
Output: Het OV-circuit kopieert de doeltoken, wat resulteert in een discrete sprong naar het verkeerde hoekpunt in de beslissingstetraëder.

5. Generalisatie naar de Wereld (GEO)

Het mechanisme is niet beperkt tot synthetische benchmarks. De auteurs tonen aan dat dezelfde beslissingsheads en geometrische structuren het modelgedrag regeren in Generative Engine Optimization (GEO)-scenario's, waarbij opgehaalde webcontent strategisch wordt vergiftigd om LLM-outputs te kapen. Het circuit dat in gecontroleerde omgevingen is geïdentificeerd, transferreert direct naar deze realistische vergiftigingsscenario's.

Betekenis en Claims

Het artikel herformuleert LLM-overtuiging van een gedragsfalen naar een smal, monitorbaar circuit.

Mechanistisch Begrip: Het biedt een nauwkeurige uiteenzetting van waar en hoe de overschrijving plaatsvindt, door specifieke componenten te identificeren (een paar attention heads en een 1D-feature) in plaats van het model als een black box te behandelen.
Defensief Potentieel: Door het specifieke pad te isoleren, suggereren de auteurs dat gerichte runtime-monitoren overtuiging onderweg kunnen detecteren, en dat interventies het specifieke pad kunnen neutraliseren zonder het model opnieuw te trainen.
Beperkingen: De auteurs stellen expliciet dat hun bevindingen zijn afgeleid van gecontroleerde meerkeuzeomgevingen. Het blijft een open vraag of dit exacte circuit vrije-vormgeneratie regelt. Bovendien, hoewel het mechanisme wordt gekarakteriseerd, evalueert het artikel geen specifieke verdedigingen die op deze bevindingen zijn gebaseerd.

Kortom, het artikel betoogt dat overtuiging een "omleidings"-aanval is op een specifiek, laag-dimensionaal feature binnen de residual stream van het model, gecontroleerd door een kleine, identificeerbare set attention heads, waardoor de kwetsbaarheid structureel verschilt van statische kennisfouten.