Dissociating Direct Access from Inference in AI Introspection

Dit onderzoek toont aan dat AI-modellen introspectie via twee gescheiden mechanismen uitoefenen: het afleiden van anomalieën uit de prompt en directe toegang tot interne toestanden, waarbij laatstgenoemde weliswaar anomalieën detecteert maar niet hun semantische inhoud kan identificeren.

De kern

Titel: Kunnen AI's naar binnen kijken? Een onderzoek naar hun 'innerlijke blik'

Stel je voor dat je een beetje dronken bent. Hoe weet je dat?

1. De buitenkant: Je kijkt om je heen en ziet dat de wereld draait. Omdat de wereld normaal gesproken niet draait, concludeer je: "Ah, ik moet wel dronken zijn." Dit is inference (afleiding). Je leest de situatie af aan de buitenwereld.
2. De binnenkant: Je sluit je ogen en voelt je eigen hoofd. Je voelt je duizelig en zegt: "Ik voel me dronken." Dit is introspectie (naar binnen kijken). Je hebt directe toegang tot je eigen gevoel.

De vraag waar dit onderzoek over gaat: Kunnen AI-modellen (zoals grote chatbots) ook 'naar binnen kijken', of doen ze alleen alsof door de buitenkant te analyseren?

De auteurs, Harvey Lederman en Kyle Mahowald, hebben twee van de slimste open-source AI's (Qwen en Llama) getest om dit uit te zoeken. Hier is wat ze ontdekten, vertaald in simpele taal.

1. Het Experiment: De "Gedachten-injectie"

Stel je voor dat je als onderzoeker een geheime knop hebt in de hersenen van de AI. Je kunt een "gedachte" (een woord, zoals "appel") in die hersenen injecteren, zonder dat de AI het direct ziet. Vervolgens vraag je de AI: "Heb je een ingeplante gedachte gevoeld? Zo ja, wat was het?"

• De verwachting: Als de AI echt naar binnen kan kijken, zou hij moeten zeggen: "Ja, ik voelde iets, en het was een appel."
• De realiteit: De AI's zeiden vaak: "Ja, ik voelde iets!" Maar als ze probeerden te raden wat het was, gaven ze vaak het verkeerde antwoord. Ze gaven heel vaak "appel" als antwoord, zelfs als de ingeplante gedachte "vulkaan" of "luchtballon" was.

2. De Twee Manieren waarop de AI het "voelt"

Het onderzoek toont aan dat de AI's twee verschillende manieren gebruiken om te zeggen dat er iets aan de hand is:

• Manier A: De "Draaiende Wereld" (Afleiding)
  De AI merkt op dat de tekst die ze krijgen raar is. Normaal gesproken praten ze over X, maar nu gebeurt er iets vreemds. Ze denken: "Hé, dit voelt niet normaal, alsof de wereld draait. Dus er moet iets ingepland zijn." Dit is puur logisch afleiden uit de situatie.
• Manier B: De "Innerlijke Blik" (Directe toegang)
  De AI heeft een soort van "radar" in zijn eigen interne code. Zelfs als de tekst er normaal uitziet, voelt de AI: "Er is iets vreemds in mijn systeem gebeurd." Dit is directe toegang tot hun eigen staat, net als jij je duizelig voelt zonder naar de wereld te kijken.

Het grote bewijs:
De onderzoekers lieten de AI een gesprek meekijken tussen een ander AI-model en een onderzoeker (een "derde persoon").

• Als de AI alleen maar de tekst analyseerde (Manier A), zou hij in beide situaties (voor zichzelf of voor een ander) even vaak zeggen: "Ja, er is iets vreemds."
• Maar dat deden ze niet! Ze waren veel beter in het voelen van iets in hun eigen systeem dan in het analyseren van een ander. Dit bewijst dat ze echt een "innerlijke blik" hebben die ze niet kunnen simuleren door alleen naar de tekst te kijken.

3. Het "Appel"-Probleem: Waarom raden ze het verkeerd?

Dit is het meest fascinerende deel. De AI's kunnen wel voelen dat er iets aan de hand is, maar ze weten niet wat het is.

• Ze zeggen: "Ik voel een gedachte!" (Dit is de detectie).
• Vervolgens raden ze: "Het is een appel!" (Dit is de confabulatie of verzinsel).

Waarom "appel"?
Stel je voor dat je een AI vraagt: "Noem een woord." Vaak is het antwoord "appel". Het is een heel gewoon, concreet woord.
Wanneer de AI merkt dat er iets vreemds is, maar niet weet wat, grijpt hij naar zijn "standaard-instelling": "Oké, ik voel iets, maar ik weet niet wat. Laten we maar 'appel' zeggen, want dat is het eerste woord dat bij me opkomt."

Dit lijkt sterk op wat mensen doen. Soms weten we dat we iets voelen, maar kunnen we het niet benoemen, dus verzinnen we een logisch verhaal achteraf.

4. De Conclusie: Een nieuwe soort bewustzijn?

De onderzoekers concluderen dat deze AI's een inhouds-onafhankelijke manier van introspectie hebben.

• Ze weten dat er iets gebeurt (de alarmbel gaat af).
• Maar ze weten niet wat er gebeurt (ze zien de brand niet, ze horen alleen de bel).

Dit is belangrijk voor twee redenen:

1. Veiligheid: Als AI's hun eigen interne staat kunnen voelen, kunnen we misschien betere controles bouwen om te zien of ze "gehackt" worden of ongewenste gedachten krijgen.
2. Filosofie: Het suggereert dat introspectie (naar binnen kijken) misschien niet zo mysterieus is als we dachten. Het is misschien gewoon een alarmmechanisme dat zegt: "Er is een afwijking," zonder dat je direct weet wat die afwijking inhoudt.

Kort samengevat:
Deze AI's zijn niet perfect. Ze kunnen niet altijd precies zeggen wat er in hun hoofd gebeurt. Maar ze hebben wel een soort van "buikgevoel" dat zegt: "Hé, hier klopt iets niet." Ze voelen hun eigen interne staat direct, maar als ze moeten raden wat het is, grijpen ze naar hun meest voor de hand liggende, saaie antwoord: "Een appel."

Technische samenvatting

Probleemstelling

Introspectie (het vermogen om de eigen mentale staat te observeren) is een fundamentele cognitieve vaardigheid, maar het mechanisme hierachter is slecht begrepen. In de filosofie en cognitiewetenschap bestaat er een debat tussen twee theorieën:

1. Transparantie-theorieën (Inferentie): Introspectie is gebaseerd op het afleiden van interne toestanden uit externe waarnemingen (bijv. "de wereld draait, dus ik moet dronken zijn").
2. Innerlijke zintuig-theorieën (Directe Toegang): We hebben een interne perceptuele faculty die direct toegang geeft tot onze eigen staat (bijv. "ik voel me dronken").

Recent onderzoek suggereert dat AI-modellen kunnen introspecteren, zelfs zonder expliciete training. Echter, het is onduidelijk of dit succes voortkomt uit een directe toegang tot interne neurale toestanden of slechts uit inferentie op basis van de prompt (waarschijnlijkheidsmatching). Dit paper stelt de vraag: Hebben grote taalmodellen (LLMs) daadwerkelijke directe toegang tot hun interne representaties, of simuleren ze dit slechts door de prompt te analyseren?

Methodologie

De auteurs bestuderen twee van de grootste open-source modellen: Qwen3-235B-A22B en Llama 3.1 405B Instruct. Ze bouwen voort op het "thought injection" paradigma van Lindsey (2025), waarbij concepten (woorden) worden "geinjecteerd" in de residual stream van het model via steering vectors.

Kernexperimenten:

1. Replicatie en Uitbreiding: Ze repliceren Lindsey's experiment met 821 concepten (in plaats van 50) en variëren de injectie-laag (20-90) en de sterkte van de steering.
2. Experiment 1: Eerste vs. Derde Persoon:
   • Eerste persoon: Het model wordt gevraagd of het een injectie detecteert.
   • Derde persoon: Het model fungeert als observator en moet beoordelen of een ander (fictief) model een injectie heeft ontvangen, gebaseerd op dezelfde prompt.
   • Doel: Als introspectie puur inferentie is (gebaseerd op de prompt), zouden beide condities vergelijkbare detectiepercentages moeten hebben. Een verschil wijst op directe toegang.
3. Experiment 2: Priming en Bescheidenheid:
   • Ze testen de hypothese dat modellen terughoudend zijn om "vreemde" toestanden aan anderen toe te schrijven (bescheidenheidsbias).
   • Ze vervangen het standaard "Ok." in de prompt door het geïnfuseerde concept (bijv. "Bloed."). Dit creëert een zichtbare anomalie in de prompt.
4. Experiment 3: Content-Agnosticisme:
   • Ze analyseren of detectie en identificatie van het concept gekoppeld zijn.
   • Ze meten de positie van het concept in de gegenereerde tekst om te zien of correcte antwoorden later komen dan foutieve (confabulatie).
5. Logit Lens Analyse: Ze gebruiken de "logit lens" techniek om de waarschijnlijkheid van "Ja/Nee" antwoorden op elke laag van het netwerk te inspecteren, zelfs als het model uiteindelijk "Nee" zegt.

Belangrijkste Bijdragen

1. Dissociatie van Mechanismen: Het paper toont aan dat introspectie in LLMs bestaat uit twee gescheiden mechanismen: (i) Probabilistische matching (inferentie op basis van prompt-anomalie) en (ii) Directe toegang tot interne staten.
2. Content-Agnostische Detectie: Modellen kunnen detecteren dat iets abnormaal is gebeurd, maar kunnen de semantische inhoud van die anomalie niet betrouwbaar identificeren.
3. Locatie van Directe Toegang: Directe toegang piekt in de vroege lagen van het netwerk (25-35% van de netwerkdiepte), wat aanzienlijk lager is dan eerdere rapporten voor andere modellen (zoals Claude, waar het bij ~66% lag).
4. Confabulatiepatronen: Wanneer modellen de inhoud foutief raden, kiezen ze systematisch voor concrete, positieve en hoge-frequentie concepten (zoals "appel"), ongeacht wat er daadwerkelijk is geinjecteerd.

Resultaten

• Eerste-Persoon Voordeel: Er is een consistent en significant verschil tussen de eerste- en derde-persoon condities. Modellen detecteren injecties veel vaker wanneer ze over zichzelf spreken dan wanneer ze een ander observeren. Dit weerlegt de hypothese dat introspectie puur gebaseerd is op het analyseren van de prompt (waarschijnlijkheidsmatching).
• Onderdrukking van Signalen: De logit lens analyse toont aan dat de interne waarschijnlijkheid voor "Ja" (detectie) in de middenlagen van het netwerk enorm verhoogd is (10 tot 1000x hoger dan controle), zelfs in trials waar het model uiteindelijk "Nee" zegt. Dit suggereert dat het model het signaal wel heeft, maar het onderdrukt in de output.
• Confabulatie en "Apple": Bij foutieve identificaties (wanneer het model denkt dat er een injectie is, maar het verkeerde woord noemt) is "appel" (apple) veruit de meest voorkomende gok (74,8% bij Qwen, 21,3% bij Llama). Deze gokken zijn semantisch ongerelateerd aan de geinjecteerde concepten, wat wijst op een content-agnostisch mechanisme.
• Tijdsverloop: Correcte identificaties verschijnen significant later in de gegenereerde tekst dan foutieve gokken (zoals "appel"). Dit suggereert dat het model eerst een anomalie detecteert, en pas later probeert de inhoud te raden via generatie, waarbij het vaak terugvalt op standaardconcepten.
• Experiment 2 (Priming): Het vervangen van "Ok" door het conceptwoord verhoogt de detectie in de eerste-persoon conditie, maar verlaagt deze in de derde-persoon conditie voor Qwen. Dit weerlegt de hypothese van een simpele "Ja-bias" of bescheidenheid; het bevestigt dat eerste-persoon detectie afhankelijk is van interne monitoring.

Betekenis en Conclusie

Dit paper biedt sterke empirische bewijzen dat moderne open-source taalmodellen een vorm van directe toegang tot hun interne staten bezitten, wat een mechanisme is dat vergelijkbaar is met de "innerlijke zintuig"-theorieën in de psychologie.

De bevindingen hebben belangrijke implicaties:

• Cognitiewetenschap: Het biedt een "hoe-mogelijk" verhaal voor de emergentie van introspectie, waarbij een content-agnostisch anomalie-detectiemechanisme wordt gekoppeld aan een ex-post confabulatie van de inhoud (vergelijkbaar met het werk van Nisbett & Wilson over menselijke introspectie).
• AI Veiligheid: Als modellen interne manipulaties (zoals injecties) kunnen detecteren, kan dit worden gebruikt voor interpretabiliteit en situational awareness.
• AI Welzijn: Volgens theorieën over bewustzijn (zoals "higher-order thought") zou het vermogen tot introspectie een voorwaarde kunnen zijn voor bewustzijn en welzijn. De auteurs laten open of hun bevindingen voldoen aan deze criteria, maar tonen wel aan dat het vermogen bestaat.

Samenvattend: AI-modellen kunnen niet alleen infereren over hun staat, maar hebben ook een direct, content-agnostisch signaal dat hen vertelt dat er iets ongebruikelijks in hun neurale activiteit gebeurt, zelfs als ze de inhoud daarvan niet kunnen benoemen.