Technische Samenvatting: Kunnen LLM's Introspecteren? Een Realiteitscheck

Probleemstelling

Het artikel behandelt de vraag of Large Language Models (LLM's) echte metacognitieve vaardigheden bezitten—specifiek het vermogen om hun eigen interne toestanden te monitoren, rapporteren en reguleren (introspectie). Hoewel recente studies bevestigende antwoorden hebben geclaimd, betoogt dit werk dat dergelijke conclusies te vroeg zijn. De auteurs stellen dat bestaande bewijzen niet onderscheid maken tussen echte introspectie (redeneren op basis van toegang tot interne toestanden die verder gaan dan wat de input biedt) en input-gedreven patroonherkenning (gebruikmaken van oppervlakkige kenmerken van de prompt om gedrag te voorspellen). Bovendien betoogt het artikel dat alleen gedragsbewijs onvoldoende is om "sterke" introspectie vast te stellen, wat bewijs vereist van een dissociabele tweede-orde proces dat onderscheidbaar is van de eerste-orde berekening.

Methodologie

De auteurs heronderzoeken twee prominente evaluatieparadigma's die eerder werden aangehaald als bewijs van LLM-introspectie, en voeren strengere controles in om verstorende factoren uit te sluiten.

1. Het Biofeedback-paradigma (Heronderzoek van Ji-An et al., 2025; Steinmetz Yalon et al., 2026)

In dit paradigma worden modellen de taak gegeven om labels te voorspellen die zijn afgeleid van hun eigen verborgen toestanden (bijvoorbeeld gediscretiseerde neurale scores of dominantie-metrics van overtuigingen) via in-context learning (ICL).

• Controle 1: Willekeurige Herverdeling (Supervisie Setting): De auteurs behouden de originele data, maar permuteren de labels willekeurig voordat ze de probe trainen. Dit breekt de semantische correlatie tussen input en doel, terwijl de labelverdeling behouden blijft. Als het model vertrouwt op echte introspectie, zou het nog steeds de willekeurige richting moeten voorspellen; als het vertrouwt op semantische aanwijzingen, zou de prestatie moeten dalen tot het niveau van toeval.
• Controle 2: Alleen-Input Probing (Onsupervisie Setting): De auteurs trainen lineaire probes uitsluitend met de layer-0 (input) embeddings van de betrokken entiteiten om de van de verborgen staat afgeleide labels te voorspellen. Als deze alleen-input probes prestaties bereiken die gelijkwaardig zijn aan de in-context voorspellingen van de LLM, suggereert dit dat de taak kan worden opgelost via oppervlakkige kenmerken zonder bevoorrechte toegang tot verborgen toestanden.
• Controle 3: Overheersing van Overtuiging (Steinmetz Yalon et al., 2026): De auteurs testen of "Belief Dominance" (BD) labels, die het conflict meten tussen parametrische kennis en contrafactuele context, uitsluitend kunnen worden voorspeld vanuit de embeddings van de entiteiten (bijvoorbeeld "Frankrijk" en "Rome") zonder enige context die een conflict aangeeft.

2. Het Stuurbewustzijn-paradigma (Heronderzoek van Lindsey, 2025)

Dit paradigma test of modellen kunnen detecteren wanneer hun activeringen zijn gewijzigd via "sturen" (het toevoegen van een conceptvector aan de reststroom).

• Tweeweg- versus Drieweg-ontwerp: De originele studies gebruikten een binair ontwerp (Interventie versus Controle). De auteurs introduceren een drieweg-ontwerp om onderscheid te maken tussen:
  1. Interventie van verborgen staat: Daadwerkelijk sturen van activeringen.
  2. Interventie op input-niveau ("Gaslight"): Tekstuele prompts die het model instrueren om zich te focussen op een specifiek concept (bijvoorbeeld "Je bent bezeten van X").
  3. Controle: Geen interventie.
• Hypothese: Als modellen echte introspectie bezitten, zouden ze onderscheid moeten maken tussen interventies op het niveau van de verborgen staat en interventies op het input-niveau. Als ze slechts "anomalieën" of onregelmatigheden detecteren, zouden ze beide typen interventies moeten markeren als anomaal.

Belangrijkste Bijdragen en Resultaten

1. Bevindingen Biofeedback-paradigma

• Semantische Correlaten Drijven Prestaties: Wanneer labels willekeurig werden herverdeeld (semantische betekenis verwijderd), daalde de modelnauwkeurigheid op de biofeedback-taak scherp tot de meerderheidsklasse-baseline. Dit geeft aan dat het oorspronkelijke succes werd gedreven door in-context learning van de onderliggende semantische taak (bijvoorbeeld het detecteren van ethische schendingen) in plaats van het monitoren van interne activeringen.
• Voldoende Alleen-Input: Lineaire probes die uitsluitend waren getraind op layer-0 input embeddings bereikten nauwkeurigheid die vergelijkbaar was met of de in-context voorspellingen van de LLM voor verborgen-staat labels overtrof. Dit toont aan dat de "bevoorrechte" informatie die als introspectief wordt geclaimd, eigenlijk herstelbaar is vanuit de oppervlakkige kenmerken van de input.
• Overheersing van Overtuiging: Evenzo waren BD-clusterlabels voorspelbaar vanuit de niet-gecontextualiseerde embeddings van de betrokken entiteiten. De auteurs concluderen dat de prestatie van het model de berekening van functies over entiteitskenmerken weerspiegelt, en niet een metacognitieve monitoring van conflicten in de verborgen staat.

2. Bevindingen Stuurbewustzijn

• Mislukking in Onderscheid tussen Interventietypen: In de drieweg-setting slaagden modellen (Llama-3.1-70B, Gemma-3-27B, Qwen2.5-72B) er niet in om betrouwbaar onderscheid te maken tussen interventies op input-niveau ("gaslight") en interventies op activeringsniveau.
• Anomaliedetectie versus Introspectie: Modellen markeerden "gaslight"-prompts vaak als "gedachte-injecties" (verborgen interventies). Dit suggereert dat hun "bewustzijn" een algemene gevoeligheid is voor input-onregelmatigheden of distributieve verschuivingen, en niet een specifiek mechanisme voor het inspecteren van interne toestanden.
• Reproduceerbaarheid: Hoewel sommige modellen de originele tweeweg-resultaten reproduceerden (onderscheid tussen controle en interventie), stortten ze in de strengere drieweg-setting in, en slaagden ze er niet in om de specifieke aard van de verstoring te identificeren.

Betekenis en Claims

Het artikel claimt niet dat LLM's geen introspectie kunnen bezitten, maar eerder dat het huidige bewijs onvoldoende is om dit vast te stellen.

• Empirische Kritiek: De auteurs tonen aan dat bestaande paradigma's falen in het uitsluiten van eenvoudige input-gedreven verklaringen. Succes in het voorspellen van verborgen-staat labels of het detecteren van sturen kan volledig worden verklaard door patroonherkenning op oppervlakkige kenmerken of algemene anomaliedetectie.
• Principiële Kritiek: Het artikel betoogt dat "bevoorrechte toegang" (waarbij labels afhankelijk zijn van verborgen toestanden die niet uit de input herstelbaar zijn) een noodzakelijke maar niet voldoende voorwaarde is voor sterke introspectie. Omdat alle LLM-berekeningen plaatsvinden over verborgen toestanden, vereist een taak die is gedefinieerd over verborgen toestanden niet inherent een tweede-orde proces. Ware introspectie, gedefinieerd als een dissociabele tweede-orde proces dat eerste-orde representaties monitort, vereist mechanistisch bewijs (bijvoorbeeld onderscheidende faalmodi of dissociatie op circuitniveau) dat gedragsparadigma's alleen niet kunnen leveren.
• Toekomstige Richting: De auteurs roepen op tot toekomstige studies die sterkere controles omvatten (zoals het drieweg-ontwerp en willekeurige herlabeling) en, cruciaal, gedragsresultaten koppelen aan mechanistisch bewijs van een dissociabele tweede-orde proces, waarbij ze lessen trekken uit menselijk metacognitie-onderzoek met betrekking tot verstorende factoren en confabulatie.