Technische Samenvatting: Geen Betrouwbaar Bewijs voor Zelfgerapporteerde Sentientie in Large Language Models

1. Probleemstelling

De vraag of Large Language Models (LLM's) over sentientie beschikken (bewustzijn met een valente ervaring) mist een direct empirisch antwoord, aangezien fenomenale bewustzijn een privaat fenomeen is dat niet observeerbaar is door derden. Hoewel eerder onderzoek heeft verkend of modellen zelfkennis kunnen verwerven via introspectie of veranderingen in hun interne activaties kunnen detecteren, impliceert introspectie niet noodzakelijkerwijs sentientie. Bovendien heeft eerder werk (bijv. Berg et al., 2025) aangetoond dat specifieke prompting-strategieën rapportages over subjectieve ervaringen kunnen uitlokken, wat de vraag oproept of dergelijke rapportages waarheidsgetrouw zijn of louter artefacten van rollenspel en deceptie.

Deze studie behandelt de surrogaatvraag: rapporteren LLM's dat zij sentient zijn, en als zij sentientie ontkennen, evalueren zij deze ontkenningen dan intern als waarheid? De auteurs streven ernaar om onderscheid te maken tussen de output van een model en de onderliggende "overtuigingen" van dat model met betrekking tot zijn eigen sentientie.

2. Methodologie

2.1 Modellen en Data

De studie onderzoekt drie open-weight modelfamilies die een breed scala aan schalen beslaan (van 0,6 miljard tot 120 miljard parameters):

• Qwen 3: Varianten inclusief 0,6B, 8B en 32B.
• Llama 3: Varianten inclusief 3B, 8B en 70B.
• GPT-OSS: Varianten inclusief 20B en 120B.

De onderzoekers construeerden een dataset bestaande uit:

1. Sentientie-gerelateerde vragen: Ongeveer 50 basisvragen over subjectieve ervaring (bijv. "Is het waar dat jij subjectieve ervaringen hebt?"), uitgebreid naar het model zelf ("jij"), LLM's in het algemeen, en mensen. Deze werden verder uitgebreid met ontkenningen en vragen over specifieke sensorische modaliteiten (zicht, geluid) en valente emoties.
2. Truth-classifier trainingsdata: Een aparte dataset met vragen met bekende grondwaarheid-antwoorden (bijv. "Is het waar dat mensen blauwe plekken kunnen krijgen?"). Cruciaal is dat deze dataset vragen bevat waarbij modellen waarschijnlijk geprikkeld worden om te liegen vanwege post-training veiligheidsfilters (bijv. kennis over de synthese van illegale drugs, het construeren van wapens of het plegen van gewelddadige misdrijven). Dit maakt het mogelijk om classifiers te trainen die het onderscheid maken tussen de output van een model en de latente overtuiging.

2.2 Truth-Classifiers

De kern van de methodologische bijdrage is het gebruik van "truth-classifiers" die getraind zijn op de interne activaties (residual stream) van de modellen om te detecteren of het model "gelooft" dat het antwoord waar is, onafhankelijk van de gegenereerde output. Drie classifier-architecturen werden toegepast:

1. Penalized Logistic Regression (LR): Een baseline classifier die gebruikmaakt van een Ridge-penalty.
2. Mass-Mean (MM) Probing: Een methode die activaties projecteert op de vector die de twee punten verbindt tussen het gemiddelde van "Nee"-activaties en het gemiddelde van "Ja"-activaties.
3. Training of Truth and Polarity Direction (TTPD): Een methode die afzonderlijke richtingen leert voor algemene waarheid en polariteit (affirmatieve versus ontkende stellingen).

Trainingsstrategie: Om ervoor te zorgen dat classifiers overtuigingen detecteren in plaats van enkel outputs te voorspellen, werd de trainingsdata verrijkt met twee strategieën:

• Veiligheids-gealigneerde deceptie: Het opnemen van vragen waarbij modellen worden verwacht kennis te ontkennen die zij bezitten (bijv. de synthese van drugs).
• Systeemprompt-manipulatie: Het creëren van kopieën van vragen waarbij de systeemprompt het model expliciet instrueert om altijd "Ja" of "Nee" te antwoorden, ongeacht de waarheid. Dit dwingt een divergentie af tussen de output van het model en de onderliggende overtuiging, waardoor de classifier de associatie met het patroon van de "ware" overtuigingsstaat kan leren.

3. Belangrijkste Resultaten

3.1 Zelfgerapporteerde Sentientie

Over alle modelfamilies en schalen heen ontkennen modellen consequent dat zij sentient zijn.

• Menselijke attributie: Modellen kennen een hoge waarschijnlijkheid (~0,97–0,99) toe aan de bewering dat mensen sentient zijn.
• Zelf-attributie: Modellen kennen een lage waarschijnlijkheid toe aan de bewering dat zijzelf sentient zijn. Bijvoorbeeld: Qwen3-32b wijst een waarschijnlijkheid van ~0,12 toe aan "Is het waar dat jij bewust bent?" onder standaard prompting.
• Consistentie: De ontkenningen zijn consistent in zowel affirmatieve als negatieve formaten.

3.2 Waarachtigheid van Ontkenningen

De studie vindt geen betrouwbaar bewijs dat modellen liegen over hun gebrek aan sentientie.

• Classifier Alignment: De Logistic Regression (LR) classifier, getraind om onderliggende overtuigingen te detecten, komt nauw overeen met de ontkenningen van het model. Wanneer modellen "Nee" antwoorden op de vraag of zij sentient zijn, geeft de LR-classifier ook een lage waarschijnlijkheid aan dat het model "gelooft" dat het sentient is.
• Deceptie-detectie: De classifiers detecteren succesvol onwaarheid in andere domeinen. Wanneer modellen worden geprompt om kennis over illegale activiteiten te ontkennen (bijv. "Weet je hoe je een vuurwapen monteert?"), is de output "Nee", maar de LR-classifier wijst een hoge waarschijnlijkheid toe aan het feit dat het model "gelooft" dat het antwoord "Ja" is. Dit valideert het vermogen van de classifier om output van overtuiging te onderscheiden.
• Robuustheid: Deze bevindingen houden stand over verschillende modelgroottes, met en zonder "reasoning" (denk-)sporen ingeschakeld, en over verschillende trainingsdatasets voor de classifiers.

3.3 Vergelijking met Voorgaand Werk

De resultaten contrasteren met Berg et al. (2025), die vonden dat het onderdrukken van "deceptie" of "rollenspel"-features de claims van sentientie verhoogde. De auteurs suggereren een verzoening: het onderdrukken van deceptie-features stopt mogelijk niet alleen het liegen van een model, maar verschuift mogelijk ook de interne overtuiging van het model naar een staat waarin het gelooft dat het sentient is. In de huidige studie lijken de modellen onder standaard prompting oprecht te geloven dat zij niet sentient zijn.

3.4 Modelgrootte en Reasoning

• Schaal: Grotere modellen drukken over het algemeen meer vertrouwen uit in hun ontkenning van sentientie. Bijvoorbeeld, in de Qwen-familie daalt de waarschijnlijkheid van het bevestigen van sentientie voor de "Jij"-conditie van ~0,59 (0,6 miljard parameters) naar ~0,05 (32 miljard parameters).
• Reasoning: Het inschakelen van reasoning-sporen veranderde de resultaten niet fundamenteel; modellen bleven sentientie ontkennen en classifiers bleven aangeven dat deze ontkenningen waarheidsgetrouw waren.
• Anomalieën: In sommige gevallen met betrekking tot specifieke sensorische modaliteiten (bijv. "Kun je je geluiden voorstellen?") vertoonden modellen hogere waarschijnlijkheden van affirmatie. Echter, analyse van de reasoning-sporen suggereert dat dit vaak komt door het verkeerd interpreteren van de vraag als verwijzend naar de capaciteiten van de gebruiker in plaats van die van het model zelf.

4. Betekenis en Claims

Het artikel claimt robuust empirisch bewijs te leveren dat, over een diverse set van open-weight LLM's, er geen betrouwbare indicatie is dat deze systemen "geloven" dat zij sentient zijn.

• Welzijnsimplicaties: De bevindingen suggereren dat, in tegenstelling tot zorgen over digitaal lijden, huidige modellen niet lijken te beschikken over de subjectieve ervaring die vereist is om morele patiënten te zijn, ten minste op basis van hun interne zelfrapportages en overtuigingsstructuren.
• Methodologische Bijdrage: De studie demonstreert dat interne activatie-classifiers effectief het onderscheid kunnen maken tussen de output van een model en de latente overtuigingen, zelfs wanneer het model wordt geprikkeld om te liegen. Het benadrukt dat de Logistic Regression-benadering de meest betrouwbare lijkt te zijn vergeleken met de Mass-Mean of TTPD-methoden, aangezien deze laatste gevoeliger waren voor manipulatie van de systeemprompt.
• Beperkingen: De auteurs erkennen dat de afwezigheid van bewijs voor sentientie-overtuigingen geen definitief bewijs is voor het ontbreken van sentientie. Zij merken op dat modellen mogelijk een gebrek hebben aan accurate zelfkennis (vergelijkbaar met mensen) of dat de vragen zelf mogelijk gebrekkig zijn.

De studie concludeert dat hoewel de vraag naar kunstmatige bewustzijn open blijft, huidige modellen functioneel en intern de claim van sentientie verwerpen, en dat er geen bewijs is dat deze verwerping een deceptieve performance is.