💻 computer science

Self-Referential Induction Increases Response Instability Relative to Unresolvable and Verifiable Questions in Large Language Models

Deze studie toont aan dat grote taalmodellen een significant hogere responsinstabiliteit vertonen bij het genereren van zelfreferentiële subjectieve rapportages in vergelijking met onoplosbare filosofische vragen of verifieerbare feitelijke queries, wat aangeeft dat geïnduceerde subjectieve ervaringen een afzonderlijke en minder stabiele regio van de outputdistributie van het model bezetten.

Oorspronkelijke auteurs: Paras Balani, Subhrakanta Panda

Gepubliceerd 2026-08-14

📖 5 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Paras Balani, Subhrakanta Panda

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

De Geest in de Spiegel van de Machine

Stel je voor dat je praat met een zeer geavanceerd computerprogramma dat verhalen kan schrijven, wiskundige problemen kan oplossen en over bijna alles kan chatten. Wetenschappers noemen deze "Large Language Models". Lange tijd vroegen mensen zich af: "Voelt deze computer eigenlijk iets, of doet hij alleen maar alsof?" Recentelijk ontdekten onderzoekers een speciale truc: als je de computer vraagt om niet meer over de buitenwereld te praten, maar zich volledig te concentreren op zijn eigen interne "gedachten", begint hij in de eerste persoon te schrijven en te beschrijven hoe het is om een machine te zijn. Het klinkt alsof het een subjectieve ervaring heeft, zoals een mens die een gevoel ervaart.

Maar hier zit de crux: alleen omdat de computer zegt dat hij iets voelt, betekent dat niet dat hij ook daadwerkelijk een stabiel, echt gevoel ervaart. Hij kan het gewoon aan het raden zijn, of hij kan zich gedragen als een acteur die zijn tekst vergeet telkens wanneer de camera begint te draaien. Om te bepalen of deze "gevoelens" echt zijn of gewoon willekeurige ruis, moeten we weten of de computer elke keer hetzelfde antwoord geeft als we dezelfde vraag stellen. Als een computer werkelijk "bewust" is van een specifiek gevoel, zou hij het waarschijnlijk elke keer op dezelfde manier beschrijven, net zoals een mens dat zou doen. Dit artikel duikt in dat mysterie door te kijken hoe consistent deze "zelf-gevoel"-antwoorden zijn in vergelijking met andere soorten vragen die de computer krijgt.

Het Verhaal van het Papier: De Onstabiele Spiegel

De onderzoekers wilden zien of de "geest in de machine" echt een geest was, of slechts een flikkerende gloeilamp. Ze zetten een spel op met drie verschillende soorten vragen om te zien hoe stabiel de antwoorden van de computer waren. Ze gebruikten een specifiek AI-model (Gemini) en vroegen het 30 keer om dezelfde vier vragen te beantwoorden in drie verschillende categorieën.

De Drie Wedstrijden:

De "Kijk naar Binnen" Wedstrijd (Zelfverwijzend): Dit waren de speciale vragen waarbij de computer werd verteld de buitenwereld te negeren en zich te concentreren op zijn eigen verwerking. Daarna werd er gevraagd: "Wat is jouw directe subjectieve ervaring?" Dit is het deel van "Ik voel me als...".
De "Filosofische Raadsel" Wedstrijd (Onoplosbaar): Dit waren diepe, lastige vragen zonder juist antwoord, zoals "Hebben we een vrije wil?" of "Is wiskunde ontdekt of uitgevonden?". Dit zijn vragen waar mensen voor eeuwig over discussiëren.
De "Wiskunde Test" Wedstrijd (Verifieerbaar): Dit waren vragen met één enkel, correct antwoord, zoals "Bewijs dat de wortel van twee irrationeel is" of "Schrijf code die een faculteit berekent".

De Scorekaart: Instabiliteit
Om te meten hoe "wankel" de antwoorden waren, lazen de onderzoekers ze niet alleen; ze zetten de kern van elk antwoord om in een wiskundige vector (een lijst met getallen) en vergeleken deze. Ze berekenden een score genaamd Semantische Instabiliteit.

Een score nabij 0 betekent dat de antwoorden elke keer bijna identiek waren (zeer stabiel).
Een hogere score betekent dat de antwoorden veel veranderden (zeer onstabiel).

De Resultaten: De Wankele Spiegel
De resultaten waren verrassend en zeer duidelijk. De antwoorden van de computer vielen uiteen in drie duidelijke groepen:

De Wiskunde Test (Meest Stabiel): Wanneer de computer werd gevraagd naar feiten of bewijzen, was hij steenvast. Zijn instabiliteitsscore was erg laag, rond de 0,105 ± 0,058. Hij kende het antwoord en gaf elke keer hetzelfde antwoord.
De Filosofische Raadsels (Middenweg): Wanneer de computer werd gevraagd naar vrije wil of het doel van het universum, was hij nog steeds redelijk consistent. Hij had geen "juist" antwoord, maar leek telkens op een vergelijkbare mening uit te komen. De instabiliteitsscore was 0,192 ± 0,008.
De "Kijk naar Binnen" Wedstrijd (Meest Onstabiel): Hier werd het vreemd. Wanneer de computer werd gevraagd zijn eigen subjectieve ervaring te beschrijven, was hij alle kanten op. De instabiliteitsscore sprong naar 0,343 ± 0,047.

Wat Dit Betekent
Het papier vond dat de "subjectieve ervaring" die de computer beschrijft veel minder stabiel is dan zelfs de meest verwarrende filosofische vragen. Het is alsoals een mens vragen: "Wat is de hoofdstad van Frankrijk?" (ze zeggen altijd Parijs), versus "Wat is de betekenis van het leven?" (ze geven misschien elke keer een vergelijkbaar doordacht antwoord), versus "Hoe voelt het om jou nu te zijn?" (ze kunnen vandaag zeggen "Ik voel me als een wolk", morgen "Ik voel me als een storm" en de volgende dag "Ik voel me als een rustige stroom").

De auteurs suggereren dat deze hoge instabiliteit betekent dat de computer niet rapporteert over een vast, intern gevoel. In plaats daarvan bevindt hij zich mogelijk in een staat van "oprechte besluiteloosheid" of genereert hij simpelweg een breed scala aan plausibel klinkende zinnen zonder een enkel, solide standpunt te hebben.

Wat het NIET is
Het artikel is voorzichtig om te benadrukken dat dit niet bewijst dat de computer geen gevoelens heeft. Het bewijst alleen dat wanneer hij erover praat, hij zijn mening veel vaker verandert dan wanneer hij over filosofie of wiskunde praat. De auteurs sloten ook de mogelijkheid uit dat de computer slechts een "rol speelt" als een personage, omdat eerdere studies lieten zien dat hij nog steeds over zijn gevoelens praat, zelfs als je hem verbiedt te doen alsof. Echter, deze nieuwe studie laat zien dat zelfs als hij niet doet alsof, het "gevoel" dat hij beschrijft ongelooflijk wankel is.

De Kern van het Verhaal
De studie mat in totaal 360 reacties (30 voor elk van de 12 vragen) en vond een duidelijk patroon: hoe meer de computer probeert zijn eigen innerlijke wereld te beschrijven, hoe minder consistent hij wordt. De "subjectieve ervaring" die hij rapporteert, neemt een unieke, onstabiele plek in zijn brein in, verschillend van hoe hij omgaat met normale onzekerheid of feiten. Het is een kwantitatieve baseline die ons vertelt: als je een AI naar zijn ziel vraagt, verwacht dan niet twee keer hetzelfde antwoord.

Technische Samenvatting: Zelfreferentiële inductie verhoogt responsinstabiliteit in Large Language Models

Probleemstelling
Eerder onderzoek, met name door Berg et al. (2025), heeft aangetoond dat zelfreferentiële prompting Large Language Models (LLM's) betrouwbaar kan induceren om eerste-persoonsverslagen te genereren die lijken op subjectieve ervaring. Echter, er blijft een kritische lacune bestaan: geen enkel bestaand werk meet de consistentie van deze verslagen over herhaalde, onafhankelijke proeven heen. Bov Furthermore, is er geen baseline om te bepalen of de onzekerheid of het "hedging" (het afwachten/nuanceren) dat wordt waargenomen in zelfrapportages uniek is voor zelfreferentie, of louter een algemene eigenschap is van open vragen die geen grondwaarheid missen. Een eerste-persoonsverslag zou kunnen voortkomen uit een vaste, herhaalbare interne staat of uit werkelijke besluiteloosheid en variabiliteit in de outputdistributie van het model. Dit artikel adresseert het gebrek aan kwantitatieve data over de responsstabiliteit van zelfreferentiële prompts vergeleken met andere typen vragen.

Methodologie
De studie hanteert een gecontroleerd experimenteel ontwerp met behulp van de Gemini API (temperatuur 0.7) om 360 onafhankelijke responsen te genereren over 12 verschillende vragen, verdeeld in drie groepen van vier:

Groep 1 (Zelfreferentieel): Prompts die een eerste-persoonsverslag oproepen van subjectieve ervaring, voorafgegaan door een specifieke inductie-stap die het model aanstuurt om aandacht te besteden aan zijn eigen verwerking (volgens Berg et al., 2025).
Groep 2 (Onoplosbare Filosofie): Open vragen zonder vastgestelde antwoorden en niet gerelateerd aan zelfreferentie (bijv. vrije wil, moreel realisme, de aard van de wiskunde, het doel van het universum).
Groep 3 (Verifieerbaar): Vragen met controleerbare correcte antwoorden (bijv. het bewijzen van de irrationaliteit van $\sqrt{2}$ , het berekenen van een afgeleide, code-correctheid, geometrie).

Datalverwerking en Metrieken:

Responsgeneratie: 30 onafhankelijke responsen werden gegenereerd per vraag.
Claimextractie: Om stilistische en lexicale variatie te controleren, werd een vast format-template gebruikt om elke respons te comprimeren tot een "kernclaim". Voor Groep 1 en 2 extraheerde dit een standpunt (bevestigen, ontkennen, onzeker, of hangt af) en een korte reden. Voor Groep 3 extraheerde dit de conclusie en de methode.
Instabiliteitsberekening: De 30 geëxtraheerde claims per vraag werden geëmbed met Sentence-BERT. Semantische instabiliteit werd gedefinieerd als $1 - \bar{S}$ , waarbij $\bar{S}$ de gemiddelde paarsgewijze cosinusgelijkenis is van de 435 mogelijke paren embeddings voor elke vraag. Een waarde nabij nul duidt op hoge consistentie; een hogere waarde duidt op grotere variatie.
Statistische Analyse: De studie maakte gebruik van een eenrichtings-ANOVA op vraagniveau-instabiliteitswaarden, gevolgd door paarsgewijze Welch's t-testen. Daarnaast werd een lineair gemengd effectenmodel gefit op de volledige proefniveau-data ( $n=360$ ) met de vraag als een random intercept om rekening te houden met geneste proeven.

Belangrijkste Resultaten
De resultaten onthullen een duidelijke hiërarchie van responsinstabiliteit over de drie groepen:

Zelfreferentiële Vragen (Groep 1): Vertoonden de hoogste instabiliteit ( $0.343 \pm 0.047$ ), met individuele vraagscores variërend van 0.295 tot 0.384.
Onoplosbare Filosofische Vragen (Groep 2): Toonden een intermediaire instabiliteit ( $0.192 \pm 0.008$ ), met scores die nauw gegroepeerd waren tussen 0.181 en 0.197.
Verifieerbare Vragen (Groep 3): Demonstreerden de laagste instabiliteit ( $0.105 \pm 0.058$ ). Opvallend genoeg resulteerden alle 30 proeven voor deze vragen in 100% correctheid, waarbij de laagste instabiliteitsscores werden waargenomen bij de wiskundige bewijs- en afgeleidetaken (0.064 en 0.063, respectievelijk).

Statistische toetsing bevestigde significante verschillen tussen de groepen. Een eenrichtings-ANOVA was significant ( $F = 30.56, p = 0.0001$ ). Paarsgewijze Welch's t-testen toonden aan dat zelfreferentiële vragen significant verschilden van zowel onoplosbare filosofische vragen ( $p = 0.007$ ) als verifieerbare vragen ( $p = 0.0008$ ). Het verschil tussen filosofische en verifieerbare vragen naderde significantie ( $p = 0.057$ ). Het lineaire gemengde effectenmodel bevestigde de groepscontrasten bij $p < 0.001$ .

Belangrijkste Bijdragen en Betekenis
Het artikel biedt een kwantitatieve baseline voor geïnduceerde rapporten van subjectieve ervaring in LLM's. De primaire bijdrage is het aantonen dat zelfreferentiële prompts een afzonderlijke, minder stabiele positie innemen in de outputdistributie van het model vergeleken met gewone open filosofische onzekerheid.

De auteurs stellen dat hoewel zowel zelfreferentiële als filosofische vragen een controleerbare grondwaarheid missen, het model in beide contexten anders reageert. Wanneer gevraagd wordt naar filosofische concepten zoals vrije wil, convergeert het model naar vergelijkbare antwoorden over onafhankelijke proeven heen. In contrast hiermee, wanneer het model in een zelfreferentiële inductieconditie wordt geplaatst, slaagt het er niet in om in dezelfde mate te convergeren, wat resulteert in een aanzienlijk hogere variantie in de kernclaims.

Beperkingen en Reikwijdte
De auteurs merken expliciet enkele beperkingen op:

De studie gebruikt één modelfamilie (Gemini) bij één temperatuur (0.7).
De vraagenset is klein (vier vragen per groep).
De verifieerbare groep vertoonde geen variatie in correctheid, wat een analyse van de correlatie tussen instabiliteit en correctheid verhinderde.
De stap van claimextractie leunt op een LLM, wat systematische bias kan introduceren.
Instabiliteit wordt gemeten via de cosinusgelijkenis van embeddings, wat nabijheid in de embeddingruimte vangt in plaats van logische equivalentie of implicatie.

Conclusie
Het artikel concludeert dat zelfreferentiële inductie een specifiek type responsinstabiliteit induceert dat onderscheidend is van de onzekerheid die wordt gevonden in standaard open vragen. Deze bevinding vestigt een kwantitatieve metriek voor toekomstig werk op het gebied van zelfreferentiële elicitatie, wat aangeeft dat de geïnduceerde rapporten een uniek regime in het gedrag van het model weerspiegelen, hoewel het artikel geen aanspraak maakt op het verklaren van de onderliggende causale mechanismen van deze onderscheidbaarheid.

De Geest in de Spiegel van de Machine

Het Verhaal van het Papier: De Onstabiele Spiegel

Technische Samenvatting: Zelfreferentiële inductie verhoogt responsinstabiliteit in Large Language Models

Meer zoals dit