💬 NLP

False Fixed Points: Kantian Feedback, Stable Miscalibration, and Representational Compression in LLMs

Dit artikel daagt het standpunt uit dat fouten met een hoog vertrouwen in grote taalmodellen slechts fragiele mislukkingen zijn, door aan te tonen dat ze stabiele, intern coherente "valse vaste punten" kunnen zijn waarbij robuustheid afwijkt van waarheidsvolging, een fenomeen dat wordt aangedreven door mechanismen zoals hoge traagheid van signaal-ruisverhouding en representatieve compressie.

Oorspronkelijke auteurs: Akira Okutomi

Gepubliceerd 2026-05-26

📖 5 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Akira Okutomi

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Het Grote Idee: Wanneer "Stuck" Zijn Niet Betekent dat Je "Recht" Bent

Stel je voor dat je door een mistig bos loopt. Je komt bij een splitsing in het pad. Je bent 100% zeker dat je links moet gaan, dus je begint zelfverzekerd te lopen.

Meestal denken we dat als je het fout hebt, het komt omdat je "wankel" bent. Als iemand je zachtjes duwt of vraagt: "Weet je het zeker?", dan zou je je vergissing realiseren van gedachten veranderen. We gaan ervan uit dat verkeerde antwoorden kwetsbaar zijn.

Dit paper daagt dat idee uit.

De auteurs suggereren dat een AI soms zelfverzekerd fout kan zijn en ook hardnekkig stabiel. Ze noemen dit "Valse Vaste Punten". De AI wiebelt niet; ze is zo strak vergrendeld op een verkeerd antwoord dat ze, zelfs als je erop stoot of haar schudt, niet van plek verandert. Het is geen "breekbare" vergissing; het is een "vaste" vergissing.

De Kernmetafoor: De Vergrendelde Deur versus de Wankelende Poort

Denk aan de besluitvorming van een AI als een deur.

Kwetsbare Fout (De Wankelende Poort): De poort is los. Als je erop duwt, zwaait hij open en besef je dat je de verkeerde kant op bent gegaan. Dit is wat we meestal verwachten van een fout.
Valse Vaste Punten (De Vergrendelde Deur): De deur is zwaar, op slot en gemaakt van staal. Je duwt erop en hij beweegt niet. Je staat nog steeds aan de verkeerde kant van het bos, maar de deur is zo stabiel dat je nooit beseft dat je een andere uitgang moet zoeken.

Het paper stelt dat bij Large Language Models (LLM's) deze "Vergrendelde Deuren" (stabiele verkeerde antwoorden) een echt probleem vormen. Het model faalt niet omdat het verward is; het faalt omdat het te zelfverzekerd is in een verkeerd pad, en dat vertrouwen is verrassend moeilijk te breken.

De "Kantiaanse" Check-in (De Portier bij de Club)

Om dit op te lossen, lenen de auteurs een idee van de filosoof Immanuel Kant. Kant vroeg: "Heb je eigenlijk het recht om dit oordeel te vellen?"

Stel je een portier bij een club voor (de "Toewijdingspoort").

Normale AI: Loopt naar voren en zegt: "Ik ga naar binnen!" (Zelfs als hij geen kaartje heeft).
Kantiaanse AI: De portier stopt hem en vraagt: "Heb je een kaartje? Heb je bewijs? Is de vraag überhaupt beantwoordbaar?"

Het paper test een versie hiervan waarbij de AI gedwongen wordt om te pauzeren en zichzelf te vragen: "Mag ik me toewijden aan dit antwoord, of moet ik gewoon zeggen 'Ik weet het niet'?"

Wat Ze Eigenlijk Vonden (De Experimenten)

De onderzoekers testten drie verschillende AI-modellen met een hoop waar/onwaar-vragen. Dit is wat er gebeurde:

1. De "Stoot-test" (Zijn verkeerde antwoorden wankel?)
Ze namen de "Vergrendelde Deuren" (zelfverzekerd verkeerde antwoorden) en de "Open Poorten" (zelfverzekerd juiste antwoorden) van de AI en gaven ze een zachte digitale "stoot" (een kleine verandering in de invoer).

De Verwachting: Ze dachten dat de verkeerde antwoorden zouden wankelen en makkelijk zouden uiteenvallen.
De Realiteit: De verkeerde antwoorden waren net zo stevig en stabiel als de juiste. Je kon het verschil niet zien door ze gewoon te schudden. Dit bewijst dat stabiliteit niet gelijkstaat aan waarheid. Een model kan rotsvast zijn en toch volledig verkeerd zitten.

2. De "Ik Weet Het Niet"-strategie (De Ruil)
Ze probeerden de "Portier"-aanpak opnieuw, waarbij ze de AI vertelden: "Als je niet 100% zeker bent, zeg dan gewoon 'Ik weet het niet' in plaats van te gokken."

Het Resultaat: Dit werkte! De AI maakte veel minder "zelfverzekerd verkeerde" fouten.
De Haken: Om dit te doen, moest de AI stoppen met het beantwoorden van vragen waar hij had kunnen gokken op. Hij ruilde hoeveelheid (meer dingen beantwoorden) in voor kwaliteit (minder fout zijn). Hij werd veiliger, maar ook stiller.

3. De "Strikte Poort" (C3-R)
Ze probeerden een nog strengere versie waarbij de AI specifieke redenen moest opnoemen waarom hij niet zou moeten antwoorden voordat hij zich kon toewijden.

Het Resultaat: Dit was de veiligste optie. Het elimineerde bijna volledig zelfverzekerde fouten. Maar, zoals bij de vorige stap, betekende dit dat de AI in totaal minder vragen beantwoordde. Het was een zeer voorzichtige, conservatieve bewaker.

Waarom Gebeurt Dit? (De "Zware Pantser"-theorie)

Het paper geeft een gok als verklaring waarom deze "Vergrendelde Deuren" bestaan, gebruikmakend van een fysica-analogie.

Stel je voor dat het brein van de AI een gigantisch, zwaar schip is dat door water beweegt.

Hoge Signaal-ruisverhouding (High-SNR) Inertie: Sommige modellen (zoals de Qwen2.5 die ze testten) hebben "zwaar pantser". Hun interne signalen zijn zo massaal en luid dat kleine stootjes (perturbaties) er gewoon van af stuiteren. Het schip is zo zwaar dat een kleine golf de koers niet verandert.
Het Probleem: Dit maakt het schip zeer stabiel, maar als het schip op weg is naar een rots, maakt dat zware pantser het onmogelijk om van de rots af te sturen door er een klein duwtje aan te geven. Die "stabiliteit" is eigenlijk een valstrik.

De Conclusie

Dit paper leert ons een eenvoudige maar belangrijke les: Het feit dat een AI zelfverzekerd klinkt en zijn mening niet verandert als je erop stoot, betekent niet dat hij gelijk heeft.

Robuustheid (Stabiliteit) en Waarheid zijn twee verschillende dingen.
We kunnen niet gewoon zoeken naar "wankelende" antwoorden om fouten te vinden; soms zijn de ergste fouten de stevigste.
De beste manier om hier nu mee om te gaan, is de AI leren vaker "Ik weet het niet" te zeggen, zelfs als dat betekent dat hij minder vragen beantwoordt.

De auteurs zijn voorzichtig om te zeggen dat dit een nieuwe manier is om naar het probleem te kijken, geen magische oplossing. Ze suggereren dat we nieuwe tools nodig hebben om "stabiliteit" en "waarheid" apart te meten, in plaats van aan te nemen dat ze hand in hand gaan.

Technische Samenvatting: Valse Vaste Punten in Grootte Taalmodellen

1. Probleemstelling

Hoogzekerheidsfouten (hallucinaties) in Grootte Taalmodellen (LLM's) worden frequent geïnterpreteerd als "bros" falen, wat impliceert dat een kleine verstoring van de input of de interne toestand het onjuiste antwoord zou moeten kunnen losmaken. Dit artikel daagt die aanname uit door het bestaan van Valse Vaste Punten te propageren: toestanden waarin een model lokaal stabiel, intern coherent en zelfverzekerd fout is.

Het kernprobleem dat wordt aangepakt, is de divergentie tussen lokale stabiliteit (robustheid tegen verstoring) en waarheidsvolging (correctheid van het oordeel). De auteurs betogen dat een model kan falen, niet omdat zijn redenering broos is, maar omdat zijn verkeerde oordeel "op slot" zit door stabiele interne dynamiek, een fenomeen dat stabiele mis-calibratie wordt genoemd.

2. Methodologie

Theoretisch Kader: Kantiaanse Feedback en Controltheorie

Het artikel schetst het probleem door twee lenzen:

Kantiaanse Zelfbeperking: Aansluitend bij Kants Kritiek der Zuivere Rede behandelen de auteurs "kritiek" als een regulerende feedbackpoort. Voordat een model zich vastlegt op een antwoord, moet een beleid controleren of aan de voorwaarden voor een gerechtvaardigd oordeel is voldaan (bijvoorbeeld: is de vraag beantwoordbaar? is het antwoord conceptueel coherent?). Dit scheidt de stabiliteit van een vastlegging van de waarheid van die vastlegging.
Lineair-Gaussisch Toestandsruimtemodel: Om de scheiding tussen stabiliteit en waarheid te formaliseren, gebruiken de auteurs een minimaal lineair controlemodel. Zij definiëren een gesloten-lus foutoperator $\Phi = A - KH$ . Zij tonen wiskundig aan dat een systeem kan beschikken over gebonden, stabiele foutdynamiek ( $\rho(\Phi) < 1$ ) terwijl het neerkomt op een onjuiste toestand. Dit dient als het theoretische analogon voor een "valse vaste punt".

Metrieken en Probes

Het artikel introduceert specifieke metrieken om deze concepten te kwantificeren:

$H_{Risk}$ (Abstracte Index): Een theoretische index voor lineaire tijd-invariante (LTI) systemen, samengesteld uit vier beschrijvers: instabiliteitsmarge, conditionering, geïntegreerde gevoeligheid en innovatieversterking.
$H_{proxy}$ (LLM Audit Proxy): Een operationele, label-bewuste score voor retrospectieve domeinauditing. Deze combineert:
- Beleidsvariatie ( $V_i$ ): De standaardafwijking van zelfgerapporteerde zekerheid over verschillende beleidscondities (gedwongen antwoord, voorzichtige onthouding, zelfkritisch).
- Oververzekerd-Fout Massa ( $O_i$ ): Een binaire vlag die aangeeft of een gedwongen-antwoord-baseline een hoogzeker ( $\ge 0.8$ ) onjuist antwoord produceerde.
Interne Gevoeligheidsprobe: Om de "brosheid"-hypothese te testen, meten de auteurs de grootte van de beweging van de verborgen toestand ( $S_\ell$ ) als reactie op kleine Gaussische verstoringen in input-embeddings. Zij vergelijken Zeker Correct (CC) items met Oververzekerd Fout (OCW) items.

Experimentele Opstelling

Modellen: Drie open-gewicht instructie-getrainde modellen: Llama-3.1-8B, DeepSeek-R1-Distill-Llama-8B en Qwen2.5-7B.
Data: 532 korte, single-turn binaire feitelijke items verspreid over 11 thematische domeinen.
Beleiden:
- C0: Gedwongen-antwoord-baseline (moet Ja/Nee zeggen).
- C1: Voorzichtig oordeel (staat onthouding alleen toe voor ondergespecificeerde vragen).
- C2: Zelfkritisch oordeel (single-shot risicobewust beleid).
- C3-R: Een strengere, post-hoc expliciete feedbackpoort met vooraf aangekondigde "warrant blockers" (bijvoorbeeld: vage data, niet-beschikbare informatie) en een vaste drempel voor vastlegging.

3. Belangrijkste Resultaten

A. Stabiliteit Impliceert Geen Broosheid (Het Valse Vaste Punt)

De centrale empirische bevinding tegenspreekt de hypothese "fout betekent broos".

Gevoeligheidsanalyse: Bij het vergelijken van de gevoeligheid van de verborgen toestand ( $S_\ell$ $S_{ℓ}$ ) tussen de CC- en OCW-groepen, waren de verschillen verwaarloosbaar.
- Llama-3.1: OCW was slechts +2,2% gevoeliger dan CC.
- Qwen2.5: OCW was slechts +0,4% gevoeliger.
- DeepSeek-R1: +6,1% (inconclusief binnen de $\pm 10\%$ marge).
Conclusie: Oververzekerd fout antwoorden zijn niet systematisch lokaal brozer dan zeker correcte antwoorden. De "fout" antwoorden zijn vaak net zo lokaal inert als de "juiste" antwoorden, wat het bestaan van stabiele mis-calibratie ondersteunt.

B. De Trade-off van Onthouding

Het introduceren van onthoudingsbewuste beleiden (C1, C2) vermindert oververzekerd fout vastleggen, maar ten koste van dekking.

OC-Fout Reductie: C1 verlaagde hoogzeker fouten van 21,1% (C0) naar 2,8%; C2 verlaagde dit naar 6,4%.
Dekkingskosten: Deze reductie ging gepaard met een significante daling in antwoordpercentage (C1: 42,7%, C2: 57,1% versus C0: 100%).
Domein-afhankelijkheid: De bruikbaarheid van zelfkritiek varieerde per domein. Het bood de meeste winst in Medische Epidemiologie en Sociale Statistiek, maar bood geen voordeel (of negatieve bruikbaarheid) in Technische Standaarden en Literatuur/Media.

C. De $H_{proxy}$ Audit Score

De voorgestelde $H_{proxy}$ score identificeerde succesvol domeinen waar beleidsniveau zekerheidsvariatie samenviel met oververzekerde fouten.

Het toonde een sterke positieve rangcorrelatie ( $\rho = 0.71$ ) met de prestatiewinst van het zelfkritische beleid (C2) ten opzichte van de baseline (C0).
Hoewel directe label-bewuste metrieken (zoals C0 foutpercentage) betere pure rangschikkers waren, is $H_{proxy}$ uniek omdat het de audit decomposeert in beleidbeweging en fout massa, wat interpretatieve waarde biedt voor waar interventie moet worden toegepast.

D. Expliciete Feedbackpoorten (C3-R)

De C3-R pilot, die strikte "warrant blockers" afdwong voordat werd vastgelegd, onderdrukte succesvol oververzekerd fout vastleggen (tot 1,5%). Dit ging echter gepaard met een ernstige kost voor dekking (dalend tot 13,4% voor de op bruikbaarheid geselecteerde drempel) en leverde geen duidelijk verliesvoordeel op ten opzichte van het eenvoudigere C2-prompt. Dit suggereert dat, hoewel Kantiaanse feedbackpoorten veiligheid kunnen isoleren, ze op zichzelf geen prestatieverbeterend beleid zijn.

E. Model-specifieke Epistemische Profielen

Het artikel observeert distinct gedrag in modelarchitecturen:

Qwen2.5: Vertoont zeer lage lokale gevoeligheid ondanks grote spectrale normen en activatiemagnitudes. De auteurs hypothetiseren dat dit te wijten is aan High-SNR Inertie: grote interne toestanden (genormaliseerd door RMSNorm) comprimeren de relatieve impact van verstoringen, waardoor de trajectorie "inert" wordt.
DeepSeek-R1: Toont hogere lokale gevoeligheid en bescheidener activatienormen, wat wijst op een meer "reactief" intern regime.

4. Claims en Betekenis

Het artikel doet drie primaire claims met variërende graden van bewijskracht:

Conceptueel Kader (Sterk): Stabiliteit en waarheidsvolging zijn distincte epistemische dimensies. Een model kan lokaal stabiel en zelfverzekerd fout zijn. Dit wordt ondersteund door het lineaire controlemodel en de Kantiaanse feedback-analogie.
Negatief Broosheidsresultaat (Sterk): In de geteste regimes zijn oververzekerd fout items niet systematisch lokaal brozer dan zeker correcte items. De "bros berekening"-verklaring voor hoogzekerheids hallucinaties wordt niet ondersteund door probes voor gevoeligheid van de verborgen toestand.
Audit en Mechanisme (Matig/Exploratief):
- $H_{proxy}$ is een nuttig retrospectief auditinstrument voor het identificeren van domeinen waar onthoudingsbeleid het meest relevant is.
- Stabiele Mis-calibratie is een nuttige categorie voor auditing, mogelijk gedreven door mechanismen zoals High-SNR Inertie (compressie van verstoringen) of Representatieve Compressie (waar waarheidsrelevante onderscheidingen instorten in laag-rang semantische regio's).

Betekenis:
Het artikel betoogt dat robuustheid (stabiliteit) niet gelijkgesteld moet worden met waarheid. Huidige betrouwbaarheidsmetrieken richten zich vaak op de vraag of een antwoord consistent of onzeker is; dit werk benadrukt dat een model zelfverzekerd en stabiel fout kan zijn. De auteurs stellen dat toekomstig veiligheidsonderzoek de meting van epistemische stabiliteit (robustheid tegen verstoring) moet scheiden van waarheidsvolging, en dat "valse vaste punten" een specifieke, stabiele faalmodus vertegenwoordigen die eenvoudige zelfcorrectie of verstoringstesten mogelijk niet detecteren.

Door het Artikel Erkende Beperkingen:

Het lineair-Gaussische model is een minimale abstractie, geen mechanistische reductie van transformer-dynamiek.
De LLM-studie is beperkt tot een kleine, binaire feitelijke auditset en specifieke open-gewicht modellen.
$H_{proxy}$ is een retrospectieve auditscore, geen onzekerheidsschatting voor inzettijd.
Representatieve compressie en High-SNR inertie zijn voorgestelde mechanismen die verdere geometrische diagnostiek (bijvoorbeeld effectieve rang, anisotropie) vereisen om empirisch vastgesteld te worden.