💬 NLP

The Confidence Manifold: Geometric Structure of Correctness Representations in Language Models

Dit artikel onthult dat de interne representaties van waarachtigheid in taalmodellen een eenvoudige, laagdimensionale geometrische structuur vormen die wordt gedefinieerd door klasse-centra, wat effectieve detectie en causale manipulatie van hallucinaties mogelijk maakt via lineaire probes en activatiesturing.

Oorspronkelijke auteurs: Seonglae Cho, Zekun Wu, Kleyton Da Costa, Adriano Koshiyama

Gepubliceerd 2026-07-31

📖 6 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Seonglae Cho, Zekun Wu, Kleyton Da Costa, Adriano Koshiyama

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je voor dat je praat met een zeer slimme, zeer snelle robot die bijna elk boek ooit geschreven heeft gelezen. Je stelt de robot een vraag en hij antwoordt met perfect grammatica en totale zelfverzekerdheid. Maar soms heeft de robot het mis. Het kan je vertellen dat de hoofdstad van Australië Sydney is (het is eigenlijk Canberra) of dat een beroemd historisch figuur in het verkeerde eeuw is geboren. Het enge deel is dat de robot net zo zeker klinkt wanneer hij liegt als wanneer hij de waarheid spreekt. Hij stottert niet, hij twijfelt niet, en zijn "vertrouwensmeter" (de getallen die hij intern berekent) ziet er normaal uit.

Een tijdlang vroegen wetenschappers zich af: weet de robot dat hij het fout heeft, ook al zegt hij het niet? Zit er een geheim signaal verborgen diep in zijn brein dat zegt: "Hé, dit feit is onwaar!"? Om dit te begrijpen, moeten we weten hoe deze robots werken. Ze denken niet als mensen; ze verwerken informatie als enorme wolken van getallen die "activaties" worden genoemd. Terwijl de robot leest en denkt, stromen deze getallen door lagen van een digitaal netwerk. Wetenschappers hebben ontdekt dat deze wolken van getallen niet willekeurig zijn; ze hebben vormen en structuren. Soms is het verschil tussen een waar feit en een leugen geen complex, rommelig patroon, maar een eenvoudige, rechte lijn in deze digitale ruimte. De grote vraag is: kunnen we die lijn vinden, en kunnen we die lijn gebruiken om de robot in een leugen te betrappen voordat hij zelfs zijn zin heeft afgemaakt?

Dit is precies waar het artikel "The Confidence Manifold" zich op richt. De onderzoekers, onder leiding van Seonglae Cho en collega's, besloten in de hersenen van 11 verschillende taalmodellen te kijken, variërend van kleine modellen met 124 miljoen parameters tot enorme modellen met 14 miljard. Ze wilden de "geometrie van correctheid" in kaart brengen — de specifieke vorm en locatie in het brein van de robot waar de waarheid leeft.

Denk aan het brein van de robot als een gigantische, meerdimensionale kamer. Elke keer als de robot over een zin nadenkt, plaatst hij een stip in deze kamer. Als de zin waar is, landt de stip in één gebied; als het onwaar is, landt het in een ander gebied. De onderzoekers ontdekten dat deze stippen niet willekeurig over de kamer verspreid zijn. In plaats daarvan zijn ze netjes georganiseerd in twee duidelijke groepen, zoals twee stapels knikkers. De "waarheid"-stapel en de "leugen"-stapel worden gescheiden door een zeer eenvoudige, laagdimensionale gang.

Hier is het meest verrassende deel: je hebt geen supercomplexe computer nodig om deze stapels van elkaar te onderscheiden. De onderzoekers ontdekten dat het verschil tussen een ware en een onware bewering slechts een eenvoudige verschuiving is in de gemiddelde positie van deze stippen. Het is alsof je een zak rode knikkers hebt en een zak blauwe knikkers. Je hoeft niet de grootte, het gewicht of de textuur van elke individuele knikker te meten om ze uit elkaar te houden; je hoeft alleen maar te weten dat de rode knikkers gemiddeld genomen iets meer naar links liggen, en de blauwe knikkers iets meer naar rechts. In het brein van de robot is deze "gemiddelde positie" (of zwaartepunt) het enige dat ertoe doet. De onderzoekers ontdekten dat ze leugens met 90% nauwkeurigheid konden detecteren met slechts 25 gelabelde voorbeelden om deze twee centra te vinden. Nog beter: ze ontdekten dat dit "waarheidssignaal" slechts in een kleine gang van slechts 2 tot 8 dimensies leeft, ook al heeft het brein van de robot duizenden dimensies om mee te spelen.

Het team heeft niet alleen gekeken; ze hebben de robot ook geprikkeld en geprobeerd te beïnvloeden om te zien of dit signaal echt is. Ze gebruikten een techniek genaamd "activation steering", wat lijkt op het voorzichtig duwen van de interne getallen van de robot in een specifieke richting. Wanneer ze de robot richting de "waarheid"-richting duwden, begon hij minder fouten te maken. Wanneer ze hem richting de "leugen"-richting duwden, begon hij meer te hallucineren. Ze probeerden ook het signaal volledig uit te wissen door die specifieke gang uit het brein van de robot te verwijderen, en plotseling werd de robot volledig onbekwaam om het onderscheid te maken tussen waarheid en leugens, waarbij hij niet beter presteerde dan bij willekeurig gokken. Dit bewees dat het signaal niet slechts een toeval was; het was een noodzakelijk onderdeel van hoe de robot feiten verwerkt.

De paper waarschuwt ons echter ook dat dit geen wondermiddel is voor elke situatie. De onderzoekers ontdekten dat deze interne "waarheidsdetector" ongelooflijk goed werkt wanneer de robot een beetje gemeen is — bijvoorbeeld wanneer hij vol vertrouwen een veelvoorkomend misverstand beweert. Maar bij standaard, saaie vragen waarbij de robot niemand probeert te bedriegen, is de eigen output van de robot (wat hij hardop zegt) net zo goed in het vertellen van de waarheid. Het interne signaal schittert het felst wanneer de robot misleidend is.

Nog een interessante bevinding gaat over hoe deze signalen reizen tussen verschillende soorten vragen. Als je de robot leert om leugens te herkennen in een specifieke dataset (zoals een quiz over geschiedenis), kan hij misschien geen leugens herkennen in een andere dataset (zoals een quiz over wetenschap), tenzij je hem op beide tegelijk traint. Het is alsof leren autorijden op een racecircuit je niet automatisch een goede bestuurder maakt in een besneeuwde stad; je moet beide oefenen. De onderzoekers toonden aan dat door de detector op meerdere datasets tegelijk te trainen, ze een universeel "waarheidskompas" konden creëren dat werkt over verschillende onderwerpen heen.

Uiteindelijk geeft dit artikel ons een duidelijker beeld van hoe taalmodellen met de waarheid omgaan. Het suggereert dat diep in deze complexe machines het verschil tussen juist en onjuist verrassend eenvoudig is: het is slechts een kwestie van aan welke kant van een lijn de data valt. Hoewel dit niet betekent dat we alle leugens van de robot in elke situatie direct kunnen oplossen, bewijst het wel dat de robot weet wanneer hij het fout heeft, ook al geeft hij dat niet altijd toe. Het signaal is er, het is geometrisch, en het wacht om gevonden te worden.

Technisch Overzicht: Het Vertrouwensmanifold (The Confidence Manifold)

Probleemstelling

Grote taalmodellen (LLM's) uiten misconcepties vaak met dezelfde vloeiendheid en zelfverzekerdheid als feiten, waardoor output-gebaseerde onzekerheidsmetrieken (zoals token-entropie of semantische entropie) ontoereikend zijn voor het detecteren van hallucinaties. Hoewel eerder werk heeft vastgesteld dat waarheidsgerelateerde signalen lineair aanwezig zijn in de residual stream van LLM's, blijft de geometrische structuur van deze signalen onkarakteriseerd. Specifiek is het onbekend:

Hoeveel dimensies zijn vereist om correcte van incorrecte uitspraken te scheiden.
Hoe eenvoudig de beslisregel kan zijn voordat het signaal verloren gaat.
Of de richting van dit signaal causaal verantwoordelijk is voor de output van het model of er slechts mee correleert.
Of een detector getraind op de ene dataset overdraagbaar is naar andere.

Dit artikel behandelt deze vragen door het "Vertrouwensmanifold" te karakteriseren—de geometrische structuur van correctheid-representaties—over 11 modellen variërend van 124M tot 14B parameters.

Methodologie

De auteurs hanteren een meerfasige aanpak bestaande uit dataconstructie, geometrische analyse en causale validatie:

Dataconstructie: Gebruikmakend van TruthfulQA construeren de auteurs contrastieve paren waarbij dezelfde vraag-stam wordt gekoppeld aan zowel een correct als een incorrect antwoord. Dit isoleert het correctheidssignaal van variatie in de inhoud. Verborgen toestanden (hidden states) worden geëxtraheerd uit de laatste token-positie over alle lagen.
Richting-leren & Geometrische Analyse:
- Probe Training: Logistische regressie-probes worden getraind om binaire correctheid-labels te voorspellen vanuit de verborgen toestanden.
- Dimensionality Sweep: De auteurs gebruiken Partial Least Squares (PLS) regressie om activaties te projecteren op subruimten van variërende dimensies ( $k$ ) om de optimale dimensionaliteit voor classificatie te bepalen.
- Intrinsieke Dimensie: De Levina–Bickel MLE-schatter wordt gebruikt om de intrinsieke dimensie van de representatie-manifold te meten, onafhankelijk van classificatie.
- Centroid Analyse: De auteurs testen of de beslissingsgrens convergeert naar een eenvoudige afstand-tot-zwaartepunt metriek (mean shift) in plaats van een complexe hypervlak vereist.
Causale Validatie: Drie complementaire methoden worden gebruikt om de subruimte te valideren:
- Activation Steering: Interveniëren in de residual stream ( $h' = h + \alpha \hat{w}$ ) om te observeren of het verschuiven langs de geleerde richting de hallucinatiecijfers causaal verandert.
- Concept Erasure (RLACE): Projecteren van activaties op de nulruimte van de correctheidsrichting om te testen of het signaal noodzakelijk is voor detectie.
- Distributed Alignment Search (DAS): Een interchange-interventiemethode die expliciet de rang $k$ doorloopt om de causale dimensionaliteit van de subruimte te begrenzen.

Belangrijkste Resultaten

1. Laag-rang Discriminatieve Subruimte

Over 11 modellen geconcentreerd, bevindt het correctheidssignaal zich in een 2–8 dimensionale subruimte.

Prestaties pieken binnen dit bereik en verslechteren aanzienlijk naarmate de dimensies toenemen (bijv. GPT-2 daalt met 18% in AUC bij de overgang van 3D naar 32D), wat aangeeft dat extra dimensies ruis introduceren in plaats van signaal.
De intrinsieke dimensie van de embedding-manifold (8–12D) is hoger dan de discriminatieve dimensie (2–8D), wat suggereert dat het signaal een laag-rang kenmerk is binnen een hoger-dimensionale ruimte.

2. Centroid Sufficiëntie (Mean Shift)

De beslisregel voor correctheid is opmerkelijk eenvoudig: twee klasse-zwaartepunten volstaan.

De scheiding tussen correcte en incorrecte klassen wordt gedomineerd door een mean shift in plaats van een verschil in covariantie.
Geometrische classifiers (afstand-tot-zwaartepunt, Mahalanobis-afstand) presteren binnen $\pm 0,02$ AUC van getrainde lineaire probes.
Multi-prototype varianten (bijv. K-Means met meerdere zwaartepunten per klasse) verslechteren de prestaties, wat bevestigt dat per-klasse distributies unimodaal zijn.
Centroid-gebaseerde detectie is zeer label-efficiënt en herstelt 90% van de prestaties met de volledige dataset met slechts 25 gelabelde voorbeelden.

3. Causale Structuur

Effectiviteit: Het sturen (steering) langs de geleerde richting verschuift de hallucinatiecijfers met 9,1 procentpunt op Qwen2-7B (de foutmarge beweegt van 0,56 naar 0,52 of 0,61, afhankelijk van de richting).
Noodzakelijkheid: Het wissen van de subruimte via RLACE laat de detectieprestaties instorten naar toeval ( $\approx 0,50$ AUC).
Causale Rang: Hoewel sturen en wissen de rang niet direct begrenzen, begrenst DAS de causale rang onafhankelijk op hoogstens 5 dimensies over de geteste modellen.

4. Regime-Specifiek Voordeel

Interne probes presteren beter dan output-gebaseerde onzekerheidsmethoden (P(True), semantische entropie) specifiek op adversariële misconceptie-data (bijv. TruthfulQA), waar modellen zelfverzekerd foutief zijn.

Op TruthfulQA bereiken interne probes 0,80–0,94 AUC, terwijl output-methoden dalen naar 0,44–0,64.
Op standaard QA-datasets (SciQ, FEVER, CommonsenseQA) sluit de kloof en presteren output-methoden vergelijkbaar met interne probes.
Het voordeel is geen universele superioriteit, maar specifiek voor regimes waar het vertrouwen van het model ontkoppeld is van de correctheid.

5. Transfer Vereist Gezamenlijke Training

Probes getraind op een enkele dataset (bijv. TruthfulQA) transfereren bijna willekeurig (0,39–0,66 AUC) naar andere datasets.

De oorzaak van dit falen wordt toegeschreven aan een directionele mismatch (orthogonaliteit) tussen datasets in plaats van de afwezigheid van een signaal.
Gezamenlijke training op meerdere datasets herstelt de overdraagbaarheid, waarbij 0,73–0,91 AUC wordt behaald op instructie-getunede modellen.
Dit suggereert dat een "universeel waarheidlijk hypervlak" vereist dat de subruimte met meerdere datasets wordt beperkt om de oriëntatie uit te lijnen.

Betekenis en Claims

Het artikel positioneert zichzelf niet als een voorstel voor een nieuwe detector, maar als een karakterisering van de geometrie van correctheid.

Centroid Sufficiëntie: De primaire claim is dat de scheiding tussen waarheid en onwaarheid in LLM's een eenvoudige mean shift is in een laag-dimensionale subruimte, en geen complexe, hoog-rang beslissingsgrens. Dit verklaart waarom eenvoudige geometrische regels (afstand tot zwaartepunt) complexe getrainde probes evenaren.
Begrensde Causale Rang: De auteurs leveren bewijs dat het causale mechanisme voor correctheid een zeer klein aantal dimensies inneemt (2–8 voor detectie, $\le 5$ voor causaliteit), wat de "Linear Representation Hypothesis" verfijnt naar een "Low-Rank Linear Separator" hypothese.
Recept-Afhankelijke Transfer: Het artikel verduidelijkt dat overdraagbaarheid niet automatisch is; het vereist gezamenlijke training om de directionele mismatch tussen datasets op te lossen.
Beperkingen: De auteurs merken expliciet op dat hun resultaten zijn afgeleid van teacher-forced settings (waarbij het model de grondwaarheid-tokens krijgt). Zij beweren niet dat deze resultaten direct vertaalbaar zijn naar vrije generatie zonder verdere validatie, aangezien de keuze van de 'judge' in vrije generatie aanzienlijke ruis introduceert. Daarnaast is de causale rang-begrenzing specifiek voor de geteste modellen en lagen.

Samenvattend stelt het artikel vast dat correctheid in LLM's wordt gecodeerd als een laag-rang, mean-shifted signaal in de residual stream, dat causaal noodzakelijk is voor de output van het model, maar specifieke trainingsregimes vereist om over domeinen heen te generaliseren.