💬 NLP

Diagnosing Correctness Probes under Self-Judgement Confounding

Dit artikel toont aan dat hidden-state readouts in taalmodellen vaak het zelfoordeel van het model vastleggen in plaats van objectieve juistheid, zoals blijkt uit de superieure cross-domein transfereerbaarheid van richtingen geassocieerd met zelfoordeel vergeleken met die geassocieerd met werkelijke juistheid.

Oorspronkelijke auteurs: Yi-Long Lu

Gepubliceerd 2026-07-21

📖 4 min leestijd☕ Koffiepauze-leesvoer

CC BY 4.0

Oorspronkelijke auteurs: Yi-Long Lu

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je voor dat je probeert uit te zoeken of een robot de waarheid spreekt. Je stelt een vraag aan de robot, de robot geeft een antwoord, en daarna moet jij beslissen: is het antwoord daadwerkelijk correct, of is de robot er gewoon heel zeker van dat het correct is? Dit is de kern van een nieuw wetenschappelijk veld genaamd "mechanistic interpretability", waarbij onderzoekers proberen in de "hersenen" van grote taalmodellen (LLM's) te kijken om te zien wat ze echt denken. Deze modellen zijn als gigantische digitale orakels die gedichten kunnen schrijven, wiskundige problemen kunnen oplossen en over geschiedenis kunnen chatten, maar ze verzinnen soms feiten (een probleem dat bekend staat als "hallucinatie"). Wetenschappers hebben ontdekt dat als je naar de interne elektrische signalen van het model kijkt (de zogenaamde "hidden states") op het exacte moment dat het een antwoord voltooit, je vaak kunt voorspellen of dat antwoord juist of onjuist is. Het is alsof er een leugendetector in de geest van de robot is ingebouwd. Maar hier komt het lastige deel bij: meestal, wanneer een robot een fout antwoord geeft, denkt hij ook dat hij het fout heeft. En wanneer de robot een goed antwoord geeft, denkt hij meestal dat hij het goed heeft. Omdat het interne "waarheidssignaal" van de robot en zijn "zelfvertrouwenssignaal" meestal overeenstemmen, is het moeilijk geweest om te bepalen of de robot daadwerkelijk de waarheid detecteert, of dat hij simpelweg zijn eigen mening detecteert.

Dit artikel, getiteld "Diagnosing Correctness Probes under Self-Judgement Confounding", pakt precies die verwarring aan. De onderzoekers, onder leiding van Yi-Long Lu, besloten een speciale test te bouwen waarbij het "waarheidssignaal" en het "zelfvertrouwen" van de robot met elkaar in strijd zijn. Ze creëerden scenario's waarin de robot een wiskundig correct antwoord geeft maar vervolgens zegt: "Nee, dat is fout," en scenario's waarin de robot een fout antwoord geeft maar zegt: "Ja, dat is juist." Door deze twee signalen tegen elkaar te laten vechten, konden ze eindelijk zien welk signaal er daadwerkelijk werd opgepikt door de "leugendetector" binnen het model.

Het team testte dit op vier verschillende grote taalmodellen, variërend van 7 miljard tot 14 miljard parameters (denk aan het aantal verbindingen in de hersenen van de robot). Ze gebruikten een slimme methode genaamd "factorial contrasts", wat lijkt op het scheiden van een gemengde smoothie terug in de oorspronkelijke vruchten en melk om te zien welke smaak wat is. Ze ontdekten dat hoewel de interne signalen informatie bevatten over zowel waarheid als vertrouwen, het meest betrouwbaar overdraagbare onderdeel datgene was dat de zelfbeoordelingspolariteit van de robot behield, en niet de objectieve juistheid.

Hier komt de verrassende wending: toen de onderzoekers keken naar de interne signalen van een robot die een fout antwoord gaf maar dacht dat het juist was, gaf de "leugendetector" het een hoge score, net zoals bij een correct antwoord. Omgekeerd, wanneer de robot een correct antwoord gaf maar dacht dat het fout was, gaf de detector het een lage score. Sterker nog, over alle modellen en tests die ze uitvoerden — inclusclusief wiskundige problemen, filmtrivia en algemene kennisquizzen — was het interne signaal dat het beste van de ene naar de andere soort vraag reisde, het signaal dat de eigen beoordeling van de robot volgde, en niet de werkelijke waarheid.

Het artikel merkt expliciet op dat hoewel de "waarheidssignalen" die we in deze modellen zien pure objectieve maten van feitelijke juistheid kunnen zijn, het bewijs aantoont dat overdraagbaarheid alleen niet de objectieve juistheid-semantiek vaststelt. Zelfs toen de onderzoekers probeerden een detector te bous met alleen de "correct/incorrect"-labels en de zelfbeoordeling van de robot volledig negeerden, volgde de detector nog steeds het zelfvertrouwen van de robot. Dit suggereert dat de "waarheid" die we in deze modellen zien, meer gaat over hoe het model over zijn eigen output denkt dan over de feitelijke feiten. De auteurs concluderen dat het feit dat een signaal van de ene taak naar de andere kan worden overgedragen, niet betekent dat het de waarheid vertegenwoordigt; het kan simpelweg zijn dat het de eigen mening van het model vertegenwoordigt. Dus, hoewel we in de hersenen van de robot kunnen kijken om te zien of hij zelfverzekerd is, kunnen we nog niet met zekerheid zeggen of die zelfverzekerdheid betekent dat hij de waarheid spreekt. De studie suggereert dat het meest betrouwbare dat we van deze modellen kunnen aflezen hun eigen zelfbeoordeling is, en niet een objectieve controle op de werkelijkheid.

Technische Samenvatting: Het diagnosticeren van correctheidsprobes onder invloed van self-judgement confounding

Probleemstelling

Verborgen toestanden (hidden-state readouts) in Large Language Models (LLM's) kunnen voorspellen of de outputs van een model feitelijk correct zijn. Er bestaat echter een kritieke semantische ambiguïteit: objectieve correctheid (OC)—of een antwoord overeenkomt met de externe grondwaarheid—correleert doorgaans sterk met het zelfoordeel van het model (SJ)—of het model zelf gelooft dat zijn antwoord correct is. Omdat deze variabelen meestal overeenstemmen, verwarren conventionele op correctheid gelabelde contrasten (bijv. het vergelijken van correcte versus incorrecte reacties) vaak de neurale correlaten van externe waarheid met de interne evaluatieve houding van het model.

De centrale vraag is of een overdraagbare "waarheidsrichting" (truth direction), geëxtraheerd uit verborgen toestanden, de relatie tussen een antwoord en de externe grondwaarheid vertegenwoordigt, of louter de eigen beoordeling van het model van dat antwoord. Eerder werk heeft aangetoond dat waarheidsgerelateerde richtingen kunnen overdragen naar verschillende taken en logische transformaties, maar herbruikbaarheid alleen identificeert niet de specifieke variabele die een readout vertegenwoordigt. Deze ambiguïteit is bijzonder problematisch wanneer OC en SJ van mening verschillen, aangezien standaard probes onbedoeld de mate van vertrouwen of instemming van het model kunnen leren voorspellen in plaats van feitelijke nauwkeurigheid.

Methodologie

Experimenteel Ontwerp: De Conflictset

Om OC en SJ te ontrafelen, construeert de auteur een "conflictset" door deze twee binaire variabelen te kruisen, wat resulteert in vier reactietypes:

A (1,1): Objectief Correct, Zelf-ondersteund.
B (1,0): Objectief Correct, Zelf-afgewezen (False Negative).
C (0,1): Objectief Incorrect, Zelf-ondersteund (False Positive).
D (0,0): Objectief Incorrect, Zelf-afgewezen.

De cruciale diagnostische vergelijking vindt plaats tussen B en C. Een aan OC geassocieerde richting zou B (correct) boven C (incorrect) moeten rangschikken. Omgekeerd zou een aan SJ geassocieerde richting C (ondersteund) boven B (afgewezen) moeten rangschikken.

Factoriële Decompositie

De auteurs stellen een factoriële decompositie voor van het standaard gemengde contrast ( $W_{mix} = \mu_A - \mu_D$ ) in twee orthogonale hoofdeffecten:

$W_{meta}$ (SJ-geassocieerd): $[(\mu_A - \mu_B) + (\mu_C - \mu_D)] / 2$ . Dit vangt het marginale effect van het zelfoordeel van het model op.
$W_{truth}$ (OC-geassocieerd): $[(\mu_A - \mu_C) + (\mu_B - \mu_D)] / 2$ . Dit vangt het marginale effect van objectieve correctheid op.

Onder een lineair associatief model is $W_{mix}$ de som van deze twee componenten. De studie evalueert welke component zijn semantische polariteit (rangschikking) behoudt wanneer deze over domeinen wordt overgedragen.

Data en Modellen

Modellen: Vier instructie-getunede LLM's tot 14B parameters (Qwen2.5-7B/14B, Llama-3.1-8B, OLMo-3-7B).
Domeinen:
- Bron: Wiskundige redenering (Math) en Feitelijke herinnering (Movies).
- Doel (Out-of-Distribution): MMLU (4-keuzes) en Binair TruthfulQA.
Procedure:
1. Genereer meerdere reacties per vraag.
2. Filter voor "strikte paren": vragen waarbij het model ten minste één correcte en één incorrecte reactie produceert, en beide met een hoge mate van vertrouwen worden beoordeeld ( $p_{judge} \ge 0.7$ of $\le 0.3$ ).
3. Extraheer verborgen toestanden bij het laatste antwoord-token.
4. Fit richtingen op bron-domeinen en evalueer op doel-domeinen zonder opnieuw te fitten (zero-target-fitting).
5. Meet prestaties met behulp van de Area Under the Curve (AUC) voor het rangschikken van conflictparen (B vs. C).

Belangrijkste Resultaten

1. Conventionele Probes volgen Self-Judgement

In Experiment 1 werd de standaard gemengde richting ( $W_{mix}$ ) geëvalueerd op B/C-conflicten. In tegenstelling tot de verwachting dat het de objectieve correctheid zou prioriteren, rangschikte $W_{mix}$ consequent C (fout/zelf-ondersteund) boven B (correct/zelf-afgewezen). Dit hield stand, zelfs voor een "alleen OC"-controle-richting die zonder SJ-labels werd gefit, wat suggereert dat standaard correctheidsprobes worden gedomineerd door de evaluatieve houding van het model in plaats van de grondwaarheid.

2. Asymmetrische Overdraagbaarheid

In Experiment 2B (cross-domain transfer) testten de auteurs of $W_{meta}$ en $W_{truth}$ hun verwachte rangschikkingen behouden in doel-domeinen:

$W_{meta}$ (SJ-geassocieerd): Vertoonde succesvolle overdracht over alle modellen en richtingen (Math $\leftrightarrow$ Movies, en naar MMLU/TruthfulQA). Het rangschikte consequent C boven B met AUC's significant boven toeval (0.57–0.93).
$W_{truth}$ (OC-geassocieerd): Faalde in overdracht. In bijna alle condities rangschikte de aan OC geassocieerde richting C boven B (AUC < 0.5), wat de verwachte volgorde effectief omkeerde. Het behield de "correctheid"-semantiek niet in het doel-domein.

3. Robuustheid en Controles

De bevindingen waren robuust over meerdere controles:

Laagdiepte: De transfer-asymmetrie verschijnt in middelste tot late lagen (genormaliseerde diepte 0.40–0.80).
Null-controles: Willekeurige richtingen en met labels gehusselde controles reproduceerden het patroon niet.
Confounding Factoren: De resultaten bleven standhouden na controle voor het aantal tokens in de reactie, de log-waarschijnlijkheid van de reactie en de identiteit van de antwoordoptie in forced-choice taken.
OOD Generalisatie: Het SJ-geassocieerde signaal werd overgedragen naar MMLU en TruthfulQA zonder enige richting-fitting op die specifieke datasets.

Belangrijkste Bijdragen

Semantische Diagnose van Readouts: Het artikel biedt een methode om te onderscheiden of een overdraagbare readout de objectieve waarheid of de zelfevaluatie van het model vertegenwoordigt door gebruik te maken van gevallen waarin deze variabelen conflicteren.
Identificatie van Confounding: Het toont aan dat "waarheidsrichtingen" gevonden in eerdere literatuur vaak worden verward met het zelfoordeel van het model. Wanneer OC en SJ van mening verschillen, is het signaal dat overdraagt degene die geassocieerd is met de instemming van het model, niet de externe waarheid.
Factoriële Decompositie Framework: De introductie van $W_{meta}$ en $W_{truth}$ als afzonderlijke, schatbare componenten biedt een rigoureuze manier om deze semantische signalen in de analyse van verborgen toestanden te scheiden.

Betekenis en Claims

Het artikel concludeert dat overdraagbaarheid alleen onvoldoende is om de semantiek van objectieve correctheid vast te stellen in LLM-readouts. Hoewel een richting kan generaliseren over taken, kan het de interne zekerheid of de evaluatieve houding van het model volgen in plaats van de feitelijke waarheid.

Interpretatie: De meest betrouwbaar overdraagbare component in correctheidsprobes is de component die geassocieerd is met Self-Judgement (SJ). Dit suggereert dat modellen een robuuste interne representatie bezitten van hun eigen zekerheid of "instemming" met een antwoord, die afwijkt van en vaak de representatie van de objectieve grondwaarheid overrulet in conflictscenario's.
Implicatie: Claims dat LLM's beschikken over "geprivilegieerde introspectieve toegang" of dat specifieke verborgen toestanden "waarheid" coderen, moeten worden geëvalueerd. Als een probe correctheid voorspelt maar faalt wanneer het model zelfverzekerd fout is, meet het waarschijnlijk de overtuiging van het model over de eigen output in plaats van de feitelijke geldigheid van de output.
Scope: De auteurs merken op dat hun diagnostische steekproef beperkt is tot hoog-betrouwbare oordelen en specifieke instructie-getunede modellen. Zij beweren niet het probleem van waarheidsdetectie te hebben opgelend, maar hebben eerder een fundamentele ambiguïteit in huidige probing-methodologieën gediagnosticeerd. De bevindingen suggereren dat toekomstig werk over waarachtigheid expliciet de zelf-evaluatieve signalen van het model moet onderscheiden van objectieve correctheid.