💬 NLP

Masked by Consensus: Disentangling Privileged Knowledge in LLM Correctness

Dit artikel onderzoekt of grote taalmodellen bevoorrechte interne kennis bezitten over de juistheid van antwoorden, en onthult dat hoewel zelfrepresentaties geen voordeel bieden op standaard benchmarks vanwege hoge onderlinge overeenstemming tussen modellen, ze wel een domeinspecifiek voordeel bieden ten opzichte van peer-modellen bij feitelijke taken wanneer geëvalueerd op subsets van meningsverschillen, in tegenstelling tot wiskundig redeneren.

Oorspronkelijke auteurs: Tomer Ashuach, Liat Ein-Dor, Shai Gretz, Yoav Katz, Yonatan Belinkov

Gepubliceerd 2026-04-15

📖 4 min leestijd☕ Koffiepauze-leesvoer

CC BY 4.0

Oorspronkelijke auteurs: Tomer Ashuach, Liat Ein-Dor, Shai Gretz, Yoav Katz, Yonatan Belinkov

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je voor dat je probeert te raden of een antwoord van een student op een toets correct is. Je hebt twee manieren om dit te doen:

De Buitenstaander: Je kijkt naar het geschreven antwoord van de student en de vraag zelf.
De Binnenstaander: Je gluur naar binnen in het brein van de student (hun verborgen gedachten) terwijl ze nadenken.

Lange tijd vroegen onderzoekers zich af: Heeft de student een geheim 'buikgevoel' in hun brein dat hen vertelt of ze gelijk hebben, wat een buitenstaander niet kan zien? Dit geheime gevoel wordt 'bevoorrechte kennis' genoemd.

Dit artikel onderzoekt of Large Language Models (LLM's) — de AI-breinen achter chatbots — dit soort geheime interne kennis hebben over hun eigen antwoorden.

Het Probleem: Het 'Consensusmasker'

De onderzoekers vonden een lastig probleem in eerdere studies. Stel je een klaslokaal voor waar 90% van de studenten het over elke vraag eens is. Als je een buitenstaander bent die probeert te raden of Student A gelijk heeft, kun je gewoon kijken wat Student B heeft geschreven. Omdat ze meestal overeenkomen, kun je het resultaat van Student A raden door gewoon naar het brein van Student B te kijken.

Omdat de modellen zo vaak overeenkomen, ziet het 'buitenstaander'-perspectief er net zo goed uit als het 'binnenstaander'-perspectief. Het was alsof het geheime interne signaal werd gemaskeerd door consensus. De onderzoekers beseften dat als iedereen het eens is, je niet kunt zeggen of het geheime signaal daadwerkelijk bestaat.

De Oplossing: De 'Meningsverschil'-test

Om dit op te lossen, creëerden de onderzoekers een speciale test met alleen de vragen waarbij de modellen het oneens waren.

Scenario: Model A denkt dat het antwoord 'Ja' is. Model B denkt dat het antwoord 'Nee' is.
De Test: In deze lastige gevallen kan het brein van Model B je niet helpen om het resultaat van Model A te raden. Als je het correctheid van Model A nog steeds beter kunt voorspellen door naar binnen in het brein van Model A te kijken dan door naar het brein van Model B te kijken, dan heeft Model A echt een geheim intern signaal.

De Grote Ontdekking: Het Hangt Af van het Onderwerp

Toen ze deze 'meningsverschil-test' uitvoerden, vonden ze een verrassende splitsing tussen twee soorten taken:

1. Feitelijke Kennis (De 'Geheugen'-test)

Voorbeelden: "Wie was de eerste president?" of "Wat is de hoofdstad van Frankrijk?"
Resultaat: Ja, het geheime signaal bestaat.
De Analogie: Denk hierbij aan een bibliothecaris. Als een bibliothecaris een specifiek boek van een plank haalt, hebben ze een uniek, intern gevoel van 'Ik ken dit feit'. Zelfs als een andere bibliothecaris het oneens is, bevat de interne staat van de eerste bibliothecaris een speciaal signaal dat zegt: "Ik haal dit specifieke geheugen op." De onderzoekers ontdekten dat de interne hersengolven van de AI een duidelijk voordeel toonden in het voorspellen van de correctheid voor deze feiten, iets wat buitenstaanders niet konden zien.

2. Wiskundig Redeneren (De 'Logica'-test)

Voorbeelden: Het oplossen van een complex algebra-probleem of een woordprobleem over spaarrekeningen.
Resultaat: Nee, het geheime signaal ontbreekt.
De Analogie: Denk hierbij aan een monteur die een auto repareert. Als twee monteurs naar dezelfde kapotte motor kijken, zit de moeilijkheid in de structuur van de motor, niet in een geheim geheugen. De AI heeft geen speciaal 'Ik weet dat ik gelijk heb'-gevoel over de wiskunde. De aanwijzingen die je vertellen of de wiskunde klopt, zijn allemaal zichtbaar aan de oppervlakte (de vraag en de logische stappen). Een buitenstaander die naar het probleem kijkt, kan het succes van de AI net zo goed voorspellen als de AI het zelf kan voorspellen.

Waar Verbergt het Geheime Signaal Zich?

De onderzoekers keken ook waar in het 'brein' van de AI (zijn verwerkingslagen) dit geheime signaal verschijnt.

Voor Feiten: Het signaal begint klein in de vroege lagen (waar de AI de woorden leest) en wordt sterker naarmate de informatie dieper het brein in beweegt. Het is als een geheugenophaalproces dat opbouwt naarmate de AI erover nadenkt.
Voor Wiskunde: Het signaal verschijnt nooit echt. De 'moeilijkheid' van het wiskundeprobleem is zichtbaar op elke enkele laag, van begin tot eind.

Samenvatting

Het artikel concludeert dat AI-modellen wel beschikken over bevoorrechte kennis, maar alleen voor feiten die ze hebben onthouden. Ze weten wanneer ze een herinnering ophalen. Ze hebben echter geen deze geheime kennis voor wiskunde of logica; in die gevallen is hun vertrouwen net zo zichtbaar voor de buitenwereld als voor zichzelf.

De reden dat eerdere studies dit misten, was dat de modellen te vaak overeenkwamen, waardoor het verschil tussen 'een feit kennen' en 'een probleem oplossen' verborgen bleef. Door alleen te kijken naar de momenten waarop ze het oneens waren, onthulden de onderzoekers eindelijk de waarheid.

1. Probleemstelling en Context

De centrale vraag van dit artikel is of grote taalmodellen (LLM's) beschikken over bevoorrechte kennis (privileged knowledge) met betrekking tot de juistheid van hun eigen antwoorden. Met andere woorden: bevatten de interne toestanden van een model specifieke signalen die aangeven of zijn antwoord correct zal zijn, signalen die ontoegankelijk zijn voor een externe waarnemer (een ander model)?

Theoretische context: Geïnspireerd door het filosofische concept van "epistemisch privilege", waarbij een agent speciale toegang heeft tot zijn eigen interne toestanden.
Contradictorische staat van de techniek:
- Sommige studies suggereren dat LLM's hun eigen juistheid kunnen voorspellen via lineaire sondes (probes) op hun verborgen toestanden.
- Andere recente werken (Chi et al., Seo et al., Xiao et al.) stellen dit idee ter discussie, en suggereren dat sondes simpelweg patronen van ophaalprocessen of publieke kenmerken van de vraag detecteren, en dat externe modellen de juistheid even goed kunnen voorspellen als het model zelf.
Hypothese van het artikel: De eerdere conclusies die het bestaan van bevoorrechte kennis ontkennen, zouden voortijdig kunnen zijn vanwege een kritieke verwarrende factor: het inter-model consensus. Als modellen vaak overeenstemming bereiken over de juistheid van een antwoord, kan een extern model zijn eigen juistheidspatronen gebruiken als proxy om de juistheid van het doelmodel te voorspellen, waardoor het ontbreken of aanwezigheid van unieke interne signalen wordt gecamoufleerd.

2. Methodologie

De auteurs stellen een rigoureus experimenteel kader voor om unieke interne signalen van modellen te isoleren.

A. Definitie van Bevoorrechte Kennis

De verborgen toestand $h$ van een model wordt ontbonden in twee latente componenten:

$z_{public}$ : Inherent aan de vraag (domein, typen entiteiten) toegankelijk voor elk model.
$z_{private}$ : Specifieke interne toestanden van het model (succes van het ophalen van geheugen, vertrouwen in het redeneren). Het is deze component die de "bevoorrechte kennis" vormt.

B. Configuratie van Sondes (Probes)

Om het bestaan van $z_{private}$ te testen, trainen de auteurs classificeerders (sondes) om de juistheid ( $y \in \{0, 1\}$ ) van een antwoord te voorspellen:

Self-Probe (Zelf-sonde): Getraind op de interne representaties van het doelmodel ( $M_{target}$ ) om zijn eigen juistheid te voorspellen.
External-Probe (Externe sonde): Getraind op de representaties van een ander model ( $M_{source}$ $M_{so u r ce}$ ) om de juistheid van het doelmodel te voorspellen.
- Cross-Model: Gebruikt een LLM van vergelijkbare grootte.
- Embedding-Model: Gebruikt een embedding-model.

C. De Metriek: De "Premium Gap"

De Premium Gap wordt gedefinieerd als het prestatievoordeel (gemeten door de AUC) van een Self-Probe ten opzichte van de beste External-Probe.

Als de gap nul is, suggereert dit dat de juistheid volledig voorspelbaar is via publieke kenmerken ( $z_{public}$ ).
Als de gap positief en significant is, wijst dit op het bestaan van bevoorrechte kennis ( $z_{private}$ ).

D. De Kerninnovatie: Disagreement Subsets (Subsets van Onenigheid)

Om de bias van consensus te elimineren, testen de auteurs niet op de volledige willekeurige dataset, maar richten ze zich op de subsets van onenigheid.

Definitie: Een verzameling vragen waarbij het doelmodel en het bronmodel tegenovergestelde juistheidsetiketten produceren (de een heeft gelijk, de ander ongelijk).
Reden: In deze gevallen kan het externe model zijn eigen juistheidspatronen niet gebruiken als proxy voor het doelmodel. Als een Self-Probe nog steeds een External-Probe overtreft op deze subset, is dit direct bewijs van bevoorrechte kennis.

E. Experimentele Configuratie

Modellen: Drie LLM's van vergelijkbare grootte (Qwen-2.5-7B, Llama-3.1-8B, Gemma-2-9B) en een groter model (Qwen-3-32B) voor schaalbaarheid.
Data: Vijf datasets die twee domeinen bestrijken:
- Feitelijke kennis: Mintaka, TriviaQA, HotPotQA.
- Wiskundig redeneren: GSM1K, MATH.
Methode: Lineaire (logistische regressie) en niet-lineaire (MLP) sondes op verborgen toestanden (elke 5e laag + laatste laag).

3. Belangrijkste Resultaten

A. Afwezigheid van Premium Gap op Standaard Datasets

Op volledige testsets (willekeurig) bevestigen de auteurs dat de Premium Gap nul of verwaarloosbaar is.

Externe sondes (met name die gebaseerd op Gemma) halen de interne sondes in of overtreffen ze.
Dit wordt verklaard door een hoog percentage overeenstemming tussen modellen (~80% voor feiten, ~75% voor wiskunde), waardoor externe sondes gedeelde juistheidspatronen kunnen benutten.

B. Opkomst van Domeinspecifieke Bevoorrechte Kennis

Bij evaluatie op de subsets van onenigheid divergeren de resultaten radicaal per domein:

Feitelijke Kennis (TriviaQA, Mintaka, HotPotQA):
- Een statistisch significante Premium Gap (ongeveer 5%) komt naar voren.
- Self-Probes overtreffen systematisch External-Probes.
- Conclusie: Modellen beschikken over bevoorrechte kennis over de juistheid van hun feitelijke antwoorden, ontoegankelijk voor externe waarnemers.
Wiskundig Redeneren (MATH, GSM1K):
- Er wordt geen Premium Gap waargenomen, zelfs niet op subsets van onenigheid.
- Externe sondes halen de interne sondes in of overtreffen ze.
- Conclusie: De juistheid in wiskundig redeneren rust niet op bevoorrechte interne signalen, maar op structurele kenmerken van de vraag die voor alle modellen toegankelijk zijn.

C. Temporele Lokalisatie (Analyse per Laag)

De auteurs analyseren op welke diepte in het netwerk deze signalen verschijnen:

Feitelijk: De Premium Gap is dicht bij nul in de eerste lagen en groeit geleidelijk vanaf de middelste lagen (richting laag 10-15) tot in de diepe lagen. Dit suggereert dat bevoorrechte kennis gerelateerd is aan geheugenophaal die zich accumuleert tijdens de forward pass.
Wiskundig: Er wordt geen consistente trend waargenomen; de gap blijft nul of negatief op alle dieptes.

D. Analyse van Signaalbronnen ("Lexical-Only" Experiment)

Door de syntaxis te verwijderen en alleen genoteerde entiteiten en namen over te houden:

De voorspelling van juistheid voor feitelijke taken en MATH blijft sterk, wat suggereert dat vertrouwdheid met concepten een sleutelfactor is.
Voor GSM1K daalt de prestatie tot het niveau van toeval, wat aangeeft dat wiskundige juistheid afhangt van de computationele structuur van het probleem en niet van oppervlaktetokens.

4. Kernbijdragen

Identificatie van een Grote Verwarrende Factor: Demonstreert dat inter-model consensus het potentiële bestaan van bevoorrechte kennis in standaard evaluaties maskeert.
Methodologie van Onenigheid: Introduceert evaluatie op subsets van onenigheid als standaardmethode om unieke interne signalen van modellen te isoleren.
Domeinasymmetrie: Vestigt dat bevoorrechte kennis geen universele eigenschap van LLM's is, maar domeinspecifiek is: het bestaat voor het ophalen van feiten, maar ontbreekt voor complex wiskundig redeneren.
Architecturale Lokalisatie: Kaart de geleidelijke opkomst van deze signalen in de middelste en diepe lagen van modellen voor feitelijke taken.

5. Betekenis en Implicaties

Reconciliatie van eerdere werken: Dit artikel lost het conflict op tussen studies die stellen dat LLM's "weten" of ze gelijk hebben en diegenen die het tegenovergestelde zeggen. De waarheid is genuanceerd: ze hebben bevoorrechte toegang tot feitelijke juistheid, maar niet tot redeneren.
Detectie van Hallucinaties: De resultaten suggereren dat modelspecifieke activaties signalen voor foutdetectie (hallucinaties) kunnen bevatten die externe "black box"-tools niet kunnen zien, met name bij kennisopdrachten.
Beperkingen van Introspectie: De capaciteit van een model om zichzelf te evalueren, hangt af van de aard van de taak. Voor redeneertaken biedt zelfevaluatie via interne signalen geen voordeel ten opzichte van externe analyse.
Toekomst: Opening naar interventie-experimenten (activatie-sturing) om deze juistheidssignalen te manipuleren en de betrouwbaarheid van modellen te verbeteren.

Samenvattend demonstreert het artikel dat LLM's wel degelijk een vorm van "bewustzijn" van hun eigen juistheid bezitten, maar dat deze capaciteit gecamoufleerd wordt door consensus in standaard evaluaties en beperkt is tot taken van feitelijke geheugenopslag, en niet uitstrekt tot complex logisch redeneren.