💬 NLP

Unsure but Certain: Uncovering the Representation-Confidence Gap in Diffusion Language Models

Dit artikel identificeert een "representatie-vertrouwensgat" in diffusie-taalmodellen waarbij interne foutdetectiesignalen worden genegeerd door externe vertrouwensscores onder ruisige omstandigheden, maar demonstreert dat een lichtgewicht, zero-generation tool deze verborgen signalen kan extraheren om de antwoordrangschikking te herstellen zonder het basismodel aan te passen.

Oorspronkelijke auteurs: Saurabh Yadav, Badri Narayana Patro, Vijay Srinivas Agneeswaran

Gepubliceerd 2026-08-11

📖 7 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Saurabh Yadav, Badri Narayana Patro, Vijay Srinivas Agneeswaran

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

De Vertrouwensval: Wanneer AI tegen zichzelf liegt

Stel je voor dat je een robot probeert te leren een verhaal te lezen. Je hebt twee verschillende soorten robots. Het eerste soort, die we al lange tijd gebruiken, leest het verhaal woord voor woord, zoals een persoon die bladzijden omslaat. Het tweede soort, een nieuwere uitvinding genaamd een "Diffusion Language Model", bekijkt het hele verhaal in één keer, zoals iemand die een pagina scant met zijn ogen, en probeert de ontbrekende stukjes tegelijkertijd te raden. Omdat deze nieuwe robot het hele plaatje ziet, dachten wetenschappers dat hij beter zou zijn in het omgaan met rommelige input, zoals een verhaal vol typefouten of door elkaar gehusselde letters.

Maar hier komt het lastige deel: hoe weten we of de robot gelijk heeft? Meestal vragen we hem: "Hoe zeker ben je?" Als de robot zegt: "Ik weet het voor 99% zeker!", dan hebben we de neiging hem te vertrouwen. Als hij zegt: "Ik weet het niet zeker," dan negeren we het antwoord misschien. Dit artikel onderzoekt een vreemde fout in deze nieuwe "gehele-plaatje"-robots. Het blijkt dat wanneer deze robots een fout maken, ze dat vaak niet doorhebben. Ze kunnen het antwoord volledig fout hebben, maar ze zullen nog steeds roepen: "Ik weet het voor 99% zeker!" Het is als een student die een wiskundeprobleem fout heeft opgelost, maar met totale zelfverzekerdheid zijn hand opsteekt, ervan overtuigd dat hij het goed heeft. De onderzoekers wilden uitzoeken waarom dit gebeurt en of er een manier is om in het brein van de robot te gluren om de waarheid te zien voordat hij spreeं.

Het Mysterie van de "Onzekere maar Zekere" Robot

De onderzoekers, Saurabh Yadav en zijn team, besloten deze nieuwe Diffusion-modellen (specifiek modellen genaamd LLaDA en DREAM) te testen door ze logische puzzels te geven met opzettelijke fouten, zoals het verwisselen van letters of het verwijderen van woorden. Ze wilden twee dingen testen: hoe vaak de robot het antwoord goed had (nauwkeurigheid), en hoe goed de "vertrouwensscore" van de robot overeenkwam met die realiteit (betrouwbaarheid).

Wat ze vonden was een bizarre mismatch die ze de Representation-Confidence Gap noemen.

Stel je het brein van de robot voor als een gebouw met twee verschillende kamers. In de Achterkamer (de verborgen toestanden/hidden states) is de robot eigenlijk heel slim. Hij kan naar een rommelige vraag kijken en direct weten: "Hé, deze vraag is kapot, en mijn antwoord is waarschijnlijk fout." Hij detecteert de fout met bijna perfecte nauwkeurigheid. Maar in de Voorkamer (de uiteindelijke output) is de robot een slechte acteur. Wanneer hij eindelijk een antwoord geeft, negeert hij de waarschuwingssignalen uit de Achterkamer volledig. Zelfs als hij het fout heeft, rapporteert hij een vertrouwensscore die bijna maximaal is, zoals 0,98 of 0,99.

Het artikel laat zien dat naarmate de ruis (typefouten) erger wordt, de werkelijke nauwkeurigheid van de robot daalt, maar de gerapporteerde vertrouwensscore koppig hoog blijft. Het is alsof de robot zegt: "Ik weet voor 99% zeker dat het antwoord 24 is," terwijl het juiste antwoord 12 is. Dit is gevaarlijk, want als je het vertrouwen van de robot vertrouwt, vertrouw je ook zijn foute antwoorden.

Waarom Simpele Oplossingen Niet Werken

De onderzoekers probeerden dit probleem op te lossen met standaardtrucs, maar ze liepen tegen een muur aan.

De "Zet het Volume Lager"-truc: Normaal gesproken, als een robot te zelfverzekerd is, kun je wiskunde gebruiken om de vertrouwensscores te verlagen (zoals het volume van een radio zachter zetten). De onderzoekers probeerden dit. Het werkte op één manier: de scores gingen omlaag. Maar het faalde op de belangrijkste manier: het veranderde de volgorde van de antwoorden niet. De robot vond zijn foute antwoord nog steeds beter dan zijn juiste antwoord. Hij dacht alleen dat beide minder zelfverzekerd waren dan voorheen.
De "Her-trainen"-truc: Ze probeerden de robot te leren om zijn rommelige antwoorden te laten overeenkomen met zijn schone antwoorden. Dit loste de nauwkeurigheid op (de robot had meer goede antwoorden), maar het loste het vertrouwensprobleem niet op. De robot dacht nog steeds dat zijn foute antwoorden "zeker" waren.
De "Foutdetector"-truc: Ze probeerden de robot een signaal te voeren dat zei: "Hé, de vraag is rommelig!" Maar dit signaal was hetzelfde voor elk mogelijk antwoord. Het was alsof je tegen de robot zei: "De test is moeilijk," zonder te zeggen welk specifiek antwoord fout was. Dit hielp de robot niet om te beslissen welk antwoord hij moest vertrouwen.

Het artikel betoogt dat het probleem niet alleen is dat de robot te luidruchtig is; het is dat de robot het vermogen is verloren om zijn eigen gokken correct te rangschikken. Hij kan het verschil niet meer zien tussen een "misschien goed" en een "absoluut fout" antwoord.

Het Magische Gereedschap: De "Latent Correctness Readout"

Hier is het opwindende deel. De onderzoekers ontdekten dat de informatie die nodig was om dit op te lossen, de hele tijd al in de robot verborgen zat, maar de robot gebruikte het niet.

Ze bouwden een klein, lichtgewicht hulpmiddel genaamd de Latent Correctness Readout (LCR). Stel je het brein van de robot voor als een enorme bibliotheek met aantekeningen. Wanneer de robot een probleem oplost, laat hij een spoor van aantekeningen (verborgen toestanden) achter voor elk woord dat hij genereert. De LCR is als een bibliothecaris die snel de aantekeningen scant die de antwoord-woorden hebben achtergelaten.

Deze bibliothecaris verandert de robot niet. Ze traint hem niet opnieuw. Ze laat de robot zelfs niet harder nadenken. Ze kijkt alleen naar de aantekeningen die de robot al heeft geschreven en zegt: "Op basis van deze aantekeningen lijkt dit antwoord fout," of "Dit ene lijkt juist."

De resultaten waren verrassend:

Het werkt: Door dit hulpmiddel te gebruiken, konden ze de antwoorden opnieuw rangschikken. Ze konden de robot zeggen: "Negeer dat met 99% vertrouwen foute antwoord, en kijk naar dit ene in plaats daarvan."
Het is snel: Het hulpmiddel is ongelooflijk efficiënt. Het vereist niet dat de robot extra antwoorden genereert of meer tijd neemt. Het leest alleen de aantekeningen van een enkele passage uit.
Het is eerlijk: Het hulpmiddel bewees dat de "waarheid" de hele tijd al in de robot zat. De robot slaagde er alleen niet in om het te rapporteren.

De Limieten van de Ontdekking

Het artikel is zeer voorzichtig in de opmerking dat dit geen toverstaf is die alles oplost.

Het is niet perfect: Hoewel het hulpmiddel de rangschikking aanzienlijk verbeterde, maakte het de robot niet perfect. Als je de robot een paar extra antwoorden laat genereren (zoals hem vraagt om twee keer na te denken), werkte die methode nog beter dan het hulpmiddel, maar het kostte veel meer tijd en computerkracht.
Het hangt af van de taak: Het hulpmiddel werkte geweldig bij wiskundepuzzels (zoals GSM8K) en sommige wetenschappelijke vragen. Maar bij andere taken, zoals het begrijpen van sociale situaties of lastige grammatica, hielp het niet veel en maakte het soms zelfs de situatie iets slechter.
Het heeft een beetje training nodig: Het hulpmiddel moet worden "onderwezen" op een kleine set voorbeelden voor elk nieuw type taak dat het tegenkomt. Het kan niet zomaar op elke robot over elk onderwerp worden toegepast zonder een kleine opzet.

De Belangrijkste Les

De belangrijkste les van dit artikel is dat voor deze nieuwe Diffusion-modellen vertrouwen niet hetzelfde is als juistheid. Alleen omdat een robot zegt dat hij voor 100% zeker is, betekent niet dat hij het goed heeft, vooral niet wanneer de input rommelig is. Het brein van de robot kent de waarheid, maar zijn mond liegt.

De onderzoekers hebben aangetoond dat we een simpel "leugendetector"-instrument kunnen bouwen dat de interne aantekeningen van de robot leest om de waarheid te vinden. Dit is een grote stap voorwaarts omdat het betekent dat we deze krachtige nieuwe modellen niet hoeven weg te gooien; we hebben alleen een betere manier nodig om naar ze te luisteren. Totdat we echter een perfecte manier hebben om dit te doen, moeten we zeer voorzichtig zijn met het vertrouwen van deze robots wanneer ze te maken hebben met rommelige, ruizige informatie. Ze kunnen diep van binnen "onzeker" zijn, zelfs als ze aan de oppervlakte "zeker" klinken.

Technische Samenvatting: Het blootleggen van de Representatie-Zekerheidskloof in Diffusie-Taalmodellen

Probleemstelling

Diffusie-Taalmodellen (DLM's), zoals LLaDA en DREAM, genereren tekst door volledige sequenties te onthullen met behulp van brede context, in plaats van autoregressieve voorspelling van token voor token. Hoewel dit mechanisme suggereert dat ze potentieel robuust zijn tegen inputruis, onthoudt empirische testresultaten een kritieke foutmodus onder ruiscondities: de Representatie-Zekerheidskloof (Representation-Confidence Gap).

Wanneer DLM's te maken krijgen met inputruis (bijv. karaktertransposities, substituties, inserties of deleties), detecteren hun interne staten fouten accuraat. Echter, hun uiteindelijke output-betrouwbaarheidsscores blijven bijna maximaal, ondanks een significante daling in accuratesse. Gevolgelijk degradeert het vermogen van het model om correcte antwoorden correct te rangschikken ten opziche van incorrecte antwoorden tot bijna willekeurige kans (AUROC $\approx$ 0,5). Dit creëert een scenario waarin het model "onzeker" is over het antwoord, maar "zeker" in de gerapporteerde score.

Het artikel identificeert dat dit niet louter een kalibratieprobleem is (waarbij scores te hoog of te laag zijn), maar een structureel rangschikkingsdeficit. Standaardoplossingen, zoals temperatuur-scaling of post-hoc kalibratie, kunnen de grootte van de betrouwheidsscores aanpassen, maar falen in het herordenen van de antwoorden. Bovits zijn input-niveau foutdetectoren, hoewel accuraat in het signaleren van ruisige prompts, niet in staat om verschillende scores toe te kennen aan verschillende kandidaat-antwoorden voor een gegeven prompt, waardoor ze nutteloos zijn voor het onderscheiden van specifieke correcte versus incorrecte antwoorden.

Methodologie

1. Diagnostische Analyse

De auteurs evalueerden LLaDA-8B en DREAM-7B op logische puzzels (GSM8K, ARC-Challenge) onder vier soorten tekstruis. Ze maten:

Accuratesse: Het percentage correcte antwoorden.
Kalibratie: De afstemming tussen betrouwbaarheid en accuratesse (Expected Calibration Error).
Rangschikkingskwaliteit: Het vermogen om correcte van incorrecte antwoorden te scheiden met behulp van de Area Under the Receiver Operating Characteristic Curve (AUROC).

Belangrijkste bevindingen:

Interne Detectie: Bevroren interne staten kunnen schone van ruisige tekst onderscheiden met bijna perfecte nauwkeurigheid (AUROC > 0,99).
Betrouwheidscollaps: Onder ruis daalt de DLM-accuratesse aanzienlijk (bijv. van 0,56 naar 0,37), maar de gemiddelde betrouwbaarheid blijft hoog (0,988 naar 0,982). De kloof tussen de betrouwbaarheid voor correcte versus incorrecte antwoorden krimpt tot een verwaarloosbaar niveau (0,0022).
Falen van Standaardoplossingen: Temperatuur-scaling vermindert de kalibratiefout, maar laat de rangschikkings-AUROC bevroren op niveaus rond de kans (chance levels). Input-niveau foutsignalen verschuiven de betrouwbaarheid van de gehele vraag, maar herordenen de kandidaat-antwoorden niet.

2. Voorgestelde Oplossing: Latent Correctness Readout (LCR)

Om het verloren rangschikkingsvermogen te herstellen zonder het basismodel te wijzigen, stellen de auteurs de Latent Correctness Readout (LCR) voor.

Mechanisme: De LCR is een lichtgewicht, lineaire probe die opereert op de verborgen staten (hidden states) van de antwoord-tokens specifiek.
Proces:
1. Extractie: Op een specifieke laag $\ell^*$ worden de verborgen staten $h_i$ die overeenkomen met de antwoord-tokens gemiddeld om een enkele vector $\bar{h}$ te vormen.
2. Scoring: Een eenvoudige logistische functie $r = \sigma(u^\top \bar{h} + b)$ schat de waarschijnlijkheid van correctheid in.
3. Training: De parameters $(u, b)$ worden aangepast op een kleine, gelabelde kalibratieset (bijv. 200 ruisige prompts) met behulp van binary cross-entropy. De gewichten van het basis-DLM blijven volledig bevroren.
4. Toepassing: Tijdens inferentie wordt de LCR-score gebruikt om antwoorden te rangschikken of om abstentie (het onthouden van het antwoord als de score onder een drempelwaarde $\tau$ ligt) te triggeren.

Waarom het werkt: In tegen tegenstelling tot input-niveau detectoren, onderzoekt de LCR de specifieke representatie van het antwoord. Het artikel betoogt dat hoewel DLM's een hoge interne consistentie behouden (het correct oplossen van het "gereconstrueerde" ruisige probleem), de verborgen staten van de antwoord-tokens nog steeds de divergentie van de ware intentie coderen (correctheid), een signaal dat de uiteindelijke betrouwbaarheidsscore negeert.

Belangrijkste Bijdragen

Definitie van de Representatie-Zekerheidskloof: Het artikel definieert formeel de mismatch waarbij DLM's een hoge betrouwbaarheid behouden ondanks verlies van accuratesse onder ruis, waarbij specifien wordt gewezen op de instorting van het rangschikkingsvermogen in plaats van enkel kalibratie.
Structurele Analyse van Foutmodi: De auteurs tonen aan dat standaardoplossingen (temperatuur-scaling, consistentietraining, input-niveau routing) falen omdat ze de relatieve ordening van kandidaat-antwoorden niet veranderen. Ze tonen aan dat input-niveau signalen onvoldoende zijn voor antwoord-niveau discriminatie.
De Latent Correctness Readout (LCR): Een nieuw, training-vrij (voor het basismodel) extractietool dat het rangschikkingsvermogen herstelt uit bevroren verborgen staten. Het vereist nul extra tekstgeneratiestappen en laat de gewichten van het basismodel ongemoeid.
Empirische Validatie: De studie bewijst dat het signaal voor correctheid aanwezig is binnen de interne staten van het model, maar niet wordt weerspiegeld in de gerapporteerde betrouwbaarheid, en dat dit signaal geëxtraheerd kan worden om selectieve predictie te verbeteren.

Resultaten

Prestatie-metrieken

Rangschikkingsherstel: Op GSM8K onder ruis is de selectieve AUROC van het basismodel 0,575 (nabij willekeur). De LCR verbetert dit naar 0,665 zonder modelupdates.
Foutreductie: Bij 50% dekking (het behouden van de top 50% van de antwoorden) daalt de foutmarge op de behouden antwoorden van 0,575 (basis) naar 0,495 (LCR).
Vergelijking met Sampling: Hoewel het genereren van meerdere samples (Self-Consistency) hogere rangschikkingsscores oplevert (bijv. 0,842 met 10 samples), brengt dit hoge computationele kosten met zich mee. De LCR biedt een "gratis" rangschikkingsverbetering tegen nul generatiekosten, en presteert vergelijkbaar met één extra generatie (0,711) wanneer gecombineerd met één sample (0,754).
Generalisatie: De LCR is overdraagbaar naar verschillende soorten ruis (toetsenbord-substitutie, insertie), maar is taakspecifiek. Het verbetert de prestaties op 5 van de 11 benchmarks (bijv. ARC, GSM8K), maar faalt of verslechtert de prestaties op andere (bijv. WinoGrande, CommonsenseQA).

Geïdentificeerde Beperkingen

Taakafhankelijkheid: Het instrument generaliseert niet universeel over alle taken; een screeningsheuristiek gebaseerd op trainingsdata-marges is vereist om de toepasbaarheid te bepalen.
Prestatieplafond: De LCR presteert niet beter dan methoden die meerdere samples genereren (bijv. Self-Consistency met $k \ge 2$ ).
Kalibratievereiste: Het vereist een gelabelde kalibratieset voor de specifieke implementatietaak, in tegenstelling tot scalaire aanpassingen die taak-agnostisch zijn.

Betekenis en Claims

Het artikel claimt dat de zekerheidsbetrouwbaarheid van Diffusie-Taalmodellen een dringender probleem is dan de algehele accuratesse onder ruisige condities. Hoewel de accuratesse hersteld kan worden via standaard matching-training, blijven de betrouwbaarheidsscores misleidend.

De primaire betekenis van dit werk is de demonstratie dat de interne waarheid bestaat maar losgekoppeld is van het output-signaal. De LCR bewijst dat de informatie die nodig is om onzekere vragen veilig over te slaan, overleeft in de verborgen staten van de antwoord-tokens. Door dit signaal te extraheren, kan men verbeteringen in selectieve predictie bereiken zonder het enorme taalmodel te hertrainen of de kosten van meerdere generatie-passes te dragen.

De auteurs positioneren de LCR niet als een definitief product voor alle scenario's, maar als een bewijs van concept dat de representatie-zekerheidskloof een echt, meetbaar fenomeen is in DLM's, en dat het "verborgen" correctheidssignaal toegankelijk is via lichtgewicht, bevroren readouts. Zij benadrukken dat de concentratie van hoge betrouwbaarheidsscores een misleidend oppervlakkig symptoom is; het kernproblek is het verlies van de rangschikkingsvolgorde, wat standaard wiskundige aanpassingen niet kunnen oplossen.