Are LLM Uncertainty and Correctness Encoded by the Same Features? A Functional Dissociation via Sparse Autoencoders

1. Het Probleem

Grote Taalmodellen (LLM's) worden steeds vaker ingezet in situaties met hoge risico's. Een centrale uitdaging is het bepalen van het moment waarop een modeloutput betrouwbaar is. Bestaande methoden voor Uncertainty Quantification (UQ) gaan vaak uit van de aanname dat onzekerheid en juistheid (correctness) sterk gekoppeld zijn: een model zou onzeker moeten zijn als het fout is, en zeker als het goed is.

Echter, in de praktijk zien we vaak gevallen waarin een model onzeker is maar wel correct is, of zeker maar fout. Dit suggereert dat onzekerheid en juistheid mogelijk niet door dezelfde interne mechanismen worden gedreven. De huidige evaluatieparadigma's verwarren deze twee signalen, wat leidt tot interventies die de onzekerheid verlagen zonder de juistheid te verbeteren. De kernvraag van dit paper is: Worden onzekerheid en juistheid gecodeerd door dezelfde interne kenmerken (features) of door distincte populaties?

2. Methodologie

De auteurs introduceren een nieuwe aanpak die gebruikmaakt van Sparse Autoencoders (SAE's) om de interne representaties van LLM's te ontleden in interpreteerbare kenmerken.

• 2x2 Kader Framework: De auteurs partitioneren modelvoorspellingen in vier kwadranten op basis van twee onafhankelijke assen:

  1. Correctheid: Juist vs. Onjuist.
  2. Zekerheid (Confidence): Gedefinieerd door de entropie van de softmax-verdeling over de antwoordtokens (Laag entropie = zeker, Hoog entropie = onzeker).
  • Dit resulteert in vier groepen: Zeker-Juist, Zeker-Onjuist, Onzeker-Juist, en Onzeker-Onjuist.

• Kenmerkontdekking (Feature Discovery): Met behulp van Mann-Whitney U-tests en effectgroottes (Cohen's d) worden SAE-kenmerken geïdentificeerd die significant verschillen tussen deze groepen. Hieruit ontstaan drie categorieën:

  1. Pure Onzekerheidskenmerken: Significant alleen op de onzekerheidsas.
  2. Pure Onjuistheidskenmerken: Significant alleen op de correctheidsas.
  3. Verwarden (Confounded) Kenmerken: Significant op beide assen.

• Functionele Validatie via Suppressie: Om de rol van deze kenmerken te testen, worden ze doelgericht "onderdrukt" (zeroed out) in de residual stream van het model tijdens de inferentie. De impact op nauwkeurigheid (accuracy) en output-entropie wordt gemeten.

• Modellen en Data: De studie wordt uitgevoerd op Llama-3.1-8B en Gemma-2-9B met gebruik van vooraf getrainde SAE's (Llama Scope en Gemma Scope). De datasets zijn voornamelijk meerkeuzevragen (MMLU, ARC-Challenge, RACE).

3. Belangrijkste Bijdragen

1. Ontkoppeling van Signalen: Een 2x2-kader dat onzekerheid en onjuistheid entangelt op het niveau van individuele SAE-kenmerken, waardoor ze onafhankelijk kunnen worden geanalyseerd.
2. Functionele Dissociatie: Het aantonen van drie fundamenteel verschillende rollen voor de kenmerkpopulaties:
   • Pure onzekerheidskenmerken zijn essentieel.
   • Pure onjuistheidskenmerken zijn inert (werkloos).
   • Verwarden kenmerken zijn schadelijk voor de outputkwaliteit.
3. Generalisatie: De bevindingen zijn robuust over twee verschillende modelarchitecturen en datasets (transfer learning zonder herselectie).
4. Voorspellende Dissociatie: Het aantonen dat een zeer klein aantal verwarden kenmerken (slechts 3) voldoende is om de juistheid van het model nauwkeurig te voorspellen, wat leidt tot effectieve selectieve abstentie.

4. Resultaten

A. Functionele Rollen bij Suppressie

• Pure Onzekerheidskenmerken: Deze zijn functioneel essentieel. Het onderdrukken ervan leidt tot een ernstige daling in nauwkeurigheid (bijv. tot -10% in late lagen van Llama). Dit suggereert dat deze kenmerken nodig zijn voor het genereren van correcte antwoorden, ongeacht de zekerheid.
• Pure Onjuistheidskenmerken: Deze zijn functioneel inert. Ondanks dat ze statistisch significant actiever zijn bij fouten, veroorzaakt het onderdrukken ervan geen meetbare verandering in nauwkeurigheid of entropie. Ze correleren met fouten maar lijken geen causale rol te spelen in het proces dat de fout veroorzaakt.
• Verwarden (Confounded) Kenmerken: Deze zijn schadelijk. Het onderdrukken van een geselecteerde subset van deze kenmerken leidt tot:
  • Een verbetering in nauwkeurigheid van +1.1% (Llama) en +0.2% (Gemma).
  • Een drastische reductie in entropie van 75%.
  • Dit effect is specifiek voor deze categorie en niet zichtbaar bij willekeurige kenmerken.

B. Generalisatie en Voorspelling

• Cross-Dataset & Cross-Architecture: De geselecteerde verwarden kenmerken, ontdekt op MMLU, transfereren succesvol naar ARC-Challenge en RACE zonder hertraining. Hetzelfde dissociatiepatroon wordt gevonden in zowel Llama als Gemma.
• Voorspellende Kracht: Een logistische regressie-classifier getraind op de activaties van slechts 3 verwarden kenmerken uit één middenlaag (laag 18) kan de juistheid van het model voorspellen met een AUROC van ~0.79. Dit komt dicht in de buurt van de baseline van output-entropie (0.805), maar vereist geen volledige forward pass voor de voorspelling.
• Selectieve Abstentie: Door te vertrouwen op deze 3 kenmerken, kan het model selectief afzien van antwoorden (abstention). Bij een dekking van 53% stijgt de nauwkeurigheid van 62% naar 81%, wat aanzienlijk beter is dan het model's eigen "ik weet het niet"-mechanisme.

5. Betekenis en Conclusie

De studie bewijst dat onzekerheid en juistheid distincte interne fenomenen zijn in transformer-architecturen, en niet twee kanten van dezelfde medaille.

• Interpretatie: De standaard UQ-evaluatie (die kijkt naar de correlatie tussen zekerheid en juistheid) verwardt functioneel verschillende interne processen. Een model kan "zeker" zijn door de afwezigheid van onzekerheidskenmerken, maar dat garandeert niet dat de onjuistheidskenmerken afwezig zijn of dat de output correct is.
• Praktische Toepassing: De identificatie van "verwarden" kenmerken biedt een nieuwe weg voor targeted inference-time intervention. Door deze specifieke, schadelijke kenmerken te onderdrukken, kan de betrouwbaarheid en nauwkeurigheid van het model worden verbeterd zonder de basisfunctionaliteit te beschadigen.
• Toekomst: De bevindingen suggereren dat transformer-modellen een georganiseerd principe hanteren waarbij onzekerheid en foutdetectie gescheiden zijn, maar dat er een subset van kenmerken bestaat die beide signalen "verward" en deze verwarde signalen de grootste kans bieden voor interventie om de outputkwaliteit te verhogen.

Kortom, het paper levert mechanistisch bewijs dat LLM's niet één "waarheidsdetector" hebben, maar een complex netwerk van gescheiden en verwarde kenmerken, waarbij het beheersen van de verwarde subset de sleutel is tot betrouwbaardere AI.