Token-Level Density-Based Uncertainty Quantification Methods for Eliciting Truthfulness of Large Language Models

1. Probleemstelling

Grote Taalmodellen (LLM's) zijn vatbaar voor het genereren van hallucinaties en niet-feitelijke beweringen, wat aanzienlijke risico's met zich meebrengt in veiligheidskritieke toepassingen. Hoewel Uncertainty Quantification (UQ) een primaire aanpak is voor het detecteren van deze fouten, staan bestaande methoden voor twee grote beperkingen:

• Doeltreffendheid van Densiteitsgebaseerde Methoden: Traditionele densiteitsgebaseerde UQ-technieken (bijv. Mahalanobis-afstand) zijn zeer succesvol geweest in tekstclassificatie, maar hebben het niet goed gedaan bij tekstgeneratietaken wanneer ze op sequenceniveau worden toegepast. Eerdere pogingen leverden prestaties op die vergelijkbaar waren met willekeurige selectie.
• Berekeningskosten: State-of-the-art UQ-methoden voor LLM's vertrouwen vaak op consistentiegebaseerde benaderingen (bijv. Semantische Entropie, het genereren van meerdere samples) of deep ensembles, wat enorme rekenkundige overhead introduceert (een toename van 300–700% in inferentiële tijd), waardoor ze onpraktisch zijn voor real-time of grootschalige toepassingen.
• Beperkingen in Kenmerken: Recentere supervisiete methoden die interne LLM-toestanden gebruiken, vertrouwen vaak op simplistische kenmerken of slagen er niet in om robuuste, gevestigde densiteitsgebaseerde metrieken effectief te integreren.

2. Methodologie

De auteurs stellen een nieuw supervisie, token-level, densiteitsgebaseerd UQ-kader voor dat de Mahalanobis-afstand (MD) aanpast voor generatieve modellen. De kerninnovatie ligt in de verschuiving van sequentie-embeddings naar token-embeddings en het intelligent aggregeren daarvan.

Belangrijkste Componenten:

1. Token-Level Embedding Extractie:

   • In plaats van embeddings te middelen om een enkele sequentievector te vormen, extrahert de methode verborgen staat-embeddings voor elk gegenereerd token uit meerdere lagen van de LLM.
   • Embedding Selectie: Om de referentieverdeling (centroïde en covariantiematrix) te construeren, filtert de methode trainingsdata om alleen hoogwaardige (correcte) antwoorden op te nemen. Dit zorgt ervoor dat het densiteitsmodel "waarheidsgetrouwe" generaties representeert.

2. Layer-Wise Mahalanobis-afstand (MD):

   • Voor elke laag $l$ berekent de methode de Mahalanobis-afstand tussen de embedding van een token en de centroïde van de geselecteerde "correcte" token-embeddings uit die laag.
   • Relative MD (RMD): De methode implementeert ook Relative Mahalanobis-afstand, waarbij de afstand tot een achtergrondverdeling (bijv. het algemene C4-dataset) wordt afgetrokken om waarheidsgetrouwheid binnen het domein beter te onderscheiden van algemene ruis.
   • Aggregatie: De token-level scores worden gemiddeld over de sequentie om een sequentie-level score te produceren (Average Token-level MD of ATMD / ATRMD).

3. Supervisie Lineaire Regressie:

   • Aangezien de best presterende laag varieert per taak, behandelt de methode de MD-scores per laag als kenmerken.
   • Een Lineaire Regressie-model wordt getraind om de onzekerheidsscore (gericht op de negatieve kwaliteitsmetriek, bijv. $-ROUGE$ of $-Accuracy$) te voorspellen aan de hand van deze scores per laag.
   • PCA: Om multicollineariteit tussen laag-kenmerken aan te pakken, worden de top 10 Hoofdcomponenten (PCA) gebruikt als input voor de regressor.
   • Hybride Score (HUQ): De uiteindelijke onzekerheidsscore kan een hybride zijn van de supervisiete MD-score en de sequentie-kans (Maximum Sequence Probability, MSP), gecombineerd via een geleerde wegingsfunctie.

3. Belangrijkste Bijdragen

• Token-Level Aanpassing: Het artikel toont aan dat het toepassen van densiteitsgebaseerde methoden op token-niveau (in plaats van sequentieniveau) cruciaal is voor succes bij LLM-generatie, en zo het falen van eerdere sequentie-level densiteitsbenaderingen overwint.
• Efficiënt Supervisie Kader: Ze introduceren een rekenkundig lichtgewicht supervisiete methode die densiteitsscores per laag combineert met lineaire regressie, waardoor de noodzaak voor dure sampling of ensembling wordt vermeden.
• Uitgebreide Evaluatie: De methode is gevalideerd op 11 diverse datasets (die samenvatting, QA met lange/korte antwoorden en meerkeuze-QA omvatten) en twee taken: selectieve generatie op sequentieniveau en claim-level fact-checking.
• Generalisatie: De methode toont sterke robuustheid in domein-externe settings, waarbij de prestaties behouden blijven zelfs wanneer getraind op verschillende taaktypen (bijv. trainen op samenvatting/QA en testen op meerkeuze-QA).

4. Experimentele Resultaten

De experimenten maakten gebruik van de modellen Llama 8b v3.1, Gemma 9b v2 en Mistral 7b.

• Prestaties bij Selectieve Generatie:

  • De voorgestelde methoden (SATRMD+MSP en HUQ-SATRMD) presteerden aanzienlijk beter dan alle baselines, inclusief state-of-the-art onsupervisiete methoden (Semantische Entropie, SAR) en andere supervisiete methoden (SAPLMA, Factoscope).
  • Metrieken: Gemeten door Prediction Rejection Ratio (PRR). De voorgestelde methoden behaalden de hoogste gemiddelde rangen over de datasets. Bijvoorbeeld, op de MMLU-dataset presteerde SATRMD+MSP aanzienlijk beter dan de volgende beste methode.
  • Lage-analyse: In tegenstelling tot classificatietaken waar vaak de laatste laag het beste is, toonden de resultaten aan dat middelste lagen vaak de meest informatieve embeddings bieden voor onzekerheid in decoder-only LLM's.

• Prestaties bij Fact-Checking:

  • Bij claim-level fact-checking (Mistral 7b) behaalde HUQ-SATRMD de beste ROC-AUC (0.750), en presteerde 3,4% beter dan de baseline CCP.

• Berekenings-efficiëntie:

  • Overhead: De voorgestelde methoden introduceren een minimale rekenkundige overhead van 5,3% – 7,6% in vergelijking met standaard LLM-inferentie.
  • Vergelijking: Dit is drastisch lager dan sampling-gebaseerde methoden zoals Semantische Entropie of SAR, die 315% – 700% overhead met zich meebrengen.

• Robuustheid:

  • De methode is robuust voor de grootte van het trainingsdataset (presteert goed met zo weinig als 200–500 instanties).
  • Het is niet sterk gevoelig voor de correctheidsthesold die wordt gebruikt voor het filteren van trainings-embeddings.

5. Betekenis

Dit werk overbrugt de kloof tussen effectieve densiteitsgebaseerde UQ in classificatie en het uitdagende domein van LLM-tekstgeneratie. Door de granulariteit te verschuiven naar het token-niveau en gebruik te maken van een supervisiete lineaire combinatie van kenmerken per laag, bieden de auteurs een oplossing die:

1. Meer Accuraat is: Beduidend beter presteert dan huidige state-of-the-art UQ-methoden bij het detecteren van hallucinaties.
2. Efficiënter is: Real-time onzekerheidsschatting haalbaar maakt voor productieomgevingen door dure sampling te vermijden.
3. Generaliseerbaar is: Het vermogen demonstreert om onzekerheidsschatting te transfereren over verschillende domeinen en taaktypen, een kritieke vereiste voor het implementeren van LLM's in diverse real-world toepassingen.

Het artikel concludeert dat densiteitsgebaseerde methoden, wanneer ze correct zijn aangepast aan de token-level architectuur van LLM's, een superieur alternatief zijn voor zowel triviale kansgebaseerde baselines als rekenkundig dure sampling-methoden.