Human-Alignment and Calibration of Inference-Time Uncertainty in Large Language Models

Technische Samenvatting: Menselijke Alignement en Kalibratie van Onzekerheid tijdens Inferentie in Large Language Models

Probleemstelling
Recent onderzoek heeft zich sterk gericht op het kalibreren van Large Language Models (LLMs) om ervoor te zorgen dat hun onzekerheidsschattingen de waarschijnlijkheid van het genereren van een geldig antwoord nauwkeurig voorspellen. Echter, er bestaat een kritische kloof: bestaand werk evalueert zelden of modelonzekerheid overeenkomt met menselijke onzekerheid. Hoewel een maatstaf goed gekalibreerd kan zijn aan de modelnauwkeurigheid, kunnen de waarden ervan niet overeenkomen met menselijke intuïtie, wat ze moeilijk interpreteerbaar maakt voor gebruikers. Bovendien vereisen de meeste methoden voor onzekerheidskwantificatie (UQ) hulp bij de generatie (bijv. Monte Carlo dropout), waardoor ze ongeschikt zijn voor real-time modelcontrole of gebruikersfeedback. Dit artikel adresseert de behoefte aan inferentie-tijd UQ-maten die tegelijkertijd gekalibreerd (voorspellend voor modelcorrectheid) en aligned (gecorreleerd met menselijke groepsonzekerheid) zijn.

Methodologie
De auteurs evalueren een collectie inferentie-tijd onzekerheidsmaten over meerdere LLMs (LLaMa-3.2 1B/3B, LLaMa-3.1 8B, en Mistral 7B 0.1/0.3, zowel base als instruction-tuned varianten). De studie maakt gebruik van twee menselijke enquête-datasets:

1. Pew Dataset: 38 vragen uit Pew Research-enquêtes (gebruikt als baseline).
2. Roper Dataset: 2.998 vragen gesampled uit het Roper Center for Public Opinion Research (2017–2023).

Definitie van Menselijke Onzekerheid: Menselijke onzekerheid wordt benaderd door het niveau van onenigheid onder groepen respondenten. Het wordt berekend als de entropie van de genormaliseerde responspercentages voor elke vraag.

Geëvalueerde Onzekerheidsmaten:
De studie richt zich op maten die berekenbaar zijn tijdens een enkele generatiepass zonder hulp bij sampling:

• Top-1 Waarschijnlijkheid: De waarschijnlijkheid van de meest waarschijnlijke token.
• Entropie-gebaseerde Maten:
  • Totale Entropie: Shannon-entropie over de volledige vocabulaireverdeling.
  • Top-k Entropie: Entropie berekend over de top $k$ tokens ($k \in \{5, 10, 25, 50, 100\}$), genormaliseerd om relatieve ratio's te behouden.
  • Keuze-entropie (Choice Entropy): Entropie specifiek berekend over de genormaliseerde waarschijnlijkheden van de verstrekte antwoordopties.
  • Top-p Entropie: Entropie over de tokens geselecteerd via nucleus sampling (nucleus grootte $p \in \{0.5, 0.75, 0.9, 0.95\}$).
• Top-p Grootte: Het aantal tokens in de nucleus-set.

Evaluatiemetrieken:

1. Alignment (Afstemming):
   • Overt Agreement (Expliciete Overeenstemming): De frequentie waarmee de topkeuze van het model overeenkomt met de topkeuze van de menselijke groep.
   • Preference Ordering (Voorkeursvolgorde): Gemeten via de genormaliseerde Kendall $\tau$ afstand tussen de model- en menselijke voorkeursrangschikkingen.
   • Onzekerheidscorrelatie: Pearson-correlatie tussen modelonzekerheidsscores en menselijke groepsonzekerheid (entropie van responsen) over vragen heen.
2. Kalibratie:
   • Correctheidscorrelatie: Spearman-correlatie tussen onzekerheidsmaten en binaire correctheid op de MMLU-benchmark.
   • Distributional Calibration (JSD Shift): Een nieuwe metriek die de verschuiving in de Jensen-Shannon Afstand (JSD) meet. De auteurs hypothetiseren dat een goed gekalibreerde maatstaf een significante toename zal laten zien in de afstand tussen de antwoordverdeling van het model en de correcte antwoordverdeling wanneer men overgaat van hoge-zekerheid naar lage-zekerheid vragen.

Belangrijkste Resultaten

• Alignment vs. Voorkeur: Modellen vertoonden matige overeenstemming met mensen op de top-antwoorden (beter dan kans), maar vertoonden geen significante alignment in de algehele voorkeursvolgorde (Kendall $\tau$ afstanden waren effectief willekeurig).
• Onzekerheidsalignment: Ondanks het gebrek aan alignment in voorkeursvolgorde, vertoonden verschillende maten een sterke correlatie met menselijke groepsonzekerheid.
  • Top-presterende maten: Keuze-entropie, Totale entropie, alle Top-k entropieën en Top-p entropie (voor $p \ge 0.9$) vertoonden consistent een significante correlatie ($|r| \ge 0.3$) over alle modellen.
  • Top-p Grootte: Toonde een zwakke maar significante correlatie voor $p \le 0.9$, wat eerdere aannames tegenspreekt.
  • Top-1 Waarschijnlijkheid: Toonde geen consistente significante correlatie.
• Kalibratie: De maten die goed alignen met menselijke onzekerheid, vertoonden ook matig tot sterk bewijs van kalibratie op MMLU.
  • Keuze-entropie kwam naar voren als de meest robuuste maatstaf, waarbij een negatieve correlatie met correctheid werd getoond (lagere onzekerheid = hogere nauwkeurigheid) over bijna alle modellen en onderwerpen.
  • JSD Shift: Permutatietesten bevestigden dat voor de meeste maten de verschuiving in de distributionele afstand tussen hoge- en lage zekerheidstoestanden statistisch significant was, wat aangeeft dat de maten effectief onderscheid maken tussen zekere en onzekere modeltoestanden.

Belangrijkste Bijdragen

1. Top-p en Bayesiaanse Connectie: De auteurs merken op dat top-p selectie in LLM-decodering functioneel gelijkwaardig is aan de Bayesiaanse hoogste dichtheid geloofwaardige verzameling (highest density credible set), een connectie die voorheen niet werd opgemerkt in de UQ-literatuur.
2. Ontkoppeling van Alignment en Voorkeur: Het werk observeert dat entropie-gebaseerde inferentie-tijd maten kunnen alignen met menselijke onzekerheid, zelfs wanneer modellen en mensen verschillen in specifieke antwoordvoorkeuren of ordening.
3. Nieuwe Kalibratiemetriek: De ontwikkeling van een grondwaarheid distributionele kalibratiemaatstaf gebaseerd op de verschuiving in de Jensen-Shannon afstand metriek om de impact van zekerheid op antwoordverdelingen direct te evalueren.
4. Empirisch Bewijs: De studie levert bewijs dat gealigneerde inferentie-tijd maten ook gekalibreerd zijn in termen van zowel correctheidscorrelatie als distributionele analyse.

Betekenis en Claims
Het artikel beweert een set inferentie-tijd UQ-maten te hebben geïdentificeerd die effectief en meer intuïtief interpreteerbaar zijn voor menselijke gebruikers omdat ze aligneren met menselijk onzekerheidsgedrag. Dit is significant omdat het suggereert dat modellen real-time vertrouwenssignalen kunnen bieden die gebruikers kunnen begrijpen, zelfs als de modellen niet perfect het menselijke antwoordselectielogica nabootsen.

De auteurs concluderen bescheiden dat hoewel deze maten sterk initieel bewijs van alignment en kalibratie tonen, ze niet perfect zijn. Ze benadrukken dat toekomstig werk nodig is om:

• Maten te vinden die hoog gekalibreerd zijn zonder alignment op te offeren.
• Deze bevindingen uit te breiden naar open-ended generatiecontexten (door een framework voor te stellen om open-ended responsen om te zetten in multiple-choice evaluaties).
• Individuele-niveau onzekerheidsalignment te onderzoeken in plaats van alleen groepsniveau.
• Deze maten in werkelijke mens-LLM coöperatieve toepassingen te testen om te bepalen of ze het gebruikersvertrouwen en de taakeffectiviteit verbeteren.

De studie is beperkt tot multiple-choice contexten en modellen met 8 miljard parameters of minder, waarbij wordt opgemerkt dat resultaten kunnen variëren in grotere modellen of open-ended scenario's.