Technische Samenvatting: Menselijke Alignement, Kalibratie en Activatiepatronen in de Onzekerheid van Large Language Models

Probleemstelling

Onzekerheidskwantificering (Uncertainty Quantification, UQ) in Large Language Models (LLM's) heeft zich primair gericht op kalibratie—het waarborgen dat de betrouwbaarheidsscores van een model accuraat de taaleffectiviteit weerspiegelen om hallucinaties te beperken. Echter, een cruciale, onderbelichte vraag blijft: hoe vergelijkbaar is het onzekerheidsgedrag van LLM's met dat van mensen?

Het begrijpen van deze "menselijke alignement" is essentieel voor mens-AI-samenwerking. Als LLM's onzekerheidspatronen vertonen die vergelijkbaar zijn met die van mensen, kunnen gebruikers veiliger intuïtieve verwachtingen overdragen van mens-mensinteracties naar mens-AI-interacties. Omgekeerd zouden significante dissimilariteiten mensen en AI in staat stellen om elkaars zwakheden te compenseren. Dit werk onderzoekt de aanwezigheid en de sterkte van mens-gelijke onzekerheidssignalen (alignement) in zowel expliciet modelgedrag (logits) als interne activatiepatronen, terwijl ook de gelijktijdige voorkoming van alignement en kalibratie wordt onderzocht.

Methodologie

Modellen en Datasets

De studie evalueerde 30 open-weight tekstuele LLM's uit vier families (LLaMa, Mistral, Gemma, Falcon) en formaten variërend van 1B tot 13B parameters. Zowel base als instruct-finetuned versies werden getest.
Vier datasets werden gebruikt:

1. MMLU: Een standaard multiple-choice QA (MCQA) dataset gebruikt als baseline voor Expected Calibration Error (ECE), maar zonder menselijke onzekerheidsdata.
2. ProtoQA: Door de crowd gesourcede voorkeur-gebaseerde vragen (8.724 items) die menselijke responsverdelingen bieden.
3. CamChoice: Een leesbegrip MCQA (504 items) met menselijke responsverdelingen.
4. Coane: Een dataset van 421 algemene kennisvragen gepresenteerd aan oudere volwassenen. Cruciaal biedt dit:
   • Menselijke responsverdelingen (voor groepsonzekerheid/entropie).
   • Gemiddelde responstijden (voor individuele onzekerheid, gebaseerd op cognitief-wetenschappelijke interpretaties).
   • Zowel MCQA als Open-Ended QA (OEQA) varianten.

Onzekerheidsmaten

De auteurs gebruikten een breed scala aan inference-time UQ-maten berekend vanuit logits en activaties:

• MCQA-maten: Volledige distributiemetrieken (top-1 waarschijnlijkheid, totale entropie), cloze-gebaseerde metrieken, top-k/p entropieën en nucleus-groottes.
• Free Response (FR) maten: Sequentie-perplexiteit (PPL) en gemiddelden van entropie/grootte-metrieken over gegenereerde tokens.
• Bracketed FR (BFR) & 1st Token FR (1TFR): Maten beperkt tot het segment vóór een sluitende accolade of het eerste gegenereerde token, respectievelijk, om het antwoord te isoleren van potentieel overmatig genereren.

Experimenteel Ontwerp

• Alignement: Gemeten via de Spearman-correlatie tussen modelonzekerheidssignalen en menselijke onzekerheid (afgeleid van responsentropie of responstijd).
• Kalibratie: Gemeten met behulp van ECESweep, een dynamische binning-methode die de bias in de schatting van de Expected Calibration Error minimaliseert.
• Activatie Probing: Lineaire regressiemodellen werden getraind op laag-specifieke last-token activaties om menselijke onzekerheid te voorspellen. Dit stelde de auteurs in staat om in kaart te brengen waar en hoe alignementsignalen intern manifesteren in vergelijking met output-logits.

Belangrijkste Bijdragen en Resultaten

1. Zwak-tot-Matig Positief Alignement

De studie vond dat de onzekerheid van LLM's over het algemeen zwak tot matig positief correleert met menselijke onzekerheid. Deze relatie wordt gemedieerd door de specifieke taak en modelarchitectuur.

• Groep vs. Individu: Alignement is sterker detecteerbaar wanneer modelonzekerheid wordt vergeleken met groepsniveau menselijke onzekerheid (responsverdelingentropie) in plaats van individueel niveau onzekerheid (responstijd).
• Taakafhankelijkheid: Alignementsignalen waren sporadisch in de CamChoice-dataset en vrijwel afwezig in OEQA-taken, met uitzondering van het Falcon 3 10B-model (dat correlatie vertoonde met de responstijd maar niet in de context van BFR/1TFR).

2. Degradatie door Instruct Finetuning

Een primaire bevinding is dat instruct finetuning zowel de onzekerheidsalignement als de kalibratie significant degradeert.

• Bij vrijwel elke maat en dataset vertoonden base-modellen een sterker alignement met menselijke onzekerheid dan hun instruct-finetuned tegenhangers.
• Hetzelfde geldt voor kalibratie (ECE); deze was over het algemeen slechter in instruct-modellen, met opmerkelijke uitzonderingen waarbij finetuning de kalibratie verbeterde in contexten met beperkte opties, maar het degradeerde in andere contexten.

3. Interne Activaties vs. Expliciet Gedrag

De studie onthult een kritiek verschil tussen interne staten en outputgedrag:

• Sterkere Interne Signalen: Mens-gealigneerde onzekerheid is sterker detecteerbaar in interne activaties dan in output-logits.
• Kwantitatieve Kloof: Bijvoorbeeld, het Gemma 2 9B-model vertoonde een maximale correlatie van $r \approx 0.6$ met menselijke entropie in interne probes, vergeleken met slechts $r = 0.32$ voor logit-gebaseerde maten.
• Laagdynamiek: De alignement van groepsniveau-onzekerheid (entropie) heeft de neiging toe te nemen met de diepte in het netwerk, terwijl de alignement van individueel niveau-onzekerheid (responstijd) relatief vlak blijft over de lagen heen.

4. Superieuriteit van Kalibratie

Ondanks de uitdagingen rondom alignement, neigen LLM's eroverheen beter gekalibreerd te zijn dan menselijke subjecten over de meeste UQ-maten. Menselijke kalibratiefouten op de Coane-dataset varieerden van 0.21 tot 0.45, terwijl veel modellen ECE-waarden onder de 0.1 bereikten.

Betekenis en Claims

Het artikel claimt de eerste uitgebreide studie te zijn naar onzekerheidsalignement over een diverse set modellen en taken, waarbij de focus verder gaat dan de traditionele focus op kalibratie alleen.

• Gedragsinzicht: Het werk suggereert dat hoewel expliciet modelgedrag (logits) menselijke onzekerheid mogelijk niet volledig reflecteert, de interne representaties van LLM's sterkere signalen van menselijke alignement bevatten. Dit impliceert dat de mechanismen voor mens-gelijke onzekerheid binnen het model bestaan, maar niet altijd worden geuit in de uiteindelijke output, mogelijk door de beperkingen van instruction tuning.
• Impact van Tuning: De bevindingen benadrukken een trade-off: terwijl instruction tuning de taakprestaties in veel domeinen verbetert, lijkt het de natuurlijke opkomst van mens-gelijke onzekerheidsgedragingen en kalibratie te verstoren.
• Toekomstige Richtingen: De auteurs suggereren bescheiden dat het identificeren van deze alignementsignalen in latente vectoren uiteindelijk de directe manipulatie of verbetering van alignementsgedragingen zou kunnen mogelijk maken zonder significante hertraining. Ze erkennen echter beperkingen, waarbij zij opmerken dat de resultaten momenteel beperkt zijn tot korte vorm feitelijke herinnering en mogelijk niet generaliseren naar complexe redenering of planningstaken.

Samenvattend stelt het paper vast dat LLM's een latente capaciteit bezitten voor mens-gealigneerde onzekerheid, maar dat deze capaciteit vaak wordt onderdrukt door standaard instruction tuning en zichtbaarder is in interne activaties dan in uiteindelijke voorspellingen.