On the Effect of Uncertainty on Layer-wise Inference Dynamics

Probleemstelling
Naarmate Large Language Models (LLM's) krachtiger worden, is het begrijpen van hun interne bewustzijn van onzekerheid cruciaal voor het detecteren van hallucinaties en het waarborgen van betrouwbaarheid. Hoewel eerder onderzoek heeft vastgesteld dat modellen onzekerheid coderen binnen hun verborgen toestanden (hidden states), blijft het nog onverkend hoe deze onzekerheid de dynamiek van inferentie beïnvloedt—specifiek of modellen onzekere voorspellingen anders verwerken dan zekere voorspellingen over hun lagen heen. De centrale vraag is of modellen hun inferentie-traject aanpassen (bijv. door meer lagen te gebruiken of patronen van vertrouwensgroei te wijzigen) wanneer ze geconfronteerd worden met epistemische onzekerheid (gebrek aan kennis), wat een mechanisme zou kunnen bieden voor onzekerheidsdetectie tijdens de inferentie.

Methodologie
De auteurs onderzoeken dit door de laag-gewijze inferentie-dynamiek te analyseren met behulp van de Tuned Lens, een variant van de Logit Lens die tussenliggende verborgen toestanden decodeert naar vocabulaire-ruimte logit-distributies. De studie richt zich op epistemische onzekerheid, geoperationaliseerd als incorrecte voorspellingen op meerkeuzevragen (MCQ's) waarbij het juiste antwoord aanwezig is in de opties.

De experimentele opzet omvat:

• Modellen: Vijf LLM's (Llama-3-8B, Llama-3-8B-Instruct, Vicuna-13B, Mistral-7B-Instruct-v0.1, en Mistral-Nemo-Instruct-2407).
• Datasets: 11 diverse MCQ-datasets (waaronder ANLI, ARC, BoolBool, CommonsenseQA, HellaSwag, LogiQA, MMLU, QASC, QuAIL, RACE, en SciQ).
• Metrieken:
  1. Waarschijnlijkheidstrajecten: De evolutie van token-waarschijnlijkheden over lagen voor de hoogst gerangschikte voorspelling versus lager gerangschikte voorspellingen, apart geaggregeerd voor correcte en incorrecte antwoorden.
  2. Voorspellingsdiepte (Prediction Depth - PD): De specifieke laag waarin het model zich "vastlegt" op een antwoord (gedefinieerd als de laag waar de top-voorspelling divergeert van de vorige laag en daarna stabiel blijft).
  3. Correlatieanalyse: Pearson-correlaties tussen het incorrectheid van een antwoord en PD, en de relatie tussen taakbekwaamheid (gemeten via Cohen's Kappa) en het verschil in PD tussen correcte en incorrecte outputs.

Belangrijkste Resultaten

1. Gealigneerde Inferentie-dynamiek: De waarschijnlijkheidstrajecten voor correcte en incorrecte voorspellingen zijn opvallend gealigneerd. Beiden vertonen abrupte toenames in vertrouwen bij vergelijkbare lagen, en de modellen lijken hun uiteindelijke outputs te beslissen op specifieke lagen, grotendeels onafhankelijk van de vraag of de output uiteindelijk correct of onzeker is. Er is geen definitieve divergentie in de trajecten die zou duiden op onderscheidende inferentie-dynamieken voor onzekere gevallen.
2. Consistentie in Voorspellingsdiepte: De distributie van voorspellingsdieptes is vergelijkbaar voor zowel correcte als incorrecte antwoorden over alle modellen en datasets. Modellen leggen zich vast op hun uiteindelijke voorspellingen op dezelfde lagen, ongeacht de onzekerheid.
3. Zwakke Correlatie met Incorrectheid: Hoewel 97% van de Pearson-correlaties tussen het incorrectheid van een antwoord en PD positief zijn, is de magnitude over het algemeen zwak (80% van de correlaties ligt onder de 0,300). Dit suggereert een lichte neiging voor incorrecte antwoorden om op latere lagen te worden vastgelegd, maar het effect is minimaal.
4. Opkomst van Adaptiviteit in Bekwame Modellen: Een genuanceerde bevinding onthult een positieve lineaire correlatie tussen de taakbekwaamheid van een model (Kappa-score) en het verschil in voorspellingsdiepte tussen correcte en incorrecte antwoorden. Specifiek vertonen Llama-3-8B en Mistral-7B-Instruct statistisch significante positieve correlaties ($p < 0,05$), wat suggereert dat naarmate de competentie van een model toeneemt, de mate waarin de inferentie-dynamiek zich aanpast aan onzekerheid ook kan toenemen.

Belangrijkste Bijdragen

• Empirisch Bewijs voor Dynamiek: Het artikel levert uitgebreid empirisch bewijs dat, in tegenstelling tot de hypothese dat modellen onzekere inputs dieper of anders verwerken, standaard LLM's grotendeels uniforme inferentie-dynamieken vertonen, ongeacht de epistemische onzekerheid.
• Uitdaging voor Simplistische Detectie: De bevindingen dagen de haalbaarheid uit van het gebruik van simplistische laag-gewijze methoden (zoals early-exiting op basis van vertrouwen of laag-commitment) voor onzekerheidsdetectie, aangezien het interne besluitvormingsproces niet zichtbaar divergeert voor onzekere outputs.
• Competentie-afhankelijke Adaptiviteit: De studie introduceert de observatie dat adaptieve inferentie-dynamiek een emergente eigenschap kan zijn van hogere modelcompetentie, waarbij taakbekwaamheid wordt gekoppeld aan de gevoeligheid van de inferentie-diepte voor onzekerheid.

Betekenis en Claims
De auteurs stellen dat hun werk aantoont hoe interpreteerbaarheidsmethoden gebruikt kunnen worden om de relatie tussen onzekerheid en inferentie te onderzoeken. De primaire betekenis ligt in het negatieve resultaat: het gebrek aan onderscheidende inferentie-dynamieken voor onzekere outputs impliceert dat het detecteren van onzekerheid tijdens de inferentie complexere en meer genuanceerde interpreteerbaarheidsbenaderingen vereist, in plaats van te vertrouwen op eenvoudige traject- of dieptemetrieken. Bovendien stelt het artikel dat hoewel huidige modellen onzekerheid grotendeels negeren in hun laag-gewijze verwerking, meer bekwame modellen mogelijk adaptieve gedragingen beginnen te vertonen, wat een mogere weg biedt voor toekomstig onderzoek naar modelschaling en onzekerheidsafhandeling. De auteurs concluderen dat verdere testen op meer bekwame modellen en rigoureuze analyses die rekening houden met variërende niveaus van onzekerheid en hallucinaties op bekende kennis, noodzakelijk zijn om deze verkennende bevindingen te valideren.