Technische Samenvatting: LLM's als Impliciete Imputatoren

Probleemstelling

Grote Taalmodellen (LLM's) worden steeds vaker ingezet in scenario's waar de invoercontext onvolledig, afgekapt of verslechterd is (bijvoorbeeld gedeeltelijke ophaalresultaten in RAG-systemen). Ondanks dat ze opereren onder dergelijke informatieve tekorten, genereren LLM's doorgaans enkele antwoorden met een hoge schijnzekerheid. Dit roept een kritieke vraag op: Reflekteren de onzekerheidsschattingen van LLM's op passende wijze de hoeveelheid ontbrekende informatie?

Huidige evaluaties richten zich vaak op statische kalibratie (het afstemmen van vertrouwen op nauwkeurigheid onder vaste invoer). Er is echter een gebrek aan inzicht in de vraag of onzekerheidsschattingen dynamisch schalen naarmate invoer minder informatief wordt. Het artikel betoogt dat een goede voorspellend systeem onzekerheid moet vertonen die toeneemt naarmate het aandeel ontbrekende informatie toeneemt, een principe dat is gebaseerd op Bayesiaanse diepe leer en theorie over ontbrekende gegevens.

Methodologie

Theoretisch Kader: Impliciete Meervoudige Imputatie

De auteurs operationaliseren de evaluatie van LLM-onzekerheid door een analogie te trekken met Meervoudige Imputatie (MI) [Rubin, 1987]. Bij MI ontstaat onzekerheid uit niet-geobserveerde variabelen en wordt deze gekwantificeerd door de variabiliteit over meerdere voltooide datasets.

• Analogie: Herhaald bemonsteren van een LLM onder onvolledige context wordt gezien als het genereren van "impliciete aanvullingen" van ontbrekende informatie.
• Criterium: Een goede imputator (en dus een goede LLM) moet onzekerheid vertonen die schaalt met de hoeveelheid ontbrekende informatie. Als context wordt verwijderd, moet de variabiliteit (onzekerheid) van de gegenereerde antwoorden toenemen.

Experimentele Opstelling

• Dataset: SQuAD (Leesbegrip), waarbij korte antwoordsegmenten worden gebruikt die zijn ontleend aan contextparagrafen.
• Evidentievoorwaarden: Een gecontroleerd kader waarbij de beschikbaarheid van context wordt gevarieerd via een parameter $\alpha \in [0, 1]$. Context $C(\alpha)$ wordt geconstrueerd door de eerste $100 \cdot \alpha$ procent van de originele contextkarakters te behouden.
  • $\alpha = 1$: Volledige context.
  • $\alpha = 0$: Geen context.
• Bemonstering: Met behulp van gpt-4o-mini met temperatuur $T=0.7$ worden $m=10$ stochastische reacties gegenereerd per invoer $(q, C)$. Om correlatie te minimaliseren, wordt elke steekproef verkregen via een afzonderlijke API-call.
• Normalisatie: Reacties worden genormaliseerd om kleine lexische variaties (bijvoorbeeld het weglaten van lidwoorden) te verwerken, maar geen semantische generalisatie.

Onzekerheidsmaten

Twee black-box maten worden geschat vanuit de empirische verdeling van $m$ gestaalde antwoorden:

1. Op bemonstering gebaseerd Vertrouwen ($c$): De empirische frequentie van het meest voorkomende antwoord ($c = \max_k p_k$). Dit meet modale concentratie.
2. Responsentropie ($H$): Shannon-entropie van de genormaliseerde antwoordverdeling ($H = -\sum p_k \log p_k$). Dit meet dispersie over concurrerende antwoorden.
3. Resolutie Ratio ($\rho_R(\alpha)$): Een diagnostische maat die het aandeel basisonzekerheid schat dat is opgelost door contextniveau $\alpha$.
   $$\rho_R(\alpha) = \frac{[H_0 - H(\alpha)]_+}{H_0}$$
   Waar $H_0$ de entropie is onder geen context. $\rho_R = 0$ impliceert dat context geen onzekerheidsreductie biedt; $\rho_R = 1$ impliceert dat onzekerheid volledig is opgelost.

Informatie-afhankelijkheidsindex (IDI)

Gedefinieerd als $\Delta = Acc_1 - Acc_0$, kwantificeert deze maat de mate waarin voorspellende nauwkeurigheid afhankelijk is van de aanwezigheid van context.

Belangrijkste Bijdragen

1. Evaluatiekader: Een principieel kader voor het beoordelen van LLM-onzekerheid onder gedeeltelijke waarneembaarheid, gebaseerd op de vereiste dat onzekerheid moet toenemen naarmate informatie afneemt.
2. MI-analogie: Het expliciet koppelen van herhaalde LLM-bemonstering aan Meervoudige Imputatie, wat entropie motiveert als een black-box proxy voor voorspellende onzekerheid veroorzaakt door ontbrekende informatie.
3. Diagnostisch hulpmiddel: Introductie van de Resolutie Ratio $\rho_R(\alpha)$, een heuristiek die het aandeel basisonzekerheid meet dat door context is opgelost, uitsluitend schatbaar via black-box bemonstering.
4. Empirische Validatie: Kwantitatief bewijs dat aantoont dat entropie onzekerheid door ontbrekende informatie trouwer volgt dan vertrouwen, met een significant voordeel in verklaarde variantie (kwadratische $R^2$-kloof tot 0,057).

Resultaten

Taxonomie van Modelgedrag

Analyse van 400 contexten onthulde drie distincte regimes onder contextverwijdering:

1. Geheugen: Hoge nauwkeurigheid met en zonder context; bijna nul entropie ($H_0 \approx 0$). Het model vertrouwt op parametrische kennis.
2. Gekant: Hoge nauwkeurigheid met context, maar hoge nauwkeurigheid met onjuiste antwoorden zonder context; bijna nul entropie ($H_0 \approx 0$). Het model is deterministisch fout wanneer context ontbreekt.
3. Onzeker: Hoge nauwkeurigheid met context, maar lage nauwkeurigheid en hoge entropie zonder context. Dit regime weerspiegelt echte onzekerheid veroorzaakt door ontbrekende informatie.

• Verdeling: Het "Onzekere" regime was het grootst (43,8%), wat aangeeft dat de meeste vragen context vereisen en diverse antwoorden toelaten wanneer deze ontbreekt.

Prestaties van Onzekerheidsmaten

• Entropie versus Vertrouwen: Naarmate context wordt verwijderd ($\alpha$ afneemt), daalt de nauwkeurigheid monotoon.
  • Entropie ($H$): Neemt monotoon toe naarmate context wordt verwijderd, en volgt nauwkeurig het verlies aan nauwkeurigheid.
  • Vertrouwen ($c$): Daalt veel langzamer en blijft hoog zelfs terwijl de nauwkeurigheid instort. In de contextgevoelige subset daalde de nauwkeurigheid tot 0,05 terwijl het vertrouwen op 0,52 bleef.
• Voorspellende Kracht: Regressieanalyse toonde aan dat entropie consequent meer variantie in nauwkeurigheid verklaart dan vertrouwen over alle evidentiële niveaus.
  • Bij $\alpha = 0.5$ (Volledige steekproef) verklaarde entropie 24,3% van de variantie versus 18,6% voor vertrouwen ($\Delta R^2 = 0,057$).
  • Entropie verklaarde ongeveer 31% meer variantie dan vertrouwen op dit niveau.
• Kalibratie: De kalibratiegrafiek (Nauwkeurigheid versus Vertrouwen) onthulde aanzienlijke oververzekerdheid die verergerde naarmate context werd verwijderd. Entropie daarentegen gedroeg zich consistent met het MI-criterium.

Resolutie Ratio

De Resolutie Ratio $\rho_R(\alpha)$ toonde aan dat volledige context ongeveer 80% van de basisonzekerheid oplost in de volledige steekproef. In de contextgevoelige subset voorspelde $\rho_R(\alpha)$ de nauwkeurigheid monotoon, terwijl vertrouwen niet-monotone patronen vertoonde gedreven door het "gekant" regime.

Betekenis en Beweringen

Het artikel beweert dat responsentropie een meer responsieve black-box onzekerheidsmaat is dan op bemonstering gebaseerd vertrouwen onder onvolledige context.

• Theoretische Uitlijning: Entropie gedraagt zich in overeenstemming met de Bayesiaanse vereiste dat onzekerheid moet schalen met ontbrekende informatie. Vertrouwen faalt systematisch aan deze vereiste, vaak hoog blijvend zelfs wanneer de onderliggende verdeling diffuus is (een conditie waarbij een goede imputator hoge onzekerheid zou moeten signaleren).
• Praktisch Nut: De voorgestelde maten (Entropie en $\rho_R$) vereisen geen toegang tot modelinterne details (gewichten, logits) of entailment-classificatoren. Ze zijn toepasbaar op elke LLM die via een API toegankelijk is.
• Implicaties voor LLM-ontwerp: De auteurs suggereren dat de "oververzekerdheid" die in het gekante regime wordt waargenomen, kan voortkomen uit de softmax-operatie, die waarschijnlijkheidsmassa concentreert op de modale respons. Zij stellen voor dat Predictive Mean Matching (PMM)—bemonsteren uit een impliciete donorpool in plaats van door softmax te passeren—beter gekalibreerde onzekerheid kan opleveren, waardoor LLM-gedrag in lijn wordt gebracht met de theorie van goede imputatie.

Het artikel concludeert dat het importeren van Meervoudige Imputatie-criteria in de LLM-setting een door theorie geïnspireerde standaard biedt voor het evalueren van onzekerheid, onafhankelijk van specifieke taken of modellen, en een kanaal opent tussen de statistische literatuur over ontbrekende gegevens en onderzoek naar LLM-onzekerheid.