What Language Models Know But Don't Say: Non-Generative Prior Extraction for Generalization

Titel: Wat LLM's weten maar niet zeggen: Niet-generatieve prior-extractie voor generalisatie

Auteurs: Sara Rezaeimanesh & Mohammad Ghassemi (Michigan State University)
Publicatie: COLM 2026

1. Het Probleem

In kritieke domeinen zoals geneeskunde en financiën zijn grote, gebalanceerde en volledig gelabelde datasets vaak schaars of duur. Modellen die op kleine datasets worden getraind, kampen met het probleem van generalisatie naar real-world populaties die afwijken van de trainingsverdeling (Out-of-Distribution of OOD).

• Bayesiaanse methoden bieden een principevolle manier om prior-kennis te coderen om deze kwetsbaarheid te mitigeren, maar het handmatig eliciteren van hoogwaardige priors is lastig.
• Grote Taalmodellen (LLM's) bevatten uitgebreide kennis uit jaren van onderzoek, maar eerdere pogingen om deze kennis te benutten (bijv. via generatieve prompts zoals AutoElicit of directe voorspellingen zoals LLMProcesses) hebben beperkingen:
  • Generatieve methoden introduceren variabiliteit door stochastisch bemonsteren.
  • Directe voorspellingen van LLM's presteren vaak slecht op tabulaire data zonder veel context.
  • Er is een gebrek aan methoden die priors direct uit de interne structuur (logits) van LLM's halen voor tabulaire taken onder distributieveranderingen.

2. Methodologie: LoID (Logit-Informed Distributions)

De auteurs stellen LoID voor, een deterministische methode om informatieve prior-verdelingen voor Bayesiaanse logistische en lineaire regressie af te leiden door direct toegang te krijgen tot token-niveau logits van een LLM, in plaats van gegenereerde tekst te gebruiken.

Kernstappen van de LoID-pijplijn:

1. Semantisch Geparreerde Prompts: Voor elk kenmerk $f_j$ worden meerdere zinnen geconstrueerd die tegenovergestelde semantische claims uitdrukken over de invloed op het doelvariabele (bijv. "De impact van $f_j$ op $t$ is positief" vs. "negatief").
2. Logit-differentiatie: In plaats van te wachten op een gegenereerd antwoord, worden de kansen (softmax-probabiliteiten) van de LLM voor de volgende token ("positief" vs. "negatief") direct afgelezen.
3. Berekening van de Logit-preferentie:
   • De kans $p_i$ wordt berekend als $P(\text{positief}) / (P(\text{positief}) + P(\text{negatief}))$.
   • Dit wordt getransformeerd naar een logit-score: $\text{logit}(p_i) = \log(\frac{p_i}{1-p_i})$.
   • Deze score kwantificeert de mate waarin het model de ene richting verkiest boven de andere.
4. Constructie van de Prior:
   • Mean ($\mu_j$): Het gemiddelde van de logit-scores over een set van herschreven (paraphrased) prompts. Dit vormt het centrum van de Gaussische prior.
   • Variance ($\sigma_j^2$): De standaarddeviatie van de logit-scores over de verschillende prompts. Een hoge variantie duidt op inconsistentie in de overtuiging van het LLM (hoge onzekerheid), terwijl lage variantie duidt op een sterke, consistente overtuiging.
5. Bayesiaanse Inferentie: Deze afgeleide priors ($\beta_j \sim \mathcal{N}(\mu_j, \sigma_j^2)$) worden geïntegreerd in Bayesiaanse regressiemodellen. De posterior wordt benaderd via een Laplace-benadering rond de MAP-schatting (Maximum A Posteriori).

3. Belangrijkste Bijdragen

• Deterministische Prior-extractie: LoID is de eerste methode die priors direct uit token-level logits haalt, waardoor de variabiliteit van tekstgeneratie en prompt-sampling wordt geëlimineerd.
• Uitgebreide Evaluatie: De methode is getest op 15 real-world tabulaire datasets (14 publiek, 1 medisch privé) onder synthetische OOD-scenario's (covariaatverschuiving).
• Prestatieverbetering: De resultaten tonen aan dat LoID de prestaties van logistische/lineaire regressie op OOD-data significant verbetert, gemiddeld 50% van het prestatiekloof ten opzichte van een oracle-model (getraind op volledige IID-data) terugwint.

4. Resultaten en Analyse

De evaluatie vergelijkt LoID met:

1. P_OOD: Standaard regressie getraind op OOD-data.
2. N(0,1): Een oninformatieve Bayesiaanse prior.
3. AutoElicit: LLM's die experts-priors genereren via sampling.
4. LLMProcesses: LLM's die directe numerieke voorspellingen doen.
5. P_IID: Oracle-benchmark (getraind op volledige data).

Kernbevindingen:

• Wanneer LoID werkt: De methode excelleert bij taken met semantisch stabiele en generaliseerbare relaties (bijv. medische markers, fysieke wetten).
  • Voorbeelden: Adult Income (83,8% gap gesloten), Concrete Strength (93,9% gap gesloten), Chronic Kidney Disease.
  • De wereldkennis van het LLM vangt hier stabiele causale mechanismen die geldig blijven onder distributieverandering.
• Wanneer LoID faalt: De methode presteert slecht bij taken die context-afhankelijk of dataset-specifiek zijn.
  • Voorbeelden: Bank Marketing (-130,6% gap, dus slechter dan baseline), Bike Sharing.
  • Reden: LLM's hebben geen specifieke kennis over lokale factoren (bijv. specifieke marketingcampagnes of stadsinfrastructuur). De afgeleide priors zijn hier ofwel onnauwkeurig (verkeerde richting/magnitude) of niet-informatief, wat de regularisatie verstoort.
• Vergelijking met Baselines:
  • LoID overtreft LLMProcesses op 12/14 datasets, wat aantoont dat het extraheren van relaties (priors) effectiever is dan directe voorspelling.
  • LoID overtreft AutoElicit op 12/14 datasets, omdat de logit-methode beter gekalibreerde onzekerheid biedt dan generatieve sampling.

5. Significantie en Toekomstperspectief

• Efficiëntie: LoID is ongeveer 10x sneller dan AutoElicit omdat het geen iteratieve generatie vereist, maar direct logits afleest.
• Robuustheid: Het paper demonstreert dat het extraheren van distributie-priors uit de "stille" kennis van LLM's (logits) robuuster is dan het gebruik van LLM's als directe voorspellers of via vrije tekstgeneratie.
• Beperkingen:
  • Vereist toegang tot token-level logits (beperkt tot open-source modellen of specifieke API's).
  • Werkt minder goed op datasets met geanonimiseerde of niet-semantische kenmerken.
  • Kan schadelijk zijn als de LLM-kennis niet past bij de specifieke context van de dataset (bijv. specifieke machinekalibraties).

Conclusie: LoID biedt een nieuwe, deterministische weg om de wereldkennis van LLM's te integreren in klassieke statistische modellen, wat vooral waardevol is in data-schaarse scenario's met distributieveranderingen, mits de onderliggende relaties semantisch consistent zijn.