What Language Models Know But Don't Say: Non-Generative Prior Extraction for Generalization

1. Problemstellung

In kritischen Domänen wie Medizin und Finanzwesen ist das Vorhandensein großer, ausgewogener und umfassend gelabelter Datensätze oft kostspielig oder unmöglich. Modelle, die auf kleinen oder nicht repräsentativen Datensätzen trainiert werden, leiden häufig unter einer schlechten Generalisierungsfähigkeit, insbesondere wenn sie auf reale Populationen angewendet werden, die sich von der Trainingsverteilung unterscheiden (Out-of-Distribution, OOD).

Bayessche Methoden bieten einen prinzipiellen Ansatz, um dieses Problem durch die Einbindung von Vorwissen (Priors) zu mildern. Die manuelle Elicitation (Herausforderung) hochwertiger Priors im großen Maßstab ist jedoch schwierig. Während Large Language Models (LLMs) über umfangreiches Domänenwissen verfügen, das aus wissenschaftlicher Literatur und Fachdaten stammt, wurden bisherige Ansätze zur Nutzung dieses Wissens oft auf generative Methoden (Erstellung von Textantworten) oder direkte Vorhersagen beschränkt. Diese Methoden leiden unter Variabilität durch das Sampling und sind oft nicht deterministisch. Zudem fehlt es an systematischen Untersuchungen, wie man Prior-Verteilungen direkt aus der internen Struktur von LLMs (z. B. Logits) für tabellarische Daten unter Verteilungsverschiebungen extrahieren kann.

2. Methodik: LoID (Logit-Informed Distributions)

Die Autoren stellen LoID vor, einen deterministischen Rahmen zur Extraktion informativer Prior-Verteilungen für bayessche logistische und lineare Regressionen. Im Gegensatz zu generativen Ansätzen nutzt LoID keine erzeugten Textantworten, sondern greift direkt auf die Token-Level-Logits des LLMs zu.

Der Prozess läuft wie folgt ab:

• Semantische Abfrage: Für jedes Merkmal $f_j$ werden gepaarte Prompts erstellt, die entgegengesetzte semantische Behauptungen über den Einfluss des Merkmals auf die Zielvariable aufstellen (z. B. „Der Einfluss von $f_j$ auf $t$ ist positiv" vs. „... ist negativ").
• Logit-Präferenz-Score: Anstatt den Text zu generieren, werden die Wahrscheinlichkeiten der nächsten Token („positiv" vs. „negativ") aus dem Softmax des LLMs extrahiert. Daraus wird ein Logit-Präferenz-Score berechnet:
  $$\text{logit}_j(p_i) = \log\left(\frac{p_i}{1 - p_i}\right)$$
  wobei $p_i$ die normalisierte Wahrscheinlichkeit für das positive Token ist. Dies quantifiziert die Stärke der Überzeugung des Modells in eine Richtung.
• Konstruktion der Priors:
  • Der Mittelwert ($\mu_j$) des Priors für den Koeffizienten $\beta_j$ wird als Durchschnitt der Logit-Scores über mehrere umformulierte Prompts (Paraphrasen) berechnet.
  • Die Standardabweichung ($\sigma_j$) wird als Standardabweichung dieser Scores über die verschiedenen Prompts berechnet. Eine hohe Varianz deutet auf Inkonsistenz im Glauben des LLMs hin und führt zu einem unsicheren Prior.
  • Die Priors werden als Gauß-Verteilungen $N(\mu_j, \sigma_j^2)$ modelliert.
• Bayessche Inferenz: Diese Priors werden in ein bayessches Regressionsmodell integriert. Die Posterior-Inferenz erfolgt effizient mittels einer Laplace-Approximation (Maximum A Posteriori, MAP), ohne auf Sampling-Methoden wie MCMC angewiesen zu sein.

3. Hauptbeiträge

• Deterministische Prior-Elicitation: LoID ist die erste Methode, die bayessche Priors direkt aus den Token-Level-Logits von LLMs extrahiert. Dies eliminiert die Variabilität, die mit Textgenerierung und Prompt-Sampling einhergeht.
• Umfassende Evaluierung: Die Methode wurde an 15 realen tabellarischen Datensätzen (14 öffentlich, 1 medizinischer Datensatz) getestet, die synthetische OOD-Szenarien (Covariate Shift) aufweisen.
• Vergleich mit State-of-the-Art: LoID wurde gegen uninformative Priors, AutoElicit (generative Priors), LLMProcesses (direkte Vorhersagen) und ein Oracle-Modell (Trainieren auf IID-Daten) verglichen.

4. Ergebnisse

Die Experimente zeigen, dass LoID die Generalisierungsleistung unter OOD-Bedingungen signifikant verbessert:

• Leistungssteigerung: LoID verbessert die Leistung auf 11 von 15 Datensätzen im Vergleich zu Modellen, die nur auf OOD-Daten trainiert wurden.
• Schließung der Leistungslücke: Im Durchschnitt konnte LoID 50 % der durch den OOD-Shift verursachten Leistungslücke im Vergleich zum Oracle-Modell (das auf vollständigen IID-Daten trainiert wurde) schließen.
• Domänenabhängigkeit:
  • Erfolg: LoID funktioniert besonders gut bei Aufgaben mit stabilen, semantisch fundierten Beziehungen (z. B. Medizin, Physik, Demografie). Beispiele: Adult Income (83,8 % Lücke geschlossen), Concrete Strength (93,9 %).
  • Versagen: Die Methode scheitert bei Aufgaben, die stark kontextabhängig oder verhaltensbasiert sind (z. B. Bank Marketing, Bike Sharing), da das generische Weltwissen des LLMs hier keine spezifischen Muster erfasst oder sogar falsche Priors liefert.
• Vergleich mit Baselines: LoID übertrifft LLMProcesses (direkte Vorhersage) und AutoElicit (generative Priors) in den meisten Szenarien. LLMProcesses liefert oft zufällige Ergebnisse, während AutoElicit durch Variabilität und Übervertrauen leidet.

5. Bedeutung und Fazit

Die Arbeit demonstriert, dass LLMs wertvolles implizites Wissen über kausale Zusammenhänge in ihren Logits speichern, das für die statistische Modellierung genutzt werden kann, ohne dass das Modell selbst generieren muss.

• Robustheit: Die Extraktion von Verteilungspriors ist robuster als direkte Vorhersagen oder freie Textgenerierung.
• Effizienz: Da keine Textgenerierung stattfindet, ist LoID rechnerisch effizienter und deterministisch.
• Anwendungspotenzial: Die Methode bietet einen vielversprechenden Weg, um bayessche Modelle in datenarmen Umgebungen (z. B. klinische Studien, Nischenmärkte) zu regularisieren und deren Robustheit gegenüber Verteilungsverschiebungen zu erhöhen.

Die Autoren schließen, dass LoID ein effektives Werkzeug ist, um das „stille Wissen" von LLMs für die Verbesserung statistischer Modelle nutzbar zu machen, solange die zugrundeliegenden Beziehungen semantisch stabil und generalisierbar sind.