💻 computer science

Structured Inference with Large Language Gibbs

Das Papier schlägt „Large Language Gibbs“ vor, eine iterative probabilistische Inferenzmethode, die die bedingten Verteilungen eines LLMs als Übergangsoperatoren nutzt, um Variablen neu zu sampeln, wodurch die ordnungsabhängigen Verzerrungen der einstufigen autoregressiven Generierung überwunden werden, um kohärentes strukturiertes Schließen zu erreichen.

Ursprüngliche Autoren: Sanghyeok Choi, Henry Gouk, Esmeralda S. Whitammer

Veröffentlicht 2026-06-19

📖 5 Min. Lesezeit🧠 Tiefgang

CC BY 4.0

Ursprüngliche Autoren: Sanghyeok Choi, Henry Gouk, Esmeralda S. Whitammer

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Stellen Sie sich vor, Sie haben einen sehr klugen, belesenen Bibliothekar (das Large Language Model, oder LLM), der über ein enormes Wissen über die Welt verfügt. Sie bitten diesen Bibliothekar, eine Liste von Fakten über eine komplexe Situation zu erstellen, wie zum Beispiel die Beschreibung der Rasse, des Fells, des Alters und der Schlafgewohnheiten einer Katze auf einmal.

Das Problem: Der „One-Shot“-Fehler
Normalerweise, wenn wir ein LLM bitten, dies zu tun, bitten wir es, die ganze Liste von links nach rechts in einem Rutsch zu schreiben. Das Paper argumentiert, dass dies so ist, als würde man einen Koch bitten, ein ganzes Menü zu kochen, ohne zwischendurch etwas zu probieren, bis ganz am Ende. Da der Koch das erste Gericht entscheiden muss, bevor er weiß, was das letzte ist, könnte er eine Entscheidung früh treffen, die den Rest der Mahlzeit seltsam macht, nur um dazu zu passen. In den Begriffen des Papers erzeugt dies „ordnungsabhängige Biases“ (Voreingenommenheiten). Wenn Sie den Bibliothekar bitten, zuerst das Alter der Katze und dann die Rasse aufzulisten, könnte die Antwort für die Rasse subtil durch die Art und Weise beeinflusst werden, wie das Alter geschrieben wurde, selbst wenn Alter und Rasse eigentlich nichts miteinander zu tun haben sollten.

Die Lösung: „Large Language Gibbs“ (Die „Edit-and-Refine“-Methode)
Die Autoren schlagen einen neuen Weg vor, den Bibliothekar zu nutzen, namens Large Language Gibbs. Anstatt den gesamten Bibliothekar zu bitten, die ganze Liste auf einmal zu schreiben, behandeln sie die Liste wie eine Gruppe von Freunden, die um einen Tisch sitzen, und sie lassen die Freunde abwechselnd neu über ihre Antwort nachdenken, basierend auf dem, was die anderen gerade gesagt haben.

So funktioniert es, unter Verwendung einer einfachen Analogie:

Das Setup: Stellen Sie sich vor, Sie haben eine Gruppe von Variablen (wie die Rasse, das Fell, das Alter und den Schlaf der Katze). Sie beginnen mit einer zufälligen Vermutung für alle diese Variablen.
Die Round-Robin-Runde: Anstatt die ganze Geschichte zu schreiben, wählen Sie eine Variable nach dem Zufallsprinzip aus (z. B. „Fell“). Sie sagen dem Bibliothekar: „Alle anderen haben sich bereits auf diese Werte festgelegt (Rasse ist ‚Kurzhaar‘, Alter ist 3, Schlaf ist 12 Stunden). Angesichts dieser spezifischen Fakten: Was ist das wahrscheinlichste Fell?“
Das Mischen (Shuffle): Entscheidend ist, dass Sie die Variablen nicht jedes Mal in der gleichen Reihenfolge abfragen. Manchmal fragen Sie zuerst nach dem Alter, manchmal nach dem Fell. Dies verhindert, dass der Bibliothekar in eine bestimmte „Gewohnheit“ bei der Beantwortung verfällt.
Die Schleife (Loop): Sie wiederholen diesen Prozess viele Male. Jedes Mal, wenn Sie eine Variable aktualisieren, nutzen Sie die neuen Informationen, um die nächste zu aktualisieren.
Das Ergebnis: Schließlich pendelt sich die gesamte Gruppe der Antworten in einem Zustand ein, in dem alles zueinander passt. Das Paper nennt dies eine „stationäre Verteilung“. Es ist wie eine Gruppe von Freunden, die so lange diskutieren, bis sie sich auf eine Geschichte geeinigt haben, die sich vollkommen konsistent anfühlt, anstatt auf eine Geschichte, die einfach nur mit einem bestimmten Satz begonnen hat.

Warum ist das besser?
Das Paper zeigt, dass diese „Edit-and-Refine“-Methode zwei große Probleme löst:

Bias (Voreingenommenheit): Es verhindert, dass das Modell Antworten bevorzugt, nur weil sie früh in der Liste erschienen sind.
Inkonsistenz: Es hilft dem Modell zu erkennen, dass, wenn „Polaris“ der Nordstern ist, „Sirius“ nicht gleichzeitig der hellste Stern sein kann. Durch das Mischen der Fragen kann das Modell seine eigenen Fehler korrigieren.

Reale Tests im Paper
Die Autoren testeten diese Idee in drei spezifischen Arten:

Zufallszahlengenerierung: Sie baten das Modell, Zufallszahlen zu wählen (wie beim Würfeln). Die alte Methode (One-Shot) war schlecht darin, Zahlen gleichmäßig zu wählen. Die neue „Gibbs“-Methode war viel besser darin, Zahlen zu wählen, die wirklich zufällig und unabhängig wirkten.
Konsistente Argumentation: Sie gaben dem Modell eine Reihe von Fragen, bei denen die Antworten untereinander übereinstimmen mussten (z. B. „Ist der Nordstern der hellste Stern?“ und „Ist Sirius der hellste Stern?“). Die neue Methode half dem Modell, Antworten zu geben, die sich nicht widersprechen, und schnitt dabei besser ab, als wenn man die Fragen einfach nacheinander stellt.
Lernen aus Daten: Sie nutzten das Modell, um „fiktive“ Daten zu generieren, die Wissenschaftlern helfen sollen, Zusammenhänge zwischen verschiedenen Dingen zu verstehen (wie etwa die Beziehung zwischen der Tuberkulose-Behandlung und dem Alter der Patienten). Indem sie die „Gibbs“-Methode nutzten, um diese fiktiven Daten zu generieren, erhielten sie bessere Ergebnisse, als wenn sie das Modell einfach gebeten hätten, in einem Rutsch einen fiktiven Datensatz zu schreiben.

Das Fazente Fazit
Das Paper legt nahe, dass wir ein LLM nicht nur als eine Maschine betrachten sollten, die einfach eine Geschichte von Anfang bis Ende schreibt, sondern als ein Werkzeug für iterative Verfeinerung. Indem wir das Modell ständig seine eigenen Antworten in einer zufälligen Reihenfolge prüfen und gegen die anderen abgleichen lassen, erhalten wir ein viel zuverlässigeres, konsistenteres und „wahrscheinlichkeitskorrektes“ Ergebnis. Dies verwandelt das Modell von einem einmaligen Geschichtenerzähler in einen kollaborativen Editor, der hilft, die Wahrheit zu finden.

Technisches Resümee: Strukturierte Inferenz mit Large Language Gibbs

Problemstellung

Large Language Models (LLMs) werden zunehmend eingesetzt, um Verteilungen über strukturierte Objekte darzustellen, wie etwa Label-Zuweisungen, tabellarische Datensätze und kombinatorische Objekte. Der Zugriff auf das in LLMs kodierte Wissen für die strukturierte probabilistische Inferenz stellt jedoch eine erhebliche Herausforderung dar. Der Standardansatz, strukturierte Objekte mittels einstufiger autoregressiver Dekodierung zu generieren, führt zu ordnungsabhängigen Verzerrungen (Biases), wie etwa Rezenz-Effekten (Recency Effects) und Kontext-Ignoranz, welche die intendierte gemeinsame Verteilung verzerren. Darüber hinaus versagen LLMs oft bei der korrekten Stichprobenziehung aus einfachen Verteilungen (z. B. Gleichverteilung oder Gauß-Verteilung), wenn sie Stichproben unabhängig oder in Batches generieren, was entweder zu hoher Verzerrung oder hoher Autokorrelation führt. Das Kernproblem besteht darin, wie man die bedingten Überzeugungen von LLMs über einzelne Variablen nutzen kann, um mehr Informationen zu extrahieren und kohärente gemeinsame Stichproben ohne die Artefakte fester Generierungsordnungen zu erzeugen.

Methodik: Large Language Gibbs

Die Autoren schlagen Large Language Gibbs vor, ein Framework für die strukturierte probabilistische Inferenz, das die bedingten Verteilungen eines LLM als Übergangoperatoren innerhalb eines Gibbs-Sampling-Schemas behandelt. Anstatt ein vollständiges Objekt in einem Durchgang zu generieren, verwendet die Methode iteratives Resampling einzelner Variablen, die auf die aktuellen Werte aller anderen Variablen konditioniert sind.

Kernmechanismus

Der Ansatz definiert eine Markov-Kette, bei der der Zustand eine Menge von Variablen $X = (X_1, \dots, X_n)$ ist. In jedem Schritt wird eine Variable $X_i$ ausgewählt und aus einer approximativen bedingten Verteilung $q_i(X_i | X_{-i})$ neu gezogen, die vom LLM abgeleitet ist.

1. Basic Large Language Gibbs (Abschnitt 3.1):
Um den Resampling-Kernel $q^{LM}_i(X_i | X_{-i})$ zu definieren, adressiert die Methode die Tatsache, dass autoregressive LLMs nur Next-Token-Wahrscheinlichkeiten für eine spezifische Sequenzordnung liefern. Die Autoren schlagen vor, den Kernel als Erwartungswert autoregressiver Kernel unter zufälligen Permutationen der verbleibenden Variablen zu definieren:
$q^{LM}_i(X_i | X_{-i}) \triangleq \mathbb{E}_{\sigma_{-i}} \left[ p_{LM}(X_i | \text{seq}(X_{-i}, \sigma_{-i}) \oplus [c_i]) \right]$
wobei $\sigma_{-i}$ eine zufällige Bijektion ist, die die anderen Variablen vertauscht, und $c_i$ der natürliche Sprachkontext ist, der $X_i$ beschreibt. Dieses zufällige Shuffling entfernt ordnungsabhängige Verzerrungen mit dem Ziel, eine stationäre Verteilung zu erreichen, die einen Kompromiss unter allen lokalen Konditionals darstellt.

2. Diskriminative Kernel (Abschnitt 3.2):
In Anerkennung der Tatsache, dass LLMs besser darin sein können zu diskriminieren als zu generieren (insbesondere nach Reinforcement Learning Fine-Tuning), führen die Autoren zwei Varianten ein, die die diskriminative Ausgabe des LLM nutzen, um Kandidaten zu akzeptieren oder abzulehnen:

Barker Gibbs: Nutzt das LLM, um zwischen dem aktuellen Wert und einem Kandidatenwert zu wählen. Wenn das LLM gemäß der Barker-Regel kalibriert ist, bleibt die stationäre Verteilung erhalten.
Gambling Gibbs: Formuliert die Akzeptanzentscheidung als Wette. Das LLM wird gefragt, ob es darauf wetten würde, dass der Kandidat plausibler ist als der aktuelle Wert. Dies ermöglicht die Verwendung von Greedy Decoding (deterministische Schwellenwert-Beurteilung) anstatt sich auf kalibrierte Wahrscheinlichkeiten verlassen zu müssen.

3. Praktische Varianten (Abschnitt 3.3):
Das Framework unterstützt Sweeping Gibbs (Durchlaufen der Variablen in einer festen Reihenfolge) und Block Gibbs (gleichzeitiges Resampling von Mengen von $B > 1$ Variablen), um die Konvergenz zu verbessern oder lokale Modi zu verlassen.

Zentrale Beiträge

Ein neues Inferenzschema: Die Arbeit führt Large Language Gibbs ein, eine Methode, die LLMs in Übergangsoperatoren für die strukturierte probabilistische Inferenz transformiert und damit über die einstufige autoregressive Generierung hinausgeht.
Theoretische Analyse: Die Autoren liefern einen theoretischen Rahmen, der die Existenz einer eindeutigen stationären Verteilung für die Gibbs-Kette etabliert. Sie identifizieren eine hinreichende Bedingung (Annahme 3.1), unter der die stationäre Verteilung einer symmetrisierten gemeinsamen Verteilung des LLM entspricht, und zeigen, dass zufälliges Shuffling essenziell ist, um Ordnungsverzerrungen zu eliminieren.
Algorithmische Varianten: Der Vorschlag von Barker- und Gambling-Gibbs-Kerneln bietet Alternativen für Szenarien, in denen generative Wahrscheinlichkeiten schlecht kalibriert sind, indem sie die diskriminativen Fähigkeiten des LLM nutzen.
Empirische Validierung: Die Methode wird in drei verschiedenen Domänen angewendet:
- Synthetische Verteilungen: Stichprobenziehung aus Gleichverteilungen und Gauß-Verteilungen.
- Konsistentes Reasoning: Lösen von zusammenhängenden Fragen (TruthfulQA, GSM8K), um kohärente Antworten zu finden.
- Bayesianisches Struktur-Lernen: Verwendung von LLM-generierten synthetischen Daten, um Priors für die kausale Graph-Entdeckung zu informieren.

Ergebnisse

Die Experimente zeigen, dass Large Language Gibbs die Einschränkungen des Standard-LLM-Samplings effektiv mildert:

Einfache Verteilungen: Bei synthetischen Aufgaben (Gleichverteilung und Gauß-Verteilung) zeigte das unabhängige Sampling eine hohe Verzerrung, und das Batch-Sampling zeigte eine hohe Autokorrelation. Gibbs-Sampling korrigierte beide Probleme erheblich und erzeugte Stichproben mit geringerer Verzerrung und niedrigerer Autokorrelation als die Baseline-Methoden.
Konsistentes Reasoning: Bei TruthfulQA und GSM8K-Verification übertraf das iterative bedingte Update via Gibbs-Sampling Zero-Shot-, einstufige autoregressive und sogar Internal Coherence Maximization (ICM)-Baselines. Die Ergebnisse legen nahe, dass das Shufflen von Variablen während des Resamplings zu einer besseren Konsistenz über verwandte Fragen führt.
Bayesianisches Struktur-Lernen: Beim Einsatz zur Generierung synthetischer Daten ( $D_{LLM}$ ), um einen durch Weltwissen gesteuerten Prior zu definieren, verbesserte Large Language Gibbs die Leistung des Strukturlernens (gemessen am Expected Structural Hamming Distance und AUROC) auf realen Datensätzen im Vergleich zu Gleichverteilungs-Priors und direktem autoregressivem Sampling. Die Methode nutzte Metadaten erfolgreich, um kausale Strukturen zu disambiguieren.

Bedeutung und Behauptungen

Die Arbeit behauptet, dass die Nutzung von LLM-Konditionals innerhalb eines Markov-Chain-Monte-Carlo (MCMC) Frameworks eine praktische Alternative zur einstufigen Generierung für die strukturierte probabilistische Inferenz darstellt. Die Autoren argumentieren, dass dieser Ansatz es ermöglicht, mehr Informationen aus den internen Überzeugungen des Modells zu extrahieren, als dies die autoregressive Generierung erlaubt.

Die Bedeutung liegt in der Bereitstellung eines fundierten probabilistischen Frameworks für den Umgang mit den "verrauschten" Konditionals von LLMs. Durch iteratives Resampling und Mittelung über Variablenordnungen erzeugt die Methode eine stationäre Verteilung, die einen Kompromiss unter lokalen Konditionals darstellt, wodurch die Verzerrung einer festen Generierungsordnung effektiv entfernt wird. Die Autoren positionieren dies als einen Schritt zur Behandlung von LLMs als Priors innerhalb probabilistischer Programme, insbesondere für Aufgaben, die Konsistenz über mehrere Variablen oder Reasoning-Schritte erfordern.

Die Arbeit bleibt bescheiden hinsichtlich ihrer Limitationen und merkt an, dass der Ansatz mehr Rechenleistung erfordert als die einstufige Generierung und aufgrund von Rechenbeschränkungen derzeit auf relativ kleine Modelle (bis zu 3-Billionen Parameter) begrenzt ist. Es wird zudem eingeräumt, dass die Qualität der Ergebnisse stark von der Informationsreichhaltigkeit der bereitgestellten Metadaten für das LLM abhängt.