🤖 machine learning

Amortizing intractable inference in large language models

Dieses Paper schlägt vor, GFlowNets einzusetzen, um die schwer berechenbare Inferenz in großen Sprachmodellen zu amortisieren, wodurch diese in der Lage sind, aus komplexen Posteriori-Verteilungen für Aufgaben wie die beschränkte Generierung und Chain-of-Thought-Reasoning zu sampeln, als eine dateneffiziente Alternative zum traditionellen Maximum-Likelihood- oder Reward-Maximierung-Training.

Ursprüngliche Autoren: Edward J. Hu, Moksh Jain, Eric Elmoznino, Younesse Kaddar, Guillaume Lajoie, Yoshua Bengio, Esmeralda S. Whitammer

Veröffentlicht 2026-09-01

📖 4 Min. Lesezeit☕ Kaffeepausen-Lektüre

CC BY 4.0

Ursprüngliche Autoren: Edward J. Hu, Moksh Jain, Eric Elmoznino, Younesse Kaddar, Guillaume Lajoie, Yoshua Bengio, Esmeralda S. Whitammer

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Große Sprachmodelle sind riesige Bibliotheken menschlichen Wissens, komprimiert in digitale Netzwerke, die das nächste Wort in einem Satz basierend auf dem vorangegangenen vorhersagen. Sie sind darauf trainiert, exzellent darin zu sein, eine Geschichte fortzuführen oder eine Frage zu beantworten, wenn ihnen ein Ausgangspunkt gegeben wird – ein Prozess, der natürlich von links nach rechts fließt. Viele der interessantesten Aufgaben, die wir diesen Modellen übertragen wollen, erfordern jedoch das Denken in Rückwärtsrichtung oder das Ausfüllen der Mitte einer Geschichte. Stellen Sie sich vor, man gibt Ihnen den Anfang und das Ende einer Erzählung und bittet Sie, die Mitte zu erfinden, oder man bittet Sie, die Logik hinter einer bestimmten Antwort zu erklären. In diesen Szenarien kann das Modell nicht einfach nur das nächste Wort erraten; es muss durch eine massive, komplexe Landschaft von Möglichkeiten suchen, um den spezifischen Pfad zu finden, der den Anfang mit dem Ende verbindet. Dies ist ein schwieriges mathematisches Problem, da die Anzahl der möglichen Pfade so enorm ist, dass das schrittweise Überprüfen aller Wege unmöglich ist, und die Standardmethoden zur Navigation in dieser Landschaft oft bei nur ein oder zwei gängigen Routen stecken bleiben und die reiche Vielfalt der existierenden, gültigen Lösungen übersehen.

Forscher des Mila – Quebec AI Institute und der University of Oxford haben einen neuen Weg entwickelt, wie man diese Modelle lehrt, diese komplexe Landschaft zu navigieren. Anstatt das Modell darauf zu trainieren, lediglich einen Score für die „beste“ Antwort zu maximieren, was oft zu repetitivem und eng gefasstem Denken führt, verwendeten sie eine Methode namens amortisierte Inferenz. Dieser Ansatz betrachtet das Problem als die Suche nach einer vielfältigen Menge korrekter Pfade statt nach einem einzigen perfekten Pfad. Zu diesem Zweck setzten sie eine Technik namens Generative Flow Network ein, das wie ein Wegweiser fungiert, der lernt, aus dem gesamten Spektrum möglicher Lösungen zu sampeln, um sicherzustellen, dass das Modell verschiedene gültige Argumentationsketten exploriert, anstatt in ein einziges, übermäßig genutztes Muster zu kollabieren.

Das Team demonstrierte dies, indem sie große Sprachmodelle darauf feinabstimmten, Probleme zu lösen, die mehrstufiges Denken erfordern, wie etwa arithmetische Berechnungen oder die Klassifizierung, ob eine Filmkritik eine Meinung oder eine Tatsache ausdrückt. In einem Experiment baten sie das Modell, den fehlenden Mittelsatz einer kurzen Geschichte einzufügen, gegeben den Anfang und das Ende. Standardmethoden erzeugten oft Sätze, die zwar grammatikalisch korrekt waren, aber nicht zum narrativen Fluss passten. Die neue Methode hingegen generierte erfolgreich Mittelsätze, die den Anfang und das Ende kohärent miteinander verknüpften, was eine wesentlich höhere Fähigkeit zum Verständnis des gesamten Kontextes zeigte. In einem anderen Test, der einfache Matheaufgaben beinhaltete, wurde das Modell mit einem Taschenrechner-Werkzeug ausgestattet und gebeten, die Berechnung in Schritten aufzuschlüsseln. Während andere Trainingsmethoden dazu führten, dass das Modell Zahlen wiederholte oder das Werkzeug nicht korrekt nutzte, lehrte der neue Ansatz das Modell, seine Schritte sorgfältig zu planen, was zu einer dramatischen Verbesserung der Genauigkeit führte, insbesondere bei Problemen, die es zuvor noch nie gesehen hatte.

Die Ergebnisse legen nahe, dass diese Methode besonders leistungsfähig ist, wenn Daten knapp sind. In einem Test, bei dem das Modell nur zehn Beispiele von Filmkritiken zum Lernen zur Verfügung hatte, erreichte die neue Methode eine signifikant höhere Genauigkeit als Standard-Trainingsmethoden, und sie übertraf diese auch bei fünfzig Beispielen weiterhin deutlich. Die Forscher fanden heraus, dass das System robuster und zuverlässiger wurde, indem es die Modelle dazu ermutigte, eine breite Vielfalt an Argumentationspfaden zu sampeln und dann deren Schlussfolgerungen zu kombinieren. Dies ist ein entscheidender Unterschied, denn es bedeutet, dass das Modell nicht nur einen einzigen Weg zur Problemlösung auswendig lernt, sondern die zugrunde liegende Struktur dessen lernt, wie man ein Problem durchdenkt. Die Studie deutet darauf hin, dass wir, indem wir das Ziel von der Suche nach der wahrscheinlichsten einzelnen Antwort hin zur Erforschung der vollen Diversität korrekter Antworten verschieben, diese mächtigen Werkzeuge flexibler und besser für komplexe Denkaufgaben geeignet machen können.

Die Arbeit hebt auch eine Einschränkung hervor, wie aktuelle Modelle oft trainiert werden. Wenn Modelle darauf gedrängt werden, eine Belohnung zu maximieren, neigen sie dazu, Abkürzungen zu finden, wie etwa das Wiederholen derselben Phrase oder das Ignorieren der eigentlichen Logik eines Problems, nur um eine hohe Punktzahl zu erreichen. Die Forscher zeigten, dass ihre Methode diese Falle vermeidet, indem sie die gesamte Verteilung möglicher Lösungen abgleicht und so sicherstellt, dass das Modell nicht in ein einziges, fehlerhaftes Denkmodell kollabiert. Dieser Ansatz ermöglicht es dem Modell, besser zu generalisieren, etwa beim Lösen von Arithmetikproblemen mit mehr Zahlen als im Training verwendet wurden, wo andere Methoden versagten. Die Erkenntnisse bieten einen vielversprechenden Weg nach vorn, um künstliche Intelligenz zu einer ernsthafteren Form des Denkens zu befähigen, die über einfaches Musterabgleichen hinausgeht und zu einem nuancierteren Verständnis führt, wie man Argumente konstruiert und Probleme Schritt für Schritt löst.

Technisches Resümee: Amortisierung intransitiver Inferenz in Large Language Models

Problemstellung

Autoregressive Large Language Models (LLMs) komprimieren Wissen in bedingte Token-Folge-Verteilungen, wodurch die handhabbare Inferenz auf das Sampling von Anfang bis Ende unter der Bedingung eines Präfixes beschränkt ist. Viele kritische Aufgaben – wie Sequenzfortsetzung, Text-Infilling, beschränktes Generieren und Chain-of-Thought-Reasoning – erfordern jedoch das Sampling aus intransitiven Posterior-Verteilungen.

Speziell Aufgaben wie Infilling (das Generieren eines mittleren Segments $Z$ gegeben einen Anfang $X$ und ein Ende $Y$ ) oder Reasoning (das Finden einer latenten Gedankenkette $Z$ , die zu einer Antwort $Y$ führt, gegeben einen Prompt $X$ ) beinhalten die Berechnung des Posteriors $p(Z|X, Y)$ . Während die gemeinsame Likelihood $p_{LM}(XZY)$ leicht zu evaluieren ist, sind die bedingten Verteilungen, die für das Token-weise Sampling von $Z$ aus dem Posterior erforderlich sind, intransitiv.

Bestehende Ansätze stehen vor signifikanten Einschränkungen:

Markov Chain Monte Carlo (MCMC): Es ist schwierig, Vorschlagsverteilungen für multimodale Sprachdaten zu entwerfen, und diese sind oft prohibitiv langsam für neue Eingaben.
Reinforcement Learning (RL) / Policy Optimization (z. B. PPO): Diese Methoden maximieren Belohnungen, neigen aber dazu, zu einer geringen Anzahl von Modi zu kollabieren, wodurch sie nicht in der Lage sind, die volle Diversität der Zielverteilung zu erfassen. Dies führt zu „überoptimierten Samplern“, wenn die Belohnungsfunktion fehl spezifiziert ist.
Supervised Fine-Tuning (SFT): Erfordert den Zugriff auf Stichproben aus der Zielverteilung, die für intransitive Probleme im Allgemeinen nicht verfügbar sind.

Methodik

Die Autoren schlagen die Verwendung von amortisierter Bayesscher Inferenz mittels Generative Flow Networks (GFlowNets) vor, um LLMs darauf zu trainieren, aus diesen intransitiven Posterioren zu sampeln.

Kernframework

Der Ansatz behandelt das Problem als ein latentes Variablenmodell, bei dem eine Eingabe $X$ über eine latente Variable $Z$ (z. B. eine Argumentationskette oder infilled Text) eine Ausgabe $Y$ erzeugt. Das Ziel ist es, eine Policy $q_{GFN}(Z|X, [Y])$ zu trainen, die aus dem Posterior $p_{LM}(Z|X, Y) \propto p_{LM}(XZY)$ sampelt.

GFlowNet-Zielsetzungen: Die Methode nutzt GFlowNets, eine Klasse von diversitätssuchenden Reinforcement-Learning-Algorithmen. Im Gegensatz zu Standard-RL, das die erwartete Belohnung maximiert, trainieren GFlowNets eine Policy, um Objekte mit einer Wahrscheinlichkeit zu sampeln, die proportional zu einer gegebenen Belohnungsfunktion $R(Z)$ ist.
Definition der Belohnung: Die Belohnung wird als die durch das Basis-LLM zugewiesene gemeinsame Likelihood definiert: $R(Z) = p_{LM}(XZY)$ . Dies setzt die Zielverteilung effektiv als Bayessches Posterior.
Trainingsverfahren:
- Initialisierung: Die GFlowNet-Policy wird als Kopie eines vortrainierten LLM initialisiert (oft effizient mittels LoRA feinjustiert).
- Lernziel: Die Autoren verwenden eine modifizierte Subtrajectory Balance (SubTB) Zielsetzung. Diese stellt sicher, dass die Wahrscheinlichkeit der Generierung einer vollständigen Sequenz proportional zu ihrer Belohnung ist, selbst wenn Trajektorien in jedem beliebigen Zustand enden können.
- Amortisierung: Durch die Konditionierung der Policy auf die Eingabe $X$ (und optional $Y$ ) lernt das Modell einen generalisierbaren Sampler. Dies ermöglicht eine effiziente Inferenz auf ungesehenen Eingaben, ohne für jede Abfrage teure Sampling-Verfahren wie MCMC erneut auszuführen.
- Exploration: Um den kombinatorischen Suchraum zu handhaben, bestehen Trainings-Batches aus Trajektorien der aktuellen Policy, einer temperierten Version der Policy und einem Replay-Buffer vergangener Trajektorien.

Anwendung auf Chain-of-Thought

Das Paper interpretiert Chain-of-Thought-Reasoning als ein latentes Variablenmodell-Problem. Anstatt das Modell dazu aufzufordern, eine einzelne Kette zu generieren, sampelt das durch GFlowNet feinjustierte Modell diverse latente Ketten $Z$ . Die endgültige Vorhersage wird mittels Bayesian Model Averaging erzielt: Es werden mehrere $Z$ 's aus dem GFlowNet gesampelt und die resultierenden $Y$ -Vorhersagen des Basis-LLM aggregiert.

Wichtigste Beiträge

Genereller Algorithmus: Eine allgemeine Methode für das amortisierte Sampling aus intransitiven LLM-Posterioren unter Verwendung von GFlowNet-Zielsetzungen.
Probabilistischer Reasoning-Ansatz: Eine Formulierung von Chain-of-Thought-Reasoning als Bayessches Inferenzproblem, was eine dateneffiziente Anpassung an Aufgaben mit mehrstufigen Rationalisierungen ermöglicht.
Empirische Validierung: Demonstration der Methode über vier verschiedene Domänen hinweg:
- Satzfortsetzung (Maximierung der Likelihood bei gleichzeitiger Aufrechterhaltung der Diversität).
- Story Infilling (Generierung kohärenter mittlerer Segmente).
- Subjektivitätsklassifizierung (Few-Shot-Learning mit latenten Rationalen).
- Ganzzahl-Arithmetik mit Werkzeugnutzung (Schritt-für-Schritt-Reasoning).

Experimentelle Ergebnisse

Die Autoren evaluierten die Methode gegen Baselines einschließlich Standard-Sampling, Diverse Beam Search, Supervised Fine-Tuning (SFT) und Proximal Policy Optimization (PPO).

Satzfortsetzung: GFlowNet-Feinjustierung erreichte eine höhere Stichproben-Diversität bei gleichzeitig hoher Log-Likelihood im Vergleich zu Diverse Beam Search, selbst wenn die Baseline die 5-fache Rechenleistung erhielt.
Story Infilling: Auf dem ROCStories-Datensatz übertraf das GFlowNet-Feintuning Prompting und SFT in Bezug auf BERTScore, BLEU-4 und GPT-4-Evaluation signifikant und erzeugte Infills, die den Anfang und das Ende von Geschichten besser verknüpften.
Subjektivitätsklassifizierung (Few-Shot): Unter Verwendung eines 6B-Parameter-Modells mit nur 10 gelabelten Beispielen erreichte das GFlowNet-Feintuning eine Genauigkeit von 71,4 %, womit es SFT (64,3 %) und Few-Shot-Prompting (61,3 %) übertraf.
Ganzzahl-Arithmetik mit Werkzeugnutzung: Bei einer Out-of-Distribution (OOD) Aufgabe mit 5 Operanden (trainiert auf 3-4) erreichte das GFlowNet-Feintuning eine Genauigkeit von 40,7 %. Dies übertraf SFT (12,8 %) und PPO (5,6 %) deutlich. Die Autoren merken an, dass PPO unter Reward-Misspezifikation litt, was zu spuriösen Sequenzen führte, die das Taschenrechner-Tool nicht korrekt aufriefen, während der distributions-matching Ansatz von GFlowNet gegenüber diesem Problem robust war.

Bedeutung und Ansprüche

Das Paper behauptet, dass GFlowNet-Feinjustierung eine prinzipielle Alternative zum Maximum-Likelihood-Training und zur belohnungsmaximierenden Policy-Optimierung bietet. Die primäre Bedeutung liegt in:

Diversität und Robustheit: Durch das Matching der vollen Zielverteilung anstelle der Maximierung einer einzelnen Belohnung vermeidet die Methode Mode Collapse und ist robust gegenüber Reward-Misspezifikation.
Dateneffizienz: Der amortisierte Inferenzansatz ermöglicht eine effektive Anpassung an Aufgaben, die komplexes Reasoning mit sehr wenigen gelabelten Beispielen erfordern.
Generalisierung: Die Methode demonstriert eine überlegene Generalisierung außerhalb der Trainingsverteilung (OOD), insbesondere bei Reasoning-Aufgaben, bei denen Standard-RL-Methoden den Lösungsraum nicht effektiv explorieren können.

Die Autoren kommen zu dem Schluss, dass dieses Paradigma Berechnung in bessere Testzeit-Performance umwandelt, ohne zusätzliche Daten zu benötigen, was ein flexibleres Reasoning mit LLMs ermöglicht. Sie räumen Einschränkungen hinsichtlich der Skalierung der verwendeten Modelle (bis zu 6B Parameter) ein und stellen fest, dass die Methode zwar die Inferenzfähigkeiten verbessert, aber nicht inhärent Halluzinationen oder Kalibrierungsprobleme behebt, die in der Wissensrepräsentation des Basismodells verwurzelt sind.