💬 NLP

Coupled Variational Reinforcement Learning for Language Model General Reasoning

Dieser Beitrag stellt CoVRL vor, ein neuartiges Framework, das variationale Inferenz durch eine hybride Stichprobenstrategie mit verstärkendem Lernen koppelt, um die Ineffizienzen verifiziererfreier Methoden zu überwinden, indem es eine starke Kohärenz zwischen Denkspuren und endgültigen Antworten sicherstellt, wodurch die allgemeine Schlussfolgerungsleistung von Sprachmodellen erheblich verbessert wird.

Ursprüngliche Autoren: Xueru Wen, Jie Lou, Yanjiang Liu, Hongyu Lin, Ben He, Xianpei Han, Le Sun, Yaojie Lu, Debing Zhang

Veröffentlicht 2026-05-26

📖 4 Min. Lesezeit☕ Kaffeepausen-Lektüre

CC BY 4.0

Ursprüngliche Autoren: Xueru Wen, Jie Lou, Yanjiang Liu, Hongyu Lin, Ben He, Xianpei Han, Le Sun, Yaojie Lu, Debing Zhang

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Stellen Sie sich vor, Sie versuchen, einem brillanten, aber leicht verwirrten Schüler beizubringen, ein schwieriges Rätsel zu lösen. Der Schüler weiß, wie man denkt, gerät jedoch häufig in seinen eigenen Gedanken verloren oder findet die richtige Antwort mit einer unordentlichen, verwirrenden Erklärung, die nicht mit dem Bewertungsschlüssel des Lehrers übereinstimmt.

Dieser Artikel stellt eine neue Lehrmethode namens CoVRL (Coupled Variational Reinforcement Learning, Gekoppeltes Variations-Reinforcement-Learning) vor, um genau dieses Problem für KI-Sprachmodelle zu beheben.

Hier ist die Funktionsweise, aufgeschlüsselt in einfache Konzepte:

Das Problem: Die „Raten und Prüfen"-Falle

Derzeit spielen KI-Modelle, die versuchen, Schlussfolgerungen ohne strengen Antwortenschlüssel (wie in der Chemie oder allgemeinen Logik) zu erlernen, meist ein Spiel des „Ratens und Prüfens".

Der alte Weg: Das Modell betrachtet eine Frage und versucht, eine Gedankenkette zu generieren, um eine Antwort zu finden. Es ist, als würde man den Schüler bitten, einen Aufsatz ohne jegliche Hinweise aus dem Stegreif zu schreiben.
Der Mangel: Dies ist ineffizient. Der Schüler mag tausend falsche Pfade einschlagen, bevor er den richtigen findet. Schlimmer noch: Selbst wenn er die richtige Antwort findet, kann seine Argumentation so unordentlich sein oder anders formatiert sein als die „korrekte" Antwort, dass das System annimmt, er habe versagt. Es ist, als würde ein Schüler ein Matheproblem korrekt lösen, aber die finale Zahl in einer anderen Tintenfarbe schreiben, sodass der Lehrer sie als falsch markiert.

Die Lösung: Das „Zwei-Spur"-Trainingssystem

Die Autoren schlagen CoVRL vor, was wie ein spezieller Trainingstermin für den Schüler ist, bei dem er gleichzeitig in zwei verschiedenen Modi übt, anstatt nur in einem.

Stellen Sie es sich als Hybrid-Fahrstunde vor:

Modus A (Die „Realitäts"-Fahrt): Der Schüler fährt allein und sieht nur auf die Straße (die Frage). Dies ist die Prior-Verteilung. Sie lehrt das Modell, wie man in der realen Welt denkt, in der es keinen Antwortenschlüssel haben wird.
Modus B (Die „Co-Pilot"-Fahrt): Der Schüler fährt, während ein Co-Pilot das Ziel und die perfekte Route flüstert (die Frage und die Antwort). Dies ist die Posterior-Verteilung. Sie zeigt dem Modell, wie ein perfekter, kohärenter Pfad aussieht.

Der magische Trick:
Anstatt einen Modus oder den anderen zu wählen, mischt CoVRL sie.

Manchmal übt das Modell allein (Modus A), um zu lernen, wie man erkundet.
Manchmal übt es mit dem Co-Piloten (Modus B), um zu lernen, auf Kurs zu bleiben und kohärent zu sein.
Entscheidend ist, dass das System einen speziellen mathematischen „Kleber" (eine Composite Distribution, zusammengesetzte Verteilung) verwendet, um sicherzustellen, dass das, was der Schüler im „Co-Pilot"-Modus lernt, ihm tatsächlich hilft, wenn er später allein fährt.

Warum dies besser ist

Der Artikel behauptet, dass dieser „Zwei-Spur"-Ansatz zwei große Kopfschmerzen löst:

Es ist schneller: Indem das Modell gelegentlich einen Blick auf den „korrekten Pfad" (die Antwort) wirft, verschwendet es keine Zeit damit, im Kreis zu wandern. Es lernt die richtigen Schlussfolgerungsmuster viel schneller.
Es ist konsistent: Da das Modell die Antwort sieht, während es die Schlussfolgerung lernt, lernt es, seine Gedanken so zu formulieren, dass sie tatsächlich zu dem richtigen Schluss führen. Es hört auf, „unordentliche" Antworten zu schreiben, die richtig aussehen, aber als falsch markiert werden.

Die Ergebnisse

Die Forscher testeten dies an einer Vielzahl schwieriger Rätsel, von Matheproblemen bis hin zu Fragen zum allgemeinen Wissen.

Im Vergleich zur Standardmethode „allein fahren" verbesserte ihr neues Modell seine Schlussfolgerungsfähigkeiten um 12,4 %.
Es schlug auch die derzeit besten „ohne-Verifizierer"-Methoden um weitere 2,3 %.

Das Fazit

Der Artikel argumentiert, dass durch die Kopplung der „Realitäts"-Übung mit der „antwortengeleiteten" Übung eine intelligentere, effizientere KI entsteht, die komplexe Probleme durchdenken kann, ohne dass ein Mensch jeden einzelnen Schritt für sie überprüfen muss. Es ist, als würde man einem Schüler beibringen, ein Detektiv zu sein, der den Fall lösen und einen Bericht verfassen kann, den der Richter tatsächlich akzeptiert.

Technische Zusammenfassung: Gekoppelte variationelle Verstärkungslernen für das allgemeine Schlussfolgern von Sprachmodellen

Problemstellung

Verstärkungslernen mit überprüfbaren Belohnungen (RLVR) hat sich als bedeutender Erfolg erwiesen, um das Schlussfolgern von Large Language Models (LLM) zu verbessern, insbesondere in mathematischen Domänen, in denen regelbasierte Programme die Endantworten verifizieren können. Dieses Paradigma ist jedoch durch die Anforderung überprüfbarer Belohnungen eingeschränkt, was seine Anwendbarkeit auf allgemeine Schlussfolgerungsaufgaben (z. B. Chemie, offene Fragen) begrenzt, bei denen eine formale Verifizierung schwierig oder unmöglich ist.

Neue „verifiziererfreie" Ansätze versuchen, dies zu umgehen, indem sie die eigene Wahrscheinlichkeit des LLM, eine korrekte Referenzantwort zu generieren, als Belohnungssignal nutzen. Obwohl effektiv, stützen sich diese Methoden typischerweise auf eine Generierung nur basierend auf der Frage, bei der das Modell Schlussfolgerungsspuren sampelt, die ausschließlich auf der Eingabefrage konditioniert sind. Die Autoren identifizieren zwei grundlegende Einschränkungen in diesem Design:

Geringe Probeneffizienz: Ohne Anleitung hat das Modell Schwierigkeiten, nützliche Schlussfolgerungsspuren für schwierige Fragen zu generieren, was zu einer ineffizienten Exploration des Schlussfolgerungsraums führt.
Inkohärenz zwischen Spur und Antwort: Das Sampeln ohne Zugriff auf die Zielantwort kann zu Schlussfolgerungsspuren führen, die logisch fundiert sind, aber nicht mit dem spezifischen Format oder der Darstellung der Grundwahrheit übereinstimmen, wodurch korrekte Schlussfolgerungen geringe Belohnungen erhalten.

Methodik: Gekoppeltes variationelles Verstärkungslernen (CoVRL)

Die Arbeit schlägt CoVRL vor, ein Framework, das variationelle Inferenz und Verstärkungslernen verbindet, um die Einschränkungen des Trainings nur mit Fragen zu adressieren. Die Kerninnovation ist die Kopplung von Prior- und Posterior-Verteilungen durch eine hybride Sampling-Strategie.

1. Variationelle Formulierung

Der Schlussfolgerungsprozess wird als Problem mit latenten Variablen formuliert, bei dem Schlussfolgerungsspuren ( $z$ ) zwischen der Frage ( $x$ ) und der Antwort ( $y$ ) vermitteln. Das Ziel ist die Optimierung der marginalen Wahrscheinlichkeit $p(y|x) = \int p(y|z, x)p(z|x) dz$ .

Prior-Verteilung ( $p_\phi(z|x)$ ): Repräsentiert die Generierung nur basierend auf der Frage und spiegelt reale Inferenzbedingungen wider, bei denen die Antwort unbekannt ist.
Posterior-Verteilung ( $q_\psi(z|x, y)$ ): Repräsentiert die durch die Antwort geführte Generierung, bei der Spuren sampelt werden, die sowohl auf der Frage als auch auf der korrekten Antwort konditioniert sind, um Kohärenz sicherzustellen.

Standardansätze optimieren entweder den Prior (ineffizient) oder den Posterior (was zu einer Diskrepanz zwischen Training und Inferenz führt). CoVRL führt eine komposite Verteilung $p'(z|x, y)$ ein, die diese beiden koppelt:
$p'(z_t|z_{<t}, x, y) = \frac{1}{2}p_\phi(z_t|z_{<t}, x) + \frac{1}{2}q_\psi(z_t|z_{<t}, x, y)$
Diese komposite Verteilung ermöglicht es dem Modell, von durch die Antwort geführten Signalen zu lernen, während gleichzeitig die Ausrichtung auf die Bedingungen zur Inferenzzeit gewahrt bleibt.

2. Hybride Sampling-Strategie

Das direkte Sampeln aus der token-level kompositen Verteilung ist rechnerisch komplex. Stattdessen wendet CoVRL eine off-policy hybride Sampling-Strategie an:

Für jedes Trainingsbeispiel sampelt das Modell zufällig mit der Wahrscheinlichkeit $\alpha$ aus dem Prior oder mit der Wahrscheinlichkeit $1-\alpha$ aus dem Posterior.
Importance Weighting: Um die Ziel-komposite Verteilung unter Verwendung von Proben aus der hybriden Verteilung zu optimieren, wendet die Methode Importance Weighting auf die Policy-Gradient-Updates an.
Prompt Engineering: Der Prior und der Posterior werden mit einem einzigen LLM unter Verwendung unterschiedlicher Prompt-Vorlagen implementiert:
- Prior: Frage $\to$ Schlussfolgerung $\to$ Antwort.
- Posterior: Frage $\to$ Antwort $\to$ Schlussfolgerung (die Antwort wird als Kontext für die Generierung der Schlussfolgerung bereitgestellt).

3. Optimierungsziel

Das Trainingsziel maximiert die Evidence Lower Bound (ELBO), bestehend aus:

Rekonstruktionsterm: Fordert die Generierung von Spuren, die zur korrekten Antwort führen. Dies wird mit Group Relative Policy Optimization (GRPO) optimiert, wobei Belohnungen aus der eigenen Antwortvorhersagewahrscheinlichkeit des Modells abgeleitet werden (was externe Verifizierer eliminiert).
Regularisierungsterm: Ein KL-Divergenz-Term $D_{KL}(p'(z|x, y) \| p_\phi(z|x))$ zwingt die komposite Verteilung, nahe am Prior zu bleiben. Dies stellt sicher, dass die während des Trainings gelernten Schlussfolgerungsmuster (die möglicherweise Antwortführung nutzen) effektiv auf die Inferenz übertragen werden (wo keine Antwort verfügbar ist).
KL-Schätzung: Die Arbeit leitet varianzarme, nicht-negative KL-Schätzer unter Verwendung von Bregman-Divergenz-basierten Kontrollvariablen ab, um die Verteilungsabweichung zwischen dem hybriden Sampling und der Ziel-kompositen Verteilung zu behandeln.

Hauptbeiträge

Variationelle Formulierung des Schlussfolgerns: Die Autoren formulieren die Optimierung des Schlussfolgerns als Problem der variationellen Inferenz und vereinigen theoretisch die Generierungsmodi Prior (nur Frage) und Posterior (durch Antwort geführt) innerhalb eines handhabbaren Rahmens.
Hybride Sampling-Strategie: Sie schlagen einen Mechanismus vor, der das durch die Antwort geführte Lernen (für Effizienz und Kohärenz) mit der Übertragbarkeit zur Inferenzzeit (durch den Prior) ausbalanciert und den Kompromiss zwischen Probeneffizienz und Spur-Antwort-Ausrichtung adressiert.
Optimierung der kompositen Verteilung: Durch die Konstruktion und Optimierung einer kompositen Verteilung ermöglicht CoVRL eine effiziente Exploration, während eine starke Kohärenz zwischen Gedanke und Antwort erhalten bleibt, wodurch die Abdeckungsprobleme des reinen Posterior-Trainings vermieden werden.

Experimentelle Ergebnisse

Die Autoren evaluierten CoVRL an einer umfassenden Suite von Benchmarks, einschließlich allgemeiner Schlussfolgerung (MMLU-Pro, GPQA, TheoremQA) und mathematischer Schlussfolgerung (AIME'24, MATH-500 usw.), unter Verwendung der Modelle Qwen2.5-7B-Base und Qwen3.

Leistungssteigerung: CoVRL erzielte eine Verbesserung von 12,4 % gegenüber dem Basismodell und eine Verbesserung von 2,3 % gegenüber den stärksten verifiziererfreien RL-Baselines (wie VeriFree, RLPR und LaTRO) im Durchschnitt.
Generalisierung: Obwohl das Modell hauptsächlich auf nicht-mathematischen Fragen trainiert wurde, zeigte es erhebliche Gewinne bei mathematischen Benchmarks, was darauf hindeutet, dass die gelernten Schlussfolgerungsfähigkeiten domänenübergreifend generalisierbar sind.
Trainingsdynamik: Experimente zeigten, dass die Posterior-Verteilung eine effektive Anleitung zur Verbesserung der Belohnung bietet, während sich die Prior-Verteilung stetig verbessert, was bestätigt, dass die Anleitung auf die Inferenz übertragen wird.
Ablationsstudien:
- Sampling-Verhältnis ( $\alpha$ ): Ein ausgewogenes Sampling-Verhältnis ( $\alpha=0,5$ ) schnitt besser ab als extreme Einstellungen und bestätigte die Notwendigkeit der Kopplung beider Verteilungen.
- Robustheit: Die Methode zeigte konsistente Verbesserungen über verschiedene Modellgrößen (7B bis 14B) und Architekturen hinweg.
- Qualität des Schlussfolgerns: Bewertungen durch Menschen und LLM-as-a-judge zeigten Verbesserungen in Faktizität, Validität, Kohärenz und Nützlichkeit der intermediären Schlussfolgerungsspuren.

Bedeutung und Behauptungen

Die Arbeit behauptet, dass CoVRL ein prinzipielles Framework zur Verbesserung der allgemeinen Schlussfolgerungsfähigkeiten von Sprachmodellen ohne reliance auf externe Verifizierer bietet. Durch die explizite Kopplung von Prior- und Posterior-Verteilungen überwindet die Methode die Ineffizienz des reinen Frage-Samplings und die Diskrepanz zwischen Inferenz und durch Antwort geführtem Training.

Die Autoren betonen, dass ihr Ansatz den Zugang zu fortgeschrittener KI-Schlussfolgerung demokratisiert, indem er die Abhängigkeit von robusten, domänenspezifischen Verifizierungs-Engines beseitigt. Obwohl sie das Potenzial für Missbrauch anerkennen (z. B. die Generierung raffinierter Fehlinformationen), positioniert sich die Arbeit als ein Schritt hin zu robusterem und generalisierbarem Schlussfolgern in LLMs, insbesondere in Domänen, in denen eine formale Verifizierung derzeit nicht machbar ist. Die Ergebnisse deuten darauf hin, dass die Entwicklung grundlegender Schlussfolgerungsmuster durch diesen gekoppelten variationellen Ansatz effektiver ist als die Optimierung für domänenspezifische Lösungen.