🤖 AI

Beyond Mode Collapse: Distribution Matching for Diverse Reasoning

Dieses Papier stellt DMPO vor, eine Verteilungsabstimmungs-Policy-Optimierungsmethode, die den Mode-Collapse beim on-policy Reinforcement Learning mindert, indem sie die Policy mit einer belohnungsproportionalen Zielverteilung ausrichtet, wodurch die Exploration aufrechterhalten und die Leistung bei diversen Denkaufgaben wie NP-schwerer Optimierung und mathematischem Schlussfolgern erheblich verbessert wird.

Ursprüngliche Autoren: Xiaozhe Li, Yang Li, Xinyu Fang, Shengyuan Ding, Peiji Li, Yongkang Chen, Yichuan Ma, Tianyi Lyu, Linyang Li, Dahua Lin, Qipeng Guo, Qingwen Liu, Kai Chen

Veröffentlicht 2026-05-20

📖 4 Min. Lesezeit☕ Kaffeepausen-Lektüre

CC BY 4.0

Ursprüngliche Autoren: Xiaozhe Li, Yang Li, Xinyu Fang, Shengyuan Ding, Peiji Li, Yongkang Chen, Yichuan Ma, Tianyi Lyu, Linyang Li, Dahua Lin, Qipeng Guo, Qingwen Liu, Kai Chen

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Das große Problem: Der „Ein-Noten"-Genie

Stellen Sie sich vor, Sie unterrichten einen Schüler (eine KI), wie man ein komplexes Rätsel löst, wie zum Beispiel die Suche nach der kürzesten Route, um 20 verschiedene Städte zu besuchen (ein klassisches mathematisches Problem).

In der Vergangenheit, als wir diese KI-Schüler mit Standardmethoden (wie GRPO) trainierten, gerieten sie oft in eine Falle namens „Mode Collapse".

So passiert es:

Der Schüler versucht viele verschiedene Routen.
Aus purer Glückssache findet er eine Route, die „gut genug" ist und eine hohe Punktzahl erzielt.
Der Lehrer sagt: „Gut gemacht! Mache genau das wieder!"
Der Schüler hat Angst, etwas Neues zu versuchen. Er hört auf zu explorieren. Er erkennt: „Wenn ich bei dieser einen Route bleibe, bekomme ich eine Belohnung. Wenn ich etwas Neues versuche, könnte ich scheitern."
Das Ergebnis: Der Schüler hört auf, kreativ zu sein. Er produziert nur noch diese eine „gut genug" Route, selbst wenn eine „perfekte" Route existiert. Er hat aufgehört zu lernen und fängt einfach an, sich zu wiederholen.

Das Papier argumentiert, dass dies passiert, weil die Mathematik, die die KI verwendet (genannt Reverse KL), von Natur aus „gierig" ist. Sie kümmert sich nur um die erste gute Antwort, die sie findet, und ignoriert alles andere.

Die Lösung: Die „Gruppenabstimmung" (DMPO)

Die Autoren schlagen eine neue Methode namens DMPO (Distribution-Matching Policy Optimization) vor. Anstatt nur die bisher beste gefundene Antwort zu belohnen, ändert DMPO die Spielregeln, um den Schüler neugierig zu halten.

Die Analogie: Die Talentshow vs. der Solokünstler

Alter Weg (GRPO): Stellen Sie sich eine Talentshow vor, bei der die Richter nur der einen Person einen Preis geben, die am lautesten singt. Sobald diese Person gefunden ist, hören die Richter auf, den anderen zuzuhören. Die anderen Sänger gehen nach Hause, und die Show wird langweilig.
Neuer Weg (DMPO): Stellen Sie sich vor, die Richter betrachten die gesamte Gruppe von Sängern auf einmal. Sie sagen: „Okay, wir haben 8 Sänger. Lasst uns allen von ihnen Punkte geben, aber besseren Sängern mehr Punkte und den mittelmäßigen weniger. Entscheidend ist, niemand bekommt null Punkte, es sei denn, sie sind schrecklich."

Auf diese Weise wird die KI ermutigt, ein „Portfolio" verschiedener guter Lösungen zu bewahren. Sie lernt, dass es nicht nur eine richtige Antwort gibt, sondern viele verschiedene Wege, das Problem zu lösen, und sie sollte alle davon weiter erkunden.

Wie sie es getestet haben: Der „NP-Bench"-Spielplatz

Um zu beweisen, dass dies funktioniert, bauten die Forscher einen speziellen Testbereich namens MM-NP-Bench.

Stellen Sie sich dies als ein Fitnessstudio mit 10 verschiedenen Arten von schwierigen Hindernisparcours vor (wie Rätsel, Graphenfärbung und Pfadsuche).

Textversion: Die Hindernisse werden in Worten beschrieben.
Visuelle Version: Die Hindernisse werden als Bilder gezeigt (Graphen, Karten, Formen).

Sie nutzten diese Kurse, um zu sehen, ob die KI die beste Lösung oder nur eine gut genug Lösung finden konnte. Sie maßen zwei Dinge:

Erfolgsrate: Hat die KI den Parcours beendet, ohne zu crashen? (Hat sie die Regeln befolgt?)
Qualitätsverhältnis: Wie nah war die Abschlusszeit am perfekten Rekord? (Hat sie optimiert?)

Das Ergebnis:
Die alte KI (GRPO) war gut darin, Regeln zu befolgen (hohe Erfolgsrate), blieb aber oft bei mittelmäßigen Lösungen stecken (niedriges Qualitätsverhältnis). Es war wie ein Läufer, der das Rennen beendet, aber im Kreis läuft.
Die neue KI (DMPO) befolgte nicht nur die Regeln, sondern fand viel schnellere, bessere Routen. Sie verbesserte die Qualität der Lösungen um 9 % bis 12 % im Vergleich zur alten Methode.

Warum dies wichtig ist (laut dem Papier)

Das Papier behauptet, dass die KI durch das Erzwingen, eine „vielfältige" Menge von Lösungen im Kopf zu behalten (anstatt auf nur eine einzuschrumpfen), im Allgemeinen besser im logischen Schlussfolgern wird.

Mathematik: Sie wurde besser im Lösen mathematischer Probleme, weil sie verschiedene Beweisstrategien erkunden konnte, anstatt bei der ersten hängen zu bleiben.
Außerhalb der Box: Selbst wenn sie an Aufgaben getestet wurde, für die sie nicht speziell trainiert worden war (wie allgemeine Logikrätsel), schnitt sie besser ab.

Zusammenfassung

Das Papier sagt: „Hört auf, eure KI zu zwingen, zu früh nur einen 'Gewinner' auszuwählen. Nutzt stattdessen ein 'Gruppenabstimmung'-System, das eine Vielzahl guter Lösungen belohnt. Dies verhindert, dass die KI faul wird und bei einer einzigen Antwort stecken bleibt, und führt zu intelligenterem, kreativerem und robusterem Schlussfolgern."

Wichtigste Erkenntnis: Vielfalt ist nicht nur ein nettes Extra; sie ist die geheime Zutat, um die beste Lösung zu finden, nicht nur die erste Lösung.

Technische Zusammenfassung: Über den Mode-Collapse hinaus: Verteilungsmatching für vielfältiges Schlussfolgern

1. Problemstellung

Die Arbeit identifiziert Mode-Collapse als eine grundlegende Einschränkung bei on-policy Reinforcement-Learning-Methoden (RL), insbesondere solchen, die zum Training von Large Reasoning Models (LRMs) mittels Reinforcement Learning with Verifiable Rewards (RLVR) eingesetzt werden. Während Methoden wie Group Relative Policy Optimization (GRPO) Erfolge bei der Lösung mathematischer Probleme und der Code-Generierung erzielt haben, zeigen sie die Neigung, die Wahrscheinlichkeitsmasse auf eine einzige hochbelohnte Trajektorie zu konzentrieren, sobald diese entdeckt wurde. Dieses Verhalten unterdrückt alternative Lösungsstrategien, stoppt die Exploration und führt zu brüchigem Schlussfolgern, das keine Generalisierungsfähigkeit aufweist.

Die Autoren argumentieren, dass dieses Phänomen nicht lediglich ein Implementierungsartefakt ist, sondern eine direkte Konsequenz des Optimierungsziels: Standard-On-Policy-RL minimiert implizit die reverse Kullback-Leibler-Divergenz ( $D_{KL}(\pi_\theta \| p^*)$ ). Die reverse KL ist inhärent „mode-suchend" und verstärkt die erste erfolgreiche Trajektorie, die gefunden wird, anstatt eine Verteilung über mehrere diverse hochbelohnte Lösungen aufrechtzuerhalten. Im Gegensatz dazu zeigt die forward KL-Divergenz ( $D_{KL}(p^* \| \pi_\theta)$ ) ein „mode-abdeckendes" Verhalten, das die Policy ermutigt, den vollen Träger der Zielverteilung anzupassen, ist jedoch typischerweise unlösbar, da sie das Sampling aus der globalen, belohnungsgewichteten Verteilung erfordert.

2. Methodik: DMPO

Um den Mode-Collapse zu adressieren, ohne unlösbares globales Sampling zu benötigen, schlagen die Autoren Distribution-Matching Policy Optimization (DMPO) vor.

Kernidee

DMPO approximiert die Minimierung der forward KL auf Gruppenebene statt global. Anstatt aus einer globalen Zielverteilung zu sampeln, konstruiert der Algorithmus eine Zielverteilung über eine spezifische Gruppe gesampelter Trajektorien für einen gegebenen Prompt.

Algorithmische Formulierung

Zielverteilung auf Gruppenebene: Für eine Gruppe von $G$ Trajektorien $\mathcal{O} = \{o_1, \dots, o_G\}$ , die von der aktuellen Policy $\pi_{\theta_{old}}$ gesampelt wurden, wird eine Zielverteilung $p(o_i | \mathcal{O})$ proportional zum Exponential ihrer Belohnungen konstruiert (eine Boltzmann-Verteilung):
$p(o_i | \mathcal{O}) = \frac{\exp(r(o_i)/\alpha)}{\sum_{j=1}^G \exp(r(o_j)/\alpha)}$
Dies ist rechnerisch lösbar, da nur die Partitionfunktion auf Gruppenebene benötigt wird.
Policy-Verteilung auf Gruppenebene: Um die Policy mit diesem Ziel auszurichten, definiert die Methode eine Policy-Verteilung $q_\theta(o_i | \mathcal{O})$ basierend auf längen-normalisierten Log-Likelihoods, um Verzerrungen durch die Trajektorienlänge zu berücksichtigen:
$q_\theta(o_i | \mathcal{O}) = \frac{\exp(\varphi(o_i))}{\sum_{j=1}^G \exp(\varphi(o_j))}$
wobei $\varphi(o_i)$ die durchschnittliche Log-Wahrscheinlichkeit pro Token ist.
Verteilungsmatching-Verlust: Die Policy wird durch Minimierung der Divergenz zwischen $q_\theta$ und $p$ an das Ziel angepasst. Die Autoren verwenden Mean Squared Error (MSE) anstelle der KL-Divergenz für numerische Stabilität, um Gradientenexplosionen zu verhindern, wenn die Policy-Wahrscheinlichkeit gegen Null geht:
$\mathcal{L}_{DM}(\theta) = \frac{1}{G} \sum_{i=1}^G (p(o_i | \mathcal{O}) - q_\theta(o_i | \mathcal{O}))^2$
Vereinheitlichtes Ziel: Das finale Ziel kombiniert den Standard-GRPO-Belohnungsmaximierungsterm mit der Verteilungsmatching-Regularisierung:
$\mathcal{L}_{DMPO}(\theta) = \mathcal{L}_{GRPO}(\theta) + \lambda \mathcal{L}_{DM}(\theta)$
Hier treibt $\mathcal{L}_{GRPO}$ die Exploitation (Belohnungsmaximierung), während $\mathcal{L}_{DM}$ die Exploration erzwingt, indem es verhindert, dass die Policy in der hochbelohnten Region auf einen einzigen Mode kollabiert.

3. Hauptbeiträge

A. DMPO-Algorithmus

Die Arbeit stellt DMPO als eine prinzipielle, praktische Lösung für den Mode-Collapse vor. Durch die Approximation der forward KL auf Gruppenebene erreicht es ein mode-abdeckendes Verhalten, ohne eine gelernte Partitionfunktion oder globales Sampling zu benötigen. Die Methode ist mit bestehenden GRPO-Frameworks kompatibel und erfordert nur die Hinzufügung eines einzelnen Regularisierungsterms.

B. MM-NP-Bench

Die Autoren führen MM-NP-Bench ein, einen multimodalen Benchmark, der entwickelt wurde, um die Exploration in Schlussfolgerungsmodellen rigoros zu evaluieren.

Umfang: Er erweitert den textbasierten NP-Bench um visuelle Darstellungen von 10 NP-schweren kombinatorischen Optimierungsaufgaben (z. B. TSP, Graph Coloring, Vertex Cover).
Dual-Metrik-Evaluierung: Um Mode-Collapse beobachtbar zu machen, verwendet der Benchmark zwei Metriken:
- Success Rate (SR): Misst die Erfüllbarkeit von Constraints (Machbarkeit).
- Quality Ratio (QR): Misst die Optimierungsqualität relativ zu einer heuristischen Basislinie.
- Bedeutung: Mode-Collapse manifestiert sich als hohe SR, aber niedrige QR (Finden von gültigen, aber suboptimalen Lösungen).
Infrastruktur: Beinhaltet parametrische Generatoren, regelbasierte Verifizierer und heuristische Löser, um nahezu optimale Basislinien bereitzustellen.

C. Empirische Validierung

Die Arbeit liefert umfangreiche Experimente, die zeigen, dass DMPO starke Basislinien (GRPO, GSPO, GPG, FlowRL usw.) über mehrere Domänen hinweg übertrifft.

4. Ergebnisse

Leistung bei Optimierungsaufgaben

MM-NP-Bench (Multimodal): DMPO erreichte eine Qualitätsquote von 43,1 %, eine relative Verbesserung von 12 % gegenüber GRPO (38,4 %). Es erreichte zudem die höchste Success Rate (61,9 % vs. 55,7 %).
NP-Bench (Nur Text): DMPO erreichte eine Qualitätsquote von 43,9 %, eine relative Verbesserung von 9 % gegenüber GRPO (40,1 %).
Ablation: Die Methode zeigte Robustheit gegenüber Hyperparameter-Wahlen ( $\lambda \in [0,3, 0,7]$ und $\alpha \in [0,8, 1,2]$ ).

Generalisierung und Transfer

Mathematisches Schlussfolgern: Das Training an Optimierungsaufgaben mit DMPO verbesserte die Leistung auf Benchmarks für mathematisches Schlussfolgern (AIME, AMC usw.) um 2,0 % im Vergleich zu GRPO.
Außerhalb der Domäne liegende Aufgaben: DMPO zeigte eine 2,3 %ige Verbesserung bei Benchmarks für visuelles Schlussfolgern außerhalb der Domäne (LogicVista, MathVista usw.), was darauf hindeutet, dass diversitätserhaltendes Training die allgemeinen Schlussfolgerungsfähigkeiten verbessert.

Trainingsdynamik

Die Analyse der Trainingsprotokolle ergab, dass GRPO unter „Length Collapse" leidet (Degeneration zu kurzen, trivialen Antworten) und vorzeitige Belohnungsplateaus aufweist, während DMPO kontinuierliche Verbesserungen aufrechterhält und robuste Schlussfolgerungsketten (~400 Token) bewahrt. DMPO weist eine niedrigere Entropie als GRPO auf, was auf „strukturierte Diversität" (selbstbewusste Ausführung verschiedener logischer Strategien) statt auf stochastische Verwirrung hindeutet.

5. Bedeutung und Behauptungen

Die Arbeit behauptet, Verteilungsmatching als praktischen und prinzipiellen Ansatz zur Verhinderung von Mode-Collapse in On-Policy-RL zu etablieren. Die Autoren argumentieren, dass:

Identifikation der Ursache: Mode-Collapse in RLVR fundamental durch die mode-suchende Natur der Minimierung der reverse KL verursacht wird.
Machbare Lösung: Die Minimierung der forward KL, die traditionell als unlösbar gilt, effektiv auf Gruppenebene approximiert werden kann, um die Vielfalt der Lösungen zu bewahren.
Allgemeiner Nutzen: Die Bewahrung der Vielfalt während des Trainings an spezifischen Optimierungsaufgaben überträgt sich auf verbesserte allgemeine Schlussfolgerungsfähigkeiten, was darauf hindeutet, dass Exploration ein kritischer Bestandteil robusten Schlussfolgerns in Large Reasoning Models ist.

Die Arbeit positioniert DMPO nicht lediglich als Diversitätsregularisierer, sondern als einen Mechanismus, der die Entdeckung höherwertiger Lösungen ermöglicht, die von mode-suchenden Zielen übersehen werden, und verbessert damit sowohl die Optimierungsleistung als auch die Robustheit des Schlussfolgerns über Modalitäten hinweg.