🤖 machine learning

Understanding Diversity Collapse in RLVR via the Lens of Overtraining

Dieses Paper identifiziert „Diversity Collapse“ in Reinforcement Learning with Verifiable Rewards (RLVR) als eine Form des Overtraining, die die Reasoning-Grenzen des Modells verengt, und schlägt „Bayesian Boundary Gating“ vor, um die Optimierung auf ungelöste Probleme umzulenken, wodurch dadurch die High- $k$ Pass@ $k$ -Performance über diverse Reasoning-Benchmarks hinweg verbessert wird.

Ursprüngliche Autoren: Suqin Yuan, Jinkun Chen, Jiyang Zheng, Muyang Li, Lei Feng, Dadong Wang, Tao Xiang, Tongliang Liu, Bo An

Veröffentlicht 2026-06-16

📖 5 Min. Lesezeit🧠 Tiefgang

CC BY 4.0

Ursprüngliche Autoren: Suqin Yuan, Jinkun Chen, Jiyang Zheng, Muyang Li, Lei Feng, Dadong Wang, Tao Xiang, Tongliang Liu, Bo An

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Das große Ganze: Das „Ein-Trick-Pony“-Problem

Stellen Sie sich vor, Sie trainieren einen Schüler (eine KI), um Matheaufgaben zu lösen. Sie geben ihm einen Übungstest, bei dem er so oft probieren kann, wie er möchte, um die richtige Antwort zu finden.

Das Ziel: Sie möchten, dass der Schüler besser darin wird, neue Probleme zu lösen, die er noch nie gesehen hat, und dass er in der Lage ist, die Antwort zu finden, selbst wenn er viele verschiedene Ansätze ausprobieren muss.
Das Problem: Die Arbeit stellt fest, dass der Schüler zwar sehr gut darin wird, beim ersten Versuch richtig zu liegen (Pass@1), aber tatsächlich schlechter darin wird, die Antwort zu finden, wenn man ihm erlaubt, es viele Male zu versuchen (Pass@k).

Die Autoren nennen dies „Diversity Collapse“ (Diversitätskollaps). Es ist, als würde der Schüler aufhören, kreativ zu denken. Anstatt fünf verschiedene Wege zu probieren, um ein Problem zu lösen, wiederholt er einfach immer wieder den einen Weg, von dem er weiß, dass er funktioniert. Wenn dieser eine Weg fehlschlägt, gibt er auf, obwohl er die Antwort beim zweiten oder dritten Versuch gefunden hätte, wenn er etwas anderes ausprobiert hätte.

Die Ursache: „Overtraining“ (Übertraining) auf den falschen Dingen

Warum passiert das? Die Autoren argumentieren, dass es sich um einen Fall von Overtraining handelt.

Denken Sie an einen Trainer, der einen Spieler nur dann lobt, wenn dieser ein Tor schießt.

Das Setup: Der Trainer (das KI-Trainingssystem) gibt dem Spieler ein Problem. Der Spieler versucht es 8 Mal (dies wird als „Rollouts“ bezeichnet).
Die Falle: Wenn der Spieler das Problem auch nur ein einziges Mal von diesen 8 Versuchen richtig löst, denkt der Trainer: „Großartig! Dieses Problem ist gelöst!“
Der Fehler: Der Trainer sagt dem Spieler immer wieder, er solle sich auf dieses „gelöste“ Problem konzentrieren, und verstärkt so genau diese spezifische Art der Problemlösung. Der Spieler hört auf, neue Blickwinkel auszuprobieren, und perfektioniert stattdessen nur diesen einen speziellen Zug.

Die Arbeit zeigt, dass in der Standard-KI-Trainingsmethode die meiste Zeit, die die KI mit dem Training verbringt, mit Problemen verschwendet wird, die sie bereits mindestens einmal „gelöst“ hat. Da die KI ständig diese „leichten“ Siege übt, verlernt sie es, neue Wege zu erforschen. Sie wird zur Meisterin eines spezifischen Tricks, verliert aber die Fähigkeit, flexibel zu sein.

Die Analogie der „Reasoning Boundary“ (Denkgrenze)

Die Autoren führen ein Konzept namens „Reasoning Boundary“ ein. Stellen Sie sich eine Wand vor, die alles repräsentiert, was die KI lösen kann.

Pass@1 ist wie die Frage: „Kann die KI dieses Problem beim allerersten Versuch lösen?“
Pass@k (High-k) ist wie die Frage: „Wenn wir die KI 256 Mal probieren lassen, kann sie eine Lösung finden?“

Die Arbeit behauptet, dass das Standardtraining die Wand nach innen drückt. Die KI wird besser darin, die spezifischen Probleme zu lösen, die sie bereits kennt, aber sie hört auf, die Wand zu erweitener, um neue Probleme einzuschließen, die sie zuvor nicht lösen konnte. Es ist wie ein Gärtner, der die gleichen wenigen Blumen immer weiter gießt, bis sie riesig sind, während der Rest des Gartens (die neuen, ungelösten Probleme) stirbt, weil kein Wasser mehr zu ihnen gelangt.

Der Beweis: Es ist nicht so, dass die KI nicht lernen kann

Eine verbreitete Annahme war, dass dieser Leistungsabfall bedeutete, dass die KI schlichtweg nicht in der Lage sei, neue Denkfähigkeiten zu erlernen. Die Autoren widerlegen dies mit zwei Experimenten:

Beobachtung: Sie beobachteten die KI während des Trainings. Sie sahen, dass die KI tatsächlich lernte, einige Probleme zu lösen, die sie zu Beginn noch nicht lösen konnte. Gleichzeitig begann sie jedoch, Probleme zu verfehlen, die sie früher leicht gelöst hatte. Die „Gewinne“ wurden durch die „Verluste“ verborgen.
Intervention: Sie versuchten eine einfache Korrektur: Hören Sie auf, an Problemen zu trainieren, die die KI bereits gelöst hat. Sie sagten der KI: „Wenn du es auch nur einmal richtig hattest, hör auf, dieses zu üben. Übe nur die, bei denen du falsch lagst.“
- Ergebnis: Als sie dies taten, stieg die Fähigkeit der KI, schwierige Probleme zu lösen (Pass@256), über ihr Ausgangsniveau hinaus an. Dies bewies, dass die KI durchaus in der Lage ist, neue Dinge zu lernen, aber die Standard-Trainingsmethode dies versehentlich blockiert, indem sie das Übertraining der „leichten“ Aufgaben erzwingt.

Die Lösung: „Bayesian Boundary Gating“ (BBG)

Um dies zu beheben, schlagen die Autoren eine neue Methode vor, die Bayesian Boundary Gating (BBG) heißt.

Betrachten Sie BBG als einen intelligenten Filter für den Trainer. Bevor der Trainer entscheidet, welche Probleme geübt werden sollen, fragt BBG:

„Ist dieses Problem bereits gelöst? Wenn ja, überspringe es.“
„Ist dieses Problem völlig ungelöst? Wenn ja, konzentriere dich darauf!“
„Liegt dieses Problem dazwischen? Vielleicht gib ihm ein wenig Aufmerksamkeit.“

Durch die mathematische Schätzung, welche Probleme noch „Raum zum Wachsen“ haben, lenkt BBG die Energie der KI weg vom Übertraining an leichten Erfolgen hin zu den Problemen, die tatsächlich Hilfe benötigen.

Die Ergebnisse

Als sie diese neue Methode auf mehreren schwierigen Mathematik-Benchmarks testeten:

Standard-KI: Wurde besser darin, beim ersten Versuch richtig zu liegen, wurde aber schlechter darin, Probleme zu lösen, wenn man ihr viele Versuche erlaubte.
BBG-KI: Wurde besser darin, beim ersten Versuch richtig zu liegen, UND behielt (oder verbesserte) ihre Fähigkeit bei, Probleme zu lösen, wenn man ihr viele Versuche erlaubte.

Zusammenfassung

Die Arbeit argumentet, dass KI-Modelle in einer Sackgasse stecken bleiben, weil sie gezwungen sind, Probleme zu üben, die sie bereits gemeistert haben. Dies macht sie starr und weniger kreativ. Indem wir die KI daran hindern, das zu üben, was sie bereits weiß, und uns stattdessen nur auf das konzentrieren, was sie noch nicht weiß, helfen wir ihr, ein vielseitigerer und fähigerer Problemlöser zu werden.

Technisches Resümee: Verständnis des Diversitätskollapses in RLVR durch die Linse des Overtraining

Problemstellung

Reinforcement Learning with Verifiable Rewards (RLVR) ist zu einer primären Methode geworden, um die Denkfähigkeiten von Large Language Models (LLMs) bei Aufgaben mit objektiv überprüfbaren Ergebnissen zu verbessern. Ein hartnäckiges Problem, das als Diversitätskollaps bekannt ist, plagt jedoch dieses Paradigma: Während sich die Ein-Stichproben-Genauigkeit (Pass@1) des Modells verbessert, sinkt die Fähigkeit, eine korrekte Lösung über mehrere Versuche hinweg zu finden (hohes k-Pass@k), im Zuge des Trainings häufig ab.

Vorherige Erklärungen führen dies auf die selbstverstärkende Natur von On-Policy-Updates zurück, bei denen Trajektorien, die bereits wahrscheinlich erfolgreich sind, häufiger gesampelt und verstärkt werden, was die Policy-Verteilung auf eine schrumpfende Teilmenge von Lösungen zuspitzt. Dieses Paper argumentiert, dass dieser „Schärfungs-Bias“ eine universelle Eigenschaft von RLVR-Updates ist, aber nicht vollständig erklärt, wann ein Update die Denk-Grenze (Reasoning Boundary) eines Modells erweitert und wann es lediglich die Wahrscheinlichkeitsmasse unter bereits erreichbaren Lösungen umverteilt. Die Autoren schlagen vor, den Diversitätskollaps durch die Linse des Overtrainings zu betrachten: Sobald der Beitrag eines Problems zu einer Referenzmetrik (speziell hohem k-Pass@k) gesättigt ist, können weitere Updates die Denk-Grenze nicht mehr erweitern, sondern führen lediglich zu einer Konzentration der Wahrscheinlichkeitsmasse, was den Kollaps verursacht.

Methodik

Theoretische Analyse: Overtraining und Sättigung

Die Autoren formalisieren die Denk-Grenze mittels Pass@k, definiert als $1 - (1-p)^k$ für ein Problem mit Erfolgswahrscheinlichkeit $p$ . Sie zeigen auf, dass unter Standard-RLVR-Setups (typischerweise $n=8$ Rollouts pro Problem) die empirische Erfolgsrate $\hat{p}$ quantisiert ist (z. B. $0/8, 1/8, \dots$ ).

Aggressive Sättigung: Für ein großes $k$ (z. B. $k=256$ ) liefert selbst ein einziger beobachteter Erfolg ( $\hat{p}=1/8$ ) einen Pass@256-Wert von $\approx 1$ .
Overtraining-Regime: Folglich befindet sich jedes Problem, das mindestens einen korrekten Rollout produziert hat, effektiv in einem „gesättigten“ Regime hinsichtlich der Denk-Grenze. Updates für diese Probleme (ob zur Verstärkung korrekter Trajektorien oder zur Unterdrückung inkorrekter Trajektorien) bringen einen vernachlässigbaren marginalen Gewinn für das hohe k-Pass@k, führen aber weiterhin zur Schärfung der Policy, was den Diversitätskollaps verursacht.
Der Null-Erfolg-Bucket: Der einzige Bucket, in dem Updates die Denk-Grenze sinnvoll erweitern können, ist $B_{0/n}$ , in dem keine korrekten Rollouts beobachtet wurden.

Empirische Untersuchung

Die Studie verwendet zwei komplementäre Ansätze, um zu validieren, dass RLVR die Denk-Grenze tatsächlich erweitert, auch wenn aggregierte Metriken etwas anderes suggerieren:

Beobachtendes Tracking: Verfolgung von Problemen, die unter dem Basismodell unlösbar sind (Pass@256 = 0). Die Autoren stellen fest, dass ein nicht unerheblicher Bruchteil dieser Probleme während des Standardtrainings lösbar wird, selbst wenn eine größere Anzahl zuvor löslicher Probleme die Grenze verlässt.
Interventionelle Einschränkung: Trainingsvarianten, bei denen Updates auf spezifische Rollout-Erfolgs-Buckets ( $B_{m/8}$ ) beschränkt sind. Die Beschränkung der Updates auf $B_{0/8}$ (den einzigen nicht-gesättigten Bucket) führt bei schwierigen Benchmarks zu Verbesserungen des Pass@256 gegenüber dem Basismodell, während Updates auf Buckets mit höherem Erfolg zu Rückgängen führen.

Vorgeschlagene Lösung: Bayesianische Boundary Gating (BBG)

Um Overtraining zu mildern, schlagen die Autoren Bayesianische Boundary Gating (BBG) vor, eine auf Problem-Ebene angewendete Methode, die die Optimierung von gesättigten Problemen weglenkt.

Mechanismus: BBG schätzt den erwarteten marginalen Beitrag eines Problems zur Denk-Grenze unter Verwendung eines Beta-Binomial-Bayes-Modells. Gegeben $m$ Erfolge in $n$ Rollouts, ist die Posterior-Verteilung der wahren Erfolgswahrscheinlichkeit $p$ gleich $Beta(m+1, n-m+1)$.
Nutzenberechnung: Die erwartete marginale Nützlichkeit $u(m; n, k)$ wird als Erwartungswert der Ableitung der Pass@k-Zielfunktion berechnet: $E[k(1-p)^{k-1}]$ .
Gating-Strategie: Probleme mit vernachlässigbarer Grenz-Nützlichkeit (wo der geschätzte marginale Beitrag unter einen Schwellenwert $\tau$ fällt) werden durch Hard-Gating ausgeschlossen und erhalten kein Backpropagation. Nur Probleme mit signifikanter geschätzter Nützlichkeit (primär jene in Low-Success-Buckets) erhalten Updates.
Implementierung: BBG wird als Koeffizient auf den Problem-Loss angewendet, kompatibel mit bestehenden Objektiv-Designs wie W-RF (Weighted Reinforcement with Negative Reinforcement).

Hauptergebnisse

Experimente wurden mit Qwen2.5-Math-7B auf dem MATH-Datensatz durchgeführt und über vier Benchmarks evaluiert: MATH-500, OlympiadBench, MinervaMath und AIME 2025.

Baseline-Performance: Standardmäßige RLVR-Methoden (REINFORCE, GRPO, W-RF) verbessern konsistent den Pass@1, leiden aber unter einer signifikanten Degradierung des hohen k-Pass@k (z. B. Pass@256) bei Benchmarks mittlerer Schwierigkeit, was den Diversitätskollaps bestätigt.
BBG-Performance:
- BBG erreicht den höchsten durchschnittlichen Pass@k über den Bereich $k \in [1, 256]$ auf allen Benchmarks.
- Entscheidend ist, dass BBG die einzige Methode ist, die den Pass@256 im Vergleich zum Basismodell über alle vier Benchmarks hinweg hält oder verbessert, wodurch der bei anderen Methoden beobachtete Kollaps effektiv verhindert wird.
- Auf dem schwierigsten Benchmark (AIME 2025) zeigt BBG substantielle Gewinne über den gesamten evaluierten Bereich, während andere Methoden bei hohem $k$ degradieren.
Ablations-Erkenntnisse: Die Autoren zeigen, dass einfache Interventionen wie Early Stopping (Stoppen, wenn der Validierungs-Pass@1 sättigt) oder Bucket Masking (Ausschließen von High-Success-Buckets) die High-k-Performance teilweise wiederherstellen können, was die Overtraining-Hypothese validiert. BBG bietet jedoch eine fundiertere und effektivere Lösung, indem es Updates dynamisch basierend auf der geschätzten Grenz-Nützlichkeit gewichtet.

Bedeutung und Ansprüche

Das Paper beansprucht drei primäre Beiträge:

Formalisierung des Diversitätskollapses: Es rahmt den Diversitätskollaps nicht bloß als Sampling-Bias-Problem ein, sondern als Folge von Overtraining relativ zur Denk-Grenze. Es demonstriert, dass unter Standard-Rollout-Budgets die überwiegende Mehrheit der RLVR-Updates Overtraining in Bezug auf das hohe k-Pass@k darstellt.
Neuinterpretation des aggregierten Rückgangs: Das Paper liefert Beweise dafür, dass der weit verbreitete aggregierte Rückgang im hohen k-Pass@k keinen Misserfolg beim Erwerb neuer Denkfähigkeiten impliziert. Stattdessen spiegelt er ein Nettoergebnis wider, bei dem die Gewinne an ursprünglich unlösbaren Problemen durch Overtraining-bedingte Verluste an bereits lösbaren Problemen maskiert werden.
Effektive Milderung via BBG: Durch die Umleitung der Optimierung auf Probleme mit nicht-gesättigten Grenzbeiträgen entkoppelt BBG erfolgreich die Verbesserung von Pass@1 von der Verschlechterung von hoher k-Pass@k, wodurch die allgemeine Denk-Diversität des Modells verbessert wird.

Die Autoren bewahren einen bescheidenen Ton hinsichtlich der Limitationen und merken an, dass ihre Experimente auf 7B-Scale-Modelle und einen einzelnen Trainingsdatensatz beschränkt sind. Sie räumen ein, dass der Diversitätskollaps auch andere Ursachen haben kann (z. B. Token-Level Credit Assignment) und dass die Unterdrückung von Updates auf High-Success-Problemen durch BBG den Pass@1 in Szenarien reduzieren könnte, in denen die Ein-Stichproben-Genauigkeit die alleinige Priorität ist. Dennoch etabliert die Arbeit eine neue Perspektive auf RLVR-Trainingsdynamiken und legt nahe, dass die „Schärfung“ der Policy oft ein Nebenprodukt der Optimierung für eine Metrik ist, die für spezifische Probleme bereits maximiert wurde.