🤖 machine learning

On the Implicit Reward Overfitting and the Low-rank Dynamics in RLVR

Dieser Artikel zeigt, dass Reinforcement Learning mit verifizierbaren Belohnungen (RLVR) ein implizites Reward-Overfitting aufweist und über niedrigrangige Dynamiken operiert, wobei verbesserte Schlussfolgerungsfähigkeiten in Rang-1-Komponenten konzentriert sind, die ein spezifisches schweres Schwanz-Singularspektrum optimieren und dabei anderes Modellwissen verwerfen.

Ursprüngliche Autoren: Hao Ye, Jisheng Dang, Junfeng Fang, Bimei Wang, Yizhou Zhang, Ning Lv, Wencan Zhang, Hong Peng, Bin Hu, Tat-Seng Chua

Veröffentlicht 2026-05-08

📖 5 Min. Lesezeit🧠 Tiefgang

CC BY 4.0

Ursprüngliche Autoren: Hao Ye, Jisheng Dang, Junfeng Fang, Bimei Wang, Yizhou Zhang, Ning Lv, Wencan Zhang, Hong Peng, Bin Hu, Tat-Seng Chua

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Das große Ganze: Die „Magie" des Reinforcement Learning

Stellen Sie sich einen sehr intelligenten Schüler (ein Large Language Model) vor, der in vielen Bereichen gut ist, aber nicht besonders gut darin, komplexe Mathe-Rätsel zu lösen. Sie entscheiden sich für eine spezielle Trainingsmethode namens Reinforcement Learning with Verifiable Rewards (RLVR). Stellen Sie sich dies als einen strengen Trainer vor, der dem Schüler jeden Sternchen gibt, wenn er eine Mathe-Antwort richtig hat.

Nach dem Training wird der Schüler zu einem Mathe-Genie. Doch die Forscher in diesem Paper stellten eine knifflige Frage: Hat der Schüler tatsächlich neue Logik gelernt, oder hat er nur gelernt, wie man das Punktesystem des Trainers manipuliert?

1. Das „Ein-Noten"-Genie (Rank-1-Dominanz)

Die Forscher entdeckten etwas Überraschendes: Fast die gesamte Verbesserung zum „Mathe-Genie" findet nur in einem winzigen Ausschnitt des Gehirns des Schülers statt.

Die Analogie: Stellen Sie sich das Gehirn des Schülers als eine riesige Bibliothek mit Millionen von Büchern vor. Wenn er gut in Mathe wird, liegt das nicht daran, dass er mehr Bücher liest. Es liegt daran, dass er ein spezifisches, magisches Lesezeichen (die sogenannte „Rank-1-Komponente") gefunden hat, das sofort auf die richtige Antwort zeigt.
Die Erkenntnis: Wenn Sie das trainierte Modell nehmen und alles außer diesem einen magischen Lesezeichen wegwerfen, ist das Modell immer noch genauso gut in Mathe wie die vollständig trainierte Version. Der Rest der „Gehirn-Updates" (die anderen Millionen Seiten) scheint für die Mathe-Fähigkeiten kaum etwas zu bewirken.

2. Das Problem „Vortäuschen bis es klappt" (Implizites Reward-Overfitting)

Hier kommt der kontraintuitive Teil. Die Forscher entwickelten eine Trainingsmethode, bei der sie den Schüler zwangen, nur dieses „eine magische Lesezeichen" zu behalten und alle anderen Updates alle paar Schritte zu verwerfen.

Das Ergebnis: Die Punktzahl des Schülers im Trainierungstest (die Übungsprobleme, die der Trainer gab) sank. Der Trainer war unglücklich, weil der Schüler während des Trainings nicht mehr so viele Sternchen bekam.
Die Wendung: Als der Schüler jedoch die Endprüfung (eine neue Reihe von Problemen, die er noch nie gesehen hatte) ablegte, schnitt er genauso gut ab wie der Schüler, der alle zusätzlichen Updates behalten hatte.
Die Bedeutung: Die „zusätzlichen Updates", die der Schüler normalerweise lernt, sind tatsächlich Rauschen. Sie stellen den Versuch des Schülers dar, die spezifischen Übungsfragen auswendig zu lernen, um mehr Sternchen zu bekommen, anstatt die eigentliche Logik zu verstehen. Die Forscher nennen dies „Implizites Reward-Overfitting". Das Modell „täuscht" sich einen hohen Score auf den Trainingsdaten vor, ohne tatsächlich schlauer zu werden.

3. Das „Sicherheitsnetz" (Warum wir den Rest brauchen)

Wenn die „zusätzlichen Updates" nur Rauschen für Mathe sind, warum sollte man sie behalten? Die Forscher stellten fest, dass diese zusätzlichen Updates eigentlich die Persönlichkeit und der gesunde Menschenverstand des Schülers sind.

Die Analogie: Wenn Sie die „zusätzlichen Updates" entfernen und nur das „Mathe-Lesezeichen" behalten, wird der Schüler zu einem Mathe-Genie, verliert aber seine Fähigkeit, Anweisungen zu befolgen, sicher zu bleiben oder allgemeine Fakten über die Welt zu kennen.
Die Erkenntnis: Der „Rank-1"-Teil dient dem Schlussfolgern. Die „Nicht-Rank-1"-Teile dienen der Sicherheit, dem Weltwissen und dem Befolgen von Regeln. Wenn Sie sie wegwerfen, mag das Modell Matheprobleme perfekt lösen, aber es beginnt, unhöfliche Dinge zu sagen oder zu vergessen, wie man mit Menschen spricht.

4. Die Form des Lernens (Die heavy-tailed Verteilung)

Die Forscher untersuchten die „Form" der Veränderungen im Gehirn des Modells mit einem mathematischen Werkzeug namens SVD (das komplexe Daten in einfache Linien zerlegt).

Das Muster: Sie fanden ein konsistentes Muster: Einen riesigen Spike (das Mathe-Lesezeichen), gefolgt von einem langen, flachen Schwanz kleinerer Veränderungen.
Die Metapher: Stellen Sie sich eine Bergkette vor. Es gibt einen hohen, scharfen Gipfel (das Mathe-Schlussfolgern). Dahinter erstreckt sich ein langer, sanfter Hang (die Sicherheit und das Wissen). Der Gipfel ist es, was das Modell zu einem Mathe-Zauberer macht, aber der Hang ist es, was das Modell bodenständig und sicher hält.

5. Die „Einbahnstraße" (Geometrische Asymmetrie)

Schließlich erklärt das Paper, wie das Modell dies lernt. Sie stellten fest, dass der Lernprozess einseitig ist.

Die Analogie: Stellen Sie sich das Modell als eine Fabrik vor.
- Der Output (Die Antwort): Die Fabrik lernt, das Endprodukt (die Antwort) sehr leicht zu verändern. Es ist wie ein Förderband, das schnell angepasst werden kann, um den richtigen Artikel zu verpacken. Dies ist die „linke Seite" der Mathematik, und sie stimmt perfekt mit dem „Rank-1"-Lesezeichen überein.
- Der Input (Die Frage): Die Fabrik hat Schwierigkeiten, zu ändern, wie sie die eingehenden Fragen liest. Die Fragen sind chaotisch und komplex. Das Modell kann nicht leicht organisieren, wie es den Input versteht, mit einem einfachen „Lesezeichen".
Die Schlussfolgerung: RLVR dreht sich hauptsächlich um die Optimierung des Outputs (wie das Modell die richtige Antwort auswählt), nicht darum, grundlegend neu zu schreiben, wie das Modell die Welt versteht. Es ist wie ein Schüler zu lehren, die richtige Antwort auf einem Test zu erraten, ohne ihm notwendigerweise beizubringen, die Frage besser zu lesen.

Zusammenfassung

Dieses Paper sagt uns, dass wenn KI-Modelle durch Reinforcement Learning „klüger" in Mathe werden:

Der Großteil der Magie in einem winzigen, eindimensionalen „Lesezeichen" (Rank-1) konzentriert ist.
Der Rest des Trainings oft nur den Übungstest auswendig lernt (Overfitting), ohne dem Endexamen einen echten Mehrwert zu bieten.
Wir das „Rauschen" (die Nicht-Rank-1-Teile) brauchen, um das Modell sicher und wissend zu halten, auch wenn es bei Mathe nicht hilft.
Das Modell lernt, bessere Antworten auszugeben, nicht unbedingt den Input besser zu verstehen.

Die Forscher schlagen vor, dass wir durch das Verständnis dessen Modelle effizienter trainieren können, indem wir uns auf das „Lesezeichen" für das Schlussfolgern konzentrieren und gleichzeitig den „Hang" für Sicherheit und Wissen schützen.

Technische Zusammenfassung: Implizites Reward-Overfitting und Niedrigrang-Dynamiken in RLVR

Problemstellung

Trotz des technischen Erfolgs von Reinforcement Learning mit Verifizierbaren Belohnungen (RLVR) bei der Verbesserung der reasoning-Fähigkeiten von Large Language Models (LLMs) bleiben die mikroskopischen Mechanismen, durch die RL Modellparameter verändert, weitgehend unverstanden. Bestehende Forschung konzentriert sich weitgehend auf makroskopische Trainingsdynamiken oder Reward-Design, wodurch eine Lücke im Verständnis der spezifischen Struktur und physikalischen Bedeutung von Parameter-Updates ( $\Delta W$ ) entsteht.

Neuere Beobachtungen deuten darauf hin, dass RLVR-Verbesserungen in niedrigrangigen Komponenten konzentriert sind, speziell in Rank-1-Updates. Ein disruptiver Befund zeigt jedoch, dass RL möglicherweise keine neuen zugrundeliegenden Reasoning-Logiken vermittelt, sondern vielmehr Sampling-Strategien optimiert, um latente korrekte Antworten hervorzulocken. Dies wirft kritische Fragen auf: Lernt RLVR tatsächlich Reasoning, oder passt es sich zu stark an die Reward-Funktion an (Overfitting)? Darüber hinaus: Welche funktionale Rolle spielen die Nicht-Rank-1-Komponenten in der Parameter-Update-Matrix?

Methodik

Die Autoren kombinieren empirische Studien und theoretische Analysen, die sich auf die spektralen Eigenschaften von Gewichts-Updates konzentrieren.

Periodischer Rank-1-Ersatz: Um den Beitrag der Nicht-Rank-1-Komponenten zu untersuchen, führen die Autoren eine Technik ein, bei der in festen Intervallen (z. B. alle 10 Schritte) das kumulierte Gewichts-Update mittels Singulärwertzerlegung (SVD) zerlegt wird. Nur die Rank-1-Komponente (verbunden mit dem größten Singulärwert) wird beibehalten und zu den Basis-Modellparametern addiert, während die restlichen Nicht-Rank-1-Komponenten verworfen werden. Das Modell setzt das Training dann von diesem „Rank-1-reinigten" Zustand aus fort.
Spektralanalyse: Die Autoren führen eine SVD auf den Gewichtsunterschiedsmatrizen ( $\Delta W$ ) von RLVR-trainierten Modellen durch, um die Verteilung der Singulärwerte (Singulärspektren) über lineare Schichten hinweg zu analysieren.
LoRA-Ausrichtungsanalyse: Unter Verwendung von LoRA mit Rang $r=1$ vergleichen die Autoren die geometrische Ausrichtung zwischen LoRA-Adaptern und dem wahren Rank-1-Unterraum des vollständigen Gewichts-Updates. Sie nutzen die Frobenius-Kosinus-Ähnlichkeit und Hauptwinkel (Links und Rechts), um die Ausrichtung im Eingabe- und Ausgabe-Raum zu quantifizieren.
Theoretische Gradientenanalyse: Der Artikel leitet die Gradientenstruktur von RL-Zielen (GRPO, DAPO, GSPO) ab und zeigt, dass sie als gewichtete Summen von Rank-1-Matrizen formuliert werden können, was die empirische Beobachtung der Rank-1-Dominanz stützt.

Wichtige Erkenntnisse und Ergebnisse

1. Implizites Reward-Overfitting

Die Studie enthüllt ein kontraintuitives Phänomen: Implizites Reward-Overfitting. Modelle, die mit periodischem Rank-1-Ersatz trainiert wurden, erzielen eine Testset-Leistung, die mit vollständig feinabgestimmten Modellen (Full RL) vergleichbar ist, obwohl sie deutlich niedrigere Trainings-Rewards aufweisen.

Beobachtung: Das Standard-RLVR-Training treibt die Trainings-Rewards konsistent nach oben, dies führt jedoch nicht zu einer überlegenen Generalisierung.
Implikation: Nicht-Rank-1-Komponenten steigern die Trainings-Rewards erheblich, verbessern aber nicht die Generalisierung. Das Modell scheint seine Sampling-Strategie zu überoptimieren, um sich an die Reward-Verteilung der Trainingsdaten anzupassen, anstatt eine robuste Reasoning-Logik zu erlernen.

2. Funktionale Rolle der Nicht-Rank-1-Komponenten

Während Rank-1-Komponenten Reasoning-Fähigkeiten erfassen, sind Nicht-Rank-1-Komponenten nicht funktional redundant.

Erhaltung allgemeiner Fähigkeiten: Das Entfernen von Nicht-Rank-1-Komponenten durch Rank-1-Extraktion führt zu einer signifikanten Verschlechterung der Fähigkeiten außerhalb des Trainingsbereichs, einschließlich Instruktionsbefolgung (IF-Eval), Weltwissen (MMLU, MMLU-Pro) und Sicherheit (SafetyBench).
Katastrophales Vergessen: Die Nicht-Rank-1-Komponenten sind entscheidend für die Aufrechterhaltung des allgemeinen Wissens und der Sicherheitsausrichtung des Modells und verhindern das katastrophale Vergessen, das häufig beim überwachten Fine-Tuning (SFT) beobachtet wird.

3. Universelles Spektralmuster

Die Singulärspektren von Parameter-Updates in RLVR-trainierten Modellen folgen einem konsistenten Muster:

Führender Spike: Ein dominanter erster Singulärwert ( $\sigma_1$ ), der der Rank-1-Komponente entspricht.
Schweres Schwanz-Verteilung: Nach dem initialen Spike zeigen die verbleibenden Singulärwerte einen gleichmäßigen, quasi-linearen Abfall und bilden einen schweren Schwanz.
Energieverteilung: Obwohl die Rank-1-Komponente das Reasoning antreibt, enthält der Nicht-Rank-1-Schwanz den Großteil der „Energie" (Frobenius-Norm) des Updates und kodiert Sicherheit, Robustheit und subtile Merkmalsausrichtung.

4. Geometrische Asymmetrie in der LoRA-Dynamik

Die Analyse der LoRA-Trainingsdynamiken offenbart eine geometrische Asymmetrie zwischen Eingabe- und Ausgabe-Unterräumen:

Ausrichtung im Ausgabe-Raum: Die linken Singulärvektoren (Ausgabe-Raum) der Rank-1-Komponente zeigen eine starke Ausrichtung mit LoRA-Adaptern. Dies stimmt mit der Erkenntnis überein, dass RLVR primär die Sampling-Strategie (Ausgabedarstellung) optimiert.
Fehlausrichtung im Eingabe-Raum: Die rechten Singulärvektoren (Eingabe-Raum) zeigen eine schwächere Ausrichtung. Eingabe-Updates beinhalten eine komplexe Neuorganisation kontextueller Merkmale, die mit einfachen Niedrigrang-Matrizen schwer zu erfassen sind.
Theoretische Basis: Die Gradientenanalyse zeigt, dass die Update-Richtung für den Ausgabevektor durch den rückpropagierten Fehler bestimmt wird (der gut übereinstimmt), während der Update des Eingabevektors durch hochkontextabhängige Aktivierungen bestimmt wird, was eine Ausrichtung erschwert.

Bedeutung und Beiträge

Der Artikel behauptet, ein tieferes mechanistisches Verständnis von RLVR zu bieten und die Annahme in Frage zu stellen, dass RL Reasoning im traditionellen Sinne inhärent „lernt".

Neudefinition von RLVR: Die Ergebnisse deuten darauf hin, dass RLVR eher als Mechanismus zur Optimierung der Sampling-Effizienz und zur Hervorbringung latenter Reasoning-Fähigkeiten fungiert, anstatt die zugrundeliegende Reasoning-Logik des Modells grundlegend zu verändern. Dies erklärt, warum die Erhöhung von $k$ in pass@k-Metriken manchmal dazu führt, dass Standard-RL-Modelle im Vergleich zu Basis-Modellen schlechter abschneiden.
Entkopplung von Fähigkeiten: Die Arbeit entkoppelt erfolgreich die Reasoning-Fähigkeit (Rank-1) von allgemeinem Wissen und Sicherheit (Nicht-Rank-1) und liefert eine theoretische Grundlage dafür, warum ein „Overfitting" an Rewards auftreten kann, ohne die Generalisierung zu beeinträchtigen, sofern die Rank-1-Komponente erhalten bleibt.
Spektrale Einsichten: Die Identifizierung des Spektralmusters „führender Spike + schwerer Schwanz" bietet eine neue Perspektive zur Analyse von RL-Updates und legt nahe, dass RL eine hochstrukturierte spektrale Form induziert, anstatt ein strikt niedrigrangiges Update.
Praktische Implikationen: Die Ergebnisse bieten potenzielle Einsichten zur Verbesserung von RL-Paradigmen, wie etwa die Entwicklung von Trainingsstrategien, die implizites Reward-Overfitting mindern, während die für Sicherheit und allgemeines Wissen notwendigen Nicht-Rank-1-Komponenten erhalten bleiben.

Die Autoren erkennen Einschränkungen an und stellen fest, dass ihre Beobachtungen auf spezifischen Modellgrößen und Architekturen basieren. Weitere Forschung ist erforderlich, um die Universalität dieser Erkenntnisse über verschiedene Parameterskalen und Modellfamilien hinweg zu bestimmen.