💻 computer science

SALT: When More Rollouts Don't Help in Group-Based Policy Optimization and How to Make Them Matter

Das Papier stellt SALT vor, eine Plug-in-Komponente für Group Relative Policy Optimization (GRPO), die die Leistungsverschlechterung durch zunehmende Rollouts abmildert, indem sie die Update-Koeffizienten adaptiv umgewichtet, um der Auslöschung von Vorzeichen-Gradienten innerhalb eines gemeinsamen Unterraums entgegenzuwirken.

Ursprüngliche Autoren: Powei Chang, Jinpeng Zhang, Chaoqun Sun, MiniWell Tsao, Lianrui Li, Jianxiang Xiang, Chenyu Wang, Yukang Gao, Dongying Kong

Veröffentlicht 2026-06-05

📖 5 Min. Lesezeit🧠 Tiefgang

CC0 1.0

Ursprüngliche Autoren: Powei Chang, Jinpeng Zhang, Chaoqun Sun, MiniWell Tsao, Lianrui Li, Jianxiang Xiang, Chenyu Wang, Yukang Gao, Dongying Kong

Originalarbeit unter CC0 1.0 der Gemeinfreiheit gewidmet (http://creativecommons.org/publicdomain/zero/1.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Das große Problem: Die „Echokammer“ des KI-Trainings

Stellen Sie sich vor, Sie versuchen, einem Schüler (einem KI-Modell) beizubringen, wie man ein schwieriges mathematisches Problem löst. Anstatt ihn nur einmal zu bitten, eine Lösung zu finden, bitten Sie ihn, gleichzeitig mehrere verschiedene Lösungen (genannt „Rollouts“) zu generieren. Dann vergleichen Sie diese Lösungen: Wenn eine Lösung korrekt ist, geben Sie ihr eine hohe Punktzahl; wenn sie falsch ist, eine niedrige.

In aktuellen KI-Trainingsmethoden (wie GRPO) betrachtet das System all diese Lösungen als eine Gruppe. Es berechnet die „Durchschnittsbewertung“ und sagt der KI: „Du warst besser als der Durchschnitt, also mach so weiter“ oder „Du warst schlechter, also hör damit auf.“

Die Entdeckung des Papers:
Die Autoren fanden einen verborgenen Fehler in diesem Prozess. Obwohl die KI viele unterschiedlich aussehende Lösungen generiert, ist die Art und Weise, wie sie daraus lernt, oft fehlerhaft.

Denken Sie an einen Chor, der ein Lied singt.

Das Ziel: Sie möchten, dass der Chor harmonisch singt und einen kraftvollen, einheitlichen Klang erzeugt, der das Publikum bewegt (das Lernsignal).
Die Realität: In vielen Fällen singen die Chormitglieder tatsächlich exakt dieselben Noten, aber in entgegengesetzte Richtungen. Einige singen „Do-Re-Mi“, während andere „Do-Re-Mi“ mit einem Minuszeichen singen (was sich gegenseitig aufhebt).
Das Ergebnis: Wenn der Dirigent (der Lernalgorithmus der KI) alle Stimmen zusammenzählt, heben sich die positiven und negativen Klänge gegenseitig auf. Das Ergebnis ist Stille. Egal wie viele Sänger Sie dem Chor hinzufügen – wenn sie sich nur gegenseitig auslöschen, wird die Musik niemals lauter oder besser.

Das Paper nennt dies „Signed Low-Rank Redundancy“. Auf Deutsch gesagt: Die KI generiert zwar viele Antworten, aber alle enthalten dasselbe „Rauschen“, das sich gegenseitig aufhebt, wodurch kaum ein tatsächlicher Lerneffekt entsteht.

Die Lösung: SALT (Der „schlaue Tontechniker“)

Die Autoren schlagen ein neues Werkzeug namens SALT (Subspace-Adaptive geometry pLug-in componenT) vor.

Wenn das KI-Training ein chaotischer Chor ist, dann ist SALT ein schlaue Tontechniker, der der Gruppe zuhört, bevor die endgültige Mischung erstellt wird.

Hinhören nach dem „gemeinsamen Rauschen“: SALT analysert die Gruppe von Antworten und identifiziert die Teile, in denen alle das Gleiche singen (den „gemeinsamen Subraum“/„shared subspace“). Im aktuellen System wird dieses gemeinsame Rauschen ausgelöscht und verschwendet.
Das Signal trennen: SALT teilt die Gruppe in zwei Kanäle auf:
- Der gemeinsame Kanal: Das, worauf sich alle einigen (was normalerweise ausgelöscht wird).
- Der einzigartige Kanal: Die seltenen, einzigartigen Unterschiede zwischen den Antworten (die „Residuen“-Signale).
Die Lautstärke der Einzigartigkeit erhöhen: Wenn SALT sieht, dass die Gruppe hauptsächlich sich selbst auslöscht (eine „Vorzeichen-Auslöschung“/„signed cancellation“), dreht es automatisch die Lautstärke des einzigartigen Kanals auf. Es sagt der KI: „Ignoriere das langweilige, sich selbst aufhebende Rauschen. Konzentriere dich voll und ganz auf die einzigartigen, vielfältigen Unterschiede zwischen diesen Antworten.“

Warum das wichtig ist

1. Mehr ist nicht immer besser.
Vor SALT dachten Sie vielleicht: „Wenn wir wollen, dass die KI besser lernt, fragen wir sie einfach nach 100 Antworten statt nach 10.“ Das Paper zeigt, dass ohne SALT die Anforderung von 100 Antworten oft nur 100 Kopien derselben Auslöschung erzeugt. Man investiert mehr Arbeit (Rechenleistung), erzielt aber keine besseren Ergebnisse.

2. SALT lässt den zusätzlichen Aufwand zählen.
Mit SALT, wenn Sie die KI bitten, 100 Antworten zu generieren, nutzt das System tatsächlich die Vielfalt dieser 100 Antworten, um zu lernen. Es filtert das „auslöschende“ Rauschen heraus und verstärkt die „diversen“ Signale.

3. Es funktioniert, ohne die Regeln zu ändern.
SALT erfordert keinen neuen Lehrer (Reward Model) oder eine neue Art der Fragestellung. Es ist ein „Plug-in“, das in den bestehenden Trainingsprozess eingebettet ist, die Mathematik korrigiert und das Lernsignal stärkt.

Die Ergebnisse: Eine klarere Stimme

Die Autoren testeten SALT bei schwierigen Mathe- und Logik-Benchmarks (wie dem Lösen komplexer mathematischer Probleme oder dem Schreiben von Code).

Leistung: KI-Modelle, die SALT verwenden, lösten mehr Probleme korrekt als Modelle, die Standardmethoden nutzen.
Effizienz: Sie erreichten diese besseren Ergebnisse, ohne die Architektur der KI ändern oder eine massive Menge an zusätzlicher Rechenleistung benötigen zu müssen.
Der „Geometrie“-Check: Die Autoren untersuchten die „Form“ der Lernsignale. Mit SALT waren die Signale weniger „flach“ (redundant) und mehr „gestreut“ (divers), was bedeutet, dass die KI tatsächlich aus deutlichen, wertvollen Unterschieden lernte, anstatt aus auslöschendem Rauschen.

Zusammenfassende Analogie

Stellen Sie sich vor, Sie versuchen, einen verborgenen Schatz in einem nebligen Wald zu finden.

Alte Methode (GRPO): Sie schicken 50 Kundschafter aus. Alle rufen Richtungen. Aber weil sie alle in denselben Nebel schauen, rufen sie widersprüchliche Richtungen, die sich gegenseitig aufheben. Man hört ein lautes Brüllen der Verwirrung, weiß aber nicht, in welche Richtung man gehen soll.
Das Problem: Zusätzliche 50 Kundschafter zu schicken, macht die Verwirrung nur noch lauter.
SALT: SALT ist ein Filter, der den 50 Kundschaftern zuhört. Er erkennt: „Hey, 40 von euch schreien das Gleiche Falsche, aber 10 von euch schreien etwas Einzigartiges.“ SALT macht die 40 leise und verstärkt die 10 einzigartigen Stimmen. Plötzlich wird der Pfad zum Schatz klar.

Der Kernpunkt: SALT lehrt die KI, aufzuhören, auf das Rauschen zu hören, das sich selbst aufhebt, und stat anfangen, auf die einzigartigen Signale zu hören, die ihr tatsächlich beim Lernen helfen.

Technisches Resümee: SALT – Subspace-Adaptive Geometry Plug-in für Group-Based Policy Optimization

1. Problemstellung

Reinforcement Learning with Verifiable Rewards (RLVR) ist zu einem Standardansatz geworden, um die Denkfähigkeiten von Large Language Models (LLMs) zu verbessern, insbesondere durch Group Relative Policy Optimization (GRPO). GRPO verbessert die Skalierbarkeit, indem es das Critic-Netzwerk durch gruppenrelative Normalisierung ersetzt und mehrere Rollouts ( $G$ ) pro Prompt sampelt, um Lernsignale zu konstruieren.

Das Paper identifiziert jedoch eine kritische strukturelle Ineffizienz: Bloß die Erhöhung der Anzahl der Rollouts führt nicht zuverlässig zu einer Stärkung des Lernens. Die Autoren diagnostizieren, dass unter GRPO-artiger Gruppen-Normalisierung die Policy-Gradient-Features pro Rollout dazu neigen, sich in einer niederdimensionalen, signierten Geometrie zu konzentrieren.

Signierte Auslöschung (Signed Cancellation): Wenn Advantages innerhalb einer Gruppe normalisiert werden, summieren sie sich zu Null. Wenn die Gradienten-Features der Rollouts hoch korreliert (redundant) sind und eine dominante Richtung teilen, heben sich die positiven und negativen signierten Advantages während der Aggregation gegenseitig auf.
Niedrige effektive Dimensionalität: Diese Redundanz führt zu einer niedrigen „effektiven Dimensionalität“ (gemessen am Participation Ratio, $PR$) und einer niedrigen „effektiven Stichprobengröße“ ( $n_{eff}$ ).
Der Flaschenhals: Infolgedessen führt die Erhöhung der Rollout-Gruppengröße ( $G$ ) oft zu abnehmenden Grenzerträgen, da das aggregierte Update-Signal nur von einer kleinen Residualkomponente abhängt, während die gemeinsamen, redundanten Komponenten durch den gruppenzentrierenden Mechanismus ausgelöscht werden.

2. Methodik: SALT

Um dies zu adressen, schlagen die Autoren SALT vor (Subspace-Adaptive geometry Lug-in componenT). SALT ist ein Plug-in-Modul, das gruppenrelative Koeffizienten mithilfe der gradienten-basierten Geometrie pro Stichprobe neu gewichtet, um die signierte Auslöschung zu mildern, ohne das Belohnungsmodell oder das Rollout-Sampling-Verfahren zu verändern.

Kernmechanismus

SALT arbeitet durch die Analyse der Geometrie der Mini-Batch-Gradienten und zerlegt die Update-Signale in zwei Kanäle:

Schätzung der dominanten Subräume (Dominant Subspace Estimation):
- SALT berechnet eine normalisierte Gram-Matrix der Gradienten-Features (unter Verwendung eines leichtgewichtigen LM-Head-Gradienten-Proxys, um die Kosten für die Vollmodell-Gradienten zu vermeiden).
- Es führt eine Eigenzerlegung durch, um einen dominanten gemeinsamen Subraum ( $V_k$ ) basierend auf dem Participation Ratio ($PR$) zu identifizieren.
- Dieser Subraum repräsentiert die „gemeinsamen Signale“, die über verschiedene Rollouts hinweg geteilt werden und anfällig für Auslöschung sind.
Dual-Channel-Zerlegung (Dual-Channel Decomposition):
- Hauptkanal ( $a_{main}$ ): Die gruppennormalisierten Advantages werden auf den dominanten Subraum projiziert ( $P_k a$ ). Dies bewahrt das zentrale gruppenrelative Feedback.
- Explorationskanal ( $a_{exp}$ ): Die Advantages werden auf die orthogonale Komplementärfläche ( $P_k^\perp$ ) projiziert und gefiltert, um nur die positiven Komponenten zu behalten ( $[a]_+$ ). Dies isoliert die „Residual“- oder nicht-redundanten Richtungen.
Adaptive Neugewichtung (Adaptive Reweighting):
- SALT führt einen adaptiven Mischkoeffizienten $\alpha_t$ ein, der invers mit der effektiven Stichprobengröße ( $n_{eff}$ ) des aktuellen Batches zusammenhängt.
- Der finale umgewichtete Advantage ist: $a' = a_{main} + \alpha_t a_{exp}$ .
- Logik: Wenn $n_{eff}$ niedrig ist (was auf eine schwere Auslöschung hindeutet), steigt $\alpha_t$ an und verstärkt adaptiv den Residual- (Explorations-) Kanal, um nützliche Update-Signale zurückzugewinnen, die andernfalls verloren gingen.

Recheneffizienz

Proxy-Feature: Anstatt die Vollmodell-Gradienten zu berechnen, verwendet SALT den Gradienten der Output-Projektion (LM-Head) als Proxy. Dies bewahrt die notwendige Stichproben-Geometrie und skaliert mit der Mini-Batch-Größe $m=BG$ statt mit der Gesamtzahl der Parameter.
Kosten: Die Methode verursacht einen zusätzlichen Overhead von etwa 7,7 % auf die Rechenzeit (Wall-Clock-Time) durch die Berechnung der Gram-Matrix und die Eigensolver-Schritte, was als günstiger Kosten-Nutzen-Trade-off angesichts der Leistungssteigerungen betrachtet wird.

3. Zentrale Beiträge

Das Paper skizziert drei primäre Beiträge:

Phänomen-Diagnose: Die Autoren zeigen empirisch auf, dass GRPO-basiertes RLVR unter signierter, niederdimensionaler Redundanz leidet. Sie zeigen, dass die Gradienten-Features pro Stichprobe in niedrigdimensionalen Subräumen konzentriert sind, was zu einem niedrigen $PR$ und $n_{eff}$ führt, und erklären damit, warum die Erhöhung der Rollouts das Lernen oft nicht verbessert.
Methodenvorschlag (SALT): Sie führen ein subspace-adaptives Plug-in ein, das einen dominanten gemeinsamen Subraum schätzt und gruppenrelative Koeffizienten neu gewichtet. Es trennt explizit gemeinsame Signale von Residualsignalen und verstärkt letztere adaptiv, um der Auslöschung entgegenzuwirken.
Empirische Validierung: Umfangreiche Experimente über Reasoning-Benchmarks (AIME, GSM8K, MATH, GPQA) und Modellskalen (1.5B, 7B) bestätigen, dass SALT im Vergleich zu Standard-GRPO und DAPO-Baselines konsistent die Leistung und die effektive Update-Geometrie verbessert.

4. Experimentelle Ergebnisse

Die Autoren evaluierten SALT auf diversen Reasoning-orientierten RLVR-Benchmarks unter Verwendung von DeepSeek-Distill-Qwen Modellen (1.5B und 7B).

Leistungssteigerungen: SALT übertraf Vanilla-GRPO und DAPO konsistent. Im Durchschnitt verbesserte es die Genauigkeit um etwa +2,54 Prozentpunkte über alle Settings hinweg. Bemerkenswerte Gewinne wurden bei AIME24 und GPQA beobachtet.
Verbesserungen der Geometrie: Im Gegensatz zu entropiebasierten Regularisierungsmethoden (die zwar die Sampling-Diversität erhöhen, aber die Update-Geometrie nicht verbessern) steigerte SALT sowohl den Participation Ratio ($PR$) als auch die effektive Stichprobengröße ( $n_{eff}$ ) signifikant. Dies zeigt, dass SALT erfolgreich Rollouts in diverse, nicht-auslöschende Update-Signale umwandelt.
Rollout-Skalierung: In Experimenten mit einem festen Rollout-Budget demonstrierte SALT, dass größere Gruppengrößen ( $G$ ) effektiv genutzt werden können. Während Baselines bei steigendem $G$ abnehmende Grenzerträge zeigten, hielt SALT ein hohes $n_{eff}$ aufrecht und verbesserte die Leistung kontinuierlich, was beweist, dass es größere Rollout-Gruppen „nützlich“ macht, statt sie nur rechenintensiv zu gestalten.
Ablationsstudien: Das Entfernen entweder der Dual-Channel-Struktur oder des adaptiven Mischmechanismus verschlechterte die Leistung, was bestätigt, dass sowohl die Trennung von gemeinsamen/Residualsignalen als auch die dynamische Anpassung der Mischstärke notwendig sind.

5. Bedeutung und Behauptungen

Das Paper behauptet, dass die Ineffizienz der Rollouts in GRPO nicht bloß ein Sampling-Problem ist, sondern ein Versagen bei der Aggregation von residualen, nicht-redundanten Signalen.

Perspektivwechsel: Die Arbeit verschiebt den Fokus von der „Aufrechterhaltung der Antwort-Diversität“ (via Entropie-Regularisierung) hin zur „Optimierung der Update-Geometrie“. Sie argumentiert, dass selbst bei diversen Sequenzen die Gradienten-Features redundant sein können und die Lösung in der geometrischen Neugewichtung liegt.
Praktische Auswirkungen: SALT bietet eine Möglichkeit, Rollout-Gruppen zu skalieren, ohne eine proportionale Verschlechterung der Performance in Kauf nehmen zu müssen, wodurch Rechenressourcen besser genutzt werden.
Bescheidene Ansprüche: Die Autoren räumen ein, dass SALT ein biased geometry-reweighted surrogate (ein verzerrter, geometrisch umgewichteter Ersatz) und keine unverzerrte Umformulierung von GRPO ist. Sein Erfolg beruht auf dem Trade-off, bei dem die Reduktion der signierten Auslöschung die durch die Koeffizienten-Neugewichtung eingeführte Verzerrung überwiegt. Sie merken zudem an, dass die Effizienz je nach Architektur variieren kann und die Nutzung von LM-Head-Proxys eine Einschränkung darstellt.

Zusammenfassend bietet SALT einen Mechanismus, um „mehr Rollouts bedeutsam zu machen“, indem es redundante gemeinsame Signale adaptiv unterdrückt und diverse Residualrichtungen verstärkt, wodurch das effektive Lernsignal in der gruppenbasierten Policy-Optimierung gestärkt wird.