🤖 machine learning

SoftmaxGRPO: Learning to Reason using Softmax Advantage Group Estimation

Das Papier stellt SoftmaxGRPO vor, eine Reinforcement-Learning-Methode, die die Z-Score-Normalisierung durch temperatur skalierte Softmax-Advantages ersetzt, um divergierende Gewichtungen bei einfachen Prompts zu verhindern und dadurch das Gradientenbudget effektiver neu zuzuweisen, was die Reasoning-Leistung bei Aufgaben wie DeepMath und Poetry im Vergleich zu Standard-GRPO signifikant verbessert.

Ursprüngliche Autoren: Jefferson Hernandez, Jaywon Koo, Zilin Xiao, Chen Wei, Vicente Ordonez

Veröffentlicht 2026-08-11

📖 8 Min. Lesezeit🧠 Tiefgang

CC BY 4.0

Ursprüngliche Autoren: Jefferson Hernandez, Jaywon Koo, Zilin Xiao, Chen Wei, Vicente Ordonez

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Stellen Sie sich vor, Sie versuchen einem Roboter beizubringen, wie man Rätsel löst. Sie geben ihm einen Stapel von Problemen, und jedes Mal, wenn er versucht, eines zu lösen, erhält er eine einfache „Ja“- oder „Nein“-Note. Wenn er es richtig macht, bekommt er ein High-Five; wenn er es falsch macht, ein sanftes „Versuch es noch einmal“. Dies ist die Welt des Reinforcement Learning (Bestärkendes Lernen), in der eine KI durch Versuch und Irrtum lernt. Aber hier ist der knifflige Teil: Wie sagt man dem Roboter, welche spezifischen Versuche am wichtigsten sind, um daraus zu lernen?

In der Vergangenheit verwendeten Forscher eine Methode namens GRPO (Group Relative Policy Optimization). Denken Sie an GRPO wie an einen Lehrer, der sich die Antworten von zehn Schülern ansieht. Wenn neun Schüler eine Frage richtig beantworten und einer sie falsch beantwortet, konzentriert sich der Lehrer stark auf denjenigen, der versagt hat. Aber wenn alle zehn Schüler eine Frage richtig beantwortet haben (eine „einfache“ Frage), wird der Lehrer verwirrt. Da die Mathematik hinter GRPO versucht, den „Durchschnittsunterschied“ zu finden, schreit sie versehentlich bei den Fragen am lautesten, die die Schüler bereits lösen können, während sie bei den schwierigen Fragen nur flüstert. Es ist wie ein Trainer, der einen Starspieler anschreit, weil er einen leichten Korbleger verpasst hat, während er den Neuling ignoriert, der Schwierigkeiten beim Dribbeln hat. Dies verschwendet die Gehirnleistung des Roboters an Dinge, die er bereits weiß, und lässt ihn feststecken, wenn er etwas Neues lernen muss.

Dieses Paper stellt eine neue Methode namens SoftmaxGRPO vor. Anstatt diese verwirrende „Durchschnitts“-Mathematik zu verwenden, schlagen die Autoren einen „Temperatur-skalierten Softmax“-Ansatz vor. Stellen Sie sich eine Heatmap vor, auf die die Aufmerksamkeit des Roboters ganz natürlich gelenkt wird. Wenn eine Frage einfach ist und der Roboter sie richtig löst, sagt die Methode: „Gute Arbeit, aber wir müssen das nicht zu intensiv studieren.“ Wenn eine Frage schwer ist und der Robot damit kämpft, sagt die Methode: „Das ist das, worauf wir uns konzentrieren müssen!“ Es fungiert wie ein intelligenter Filter, der die Aufmerksamkeit des Roboters automatisch von einfachen Problemen weg und hin zu denen lenkt, bei denen er tatsächlich lernen kann. Die Forscher haben dies an mathematischen Problemen, kreativem Schreiben und der Zusammenfassung von Meetings getestet und fanden heraus, dass ihre neue Methode dem Roboter konsistent dabei half, schneller und besser zu lernen, selbst wenn die „Noten“, die er erhielt, nur grobe Schätzungen statt perfekter Punktzahlen waren.

Das Problem: Der Lehrer, der die Stars anschreit

Tauchen wir ein in die Geschichte der KI und ihres Lehrers. In der Welt der KI verwenden wir oft eine Technik namens Group-Based Reinforcement Learning (Gruppenbasiertes Bestärkendes Lernen). Stellen Sie sich vor, Sie bitten eine KI, ein mathematisches Problem zu lösen. Anstatt es nur einmal zu versuchen, bitten Sie sie, zehn verschiedene Wege auszuprobieren (diese werden als „Rollouts“ bezeichnet). Sie betrachten dann alle zehn Antworten gemeinsam.

Die alte Methode, GRPO, funktioniert wie ein Lehrer, der die „Durchschnittsleistung“ der Gruppe berechnet. Wenn die KI eine Frage richtig beantwortet, gibt GRPO ihr eine Belohnung. Wenn sie sie falsch beantwortet, gibt es eine niedrigere Belohnung. Das Problem entsteht bei einfachen Fragen. Wenn die KI bereits sehr gut in einer bestimmten Art von Matheaufgabe ist, wird sie fast alle zehn Versuche richtig lösen. In der alten GRPO-Mathematik führt dies zu einer seltsamen Situation: Da der „Durchschnitt“ so hoch ist, werden die winzigen Unterschiede zwischen den „perfekten“ Antworten und den „fast perfekten“ Antworten extrem aufgebläht. Die Mathematik endet damit, die KI bei Fragen anzuschreien, die sie bereits gemeistert hat. Es ist wie ein Trainer, der einem Profi-Basketballspieler nach dem Ohr brüllt, weil er einen Freiwurf um einen Zentimeter verpasst hat, während er einen Anfänger ignoriert, der nicht einmal den Ball halten kann. Die KI verschwendet ihre Energie darauf, Dinge zu „reparieren“, die nicht kaputt sind, wodurch ihr die Energie fehlt, das schwierige Zeug zu lernen.

Die Lösung: Eine intelligentere Heatmap

Die Autoren dieses Papers aus der Rice University schlugen eine Lösung namens SoftmaxGRPO vor. Sie erkannten, dass sie anstelle eines „Z-Scores“ (der misst, wie weit eine Zahl vom Durchschnitt entfernt ist) eine Softmax-Funktion verwenden sollten.

Betrachten Sie Softmax als eine „Heatmap“ für die Aufmerksamkeit. Sie nimmt die Belohnungen (die Noten) und wandelt sie unter Verwendung einer speziellen Formel, die eine „Temperatur“-Einstellung (genannt $\tau$ ) beinhaltet, in Gewichte um.

Hohe Temperatur: Die Heatmap ist flach. Jeder Versuch erhält etwa die gleiche Aufmerksamkeit. Dies ist wie die alte REINFORCE-Methode, bei der die KI langsam und zufällig lernt.
Niedrige Temperatur: Die Heatmap wird sehr scharf. Die KI konzentriert sich intensiv auf die besten Versuche und ignoriert den Rest. Dies ist wie die MaxRL-Methode, die großartig darin ist, die eine beste Antwort zu finden, aber instabil sein kann.

SoftmaxGRPO sitzt genau dazwischen. Es verwendet eine Temperatur-Einstellung, um eine glatte Kurve zu erzeugen. Wenn die KI eine einfache Frage richtig beantwortet, bleibt die Heatmap kühl und sagt der KI: „Gute Arbeit, mach weiter.“ Wenn die KI eine schwere Frage falsch beantwortet, bleibt die Heatmap warm und sagt der KI: „Das ist wichtig, lerne das!“

Die Magie besteht darin, dass diese Methode die Gewichte begrenzt hält. Egal wie einfach die Frage ist, das „Schreien“ wird niemals unendlich werden. Es verhindert, dass die KI ihre Gehirnleistung an einfachen Prompts verschwendet.

Was sie herausgefunden haben: Der Beweis im Pudding

Die Autoren haben nicht nur geraten; sie haben die Mathematik gemacht und die Tests durchgeführt.

1. Die Mathematik ist solide (für binäre Belohnungen)
Für Fragen, die eine einfache „Richtig“ oder „Falsch“-Antwort haben (binäre Belohnungen), haben sie bewiesen, dass SoftmaxGRPO ein perfektes, glattes Ziel (Objective) erzeugt. Sie zeigten, dass sich die Methode, wenn die Temperatur niedriger wird, natürlich in MaxRL verwandelt (eine Methode, die sich auf das bestmögliche Ergebnis konzentriert), und wenn die Gruppengröße riesig wird, wie Maximum Likelihood agiert (der Goldstandard des Lernens). Entscheidend ist, dass sie bewiesen haben, dass SoftmaxGRPI im Gegensatz zu GRPO bei einfachen Fragen niemals „explodiert“.

2. Die Grenzen der Magie
Sie fanden auch eine Grenze. Wenn die Belohnungen nicht nur „Richtig“ oder „Falsch“ sind, sondern viele verschiedene Stufen haben (wie eine Punktzahl von 1 bis 100 mit vielen Schritten), wird die Mathematik kompliziert. Sie zeigten, dass man bei Gruppen mit drei oder mehr Belohnungsstufen nicht immer ein einziges, perfektes „skalares Objective“ (eine einfache Formel) finden kann, das für jede Gruppengröße funktioniert. Das bedeutet, dass die Methode theoretisch am perfektesten für einfache „Richtig/Falsch“-Szenarien ist, aber in der Praxis auch bei komplexeren Scores gut funktioniert.

3. Ergebnisse aus der realen Welt
Sie testeten dies an einem 1,5-Milliarden-Parameter-Modell (einer mittelgroßen KI) bei verschiedenen Aufgaben:

Mathematik (GSM8K, Countdown, DeepMath): Beim Einsatz von perfekten „Verifier“-Belohnungen (bei denen ein Computer die Antwort exakt prüft), erreichte SoftmaxGRPO eine Genauigkeit von 51,8 % auf DeepMath und übertraf damit die alte GRPO-Methode. Auf Countdown erreichte es 58,1 %.
Kreatives Schreiben (Poesie): Hier wurde es besonders interessant. Für Poesie gibt es keine „richtige“ Antwort. Man kann nur einen „Ähnlichkeits-Score“ verwenden (wie sehr das Gedicht einem guten Beispiel ähnelt). Dies sind „schwache“ und verrauschte Belohnungen. Das alte GRPO hatte hier Schwierigkeiten. SoftmaxGRPO hingegen steigerte ein Modell, das bei 35,0 % startete, auf 68,0 % bei Poesie. Das ist ein massiver Sprung, der beweist, dass die Methode auch dann funktioniert, wenn der Lehrer nicht perfekt ist.
Zusammenfassung (MeetingBank): Es verbesserte die Zusammenfassungs-Scores von 35 % auf 70 %.

4. Wohin die Aufmerksamkeit geht
Der aussagekräftigste Beweis kam aus der Beobachtung, wohin die KI ihr „Gradienten-Budget“ (ihre Lernenergie) investierte.

Altes GRPO: Verbrachte 36,4 % seiner Energie mit „fast gelösten“ Prompts (Fragen, bei denen die KI zu über 90 % wahrscheinlich richtig liegen würde). Es verschwendete Zeit mit dem einfachen Zeug.
SoftmaxGRPO: Verbrachte nur 10,0 % mit diesen einfachen Prompts. Es verlagerte diese Energie auf die schwierigeren Fragen, bei denen die KI kämpfte (im Bereich von 20 % bis 90 %).

Das Fazit

Das Paper legt nahe, dass wir, indem wir einfach die Art und Weise ändern, wie wir „Wichtigkeit“ berechnen – von einem Standarddurchschnitt zu einem temperatur-skalierten Softmax –, einen großen Fehler in der Art und Weise beheben können, wie eine KI lernt. Es verhindert, dass die KI Dinge obsessiv verfolgt, die sie bereits kennt, und zwingt sie dazu, sich auf die Herausforderungen zu konzentrieren, die sie tatsächlich klüger machen werden.

Obwohl die Mathematik für einfache „Richtig/Falsch“-Belohnungen am strengsten ist, zeigen die Experimente, dass sie selbst mit vagen, schwachen Belohnungen, wie sie beim Schreiben von Gedichten oder beim Zusammenfassen von Meetings verwendet werden, Wunder wirkt. Es ist ein „Drop-in“-Ersatz, was bedeutet, dass es sich um eine kleine Änderung im Code handelt, die zu großen Verbesserungen in der Art und Weise führt, wie die KI lernt zu argumentieren. Die Autoren kommen zu dem Schluss, dass diese Methode ein robuster Weg ist, um Lernsignale neu zu verteilen, um sicherzustellen, dass die KI ihre Zeit dort verbringt, wo es wirklich zählt.

Technische Zusammenfassung: SoftmaxGRPO

Problemstellung
Gruppenbasierte Reinforcement-Learning-Ziele, wie etwa Group Relative Policy Optimization (GRPO), sind zum Standard für das Post-Training von Large Language Models bei Reasoning-Aufgaben geworden. Diese Methoden sampeln $M$ Rollouts pro Prompt, normalisieren die Belohnungen innerhalb der Gruppe und optimieren einen PPO-ähnlichen Surrogat-Loss. Das Paper identifiziert jedoch eine kritische Pathologie in der Normalisierungsstrategie von GRPO: Bei binären Korrektheitsbelohnungen induziert die Z-Score-Normalisierung eine Gewichtungsfunktion, die divergiert, wenn die Pass-Wahrscheinlichkeit $p \to 1$ geht. Dies führt dazu, dass sich das Lernsignal zu stark auf „einfache“ Prompts konzentriert, die das Modell bereits zuverlässig löst, wodurch das Gradientenbudget verschwendet wird. Dieses Problem ist besonders schädlich in Szenarien mit schwachen, verrauschten oder spärlichen Belohnungen (z. B. String-Overlap-Metriken für kreative Generierung), in denen eine ineffiziente Gradientenzuweisung dazu führt, dass unzureichendes Signal für Prompts zur Verfügung steht, bei denen Lernen am dringendsten benötigt wird.

Methodik: SoftmaxGRPO
Die Autoren führen SoftmaxGRPO ein, einen austauschbaren Ersatz für GRPO, der die Z-Score-normalisierten Advantages durch temperaturgesteuerte Softmax-Advantages ersetzt. Gegeben sei eine Gruppe von $M$ Rollouts mit Belohnungen $\{r_i\}$ , berechnet die Methode innerhalb der Gruppe die Gewichte:
$w_i = \frac{\exp(r_i / \tau)}{\sum_{j=1}^M \exp(r_j / \tau)}$
und die zentrierten Advantages $A_i = M w_i - 1$ . Die grundlegende Update-Regel bleibt ein PPO-ähnlicher Surrogat-Loss unter Verwendung dieser Advantages, aber die zugrunde liegende Geometrie des Objekts ändert sich fundamental.

Theoretische Beiträge
Das Paper liefert eine rigorose theoretische Analyse von SoftmaxGRPO über verschiedene Belohnungsregime hinweg:

Binäre Belohnungen (Endliche Gruppe): Für binäre Belohnungen im ungeschnittenen On-Policy-Regime leiten die Autoren das exakte endliche- $M$ -Populationsziel ab. Sie beweisen, dass SoftmaxGRPO eine Prompt-Gewichtungsfunktion $\omega_{M,\tau}(p)$ induziert, die für $p \to 1$ beschränkt bleibt. Im Gegensatz zu GRPO, das als $[p(1-p)]^{-1/2}$ skaliert, vermeidet SoftmaxGRPO das „Easy-Prompt-Blow-up“.
- Grenzverhalten: Wenn die Temperatur $\tau \to 0$ für ein endliches $M$ geht, konvergiert die Methode exakt zu MaxRL (Maximum Likelihood Reinforcement Learning) mit einem Truncation-Parameter $T = M-1$ . Im gemeinsamen Grenzwert von niedriger Temperatur und großer Gruppengröße nähert sie sich der Maximum-Likelihood (ML)-Gewichtung ( $1/p$ ) an.
- Interpolation: Die Temperatur $\tau$ steuert eine glatte Interpolation zwischen einem REINFORCE-ähnlichen Verhalten (hohes $\tau$ , uniforme Gewichtung) und einem MaxRL/ML-ähnlichen Verhalten (niedriges $\tau$ , Betonung schwieriger Prompts).
Beschränkte Skalarbelohnungen (Große Gruppe): Für beschränkte Skalarbelohnungen zeigen die Autoren, dass SoftmaxGRPO bei $M \to \infty$ exakt die Log-Moment-Generierende Funktion der Belohnung optimiert (äquivalent zu einem Exponential-Utility-Ziel).
- Nicht-Existenz eines universellen endlichen Gruppen-Skalarziels: Das Paper beweist, dass für allgemeine Skalarbelohnungen mit drei oder mehr Stufen kein universelles endliches- $M$ -Skalarziel existiert. Das endliche Gruppen-Update ist im Allgemeinen nicht konservativ (d. h. nicht der Gradient eines Skalarpotentials), es sei denn, die Belohnungsverteilung ist eingeschränkt (z. B. auf binär). Dies unterscheidet SoftmaxGRPO von etablierten exponentierten Belohnungsmethoden wie RAML oder MPO, die das endliche Gruppen-Geometrie-Hindernis nicht adressieren.
Praktische Optimierung: In der Praxis wird die Methode unter Verwendung von PPO-Clipping und einem Referenzmodell-KL-Penalty implementiert, um Stabilität zu gewährleisten, wobei die abgeleiteten Ziele als Populations-Level-Ziel für die Trust-Region-Approximation behandelt werden.

Experimentelle Ergebnisse
Die Autoren evaluieren SoftmaxGRPO über acht Benchmarks, einschließlich verifizierbarer Aufgaben (GSM8K, Countdown, DeepMath) und nicht-verifizierbarer Aufgaben (Poetry Writing, MeetingBank Summarization, AlpacaEval 2.0, MMLU, GPQA).

Verifizierbare Aufgaben: Unter Verwendung exakter Verifizierer erreicht SoftmaxGRPO-Exact 75,8 % auf GSM8K, 58,1 % auf Countdown und 51,8 % auf DeepMath und übertrifft damit GRPO-Exact auf allen drei Aufgaben. Bemerkenswerterweise erreicht es die Leistung von OPD (das dichte Per-Token-Distillation von einem stärkeren Teacher nutzt) auf GSM8K und Countdown oder übertrifft diese sogar.
Schwache/Nicht-verifizierbare Belohnungen: Unter identischen schwachen Ähnlichkeitsbelohnungen (ohne Ground-Truth-Verifizierer) übertrifft SoftmaxGRPO-Sim konsistent GRPO-Sim. Die signifikantesten Gewinne zeigen sich bei kreativen Aufgaben: Bei Poetry Writing erreicht SoftmaxGRPO eine Punktzahl von 68,0, was eine Verbesserung um +13,4 Punkte gegenüber dem nächstbesten Baseline-Modell, GRPO-Sim (54,6), darstellt. Dies ist eine erhebliche Steigerung gegenüber dem Base-Modell-Score von 35,0.
Gradientenallokation: Die Analyse der Gradientenbudget-Allokation bestätigt die theoretischen Behauptungen. Auf GSM8K weist GRPO 36,4 % seines Gradientenbudgets auf nahezu gelöste Prompts ( $p \ge 0,9$ ) zu, während SoftmaxGRPO diesen Anteil auf 10,0 % reduziert und das Signal zu Prompts mittlerer Schwierigkeit ( $p \in [0,2, 0,9)$ ) umverteilt, wo das Lernen effektiver ist.
Ablationen: Die Methode ist robust gegenüber der Rollout-Gruppengröße ( $M$ ) bei niedrigen Temperaturen ( $\tau \le 0,5$ ). Die Leistung sinkt, wenn $\tau$ steigt, was bestätigt, dass die Schärfe der Belohnungsgewichtung entscheidend für die Wirksamkeit der Methode ist.

Bedeutung und Ansprüche
Das Paper behauptet, dass SoftmaxGRPO eine prinzipielle Lösung für das Ungleichgewicht der Prompt-Schwierigkeitsgewichtung bietet, das in gruppenbasiertem RL inhärent ist. Die Bedeutung liegt in drei Bereichen:

Geometrische Korrektur: Es ersetzt die divergente Gewichtung von GRPO durch eine beschränkte, temperaturgesteuerte Familie von Zielen, die das Lernsignal natürlich von gelösten Problemen weg umverteilt.
Theoretische Stringenz: Es etabliert das exakte endliche Gruppen-Ziel für binäre Belohnungen und identifiziert die präzisen Bedingungen, unter denen ein Skalarziel existiert (binäre Belohnungen) versus wann dies nicht der Fall ist (allgemeine Multi-Level-Belohnungen).
Praktische Wirksamkeit: Es demonstriert, dass ein einfacher Einzeiler-Ersatz für die Advantage-Berechnung von GRPO konsistente Verbesserungen sowohl in verifizierbaren als auch in nicht-verifizierbaren Domänen liefert und insbesondere in Szenarien mit schwachen oder verrauschten Belohnungssignalen glänzt, in denen traditionelle Normalisierung versagt.

Die Autoren bleiben bescheiden hinsichtlich des Umfangs und merken an, dass das endliche Theorem nur für binäre Belohnungen unter ungeschnittenem Optimierungsprozess exakt ist und die praktische Implementierung auf PPO-Approximationen beruht. Sie identifizieren die adaptive Temperaturwahl und reichere Prozess-Level-Belohnungen als zukünftige Forschungsrichtungen.

Das Problem: Der Lehrer, der die Stars anschreit

Die Lösung: Eine intelligentere Heatmap

Was sie herausgefunden haben: Der Beweis im Pudding

Das Fazit

Mehr davon