🤖 machine learning

F-GRPO: Don't Let Your Policy Learn the Obvious and Forget the Rare

Das Papier schlägt F-GRPO vor, eine Schwierigkeitsbewusste Verstärkungslernmethode, die die Tendenz herkömmlicher gruppenbasierter Algorithmen, sich auf häufige Lösungen zu spezialisieren und seltene korrekte Trajektorien zu vernachlässigen, durch Herabstufung von Updates mit hohem Erfolg abschwächt und dadurch die Leistung beim mathematischen Schlussfolgern über verschiedene Baselines hinweg erheblich verbessert, ohne die Rechenkosten zu erhöhen.

Ursprüngliche Autoren: Daniil Plyusov, Alexey Gorbatovski, Boris Shaposhnikov, Viacheslav Sinii, Alexey Malakhov, Daria Korotyshova, Daniil Gavrilov

Veröffentlicht 2026-05-26

📖 5 Min. Lesezeit🧠 Tiefgang

CC BY 4.0

Ursprüngliche Autoren: Daniil Plyusov, Alexey Gorbatovski, Boris Shaposhnikov, Viacheslav Sinii, Alexey Malakhov, Daria Korotyshova, Daniil Gavrilov

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Das große Ganze: Das Problem der „Gruppenarbeit"

Stellen Sie sich vor, Sie unterrichten einen Schüler (ein KI-Modell), wie man ein schwieriges Matheproblem löst. Um ihm beim Lernen zu helfen, zeigen Sie ihm nicht nur eine Antwort; Sie bitten ihn, acht verschiedene Versuche (eine „Gruppe") gleichzeitig zu generieren. Dann schauen Sie sich diese acht Versuche an, vergleichen sie und sagen dem Schüler: „Hey, die meisten deiner Antworten waren falsch, aber diese hier war richtig. Lass uns dafür sorgen, dass du das nächste Mal eher so etwas machst."

Diese Methode heißt Group-Relative Policy Optimization (GRPO). Es ist wie eine Lerngruppe, bei der der Lehrer Feedback nur basierend auf dem gibt, was die Gruppe tatsächlich produziert hat.

Das Problem:
Das Papier argumentiert, dass, wenn Ihre Lerngruppe zu klein ist, Sie die richtige Antwort möglicherweise gar nicht sehen. Aber wenn die Gruppe genau die „richtige" Größe hat (nicht zu klein, nicht riesig), passiert etwas Seltsames:

Die Gruppe findet die richtige Antwort.
Der Lehrer sagt: „Gute Arbeit bei dieser!"
Der Schüler wird so aufgeregt über diese eine spezifische richtige Antwort, dass er aufhört, nach anderen Wegen zu suchen, das Problem zu lösen. Er wird besessen von dieser einen Lösung und vergisst alle anderen gültigen Wege, dorthin zu gelangen.

In der Welt der KI nennt man dies „Distribution Sharpening". Die KI wird sehr gut darin, eine häufige Antwort zu finden, verliert aber die Fähigkeit, seltene, kreative oder schwierige Antworten zu finden. Es ist wie ein Schüler, der den Antwortenschlüssel für die häufigsten Testfragen auswendig lernt, aber völlig versagt, wenn der Lehrer eine knifflige, ungewöhnliche Frage stellt.

Die Kernentdeckung: Die „Goldlöckchen"-Falle

Die Autoren haben Mathematik betrieben, um zu beweisen, dass dieses „Vergessen" am häufigsten auftritt, wenn die Gruppengröße mittel ist.

Winzige Gruppen (Größe 2): Die Gruppe findet oft keine richtige Antwort. Der Lehrer sagt: „Diesmal hat nichts funktioniert", also ändert der Schüler seine Gewohnheiten nicht viel. Er bleibt sicher und vielfältig, lernt aber nicht viel.
Riesige Gruppen (Größe 128+): Die Gruppe findet jeden möglichen richtigen Antwort, einschließlich der seltenen. Der Lehrer sagt: „Schau, du hast die gemeinsame UND die seltene gefunden!" Der Schüler lernt alles. Aber das ist für einen Computer zu teuer (es kostet zu viel Geld und Zeit).
Mittlere Gruppen (Größe 8–16): Das ist die Falle. Die Gruppe findet die gemeinsame richtige Antwort (also gibt der Lehrer Feedback), aber sie verpasst die seltene richtige Antwort. Der Schüler denkt: „Die gemeinsame Antwort ist die einzige, die zählt", und er hört auf, nach den seltenen zu suchen.

Die Analogie:
Stellen Sie sich vor, Sie suchen nach einer bestimmten seltenen Münze in einem Glas mit 1.000 Münzen.

Wenn Sie 2 Münzen greifen, werden Sie die seltene wahrscheinlich nicht finden. Sie lernen nichts.
Wenn Sie 500 Münzen greifen, werden Sie die seltene definitiv finden. Sie lernen alles.
Wenn Sie 10 Münzen greifen, finden Sie vielleicht die gemeinsamen Münzen, verpassen aber die seltene. Sie schließen dann daraus: „Die seltene Münze existiert nicht", und Sie hören auf, danach zu suchen.

Die Lösung: F-GRPO (Der „Schwierigkeitsbewusste" Trainer)

Die Autoren schlagen eine Lösung namens F-GRPO vor. Sie stellten fest, dass, wenn eine Gruppe viele korrekte Antworten findet, die KI zu selbstbewusst wird und beginnt, die seltenen zu ignorieren.

Also fügten sie ein „Schwierigkeitsgewicht" hinzu, inspiriert von einer Technik namens Focal Loss.

Wie es funktioniert:

Der alte Weg: Wenn die Gruppe 5 von 8 Antworten richtig findet, gibt der Lehrer einen riesigen „High Five" und sagt der KI, sie solle sich stark auf diese Antworten konzentrieren.
Der neue Weg (F-GRPO): Der Lehrer sieht sich die Gruppe an und sagt: „Wow, du hast 5 richtige Antworten gefunden! Das ist für dich gerade leicht. Ich werde die Lautstärke bei diesem Feedback runterdrehen."
- Wenn die Gruppe wenige richtige Antworten findet (es war ein harter Kampf), dreht der Lehrer die Lautstärke hoch und sagt: „Das war schwer, achte genau darauf, was funktioniert hat!"
- Wenn die Gruppe viele richtige Antworten findet (es war leicht), dreht der Lehrer die Lautstärke runter, damit die KI nicht zu sehr von den offensichtlichen Lösungen besessen wird.

Das Ergebnis:
Indem die Lautstärke bei „leichten" Gruppen heruntergedreht wird, wird die KI gezwungen, weiterhin zu explorieren. Sie hört nicht auf, nach den seltenen, schwierigen Lösungen zu suchen, nur weil sie eine leichte gefunden hat.

Was die Experimente zeigten

Das Team testete dies an mehreren KI-Modellen (wie Qwen und Llama) mit Matheproblemen und Logikrätseln.

Der „Seltene"-Test: Sie prüften, wie gut die KI irgendeine richtige Antwort finden konnte, wenn sie ihr 256 Versuche gab (statt nur 1).
- Ohne die Lösung: Als die KI besser wurde bei den leichten Antworten, sank ihre Fähigkeit, seltene Antworten zu finden.
- Mit F-GRPO: Die KI behielt ihre Fähigkeit, seltene Antworten zu finden, hoch, auch während sie besser wurde bei den leichten.
Der „Labyrinth"-Test: Sie verwendeten ein Labyrinth, in dem es nur einen korrekten Pfad gibt. Selbst in diesem einfachen Fall ließ die alte Methode die KI den Pfad vergessen, wenn sie frühzeitig Glück hatte. F-GRPO hielt die KI auf Kurs.
Effizienz: Sie erzielten diese Ergebnisse ohne die Gruppengröße zu erhöhen. Sie mussten die KI nicht auffordern, 100 Antworten zu generieren; sie mussten nur ändern, wie sie auf die 8 Antworten hörten, die sie bereits generiert hatte.

Zusammenfassung

Das Papier sagt: „Lassen Sie Ihre KI nicht zu bequem mit den offensichtlichen Antworten werden."

Wenn eine KI aus einer Gruppe von Versuchen lernt, neigt sie dazu, die seltenen, schwierigen Lösungen zu vergessen, wenn die Gruppe eine mittlere Größe hat. Die Autoren haben dies behoben, indem sie einen „Lautstärkeregler" (F-GRPO) schufen, der die Bedeutung von leichten, hocherfolgreichen Gruppen senkt. Dies zwingt die KI, weiterhin zu explorieren und stellt sicher, dass sie ihre Fähigkeit nicht verliert, die harten, seltenen Probleme zu lösen.

Technische Zusammenfassung: F-GRPO: Lassen Sie Ihre Policy nicht das Offensichtliche lernen und das Seltene vergessen

Problemstellung

Reinforcement Learning mit verifizierbaren Belohnungen (RLVR) hat sich zu einem Standardparadigma für das Nachtrainieren von Large Language Models (LLMs) bei Reasoning-Aufgaben entwickelt. Eine wachsende Evidenzlage deutet jedoch darauf hin, dass RLVR die Ausgabeverteilung oft zu Lösungen hin schärft, die dem Basismodell bereits zugänglich sind, und dadurch die Leistung bei Metriken wie pass@k (wobei k groß ist) potenziell verschlechtert, indem die Vielfalt der Lösungen eingeschränkt wird.

Die meisten modernen RLVR-Systeme, wie etwa Group Relative Policy Optimization (GRPO), verlassen sich auf Gruppen-Sampling (das Ausrollen von $N$ Antworten pro Prompt), um Vorteile zu schätzen. Während kleine Gruppen ( $N=2$ ) rechnerisch effizient sind und große Gruppen eine breite Abdeckung bieten, begrenzen praktische Einschränkungen $N$ oft auf mittlere Größen (z. B. $N=8$ ). Der Artikel identifiziert eine kritische Lücke im Verständnis dafür, wie diese endlichen Gruppengrößen die Optimierungsdynamik beeinflussen. Spezifisch wird postuliert, dass mittlere Gruppengrößen ein „Tail-Miss"-Regime erzeugen können, bei dem Updates aktiv sind (gemischte Belohnungen), aber das Sampling seltener, korrekter Trajektorien versäumen. Dies führt zu einer Konzentration der Wahrscheinlichkeitsmasse auf häufige, gesampelte Lösungen, während ungesampelte korrekte Verhaltensweisen unterdrückt werden.

Methodik

Theoretische Analyse

Die Autoren leiten die Wahrscheinlichkeit eines Tail-Miss-Ereignisses ( $B_{E,N}(x)$ ) her, definiert als ein aktives Update (bei dem die Gruppe sowohl korrekte als auch inkorrekte Rollouts enthält), das ein spezifisches korrektes Subset $E_x$ mit geringer Masse nicht sampelt.

Nicht-monotones Verhalten: Die Wahrscheinlichkeit dieses Ereignisses ist in Bezug auf die Gruppengröße $N$ nicht monoton. Kleine $N$ führen oft zu inaktiven Updates (alle korrekt oder alle inkorrekt) und bewahren so die Vielfalt durch Inaktivität. Große $N$ gewährleisten die Abdeckung seltener Modi. Jedoch maximiert ein mittleres $N$ die Wahrscheinlichkeit aktiver Updates, die seltene, korrekte Regionen verfehlen.
Umschichtungsmechanismus: Unter Verwendung eines kategorischen Policy-Rahmens analysieren die Autoren, wie Wahrscheinlichkeitsmasse umverteilt wird. Sie zeigen, dass selbst wenn die gesamte korrekte Masse ( $Q_{pos}$ ) zunimmt, die ungesampelte-korrekte Masse ( $Q_{u,pos}$ ) abnehmen kann. Dies geschieht, weil Belohnungs-positive Batches ungesampelte Logits durch Subtraktion der Basislinie und Softmax-Normalisierung nach unten drücken und damit effektiv korrekte Lösungen „vergessen", die in der aktuellen Gruppe nicht gesampelt wurden.

Vorgeschlagene Lösung: F-GRPO

Um dies ohne Erhöhung der Rechenkosten (Rollout-Größe) zu mildern, schlagen die Autoren F-GRPO (Focal Group Relative Policy Optimization) vor.

Focal Weighting: Inspiriert von Focal Loss führt die Methode einen schwerigkeitsbewussten Skalierungskoeffizienten $g(x)$ ein, der auf den gruppenrelativen Vorteil angewendet wird.
Mechanismus: Das Gewicht ist definiert als $g(x) = (1 - \hat{\mu}_{pos}(x))^\gamma$ , wobei $\hat{\mu}_{pos}(x)$ die empirische Erfolgsrate der gesampelten Gruppe ist (Anzahl korrekter Rollouts $X$ geteilt durch $N$ ).
Wirkung: Dies wichtet Updates von Gruppen mit hohen empirischen Erfolgsraten herunter (wo das Modell das „Offensichtliche" für diesen Prompt bereits „gelernt" hat) und bewahrt das Signal von Gruppen mit gemischtem Erfolg, in denen seltene korrekte Verhaltensweisen möglicherweise noch unterrepräsentiert sind. Es handelt sich um eine leichte Modifikation, die das Advantage-Signal für alle Rollouts eines Prompts einheitlich skaliert, ohne zusätzliche Netzwerke zu erfordern oder Belohnungswerte zu ändern.

Hauptbeiträge

Herleitung der Tail-Miss-Wahrscheinlichkeit: Der Artikel charakterisiert explizit die Wahrscheinlichkeit, dass aktive Updates seltene, korrekte Subsets verfehlen, und zeigt deren nicht-monotone Abhängigkeit von der Gruppengröße auf. Dies hilft, widersprüchliche vorherige Befunde bezüglich optimaler Gruppengrößen in Einklang zu bringen.
Analyse der ungesampelten-korrekten Masse: Die Autoren zeigen theoretisch und empirisch, dass die gesamte korrekte Masse wachsen kann, während die ungesampelte-korrekte Masse schrumpft, und erklären damit den Mechanismus hinter der Verengung der Verteilung in Settings mit endlichen Gruppen.
Validierung mit Einzelsolution: Unter Verwendung einer Maze-Umgebung, in der jeder Prompt genau eine korrekte Trajektorie hat, demonstriert der Artikel, dass eine Verschlechterung von pass@K auch ohne mehrere korrekte Lösungen pro Prompt auftreten kann. Dies isoliert den Effekt auf die Abdeckung der Zielsequenz und nicht auf die Vielfalt innerhalb des Prompts.
F-GRPO-Algorithmus: Ein einfaches, plug-in-fähiges Neugewichtungsschema, das auf GRPO, DAPO und CISPO anwendbar ist und pass@256 verbessert, während pass@1 erhalten bleibt oder verbessert wird, ohne Rollout-Kosten zu erhöhen.

Experimentelle Ergebnisse

Die Autoren evaluierten F-GRPO auf Qwen2.5-7B, Qwen3-4B-Base und Llama-3.2-3B-Instruct über verschiedene Benchmarks hinweg (MATH500, AIME, AMC, GPQA, IFEval, SynLogic).

Kategoriale Simulation: Bestätigte, dass mittlere Gruppengrößen zu der geringsten beibehaltenen positiven Masse ( $M_{ret}$ ) führen, während Focal Weighting ( $\gamma=1$ ) die Massenerhaltung in dieser „Konzentrationszone" signifikant verbessert.
Maze-Experimente: In einem Setting mit Einzelsolution reduzierte F-GRPO den frühen Abfall von pass@K während des Trainings und verbesserte das finale pass@1 sowie pass@256 über alle getesteten Gruppengrößen hinweg ( $N \in \{4, \dots, 128\}$ ).
LLM-Benchmarks (N=8):
- Mathematik-Leistung: Bei Qwen2.5-7B verbesserte F-GRPO den durchschnittlichen mathematischen pass@256 von 64,1 (GRPO) auf 70,3 und von 69,3 (DAPO) auf 72,5.
- OOD-Leistung: Out-of-Domain (OOD) pass@256 verbesserte sich ebenfalls konsistent über alle Methoden hinweg (z. B. GRPO: 55,9 $\to$ 63,3; DAPO: 58,4 $\to$ 63,6).
- Effizienz: F-GRPO bei $N=8$ erreichte eine Leistung, die mit Standard-GRPO bei $N=32$ bei pass@256 vergleichbar war, und erholte damit effektiv die Vorteile größerer Gruppen bei 4-fach geringerem Rechenaufwand.
- Generalisierung: Die Methode übertrug sich effektiv auf verschiedene Optimierer (GRPO, DAPO, CISPO) und Modellgrößen.
Ablation: Die Gewinne wurden durch einfache Lernratenreduktion oder Standardregularisierung (Entropie/KL) nicht repliziert, was darauf hindeutet, dass die Verbesserung spezifisch aus dem Neugewichtungsmechanismus basierend auf dem Erfolg resultiert.

Bedeutung und Behauptungen

Der Artikel beansprucht, eine theoretische und praktische Lösung für das „Verengungs"-Problem im gruppenrelativen RLVR zu bieten. Indem die Autoren identifizieren, dass mittlere Gruppengrößen das Risiko maximieren, seltene, korrekte Trajektorien zu verfehlen, argumentieren sie, dass eine einfache Erhöhung von $N$ aufgrund von Rechenbeschränkungen nicht immer machbar ist.

F-GRPO bietet eine kostengünstige Minderungsstrategie, die:

Die bei Verwendung mittlerer Gruppengrößen typischerweise verlorene pass@256-Leistung wiederherstellt.
pass@1 (Einzelstichproben-Genauigkeit) erhält oder verbessert.
über verschiedene RLVR-Varianten und Modellarchitekturen hinweg funktioniert.
Keine Erhöhung des Rollout-Budgets oder das Hinzufügen zusätzlicher Netzwerke erfordert.

Die Autoren positionieren F-GRPO als notwendige Anpassung der Standard-RLVR-Pipeline, um sicherzustellen, dass Policy-Updates nicht versehentlich nur die „offensichtlichen" Lösungen verstärken, die in einer endlichen Stichprobe exponiert wurden, während die „seltenen" korrekten Verhaltensweisen vergessen werden, die für robustes Reasoning notwendig sind.