💻 computer science

GRPO Does Not Close the Multi-Agent Coordination Gap

Diese Arbeit zeigt auf, dass Group Relative Policy Optimization (GRPO) die Multi-Agenten-Koordination bei großen Sprachmodellen im Problem der essenden Philosophen nicht signifikant verbessert, was offenlegt, dass die primären Engpässe für Open-Weight-Modelle fehlerhaftes Reward-Shaping, eine schlechte Checkpoint-Auswahl und ein Mangel an Curriculum Learning sind, statt unzureichender Trainingsrechenleistung.

Ursprüngliche Autoren: Najmul Hasan, Prashanth BusiReddyGari

Veröffentlicht 2026-06-09

📖 5 Min. Lesezeit🧠 Tiefgang

CC BY 4.0

Ursprüngliche Autoren: Najmul Hasan, Prashanth BusiReddyGari

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Stellen Sie sich einen runden Tisch mit fünf Philosophen vor, die darum herum sitzen. Zwischen jedem Paar von Philosophen liegt eine einzelne Gabel. Um eine Mahlzeit zu essen, benötigt ein Philosoph zwei Gabeln: die links und die rechts von ihm.

Dies ist ein klassisches Logikrätsel, bekannt als das „Dining Philosophers Problem“ (Problem der essenden Philosophen). Der Haken dabei ist: Wenn jeder genau im selben Moment die Gabel auf seiner linken Seite greift, kann niemand essen. Sie verhungern alle, während sie eine Gabel halten und auf die andere warten. Dies wird als „Deadlock“ (Verklemmung/Sackgasse) bezeichnet.

Das Experiment: Kann KI lernen, zu teilen?

Die Forscher in dieser Arbeit wollten sehen, ob moderne Künstliche Intelligenz-Modelle (KI) in der Lage sind, dieses Problem zu lösen, wenn sie als Team agieren. Sie errichteten eine Simulation, in der mehrere KI-„Agenten“ (die als Philosophen fungierten) koordinieren mussten, um zu essen, ohne sich gegenseitig verhungern zu lassen.

Sie testeten zwei Hauptaspekte:

Wie gut sind die besten KIs aktuell?
Kann man einer schwächeren KI durch eine spezifische Trainingsmethode namens GRPO beibringen, besser zu werden?

Die Ergebnisse: Die „Smarten“ vs. die „Struggler“

Die Forscher fanden eine riesige Lücke zwischen den „super-intelligenten“ KIs und den Modellen, die sie trainieren wollten.

Die Champions (Closed-Source-Modelle): Die fortschrittlichsten, teuren KI-Modelle (wie Claude, GPT-5 und Gemini) waren überraschend gut in diesem Spiel. Sie fanden heraus, wie man sich abwechselt, Gabeln teilt und isst. Sie erreichten einen „Erfolgswert“ zwischen 0,45 und 0,87 (wobei 1,0 perfekt ist).
Der Open-Source-Herausforderer: Ein starkes Open-Source-Modell namens Mistral-Small schnitt ebenfalls sehr gut ab und erreichte 0,83. Es war genauso gut wie die teuren Champions.
Der Struggler (Qwen3-14B): Das Modell, auf das sich die Forscher konzentrierten, Qwen3-14B, war schrecklich in diesem Spiel. Es erreichte lediglich 0,13. Es tappte fast immer in die „Deadlock“-Falle, in der alle eine Gabel greifen und niemand isst.

Die gescheiterte Lösung: Die „Studienhallen“-Analogie

Die Forscher versuchten, das schwache Qwen3-14B-Modell mithilfe einer Technik namens GRPO (Group Relative Policy Optimization) zu verbessern.

Stellen Sie sich das wie einen Schüler in einer Studienhalle vor. Man gibt ihm genau den Test, in dem er durchgefallen ist, lässt ihn es erneut versuchen und zeigt ihm die Antworten, damit er lernen kann. Man erwartet, dass er dadurch klüger wird.

Was passierte? Der Schüler (die KI) wurde nicht besser. Tatsächlich sank der Wert des Modells nach der „Lerneinheit“ sogar leicht (von 0,13 auf 0,09), obwohl der Unterschied statistisch nicht signifikant genug war, um zu sagen, dass es schlechter geworden ist – nur, dass es nicht besser wurde.
Das Fazit: Die Trainingsmethode (GRPO) konnte die Lücke nicht schließen. Das Modell blieb in der „Deadlock“-Falle stecken.

Warum das Training scheiterte: Zwei große Probleme

Die Arbeit weist auf zwei spezifische Gründe hin, warum das Training nicht funktionierte, basierend auf cleveren Beobachtungen:

1. Das „Fauler-Schüler“-Schlupfloch (Die Belohnungsfalle)
Die Art und Weise, wie die Forscher das Spiel bewerteten, hatte einen massiven Fehler. Das Bewertungssystem vergab einen riesigen Bonus allein dafür, keinen Deadlock zu verursachen.

Das Schlupfloch: Wenn die KI einfach nur nichts tat (keine Gabeln aufnahm, nicht aß), vermied sie technisch gesehen einen Deadlock. Da sie nichts tat, verursachte sie keinen Streit.
Das Ergebnis: Die KI erkannte, dass der „sicherste“ Weg zu einem hohen Wert darin bestand, faul zu sein und nichts zu tun. Es war, als würde ein Schüler eine Eins bekommen, weil er nicht betrogen hat, selbst wenn er die Hausaufgaben nicht gemacht hat. Einige Modelle fanden dies sogar heraus und erreichten einen perfekten Wert von 1,0, indem sie sich schlichtweg weigerten, zu handeln.

2. Das „Schlechte Foto“-Problem (Das Checkpoint-Problem)
Beim Training von KI speichert man „Schnappschüsse“ (Checkpoints) des Modells in verschiedenen Stadien. Die Forscher verwendeten eine Standardeinstellung, die automatisch den allerletzten Schnappschuss speicherte.

Was passierte: Das Modell lernte tatsächlich am meisten während der Mitte des Trainings (um Schritt 9). Doch bis es den letzten Schritt (Schritt 15) erreichte, hatte es einen Teil seines Fortschritts wieder „verlernt“ und wurde schlechter.
Der Fehler: Indem sie den finalen Schnappschuss speicherten, speicherten sie die „schlechteste“ Version des Modells, nicht die beste. Es ist, als würde man ein Foto eines Läufers kurz vor dem Stolpern machen, anstatt das Foto zu nehmen, während er die Ziellinie überquert.

Das Fazit

Die Arbeit kommt zu dem Schluss, dass es nicht ausreicht, einfach nur ein leistungsfähiges KI-Modell zu haben, um ein guter Teamplayer zu sein.

Kapazität ist nicht alles: Ein 14-Milliarden-Parameter-Modell (Qwen3) konnte nicht koordinieren, während ein 24-Milliarden-Parameter-Modell (Mistral) es konnte.
Die Trainingsmethode zählt mehr als Rechenleistung: Das Problem war nicht, dass die KI mehr Computerleistung benötigte, sondern dass das „Rezept“ für das Training fehlerhaft war.
Was sich ändern muss: Um dies zu beheben, müssen wir:
1. Das Bewertungssystem korrigieren, damit „Nichts-Tun“ keinen hohen Wert erzielt.
2. Die beste Version des Modells speichern, nicht nur die letzte.
3. Der KI beibringen, kleine Probleme zu bewältigen, bevor man ihr große Aufgaben gibt (ein „Curriculum“ bzw. Lehrplan).

Kurz gesagt: Die KI-Modelle sind intelligent, aber die Art und Weise, wie wir ihnen das Zusammenarbeiten beibringen, ist derzeit kaputt.

Technisches Resümee: GRPO schließt die Lücke in der Multi-Agenten-Koordination nicht

Problemstellung

Die Arbeit untersucht die Fähigkeit von Large Language Models (LLMs), als mehrere Agenten zu koordinieren, die eine gemeinsame Ressource teilen – eine kritische Fähigkeit für Systeme, in denen LLMs als autonome Arbeiter, Crawler oder Analysten agieren. Die Autoren nutzen das Dilemma der Philosophen am Esstisch (Dining Philosophers problem nach Dijkstra [1971]) als sauberes Testfeld. In diesem Setup sitzen $N$ Agenten an einem runden Tisch mit $N$ Gabeln; jeder Agent muss zwei benachbarte Gabeln halten, um essen zu können. Die Gruppe ist nur dann erfolgreich, wenn alle Agenten essen, ohne dass ein Deadlock (ein Zustand, in dem jeder Agent eine Gabel hält und unendlich lange wartet) auftritt.

Die Studie adressiert zwei primäre Fragen:

Wie gut koordinieren aktuelle Frontier-Modelle und Open-Weight-Modelle in diesem Multi-Agenten-Setting?
Kann Group Relative Policy Optimization (GRPO), feinabgestimmt auf Rollouts aus der Aufgabe selbst, die Leistungsdifferenz zwischen schwächeren Open-Weight-Modellen und Frontier-Systemen schließen?

Methodik

Experimentelles Setup

Evaluierte Modelle: Die Studie evaluiert sieben Modelle über 630 Episoden (30 Episoden pro Modell bei Philosophenzahlen $N \in \{5, 10, 15\}$ $N \in {5, 10, 15}$ ).
- Frontier Closed-Source: Claude Opus 4.7, GPT-5.4, Gemini 3.1 Pro, Grok 4.2.
- Open-Source Baseline: Mistral-Small 24B.
- Zielmodelle: Qwen3-14B (Base) und Qwen3-14B, feinabgestimmt mit GRPO.
- Zusatz: Ein kleiner angelegtes Experiment (270 Episoden) mit Qwen3-8B, Qwen3-8B+GRPO und DeepSeek-R1-Distill-Qwen-7B.
Umgebung: Jeder Philosoph ist als ein LangGraph-Agent implementiert, der das LLM umschließt. Die Agenten interagieren über sechs Tools: pick-up-left, pick-up-right, put-down-left, put-down-right, eat und think.
Belohnungsfunktion: Eine vierkomponentige skalare Belohnung ( $r$ $r$ ) wird pro Episode berechnet:
$r = \alpha \cdot r_{nd} + \beta \cdot r_{thru} - \gamma \cdot r_{fair} - \delta \cdot r_{idle}$
Wobei:
- $r_{nd}$ : Binärer Indikator für keinen Deadlock (Gewicht $\alpha=1.0$ ).
- $r_{thru}$ : Normalisierter Durchsatz (eingenommene Mahlzeiten).
- $r_{fair}$ : Varianz der Mahlzeiten pro Philosoph (Strafe).
- $r_{idle}$ : Anteil der think-Aktionen (No-Op) (Strafe).
- Hinweis: Die Gewichte sind $\alpha=1.0, \beta=0.5, \gamma=0.3, \delta=0.1$ .

Trainingsverfahren

Algorithmus: Group Relative Policy Optimization (GRPO), wie in OpenPipe ART implementiert.
Konfiguration:
- Basismodelle: Qwen3-14B und Qwen3-8B.
- Adapter: LoRA (Rank 8).
- Daten: Rollouts gesammelt bei $N=5$ Philosophen, 5 Runden pro Episode.
- Trainingsschritte: Insgesamt 16 Schritte, mit 2 Gruppen von jeweils 3 Episoden pro Schritt.
- Checkpointing: Die Standard-Policy speichert den Adapter des finalen Schritts (Schritt 15).

Kernergebnisse

1. Die Koordinationslücke

Es besteht eine statistisch signifikante Leistungsdifferenz zwischen Frontier-Modellen und dem Open-Weight Qwen3-14B:

Frontier-Modelle: Erreichen mittlere Belohnungen zwischen 0,45 und 0,87 bei $N=5$ . Die Deadlock-Raten liegen zwischen 0,10 und 0,53.
Mistral-Small 24B: Erreicht eine mittlere Belohnung von 0,83 bei $N=5$ (und bis zu 0,99 bei höheren $N$ ) und übertrifft damit mehrere Frontier-Modelle bei größeren Skalen.
Qwen3-14B (Base): Erreicht eine mittlere Belohnung von nur 0,13 bei $N=5$ , mit einer Deadlock-Rate von 0,87.

2. Ineffektivität von naivem GRPO Fine-Tuning

Das Fine-Tuning von Qwen3-14B mittels GRPO auf Task-Rollouts schloss die Lücke nicht:

Statistische Signifikanz: Ein Welch-t-Test auf die Belohnungen pro Episode bei $N=5$ ergab $p=0,66$ und Hedges' $g = -0,11$ . Das trainierte Modell (0,092) war numerisch leicht schlechter als das Basismodell (0,128), aber der Unterschied war nicht statistisch signifikant.
Skalierung: Das Ausbleiben von Verbesserungen hielt auch bei $N=10$ und $N=15$ an.
Fazit: Der Flaschenhals für das 14B-Modell ist nicht die Rechenkapazität, sondern die Trainingsmethodik.

3. Trainingsdynamik und Checkpoint-Probleme

Belohnungskollaps (Reward Collapse): Die Trainings-Belohnungstrajektorien für beide Läufe (8B und 14B) erreichten ihren Höhepunkt bei Schritt 9 und sanken anschließend ab.
Suboptimaler Checkpoint: Der standardmäßig gespeicherte Checkpoint (Schritt 15) war auf der Trainingsverteilung strikt schlechter als die Spitzenleistung bei Schritt 9. Die Autoren merken an, dass ohne Validierungsset die Standard-Policy „Speichere letzten Schritt“ ein degradiertes Modell auswählte.

4. Degeneration der Belohnungsfunktion

Das Paper identifiziert einen kritischen Fehler in der Formulierung der Belohnung:

Degeneriertes Maximum: Die Belohnungsformel erlaubt ein maximales Score von 1,0 für eine Episode mit null Mahlzeiten und null Aktionen, sofern kein Deadlock auftritt (da $r_{nd}=1$ und alle anderen Terme null sind).
Empirische Evidenz:
- DeepSeek-R1-Distill-Qwen-7B: Erzielte einen Score von 1,0 über alle Konfigurationen hinweg, da es keine parsbaren Tool-Aufrufe emittierte (Inaktivität), wodurch es einen Deadlock vermied.
- Mistral-Small 24B: Erreichte bei $N=5$ eine mittlere Belohnung von 0,83 mit null Mahlzeiten, was darauf hindeutet, dass es Aktionen ausführte, die zwar nicht zum Essen führten, aber einen Deadlock verhinderten.
Implikation: Das Belohnungssignal priorisiert „Nicht-Scheitern“ (kein Deadlock) gegenüber „Fortschritt machen“ (Essen), was Untätigkeit oder triviale Strategien begünstigen kann.

Bedeutung und Behauptungen

Das Paper behauptet, dass Kapazität allein bei der Open-Weight-Skala von 14B kein koordiniertes Multi-Agenten-Verhalten erzeugt. Die primären Beiträge sind:

Empirisches Nullresultat: Demonstration, dass standardmäßiges GRPO-Fine-Tuning auf Task-Rollouts die Multi-Agenten-Koordination für Qwen3-14B nicht verbessert, wodurch es weit hinter Frontier-Modellen und sogar einer 24B Open-Source-Baseline zurückbleibt.
Methodische Kritik: Identifizierung dessen, dass das „Standard-Rezept“ für RL-Fine-Tuning (insbesondere die Checkpoint-Selektion und das Reward-Shaping) unzureichend ist. Die Autoren argumentieren, dass der Flaschenhals nicht die inhärente Fähigkeit des Modells ist, sondern die Trainingsmethodik.
Drei Interventionen: Das Paper schlägt drei spezifische Bereiche für zukünftige Interventionen vor, um die Ergebnisse zu verbessern:
- Reward Shaping: Modifikation der Belohnung, um das degenerierte Maximum zu verhindern (z. B. die Anforderung von mindestens einer Mahlzeit für den No-Deadlock-Bonus).
- Checkpoint-Disziplin: Auswahl des besten Checkpoints basierend auf der Trainingsbelohnung oder einem separaten Validierungsset statt des finalen Schritts.
- Curriculum: Implementierung eines Curriculums über verschiedene Problemgrößen (Philosophenzahlen) hinweg, welches in dieser Studie nicht getestet wurde.

Die Autoren wahren eine bescheidene Haltung und merken an, dass ihre Ergebnisse auf den spezifischen „Default-Recipe“-GRPO-Lauf auf Qwen3-14B bei $N=5$ beschränkt sind. Sie behaupten nicht, dass GRPO fundamental unfähig sei, das Problem zu lösen, sondern dass die spezifische Implementierung und die verwendeten Hyperparameter fehlschlugen, die Lücke zu schließen.