🤖 machine learning

Stronger-MAS: Multi-Agent Reinforcement Learning for Collaborative LLMs

Das Papier schlägt AT-GRPO vor, ein neuartiges Multi-Agenten-Reinforcement-Learning-Framework, das einen agenten- und rundenweisen gruppierten Optimierungsalgorithmus sowie ein flexibles Trainingssystem einführt, um die Einschränkungen des Standard-On-Policy-RL bei kollaborativen LLMs zu überwinden und dabei erhebliche Leistungssteigerungen bei Planungs-, Codierungs- und Mathematikaufgaben zu erzielen.

Ursprüngliche Autoren: Yujie Zhao, Lanxiang Hu, Yang Wang, Minmin Hou, Hao Zhang, Ke Ding, Jishen Zhao

Veröffentlicht 2026-02-02

📖 5 Min. Lesezeit🧠 Tiefgang

CC BY 4.0

Ursprüngliche Autoren: Yujie Zhao, Lanxiang Hu, Yang Wang, Minmin Hou, Hao Zhang, Ke Ding, Jishen Zhao

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Die große Idee: Einem Team das Zusammenarbeiten beibringen

Stellen Sie sich vor, Sie haben einen sehr intelligenten, aber etwas tollpatschigen Roboter (ein Large Language Model, oder LLM). Sie möchten, dass er komplexe Rätsel löst, Code schreibt oder Spiele spielt.

Es gibt zwei Hauptwege, wie Menschen normalerweise versuchen, diesen Roboter besser zu machen:

Das „Spezialisten“-Team (Multi-Agent System): Sie geben dem Roboter ein Team von Freunden. Ein Freund ist der „Coder“, ein anderer der „Tester“ und ein dritter der „Planer“. Sie sprechen miteinander, um das Problem zu lösen. Das funktioniert gut, weil sie spezifische Aufgaben haben.
Die „Übung macht den Meister“-Methode (Reinforcement Learning): Sie lassen den Roboter es versuchen, scheitern, eine Punktzahl erhalten und es wieder versuchen. Mit der Zeit lernt er aus seinen Fehlern, um ein Meister in der Aufgabe zu werden.

Das Problem: Bis jetzt ließen sich diese beiden Methoden nicht gut kombinieren.

Wenn man versucht, das gesamte Team mit der „Üben“-Methode zu trainieren, wird das Training unordentlich. Der „Coder“ und der „Tester“ sprechen miteinander, sodass sich ihre Prompts (Anweisungen) ständig ändern. Standardmäßige Trainingsmethoden werden verwirrt, weil sie erwarten, dass alle zur exakt gleichen Zeit dieselbe Frage beantworten.
Wenn man sie einfach nur alleine üben lässt, lernen sie nicht, wie sie effektiv zusammenarbeiten.

Die Lösung: Die Autoren entwickelten STRONGER-MAS (speziell einen Algorithmus namens AT-GRPO). Betrachten Sie dies als einen neuen, superintelligenten Coach, der weiß, wie man ein ganzes Team von Spezialisten gleichzeitig trainiert.

Wie es funktioniert: Die „Baum“-Analogie

1. Der alte Weg (Paralleles Sampling)

Stellen Sie sich einen Coach vor, der vier verschiedene Schüler bittet, eine Matheaufgabe zu lösen.

Schüler A schreibt eine Lösung.
Schüler B schreibt eine Lösung.
Schüler C schreibt eine Lösung.
Schüler D schreibt eine Lösung.

Der Coach schaut sich alle vier Antworten an und sagt: „Okay, Schüler A war am besten.“
Der Fehler: In einem Team-Setting besteht der nächste Schritt nicht nur darin, „die Aufgabe einfach nochmal zu lösen“. Es heißt: „Schüler A, hier ist das, was Schüler B geschrieben hat; korrigiere nun deine Antwort.“ Der Kontext ändert sich jedes Mal. Wenn man sie einfach nur die ursprüngliche Aufgabe erneut lösen lässt, trainiert man sie nicht darauf, zusammenzuarbeiten.

2. Der neue Weg (Baumstrukturierte Stichprobenziehung)

Der STRONGER-MAS-Coach nutzt einen Baum-Ansatz.

Schritt 1: Das Team beginnt mit einem Problem.
Schritt 2: Der „Coder“ versucht 4 verschiedene Wege, den Code zu schreiben. Der Coach bewertet alle 4 sofort.
Schritt 3: Der Coach wählt den besten dieser 4 Codes aus.
Schritt 4: Nun sieht der „Tester“ diesen spezifischen besten Code und versucht 4 verschiedene Wege, ihn zu testen. Der Coach bewertet diese 4.
Schritt 5: Der Coach wählt den besten Test aus, und der Zyklus setzt sich fort.

Warum das wichtig ist: Dies stellt sicher, dass, wenn der Coach die 4 Versuche des „Coders“ vergleicht, sie alle auf die exakt gleiche Situation reagieren. Das macht das Lernen fair und effektiv. Es ist wie ein Coach, der sagt: „Okay, alle, schaut euch diesen speziellen Entwurf an. Hier sind 4 Wege, wie ihr ihn verbessern könntet. Mal sehen, welcher am besten funktioniert.“

Die Debatte „Spezialisiert vs. Gemeinsam“

Die Arbeit testete auch zwei verschiedene Teamstrukturen:

Das „Gemeinsame Gehirn“ (Rollenteilung): Jeder im Team nutzt exakt dasselbe Gehirn (dasselbe KI-Modell). Sie geben nur vor, verschiedene Personen zu sein, indem sie unterschiedliche Anweisungskarten (Prompts) lesen.
- Ergebnis: Funktioniert großartig für einfache Spiele und die Planung.
Die „Spezialisierten Gehirne“ (Rollen-spezialisiert): Der „Coder“ hat ein Gehirn, das speziell für das Codieren trainiert wurde, und der „Tester“ hat ein Ge Brain, das speziell für das Testen trainiert wurde. Sie tauschen niemals ihre Rollen.
- Ergebnis: Dies war ein riesiger Gewinner für Coding und Mathematik. Der „Coder“ wurde wirklich gut im Schreiben von Code, weil er ausschließlich das Codieren übte, und der „Tester“ wurde richtig gut darin, Fehler zu finden.

Das Fazit: Die Arbeit fand heraus, dass man nicht immer ein spezialisiertes Gehirn für jede Aufgabe braucht. Für manche Aufgaben (wie einfache Spiele) reicht ein einziges intelligentes Gehirn, das von allen geteilt wird. Aber für schwierige Aufgaben (wie das Schreiben komplexer Software) ist es viel besser, einen dedizierten Experten für jede Rolle zu haben.

Die Ergebnisse: Von „Okay“ zu „Superhuman“

Die Arbeit testete dieses System auf vier Arten von Aufgaben: Spiele, Planung, Coding und Mathematik.

Langfristige Planung (Der große Sieg): Stellen Sie sich ein Spiel vor, bei dem Sie 10 Schritte im Voraus planen müssen.
- Vorher: Ein einzelner Roboter, der dies alleine versucht, war nur in 14 % bis 47 % der Fälle richtig. Er verlor leicht die Orientierung.
- Nachher: Mit dem STRONGER-MAS-Team lag die Erfolgsquote bei 96 % bis 99,5 %.
- Analogie: Es ist wie der Übergang von einem verlorenen Touristen mit einer zerknitterten Karte zu einer geführten Reisegruppe, bei der jeder genau weiß, wohin er gehen muss.
Coding und Mathematik: Das Team wurde auch deutlich besser darin, fehlerfreien Code zu schreiben und schwierige Matheaufgaben zu lösen (Verbesserungen von etwa 4 % bis 18 % gegenüber bisherigen Best-Methoden).

Zusammenfassung

Die Arbeit stellt eine neue Methode vor, um KI-Teams zu trainieren. Anstatt sie als Individuen oder als verwirrte Gruppe zu trainieren, nutzen sie eine baumstrukturierte Methode, die die Konversation des Teams fokussiert und fair hält. Dies ermöglicht es der KI, die Zusammenarbeit zu lernen, was zu massiven Verbesserungen bei der Lösung komplexer, mehrstufiger Probleme wie Routenplanung, Softwareentwicklung und Mathe-Rätseln führt.

Technisches Resümee: STRONGER-MAS

Problemstellung

Die Arbeit befasst sich mit der unteruntersuchten Herausforderung, On-Policy Reinforcement Learning (RL) auf Multi-Agenten-Systeme (MAS) für Large Language Models (LLMs) anzuwenden. Während MAS die Leistung durch rollenbasierte Orchestrierung verbessern, stärkt RL die Policies durch Umgebungsbelohnungen (z. B. Group Relative Policy Optimization oder GRPO). Die Kombination beider stellt jedoch zwei kritische Engpässe dar:

Algorithmischer Mismatch: Standardmäßiges GRPO setzt voraus, dass ein einzelner Agent mehrere Antworten auf denselben Prompt generiert, um eine Vergleichsgruppe zu bilden. In MAS unterscheiden sich die Prompts aufgrund der sich entwickelnden Interaktionshistorien und rollenspezifischen Kontexte über verschiedene Runden und Rollen hinweg erheblich. Die Anwendung von standardmäßigem Grouping führt zu ungültigen Advantage-Schätzungen, da die Kandidaten innerhalb einer Gruppe nicht denselben Prompt teilen, was die für die Credit Assignment erforderliche Fairness verletzt.
Systemische Einschränkungen: Bestehende On-Policy RL-Frameworks (z. B. VERL, AReaL) sind für das Training von Single-Model, Single-Policy ausgelegt. Ihnen fehlt die Infrastruktur, um die gleichzeitigen Rollouts mehrerer heterogener Agenten zu unterstützen, diverse MAS-Workflows zu verwalten und unabhängige On-Policy-Updates für mehrere Policy-Modelle simultan durchzuführen.

Methodik

Die Autoren schlagen STRONGER-MAS vor, ein Framework, das aus einem neuartigen Algorithmus (AT-GRPO) und einem dedizierten MAS-Trainingssystem besteht.

1. AT-GRPO Algorithmus

Agent- und Turn-wise Grouped Relative Policy Optimization (AT-GRPO) passt die gruppengestützte Optimierung an das Multi-Agenten-Szenario an.

Baumstrukturierte Stichprobenentnahme (Tree-Structured Sampling): Anstatt $K$ vollständige Trajektorien vom Ausgangszustat aus zu sampeln (was nach der ersten Runde zu unvergleichbaren Gruppen führt), sampelt das System an jedem Schritt $t$ für jeden Agenten $i$ jeweils $K$ Kandidaten-Aktionen aus dem aktuellen Zustand.
Agent- und Turn-weise Gruppierung: Erfahrungen werden basierend auf dem agierenden Agenten und der spezifischen Turn-Nummer gruppiert. Für jedes Agent-Turn-Paar wird ein eindeutiger Gruppen-Key generiert. Dies stellt sicher, dass alle $K$ Kandidaten innerhalb einer Gruppe denselben Prompt (Beobachtungskontext + rollenspezifische Instruktionen + Interaktionshistorie) teilen, was die Voraussetzung für eine faire Advantage-Berechnung erfüllt.
Greedy-Ausführung: Aus den $K$ gesampelten Kandidaten wird die Aktion mit der höchsten Belohnung gierig (greedy) ausgewählt, um zum nächsten Schritt überzugehen, wodurch die Exploration auf koordinationskritische Entscheidungen konzentriert wird.
Credit Assignment: Die Belohnungsfunktion kombiniert eine globale Team-Belohnung ( $r_{team}$ ) und agentenspezifische lokale Belohnungen ( $r_{loc}$ ) über einen Mischkoeffizienten $\alpha$ : $r_{t,i} = \alpha r_{team} + r_{loc}$ . Dies balanciert gemeinsame Ziele mit rollenspezifischen Anreizen.

2. MAS Trainingssystem

Um AT-GRPO zu unterstützen, haben die Autoren ein neuartiges Trainingssystem entwickelt, das die Ressourcenpools für verschiedene Policies entkoppelt:

Unabhängige Ressourcenpools: Jeder Policy (ob geteilt oder rollenspezifisch) wird ein unabhängiger GPU-Ressourcenpool zugewiesen, der einen RolloutWorker (für Inferenz) und einen UpdateWorker (für Optimierung) enthält.
Parallele Rollouts: Das System orchestriert diverse MAS-Workflows, bei denen mehrere Agenten mit einem CPU-basierten Environment-Pool interagieren.
Dynamisches Routing: Die von den Agenten generierten Trajektoriendaten werden an den spezifischen UpdateWorker geroutet, der ihrer zugewiesenen Policy entspricht, was echte On-Policy-Updates für mehrere Modelle gleichzeitig ermöglicht.

Kernbeiträge

AT-GRPO Algorithmus: Ein neuer RL-Algorithmus, der eine gültige Advantage-Schätzung in Multi-Turn, Multi-Agenten-Umgebungen ermöglicht, indem Erfahrungen basierend auf der Agentenidentität und der Turn-Nummer gruppiert werden, statt nur basierend auf dem initialen Prompt.
MAS Trainingssystem: Eine skalierbare Infrastruktur, die in der Lage ist, Rollouts für diverse MAS-Workflows auszuführen und unabhängige On-Policy-Updates für mehrere Policies (sowohl rollenteilte als auch rollenspezialisierte) durchzuführen.
Empirische Validierung: Umfangreiche Experimente in vier Domänen (Spiel, Planung, Kodierung, Mathematik) zeigen, dass AT-GRPO Single-Agent RL und Standard-MAS-Baselines signifikant übertrifft.
Policy-Analyse: Eine systematische Untersuchung der Trade-offs zwischen rollenteilten Policies (ein Modell für alle Agenten) und rollenspezifischen Policies (distinkte Modelle pro Rolle), die zeigt, dass die optimale Wahl von den Aufgabencharakteristika abhängt (z. B. begünstigt Spezialisierung das Kodieren, während Teilen beim Mathematik-Lösen vorteilhaft sein kann).

Ergebnisse

Die Methode wurde auf Qwen3-Modellen (1.7B und 8B) über verschiedene Benchmarks evaluiert:

Langfristige Planung (Long-Horizon Planning): AT-GRPO überwindet einen zentralen Engpass des Single-Agent RL. Bei Aufgaben wie Sokoban und Plan-Path steigerte es die Genauigkeit von einem Baseline-Wert von 14,0–47,0 % auf 96,0–99,5 %.
Kodierung und Mathematik: Der Ansatz lieferte konsistente Gewinne.
- Kodierung: Durchschnittliche Verbesserungen von 3,87–7,62 % auf Benchmarks wie LiveCodeBench und APPS.
- Mathematik: Durchschnittliche Verbesserungen von 9,0–17,93 % auf Benchmarks wie AIME und OlympiadBench.
Rollenspezialisierung:
- Bei Kodierungsaufgaben (Coder vs. Tester) übertrafen rollenspezifische Policies die geteilten Policies und verbesserten die Genauigkeit um ca. 3 Punkte (Qwen3-1.7B).
- In Mathematikaufgaben übertrafen geteilte Policies teilweise die spezialisierten, was darauf hindeutet, dass funktionale Überschneidungen es einem einzelnen Modell ermöglichen, von Daten sowohl der Reasoning- als auch der Tool-Use-Rollen zu profitieren.
Skalierbarkeit: Das System zeigte eine effektive Skalierung mit Ensemble-Größen (z. B. Erhöhung von 1 auf 7 Agenten) und erzielte kontinuierliche Leistungssteigerungen, während Baseline-Methoden stagnierten.
Vergleich: AT-GRPO übertraf bestehende MARL-Frameworks wie MAPoRL, MARFT und CURE, insbesondere in iterativen Multi-Turn-Alignment-Szenarien.

Bedeutung und Ansprüche

Das Paper behauptet, dass STRONGER-MAS eine allgemeine Lösung für das Training kooperativer LLM-basierter MAS bietet. Seine Bedeutung liegt in:

Überbrückung der Lücke: Es integriert erfolgreich die Stärken von MAS (Kollaboration, Rollenspezialisierung) mit den Leistungssteigerungen von On-Policy RL – eine Kombination, die zuvor durch algorithmische und systemische Limitationen behindert wurde.
Emergente Kollaboration: Die Ergebnisse legen nahe, dass On-Policy RL innerhalb von MAS eine emergente Kollaboration fördert, bei der Agenten lernen, spezialisierte Fähigkeiten gemeinsam zu entwickeln und ihre Aktionen effizienter abzustimmen (was die Anzahl der benötigten Turns zur Lösung von Aufgaben reduziert).
Aufgabenabhängige Architektur: Die Arbeit hebt hervor, dass es keine "Einheitslösung" für die Policy-Architektur gibt; die Wahl zwischen geteilten und spezialisierten Policies muss anhand der spezifischen Charakteristika der Aufgabe getroffen werden (z. B. funktionale Überschneidung vs. distinkte Rollen).
Robustheit: Die Methode bleibt selbst bei der Verwendung von spärlichen (sparse), rein ergebnisorientierten Belohnungen effektiv, was zeigt, dass die algorithmischen Verbesserungen von AT-GRPO nicht allein von komplexem Reward Shaping abhängen.

Die Autoren kommen zu dem Schluss, dass ihr Framework eine skalierbare und getreue Abstraktion für das Training kooperativer LLM-Agenten bietet und die Koordinationsengpässe überwindet, die aktuelle Single-Agent oder naive Multi-Agent RL-Ansätze begrenzen.