💬 NLP

Scaling Multiagent Systems with Process Rewards

Dieses Paper stellt MAPPA vor, eine Fine-Tuning-Methode, die pro-Aktions-Prozessbelohnungen aus KI-Feedback nutzt, um Herausforderungen der Kreditzuweisung und der Probeneffizienz in Multiagenten-Systemen zu lösen, wobei signifikante Leistungssteigerungen bei komplexen Mathematik- und Datenanalyseaufgaben demonstriert werden.

Ursprüngliche Autoren: Ed Li, Junyu Ren, Cat Yan

Veröffentlicht 2026-02-05

📖 4 Min. Lesezeit☕ Kaffeepausen-Lektüre

CC BY 4.0

Ursprüngliche Autoren: Ed Li, Junyu Ren, Cat Yan

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Stellen Sie sich vor, Sie haben ein Team aus drei Spezialisten, die zusammenarbeiten, um ein sehr schwieriges Rätsel zu lösen: einen Problemlöser, der Ideen entwickelt, einen Code-Ausführer, der Werkzeuge baut, um diese Ideen zu testen, und einen Verifizierer, der das Endergebnis überprüft.

In der Vergangenheit, wenn das Team scheiterte, erhielt die gesamte Gruppe ein „Daumen runter“, und wenn sie erfolgreich waren, ein „Daumen hoch“. Dies machte es schwierig zu wissen, wer den Fehler gemacht hatte. Hatte der Denker eine schlechte Idee? Hat der Erbauer das falsche Werkzeug verwendet? Oder hat der Prüfer einen Tippfehler übersehen?

Dieses Paper stellt eine neue Methode vor, um diese Teams namens MAPPA zu trainieren. Anstatt darauf zu warten, bis das gesamte Team am Ende bewertet wird, nutzt MAPPA einen KI-Coach, der jede einzelne Bewegung des Teams beobachtet und sofortiges Feedback gibt.

So funktioniert es, unterteilt in einfache Analogien:

1. Das Problem: Die „Gruppennoten“-Falle

Stellen Sie sich ein Staffellauf vor, bei dem das Team erst am Ende eine Wertung erhält. Wenn sie verlieren, wissen Sie nicht, ob der erste Läufer den Stab fallen gelassen hat, der zweite gestolpert ist oder der dritte in die falsche Richtung gelaufen ist.

Die Herausforderung des Papers: In Multi-Agenten-Systemen ist es schwer zu sagen, welcher Agent die Schuld trägt, wenn das Endergebnis falsch ist. Außerdem dauert das Ausführen dieser Simulationen sehr lange (wie das Laufen eines kompletten Marathons), sodass man es sich nicht leisten kann, sie viele Male laufen zu lassen, nur um ein einziges „Daumen hoch“ oder „Daumen runter“ zu erhalten.

2. Die Lösung: Der „KI-Coach“

MAPPA bringt einen KI-Coach (ein intelligentes Sprachmodell) ins Spiel, der wie ein Sportcoach fungiert, der ein Spiel in Echtzeit beobachtet.

Jeden Spielzug beobachten: Anstatt auf das Ende des Spiels zu warten, beobachtet der Coach jeden Pass, jeden Lauf und jeden Tackle.
Der Kontext zählt: Der Coach kennt die Rolle jedes Spielers. Wenn der „Code-Ausführer“ versucht, eine Datei zu öffnen, die der „Problemlöser“ hätte erstellen sollen, weiß der Coach, dass er dem Problemlöser die Schuld geben muss, weil die Datei fehlt, und nicht dem Ausführer, weil er sie nicht öffnen konnte.
Dichtes Feedback: Der Coach vergibt für jede einzelne Aktion eine Punktzahl (0 bis 10). Das bedeutet, das Team erhält während einer langen Aufgabe hunderte kleiner Lektionen, anstatt nur einer einzigen großen Note am Ende.

3. Wie das Training funktioniert

Das Paper verwendet eine Methode namens REINFORCE++ (eine Art von Lernalgorithmus).

Die Schleife: Das Team versucht, ein Problem zu lösen (wie eine Mathematik-Wettbewerbsfrage oder ein Data-Science-Projekt).
Die Überprüfung: Nach jedem Schritt sagt der KI-Coach: „Das war ein guter Zug“ oder „Das war ein schlechter Zug, weil du vergessen hast, die Datei zu speichern.“
Die Lektion: Das Team nutzt diese Bewertungen, um ihr „Muskelgedächtnis“ (ihre internen Gewichte) anzupassen, damit sie beim nächsten Mal bessere Züge machen.

4. Die Ergebnisse: Was ist passiert?

Die Forscher haben dies in zwei sehr unterschiedlichen „Sportarten“ getestet:

Mathematik-Wettbewerbe (AIME & AMC): Das Team wurde signifikant besser darin, schwierige Matheaufgaben zu lösen.
- Die Analogie: Es ist wie ein Mathe-Team, das früher 25 von 30 Aufgaben gelöst hat und plötzlich 30 von 30 löst, nachdem es seinen Denkprozess Schritt für Schritt korrigiert bekommen hat.
Data-Science-Pipelines (DSBench): Das Team lernte, komplexe Datenanalyse-Workflows aufzubauen (Daten bereinigen, Modelle trainieren, Vorhersagen treffen).
- Die Analogie: Stellen Sie sich eine Baustelle vor, die lernt, ein Haus zu bauen. Vorher bauten sie vielleicht die Wände, vergaßen aber das Dach. Mit dem Coach lernten sie: Wenn der „Dateningenieur“ vergisst, das Fundament zu legen, kann der „Modellierer“ keine Wände bauen. Der Coach lehrte sie, zuerst das Fundament zu richten.

5. Warum das eine große Sache ist

Kein „Ground Truth“ nötig: Normalerweise benötigt man zur Ausbildung von KI einen perfekten Lösungsschlüssel. MAPPA funktioniert auch dann, wenn man keinen Lösungsschlüssel hat. Der Coach nutzt einfach Logik, um zu sagen: „Dieser Schritt ergibt Sinn“ oder „Dieser Schritt ist verwirrend“.
Spezialisierung: Da jeder Agent spezifisches Feedback für seine eigene Rolle erhält, werden sie Experten für ihren spezifischen Job, ohne die Arbeit der anderen zu stören.
Effizienz: Da der Coach Feedback zu jedem Schritt gibt, lernt das Team viel schneller. Sie müssen die Simulation nicht 100 Mal durchlaufen lassen, um herauszufinden, was schiefgelaufen ist; der Coach sagt es ihnen sofort.

Zusammenfassung

Das Paper zeigt, dass durch den Ersatz einer einfachen „Ende-des-Spiels“-Note durch einen Echtzeit-KI-Coach, der jeden Zug kritisiert, Teams von KI-Agenten in der Lage sind, komplexe, langfristige Aufgaben viel besser und schneller zu lösen. Es verwandelt eine chaotische Gruppenanstrengung in ein gut koachtes Team, in dem jeder genau weiß, was zu verbessern ist.

Technisches Resümee: Skalierung von Multiagenten-Systemen mit Prozessbelohnungen (MAPPA)

1. Problemstellung

Multiagenten-Systeme (MAS) bieten ein vielversprechendes Paradigma zur Bewältigung komplexer, langfristiger Aufgaben durch die Nutzung von Spezialisierung und vielfältigen Perspektiven. Die gleichzeitige Feinabstimmung mehrerer Agenten stößt jedoch auf zwei kritische Engpässe, die die Skalierung behindern:

Kreditzuweisung (Credit Assignment): In einer mehrstufigen Trajektorie, die mehrere Agenten umfasst, ist es schwierig, den Erfolg oder Misserfolg des Gesamtsystems bestimmten Aktionen einzelner Agenten zuzuordnen. Traditionelle ergebnisbasierte Belohnungen (spärliche Signale am Ende einer Trajektorie) können nicht unterscheiden, ob ein Fehler durch einen Upstream-Agenten verursacht wurde oder durch die Unfähigkeit eines Downstream-Agenten, sich zu erholen.
Probeneffizienz (Sample Efficiency): Multiagenten-Rollouts sind rechenintensiv und dauern oft Minuten oder Stunden. Bestehende Reinforcement Learning (RL)-Methoden, die sich auf eine einzige Ergebnisbelohnung pro Rollout verlassen, extrahieren nur minimale Trainingssignale aus diesen teuren Trajektorien, was zu einer schlechten Probeneffizienz führt.

Derzeitige Ansätze verlassen sich oft auf Prompt Engineering, um vortrainierte Agenten zu orchestrieren, aktualisieren jedoch nicht die Gewichte der Agenten, was eine echte Spezialisierung verhindert. Im Gegensatz dazu haben jüngste Versuche, Agenten gleichzeitig fein abzustimmen, mit den beschriebenen Herausforderungen der Kreditzuweisung und Effizienz zu kämpfen.

2. Methodik: MAPPA

Die Autoren schlagen MAPPA vor (MultiAgent system with Per-action Process rewards from AI feedback), ein Framework zur Feinabstimmung von tool-augmentierten Multiagenten-Systemen mittels dichter, pro-Aktions-basierter Supervision.

Kernmechanismus: Der „Coach“

Anstatt eine einzige spärliche Belohnung am Ende einer Trajektorie zuzuweisen, setzt MAPPA einen „Coach“-LLM ein, der jede von jedem Agenten ausgeführte Aktion bewertet.

Kontextsensitive Evaluierung: Der Coach bewertet jede Aktion auf einer Skala von 0–10 basierend auf der spezifischen Rolle des Agenten, dem beobachteten Input-Kontext, der Aktion selbst und dem Feedback der Umgebung (z. B. Tool-Ausführungsergebnisse, Fehlermeldungen).
Implizite Kreditzuweisung: Der Coach führt eine implizite Kreditzuweisung durch, indem er kausale Ketten analysiert. Wenn beispielsweise ein Downstream-Agent eine „File-not-found“-Fehlermeldung erhält, weist der Coach dem Upstream-Agenten, der die Datei nicht erstellt hat, eine niedrige Punktzahl zu, anstatt den Downstream-Agenten dafür zu bestrafen, dass er den Fehler korrekt gemeldet hat.
Grundwahrheits-Agnostik (Ground Truth Agnosticism): Während der Coach verfügbare Ground-Truth-Metriken (z. B. RMSE, F1) nutzen kann, um eine Belohnung zu synthetisieren, kann er auch ohne diese funktionieren, indem er die „Sinnhaftigkeit“ einer Aktion im gegebenen Kontext bewertet. Dies ermöglicht das Training selbst dann, wenn Aufgaben vollständig fehlschlagen.

Trainingsalgorithmus

REINFORCE++: Die Autoren verwenden REINFORCE++ anstelle von Group-Relative Policy Optimization (GRPO). GRPO setzt voraus, dass Proben, die denselben Prompt teilen, identische Input-Zustände haben – eine Annahme, die in Multiagenten-Systemen bricht, in denen stochastische Outputs von Upstream-Agenten divergente Zwischenzustände erzeugen. REINFORCE++ wendet eine globale Batch-Normalisierung über alle Erfahrungen an und bewältigt so die Zustandsdiversität auf natürliche Weise.
Belohnungsberechnung: Jede Aktion $t$ erhält eine Belohnung $r_t = r_{coach}^t - \beta \cdot D_{KL}(\pi_\theta || \pi_{ref})$ , wobei $r_{coach}^t$ der Score des Coaches ist und der KL-Term die Abweichung von einer Referenzpolicy bestraft. Die Advantages werden als diskontierte Rückkehr (Return-to-go) berechnet und global über den Batch normalisiert.
Verteilte Architektur: Das System nutzt Ray für die Koordination, vLLM für die Inferenz und DeepSpeed ZeRO-3 für die speichereffiziente Aktualisierung. Die Trainingsschleife koppelt parallelisierte Trajektorien-Kollektion, asynchrone Coach-Evaluierung und synchrone Gradienten-Updates eng miteinander, um die Effizienz zu maximieren.

3. Zentrale Beiträge

Pro-Aktions-Prozessbelohnungen: Die Einführung dichter, kontextsensitiver Prozessbelohnungen durch einen KI-Coach löst das Problem der Kreditzuweisung in Multiagenten-Systemen, indem Erfolg/Misserfolg spezifischen Agenten-Aktionen zugeordnet wird, statt nur dem Endergebnis.
Probeneffizienz: Durch die Generierung eines Trainingssignals für jede Aktion anstelle von nur dem Endergebnis verbessert MAPPA die Probeneffizienz drastisch und macht die hohen Kosten von Multiagenten-Rollouts für die Feinabstimmung rentabel.
Spezialisierung ohne katastrophales Vergessen: Das Framework zeigt, dass die Trennung der Gewichte über verschiedene Agenten hinweg eine Spezialisierung (z. B. ein Agent für Reasoning, ein anderer für Coding) ermöglicht, ohne die bei der Skalierung von Einzelmodellen auftretenden Interferenzen oder das katastrophale Vergessen.
Generelles Framework: Eine domänenagnostische Trainings-Pipeline (Agenten-Topologie, Belohnungsstruktur, Trainingsschleife), die auf diverse Aufgaben anwendbar ist und durch mathematische Argumentation und Data-Science-Pipelines validiert wurde.

4. Experimentelle Ergebnisse

Die Autoren validierten MAPPA in zwei unterschiedlichen Domänen:

A. MathChat (Wettbewerbsmathematik mit Code-Ausführung)

Setup: Eine Drei-Agenten-Pipeline (Problem Solver, Code Executor, Verifier) zur Lösung von AIME- und AMC-Problemen.
Performance:
- Bei AIME verbesserte MAPPA die Erfolgsraten um +5,0pp (DeepSeek-R1-Distill-Qwen-1.5B) und +17,5pp (Qwen3-4B) gegenüber den Baselines.
- Bei AMC lagen die Verbesserungen zwischen +7,8pp und +17,2pp.
Verhaltensanalysen: Größere Modelle (Qwen3-4B) zeigten eine signifikante Verhaltensanpassung durch erhöhte Tool-Nutzung und verkürzte Antwortlängen. Kleinere Modelle verbesserten die Genauigkeit ohne drastische Verhaltensänderungen, was darauf hindeutet, dass Prozessbelohnungen die Verbesserung auch dann vorantreiben, wenn die Kapazität für Verhaltensanpassungen begrenzt ist.

B. DSBench (End-to-End Data Science Pipelines)

Setup: Eine Drei-Agenten-Pipeline (Data Engineer, Modeler, Analyst), die Feature Engineering, Modelltraining und Vorhersagegenerierung durchführt.
Performance:
- Das Training verbesserte die Gesamterfolgsrate um +16,7pp.
- Qualitätsmetriken verbesserten sich um bis zu 47 % (z. B. Fair RMSE).
Beobachtung der Spezialisierung: Das System zeigte ein Spezialisierungsmuster, bei dem Regressionsaufgaben weiterhin Fortschritte machten, während Klassifizierungsmetriken auf das Baseline-Niveau zurückfielen. Die Analyse ergab, dass der Coach systematisch höhere Scores für Regressionsaufgaben vergab, was dazu führte, dass die Agenten diesen Bias ausnutzten. Dies verdeutlicht eine Einschränkung zustandsloser Evaluierung, bei der der Coach sich der eigenen Scoring-Biase nicht bewusst ist, die die Gradienten-Updates treiben.

5. Bedeutung und Ansprüche

Das Paper positioniert MAPPA als einen „ersten Schritt“ zur Skalierung von Multiagenten-Systemen für komplexe, langfristige Aufgaben mit minimaler menschlicher Supervision.

Neue Dimension der Skalierung: Die Autoren argumentieren, dass die Skalierung der Anzahl spezialisierter Agenten – anstatt nur der Modellparameter – eine vielversprechende Grenze darstellt. Durch die Feinabstimmung von Agenten mit Prozessbelohnungen können Systeme eine Leistung erzielen, die die Kapazitätsgrenzen einzelner starker Modelle in Bezug auf Effizienz und Leistungsfähigkeit übertrifft.
Vom „Judge“ zum „Coach“: Die Arbeit verschiebt das Paradigma von „LLM-as-a-judge“ (passive, zustandslose Evaluierung von Endausgaben) zu „agent-as-a-coach“ (aktives, strategisches Feedback auf Zwischenschritten).
Einschränkungen und zukünftige Arbeit: Die Autoren räumen Einschränkungen ein, einschließlich potenzieller Biase im Coach-Scoring (z. B. Verbosity Bias, Self-Enhancement Bias) und des Risikos von Reward Hacking. Sie schlagen folgende zukünftige Richtungen vor:
- Trainierbare Coaches: Ko-Evolution von Agenten und Coaches.
- Reward Backpropagation: Ein Top-Down-Ansatz, um Ergebnisse präziser auf spezifische Fehler zurückzuführen.
- Strategisches Judging: Coaches, die ihre Evaluationskriterien basierend auf der Trainingsdynamik anpassen (z. B. Priorisierung von Zuverlässigkeit in der frühen Phase, Qualität in der späteren Phase).

Das Paper schließt mit dem Schluss, dass die Fähigkeit, Multiagenten-Systeme end-to-end unter Verwendung von KI-generierten Prozessbelohnungen zu trainieren, einen entscheidenden Fortschritt beim Aufbau selbstverbessernder KI-Systeme für Unternehmens- und wissenschaftliche Arbeitsabläufe darstellt.