🤖 machine learning

Reinforced Collaboration in Multi-Agent Flow Networks

Das Papier stellt MANGO vor, ein datengesteuertes Framework, das innerhalb eines Flussnetzwerks verstärkendes Lernen und textuelle Gradienten nutzt, um die Zusammenarbeit mehrerer Agenten zu optimieren, die Ausbreitung von Fehlern wirksam zu mindern und über verschiedene Benchmarks hinweg signifikante Verbesserungen der Leistung und Effizienz zu erzielen.

Ursprüngliche Autoren: Zheng Wang, Yuang Liu, Yangkai Ding

Veröffentlicht 2026-05-14

📖 4 Min. Lesezeit☕ Kaffeepausen-Lektüre

CC BY 4.0

Ursprüngliche Autoren: Zheng Wang, Yuang Liu, Yangkai Ding

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Stellen Sie sich vor, Sie haben ein Team spezialisierter Roboter, von denen jeder ein Experte auf einem bestimmten Gebiet ist (wie ein Videobetrachter, ein Websucher und ein Rechenkalkulator). Ihr Ziel ist es, sie dazu zu bringen, zusammenzuarbeiten, um ein komplexes Rätsel zu lösen, wie zum Beispiel einen bestimmten Rennsieger in einem Video zu finden, dessen Statistiken nachzuschlagen und eine Datumsdifferenz zu berechnen.

Das Problem mit aktuellen Roboterteams besteht darin, dass sie häufig Fehler machen, die sich aufschaukeln. Wenn der erste Roboter die Aufgabe missversteht oder der zweite Roboter die falsche Person nachschlägt, pflanzt sich dieser Fehler die gesamte Kette entlang fort, und die endgültige Antwort ist falsch. Es ist wie ein Spiel „Stille Post", bei dem die Nachricht verzerrt wird, nur dass es sich hier nicht um ein Flüstern handelt, sondern um einen ganzen Logikzusammenhang, der zusammenbricht.

Die Arbeit stellt MANGO (Multi-Agent Network Gradient Optimization) vor, eine neue Methode, um diese Roboterteams so zu trainieren, dass sie nicht nur starren Regeln folgen, sondern tatsächlich aus ihren vergangenen Erfolgen lernen, um besser zu werden.

Hier ist die Funktionsweise von MANGO, unter Verwendung einfacher Analogien:

1. Das „Flussnetzwerk" (Die Landkarte des Erfolgs)

Anstatt den Robotern jedes Mal genau vorzuschreiben, was sie tun sollen, erstellt MANGO eine Karte auf Basis vergangener erfolgreicher Missionen.

Die Knoten (Stationen): Stellen Sie sich eine U-Bahn-Karte vor. Jede Station auf der Karte repräsentiert eine bestimmte Art von Aufgabe (z. B. „Video ansehen", „Web suchen", „Mathematik rechnen").
Die Linien (Routen): Die Gleise, die die Stationen verbinden, zeigen die Reihenfolge, in der die Aufgaben erledigt werden sollten.
Die Lehre: MANGO errät die Route nicht einfach. Es schaut sich eine Bibliothek korrekter vergangener Routen an und erstellt eine Karte, die nur die Pfade enthält, die tatsächlich funktioniert haben.

2. Das Zwei-Schritte-Training (Der Trainer und der Redakteur)

MANGO verbessert das Team gleichzeitig mit zwei unterschiedlichen Methoden, wie ein Trainer und ein Redakteur, die zusammenarbeiten:

Der Trainer (Bestärkendes Lernen): Der Trainer beobachtet, wie das Team versucht, ein neues Rätsel zu lösen. Wenn das Team die falsche Station wählt (z. B. versucht, das „Web zu suchen", anstatt das „Video anzusehen"), sagt der Trainer: „Nein, das ist die falsche Spur!" und belohnt sie für die Wahl des richtigen Pfades. Im Laufe der Zeit lernt das Team die beste Route für jedes gegebene Rätsel.
Der Redakteur (Textuelle Gradienten): Manchmal ist die Route richtig, aber der Roboter an der Station erledigt seine Arbeit schlampig (z. B. findet der „Websucher"-Roboter die falsche Person). Anstatt den Roboter zu feuern, gibt der Redakteur ihm spezifisches, schriftliches Feedback: „Sie haben den falschen Fahrer nachgeschlagen; versuchen Sie, den nachzuschlagen, der um 6:56 gewonnen hat." Der Roboter schreibt seine eigenen Anweisungen (seinen „Prompt") um, um diesen spezifischen Fehler zu beheben. Dies ist wie ein Autor, der sein eigenes Manuskript basierend auf einer Kritik überarbeitet.

3. Der „Überspringen"-Mechanismus (Die Expressspur)

Eine der größten Innovationen der Arbeit ist die Einsparung von Zeit und Kosten.

Das Problem: Beim traditionellen Training könnte man jeden Roboter zwingen, seine Anweisungen für jede einzelne Aufgabe erneut zu lesen und umzuschreiben, selbst wenn er bereits perfekt in seiner Arbeit ist. Das wäre so, als würde man einen Meisterkoch jedes Mal beim Kochen dazu zwingen, ein Rezept zum Wasser kochen neu zu lesen.
Die Lösung: MANGO verfügt über eine „Überspringen"-Taste. Wenn das System erkennt, dass ein Roboter seine Aufgabe bereits perfekt erledigt (basierend auf vergangenen Daten), überspringt es den Bearbeitungsschritt für diesen Roboter. Es lässt den Roboter einfach seine Arbeit erledigen und geht zum nächsten über. Dies macht den gesamten Prozess viel schneller und kostengünstiger.

Was haben sie herausgefunden?

Die Autoren testeten MANGO an sieben verschiedenen Arten schwieriger Rätsel (Programmieren, Mathematik, Leseverstehen usw.).

Bessere Ergebnisse: MANGO löste diese Rätsel signifikant besser (bis zu 12,8 % genauer) als die derzeit besten Methoden.
Schneller & Günstiger: Aufgrund des „Überspringen"-Mechanismus benötigte MANGO 47,4 % weniger Zeit und Rechenleistung, um diese Ergebnisse zu erzielen.
Anpassungsfähig: Selbst als sie MANGO an Rätseln testeten, die es noch nie gesehen hatte, oder mit unterschiedlichen zugrundeliegenden „Gehirnen" (verschiedene KI-Modelle), schnitt es immer noch gut ab.

Zusammenfassung

Stellen Sie sich MANGO als ein intelligentes Trainingslager für KI-Teams vor. Anstatt sie zu zwingen, einem starren Skript zu folgen, gibt es ihnen eine Landkarte erfolgreicher Reisen, einen Trainer, der ihren Weg leitet, einen Redakteur, der ihre Formulierungen korrigiert, und eine „Überspringen"-Taste, um Zeitverschwendung bei Dingen zu vermeiden, die sie bereits beherrschen. Das Ergebnis ist ein Team, das intelligenter, schneller ist und weniger anfällig für Fehler ist, die die endgültige Antwort ruinieren.

Technische Zusammenfassung: MANGO (Multi-Agent Network Gradient Optimization)

Problemstellung

Multi-Agenten-Systeme bieten ein vielversprechendes Paradigma zur Erweiterung von Large Language Models (LLMs), indem komplexe Aufgaben in spezialisierte Teilaufgaben zerlegt werden. Allerdings sind diese Systeme inhärent anfällig für Fehlerfortpflanzung, bei der Ungenauigkeiten im Workflow-Design oder in der Agentenausführung die Endergebnisse verschlechtern. Das Papier identifiziert zwei Hauptprobleme:

Fehler bei der Workflow-Generierung (C1): Eine fehlerhafte Planung der Aufgabenabfolge (z. B. die Wahl einer Websuche anstelle einer Videoanalyse) führt zu kaskadierenden Ausfällen. Bestehende Methoden verlassen sich häufig auf manuelle Heuristiken oder regelbasierte Designs, die Schwierigkeiten haben, sich an diverse Domänen anzupassen.
Fehler bei der Einzel-Agenten-Ausführung (C2): Selbst bei einem korrekten Workflow können einzelne Agenten halluzinierte oder ungenaue Ausgaben produzieren (z. B. das Abrufen eines falschen Datums). Aktuelle textbasierte Gradientenmethoden zur Minderung dieser Fehler stoßen auf Grenzen: Sie liefern oft schwache Überwachungssignale für Zwischenschritte in langen Ketten (analog zum Verschwinden von Gradienten) und verursachen hohe Latenz, indem sie Gradienten durch alle Agenten zurückpropagieren, einschließlich solcher, die bereits gut optimiert sind.

Methodik: MANGO-Framework

Die Autoren schlagen MANGO (Multi-Agent Network Gradient Optimization) vor, ein datengesteuertes Framework, das die Agentenzusammenarbeit über ein Flussnetzwerk organisiert, das aus früheren erfolgreichen Workflows konstruiert wird. Das Framework optimiert Workflow-Pfade (Kanten) und Agentenverhalten (Knoten) gemeinsam unter Verwendung von Reinforcement Learning (RL) und Textual Gradients (TG).

1. Konstruktion des Flussnetzwerks

Das System konstruiert einen gerichteten Graphen $G = (V, E, s, t)$ , wobei:

Knoten ( $V$ ): Jeder Knoten repräsentiert einen Agenten (ein LLM mit einem spezifischen System-Prompt und einer Rollendefinition). Knoten werden durch Clustering ähnlicher Operationen aus historischen erfolgreichen Workflows gebildet.
Kanten ( $E$ ): Gerichtete Kanten repräsentieren gültige Übergänge zwischen Operationen.
Quelle ( $s$ ) und Senke ( $t$ ): Das Netzwerk verfügt über einen Quellknoten, der die Eingabeaufgabe empfängt, und einen Senkeknoten, an dem die Endleistung bewertet wird.

2. Gemeinsame Optimierungsstrategie

MANGO adressiert die gemeinsame Optimierung des Pfades $P$ und der Knotenparameter $\Theta_P$ durch eine komplementäre Update-Strategie:

Kantenoptimierung (Reinforcement Learning):
- Die Workflow-Generierung wird als Finden eines Pfades von $s$ zu $t$ formuliert.
- Ein Planer-Agent erstellt einen hochrangigen Plan, und ein Policy-Netzwerk ( $\pi_\phi$ ) wählt den nächsten Executor-Knoten basierend auf dem aktuellen Zustand aus (Ähnlichkeit zwischen Planungsschritt und Knotenrolle/Erfahrung).
- Die Policy wird via REINFORCE optimiert und maximiert eine Belohnung, die prozessorientierte Korrektheit (Übereinstimmung mit Ground-Truth-Workflow-Strukturen) und ergebnisorientierte Leistung (Endaufgabengenauigkeit) kombiniert.
Knotenoptimierung (Textual Gradients):
- Sobald ein Pfad gesampelt wurde, werden die Prompts ( $P_i$ ) und Rollendefinitionen ( $r^*_i$ ) der Knoten entlang des Pfades optimiert.
- MANGO führt lokale Gradientensignale neben globalen Signalen ein. Die Verlustfunktion kombiniert den finalen Aufgabenverlust mit Zwischenfeedback, um das Verschwinden von Gradienten in langen Ketten zu verhindern.
- Parameter werden mittels textbasiertem Gradientenabstieg aktualisiert, wobei Prompts verfeinert werden, ohne die Modellgewichte zu ändern.
Überspringungsmechanismus für Effizienz:
- Um Rechenkosten zu senken, setzt MANGO eine Überspringungsstrategie ein. Wenn ein Knoten bereits gut optimiert ist, kann der Agent ihn während des Optimierungsprozesses überspringen.
- Der Agent kann bis zu $K$ -benachbarte Knoten im Netzwerk auswählen. Übersprungene Knoten nutzen Ground-Truth-Zwischenschritte aus Trainings-Workflows wieder, wodurch redundante Generierung on-the-fly und Prompt-Updates vermieden werden.

Hauptbeiträge

Neues Flussnetzwerk-Modell: Das Papier stellt ein datengesteuertes Flussnetzwerk-Modell vor, das die Multi-Agenten-Zusammenarbeit als gemeinsame Optimierung von Kanten (Workflow-Pfade) und Knoten (Agentenausgaben) formuliert und die Fehlerfortpflanzung explizit adressiert.
MANGO-Framework: Ein einheitliches System, das Reinforcement Learning für die Pfadauswahl und Textual Gradients für die Prompt-Optimierung integriert. Es integriert einzigartig lokale Gradientensignale und einen Überspringungsmechanismus zur Verbesserung der Effizienz.
Empirische Validierung: Umfassende Experimente zeigen, dass MANGO State-of-the-Art-Baselines übertrifft und gleichzeitig die Rechenkosten erheblich senkt.

Experimentelle Ergebnisse

Experimente wurden an sieben Benchmarks durchgeführt: HumanEval, MBPP, MATH, GSM8K, DROP, MMLU und GPQA.

Leistung: MANGO erzielt auf dem MATH-Datensatz Verbesserungen von bis zu 12,8 % gegenüber den besten State-of-the-Art-Baselines (z. B. MaAS). Es übertrifft Single-Agent- und Multi-Agent-Baselines in allen Domänen konsistent.
Effizienz: Das Framework reduziert die Trainingszeit um 41,5 % und die Inferenzzeit um 47,4 % im Vergleich zu MaAS, hauptsächlich aufgrund des Überspringungsmechanismus. Es erzielt zudem niedrigere API-Kosten und Token-Verbräuche.
Generalisierung:
- Cross-Model: MANGO, das auf GPT-4o-mini trainiert wurde, generalisiert effektiv auf nicht gesehene Backbone-LLMs (Qwen-2.5-72B, Llama-3.1-70B) und übertrifft Baselines sowohl im Zero-Shot- als auch im Few-Shot-Setting.
- Cross-Domain: Das Modell zeigt starke Übertragbarkeit und performt gut, wenn es auf einer Domäne trainiert (z. B. MATH) und auf einer anderen getestet wird (z. B. GSM8K oder HumanEval).
Ablationsstudien: Das Entfernen von Reinforcement Learning oder Textual Gradients verschlechtert die Leistung erheblich und bestätigt die Notwendigkeit einer gemeinsamen Optimierung. Lokale Signale tragen zu einem Genauigkeitsgewinn von 6,8 % bei und unterstreichen ihre Rolle bei der Minderung der Fehlerfortpflanzung.

Bedeutung und Behauptungen

Das Papier behauptet, dass MANGO einen Wandel von heuristikgetriebenen oder regelbasierten Multi-Agenten-Designs hin zu einem datengesteuerten Paradigma darstellt, das Kooperationsmuster aus historischen Erfolgen lernt. Durch die gemeinsame Optimierung der Workflow-Struktur und der Agenten-Prompts mildert MANGO effektiv die dualen Herausforderungen von Workflow-Generierungsfehlern und Ausführungsfehlern. Die Einführung des Überspringungsmechanismus adressiert das kritische Problem der Rechenredundanz in Multi-Agenten-Systemen und bietet eine skalierbare Lösung für eine effiziente Agentenzusammenarbeit. Die Autoren stellen fest, dass das Framework zwar von der Qualität der initialen erfolgreichen Workflows abhängt, aber starke Selbst-Bootstrapping-Fähigkeiten aufweist und sich schrittweise verbessert, selbst wenn es mit Daten geringerer Qualität beginnt.