💬 NLP

MASPO: Joint Prompt Optimization for LLM-based Multi-Agent Systems

MASPO ist ein neuartiges Framework, das Prompts für LLM-basierte Multi-Agenten-Systeme automatisch optimiert, indem es einen gemeinsamen Bewertungsmechanismus und eine evolutionäre Strahlsuche einsetzt, um lokale Agentenziele mit globalen Systemzielen in Einklang zu bringen und dadurch bestehende Methoden bei diversen kollaborativen Aufgaben zu übertreffen.

Ursprüngliche Autoren: Zhexuan Wang, Xuebo Liu, Li Wang, Zifei Shan, Yutong Wang, Zhenxi Song, Min Zhang

Veröffentlicht 2026-05-08

📖 5 Min. Lesezeit🧠 Tiefgang

CC BY 4.0

Ursprüngliche Autoren: Zhexuan Wang, Xuebo Liu, Li Wang, Zifei Shan, Yutong Wang, Zhenxi Song, Min Zhang

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Stellen Sie sich vor, Sie haben ein Team von Expert-Robotern, die zusammenarbeiten, um ein sehr schwieriges Puzzle zu lösen. Jeder Roboter hat eine spezifische Aufgabe: einer liest die Hinweise, ein anderer rechnet, ein dritter prüft auf Fehler und ein vierter schreibt die finale Antwort.

In der Vergangenheit war es schwer zu wissen, wen man verantwortlich machen sollte, wenn das Team scheiterte. War der Rechen-Roboter schlecht im Rechnen? Oder gab der lesende Roboter ihm die falschen Hinweise? Dies ist das Problem, das die Arbeit MASPO löst.

Hier ist, wie MASPO funktioniert, erklärt durch einfache Analogien:

1. Das Problem: Das „Schuldspiel" in einem Team

Normalerweise schauen wir beim Training dieser Roboterteams nur auf die finale Antwort. Wenn die Antwort falsch ist, wissen wir nicht, welcher Roboter einen Fehler gemacht hat.

Die Analogie: Stellen Sie sich ein Staffellauf vor. Wenn das Team verliert, können Sie nicht einfach den letzten Läufer anschreien. Vielleicht hat der erste Läufer das Stäbchen fallen lassen, oder der zweite Läufer ist den falschen Weg gelaufen. Wenn Sie nur den letzten Läufer trainieren, schneller zu laufen, wird das Team trotzdem verlieren, weil die Übergabe des Stäbchens kaputt ist.
Die Erkenntnis der Arbeit: Die Autoren erkannten, dass in einem Multi-Agenten-System ein Roboter seine eigene Aufgabe perfekt erfüllen kann (lokaler Erfolg), aber dennoch dem nächsten Roboter Informationen liefert, die zu einem totalen Scheitern führen (globaler Misserfolg). Dies wird als „Local-Global Misalignment" (lokale-globalen Fehlausrichtung) bezeichnet.

2. Die Lösung: MASPO (Der Teamtrainer)

MASPO ist ein neues Framework, das wie ein intelligenter Trainer funktioniert, der nicht nur die Ziellinie beobachtet, sondern jeden einzelnen Übergabe-Vorgang im Staffellauf im Auge behält. Es schreibt automatisch die „Anleitungshandbücher" (Prompts) für jeden Roboter um, damit das gesamte Team besser zusammenarbeitet.

Es nutzt dabei drei Haupttricks:

A. Der „Zukunftssichere" Punktestand (Gemeinsame Bewertung)

Anstatt nur zu fragen: „Hat dieser Roboter seine Aufgabe erledigt?", fragt MASPO: „Hat die Arbeit dieses Roboters dem nächsten Roboter geholfen, erfolgreich zu sein?"

Die Analogie: Stellen Sie sich einen Koch vor, der eine Mahlzeit zubereitet. Ein standardmäßiger Richter könnte nur die Suppe probieren und sagen: „Sie ist salzig." Aber MASPO ist wie ein Richter, der auch fragt: „Ist diese Suppe salzig genug, um gut zu dem Brot zu passen, das der nächste Koch backt?"
Wie es funktioniert: MASPO gibt jedem Roboter eine Punktzahl basierend auf drei Dingen:
1. Haben sie ihre eigenen Regeln befolgt? (Lokale Validität)
2. Hat ihre Ausgabe die Arbeit des nächsten Roboters erleichtert? (Lookahead-Potenzial)
3. Hat es dem Team geholfen, das finale Spiel zu gewinnen? (Globale Ausrichtung)

B. Lernen aus „Fast"-Katastrophen (Misalignment Mining)

Die meisten Systeme lernen nur aus Fehlern, bei denen die finale Antwort falsch war. MASPO sucht nach einer spezifischen, heimtückischen Art von Fehler: wenn ein Roboter seine Arbeit perfekt erledigt hat, das Team aber trotzdem gescheitert ist.

Die Analogie: Stellen Sie sich einen Fahrer vor, der alle Verkehrsregeln perfekt befolgt (lokaler Erfolg), aber versehentlich in eine Sackgasse fährt, weil die Karte verwirrend war (globaler Misserfolg). Ein normaler Trainer würde sagen: „Gute Arbeit, Fahrer!" MASPO sagt: „Warten Sie, Sie haben die Regeln befolgt, aber wir sind trotzdem verloren gegangen. Lassen Sie uns Ihre Anweisungen so korrigieren, dass Sie das nächste Mal nicht in Sackgassen fahren."
Wie es funktioniert: Das System speichert diese Fälle von „Lokaler Erfolg, globaler Misserfolg" und zwingt die Roboter, sie zu studieren, um sicherzustellen, dass sie dieselben Koordinationsfehler nicht wiederholen.

C. Die „Neu-Ausrichtungs"-Übung (Beam Refresh)

Da die Roboter lernen und ihr Verhalten ändern, können die Anweisungen für den nächsten Roboter plötzlich veraltet sein.

Die Analogie: Stellen Sie sich ein Tanzteam vor. Wenn der erste Tänzer schneller wird, ist das Timing des zweiten Tänzers jetzt falsch. Wenn Sie die alte Routine weiter üben, werden sie weiterhin auf die Füße treten.
Wie es funktioniert: MASPO überprüft das Team ständig. Wenn der erste Roboter seinen Stil geändert hat, aktualisiert MASPO sofort die „Punktzahl" für die Anweisungen des zweiten Roboters, damit sie gegen die aktuelle Realität üben und nicht gegen eine alte Version des Teams.

3. Die Ergebnisse: Ein besseres Team

Die Autoren haben dies an 6 verschiedenen Arten schwieriger Aufgaben getestet, darunter komplexe Mathematik, Logikrätsel und das Schreiben von Computercodes.

Das Ergebnis: Die mit MASPO trainierten Teams schnitten bei anderen Methoden konsistent besser ab. Sie verbesserten ihre Genauigkeit im Durchschnitt um 2,9 % im Vergleich zu den besten bestehenden Methoden.
Warum es wichtig ist: Dies beweist, dass das gesamte System viel intelligenter wird, indem man Roboter lehrt, sich darum zu kümmern, wie ihre Arbeit ihre Teamkollegen beeinflusst (nicht nur ihre eigene Aufgabe).

Zusammenfassung

Denken Sie an MASPO als einen Teamtrainer, der das Spielbuch in Echtzeit neu schreibt. Anstatt den Spielern nur zu sagen „geben Sie ihr Bestes", analysiert es, wie der Pass von Spieler A den Fang von Spieler B beeinflusst, und schreibt die Anweisungen für beide neu, um sicherzustellen, dass das gesamte Team gewinnt, nicht nur die einzelnen Spieler. Es löst das Problem von „Ich habe meine Arbeit erledigt, aber wir haben trotzdem verloren", indem es sicherstellt, dass die Aufgabe jedes einzelnen so gestaltet ist, dass sie dem Team hilft, zu gewinnen.

Technische Zusammenfassung: MASPO – Gemeinsame Prompt-Optimierung für LLM-basierte Multi-Agenten-Systeme

Problemstellung

Multi-Agenten-Systeme (MAS) auf Basis von Large Language Models (LLMs) haben ein erhebliches Potenzial beim Lösen komplexer kollaborativer Aufgaben gezeigt, indem sie heterogene Agenten über rollenspezifische Prompts orchestrieren. Die gemeinsame Optimierung dieser Prompts bleibt jedoch ein kritischer Engpass. Im Gegensatz zu Single-Agenten-Szenarien umfasst die MAS-Optimierung einen kombinatorischen Suchraum, in dem die Optimalität des Prompts eines Agenten intrinsisch von den Verhaltensweisen der anderen abhängt.

Bestehende Methoden zur Prompt-Optimierung stehen im MAS-Kontext vor zwei Haupt Herausforderungen:

Fehlende Ausrichtung zwischen Lokal und Global (Kreditvergabe): In kollaborativen Settings führen mittlere Agenten oft Aufgaben wie Schlussfolgern oder Zusammenfassen aus, anstatt die endgültige Ausgabe zu generieren. Standardbewertungsmethoden, die auf Ground-Truth-Labels basieren, versagen bei der effektiven Kreditvergabe für diese Zwischenschritte. Ein Agent kann seine lokalen Anweisungen perfekt erfüllen (Lokale Validität) und dennoch Ausgaben generieren, die nachgelagerte Partner in die Irre führen und so einen systemweiten Ausfall verursachen.
Nicht-Stationarität und Suchkomplexität: Die funktionale Kopplung zwischen Agenten erzeugt eine nicht-stationäre Optimierungslandschaft. Die Änderung des Prompts eines vorgelagerten Agenten verändert den Eingabekontext für nachgelagerte Agenten und induziert Kovariatenverschiebungen, die historische Leistungswerte unzuverlässig machen. Darüber hinaus sind bestehende Methoden wie Tree-structured Parzen Estimators (TPE) oft darauf beschränkt, aus festen, diskreten Kandidatenpools auszuwählen, was eine offene, feinabgestimmte Optimierung einschränkt.

Methodik: Das MASPO-Framework

Um diese Herausforderungen zu adressieren, schlagen die Autoren MASPO vor, ein Framework, das entwickelt wurde, um Prompts über das gesamte Multi-Agenten-System hinweg automatisch und iterativ zu verfeinern. Das Framework arbeitet durch eine systematische Schleife, die topologische Scheduling, trace-gesteuerte Generierung, gemeinsame Bewertung und adaptive Beam-Suche umfasst.

1. Topologischer Kontext und Trace-gesteuerte Vorschläge

MASPO übernimmt eine Strategie im Stil des Koordinatenanstiegs, die die kausalen Abhängigkeiten des Agenten-Kommunikationsgraphen respektiert. Anstatt einen Agenten vollständig zu konvergieren, bevor zum nächsten übergegangen wird, setzt es ein interleaved Evolutionsprotokoll ein. Agenten werden für eine begrenzte Anzahl von Generationen ( $T$ ) in topologischer Reihenfolge optimiert, bevor sie eingefroren werden, was dem System ermöglicht, eine Ko-Adaptation zu stabilisieren und eine Überanpassung von vorgelagerten Agenten an suboptimale nachgelagerte Verhaltensweisen zu verhindern.

Für die Prompt-Generierung nutzt MASPO einen datengetriebenen Ansatz, der auf tatsächlichen Ausführungs-Traces basiert und nicht auf blinder Mutation. Ein Optimizer-Modell ( $M_{opt}$ ) analysiert die Abbildung von Eingabekontext zu Ausgabe, um Variationen vorzuschlagen. Entscheidend ist, dass das Framework Misalignment-Sampling einsetzt und „harte negative" Traces in den Generierungsprozess injiziert. Dies sind historische Fälle, in denen ein Agent lokale Ziele erfüllte, aber das globale System nicht unterstützte, wodurch der Optimator explizit angeleitet wird, die Lücke zwischen lokalen Anweisungen und globalen Zielen zu schließen.

2. Gemeinsame Bewertung auf Multi-Granularitätsebene

Um das Dilemma der Kreditvergabe zu lösen, führt MASPO eine zusammengesetzte Bewertungsfunktion ( $R$ ) ein, die Kandidaten-Prompts über drei Dimensionen hinweg bewertet:

Lokale Validität: Misst, ob die Ausgabe des Agenten rollenspezifische Einschränkungen besser erfüllt als die Baseline.
Lookahead-Potenzial: Eine topologiebewusste Metrik, die den „Welleneffekt" quantifiziert. Sie bewertet, ob nachgelagerte Agenten bessere Ausgaben produzieren, wenn sie mit dem neuen Kontext versorgt werden, der von dem aktuellen Agenten generiert wurde.
Globale Ausrichtung: Misst den Einfluss auf die finale Systemantwort und erfasst langreichweitige Abhängigkeiten.

Dieses gemeinsame Reward-Modell ( $R = \alpha \cdot \text{Local} + \beta \cdot \text{Lookahead} + \theta \cdot \text{Global}$ ) ermöglicht es dem System, den Nutzen eines Agenten durch seinen Beitrag zur gesamten kausalen Kette zu bewerten, anstatt durch isolierte Ausgaben.

3. Evolutionäre Beam-Suche mit adaptiver Dynamik

Um den hochdimensionalen Prompt-Raum zu navigieren, setzt MASPO eine Trace-gesteuerte Beam-Suche ein. Sie führt einen Beam der Top- $K$ -Kandidaten, akkumuliert gemeinsame Reward-Scores entlang des Pfades und wählt die robustesten Prompts aus.

Eine Schlüsselinnovation ist der Beam-Refresh-Mechanismus. Da sich Peer-Agenten während der topologischen Durchlauf verändern, verschiebt sich die Eingabeverteilung für einen spezifischen Agenten, wodurch historische Scores veraltet werden. Wenn ein Agent in einer neuen Epoche erneut besucht wird, verwirft MASPO veraltete kumulative Scores und verankert den Beam neu, indem Kandidaten gegen den aktuellen global besten Prompt bewertet werden. Dies stellt sicher, dass die Suche von einer gültigen, aktuellen Leistungs-Mannigfaltigkeit fortgesetzt wird und wirkt der Nicht-Stationarität effektiv entgegen.

Hauptbeiträge

Die Arbeit skizziert drei primäre Beiträge:

Gemeinsame Bewertung auf Multi-Granularitätsebene: Eine zusammengesetzte Metrik, die das Dilemma der Kreditvergabe löst, indem sie Lokale Validität, Lookahead-Potenzial und Globale Ausrichtung synergistisch verbindet und den vollen kausalen Einfluss eines Agenten innerhalb der kollaborativen Kette erfasst.
Misalignment-getriebene generative Suche: Eine Beam-Such-Strategie, die explizit durch „Misalignment-Fälle" geleitet wird – Szenarien, in denen Agenten lokale Rollen erfüllen, aber einen systemweiten Ausfall verursachen. Dies ermöglicht es dem Optimator, spezifische Interaktionsstörungen zu diagnostizieren und zu beheben.
Adaptive Optimierungsdynamik: Ein auf Koordinatenanstieg basierendes Scheduling-Protokoll, ergänzt durch einen Beam-Refresh-Mechanismus. Diese Techniken mildern die Nicht-Stationarität, die in Multi-Agenten-Interaktionen inhärent ist, und stellen sicher, dass Agenten sich an die sich entwickelnden Verhaltensweisen ihrer Peers anpassen.

Experimentelle Ergebnisse

Die Autoren bewerteten MASPO über sechs diverse Aufgaben hinweg, die mathematische Kompetenz (MATH-500, AGIEval-MATH, AQuA), komplexes Schlussfolgern (GPQA) und Code-Generierung (MBPP, HumanEval-ET) abdecken. Das Framework wurde sowohl auf Sequential- als auch auf Hierarchical-MAS-Architekturen getestet, wobei Qwen3-8B als Backbone diente und Gemini-2.5-pro als Optimator und Bewerter fungierte.

Leistungssteigerung: MASPO übertraf konsistent state-of-the-art-Baselines, einschließlich Single-Agenten-Strategien (Vanilla, CoT, Self-Refine) und bestehender Multi-Agenten-Optimierungsmethoden (TPE, SPO). Es erzielte eine durchschnittliche Genauigkeitsverbesserung von 2,9 % gegenüber den am besten performenden Optimierungs-Baselines.
Robustheit: Das Framework zeigte eine topologieagnostische Leistung und verbesserte Sequential-MAS um 5,06 % und Hierarchical-MAS um 2,73 % gegenüber ihren jeweiligen Baselines.
Ablationsstudien: Experimente bestätigten die Notwendigkeit aller Kernkomponenten. Das Entfernen des Beam-Refresh-Mechanismus oder der gemeinsamen Bewertung führte zu signifikanten Leistungseinbußen. Eine Sensitivitätsanalyse ergab, dass die Balance zwischen Lokaler Validität und Lookahead-Potenzial (Gewichte 0,4/0,4) eine überlegene Anpassungsfähigkeit im Vergleich zu einer starken Abhängigkeit von der Globalen Ausrichtung bot.
Übertragbarkeit: Auf Qwen3-8B optimierte Prompts übertrugen sich erfolgreich auf nicht gesehene Architekturen (DeepSeek-V3, GLM-4.6, Claude-Sonnet-4, Gemini-2.5-Pro), was darauf hindeutet, dass MASPO generalisierte Interaktionslogik erfasst und nicht auf spezifische Modellidiosynkrasien überanpasst ist.

Bedeutung und Behauptungen

Die Arbeit behauptet, dass MASPO eine robuste Lösung für die wenig erforschte Herausforderung der gemeinsamen Prompt-Optimierung in dynamischen Multi-Agenten-Umgebungen bietet. Indem MASPO über die isolierte Agenten-Tuning hinausgeht, überbrückt es effektiv die Lücke zwischen lokalen Interaktionen und globalen Ergebnissen, ohne auf Ground-Truth-Labels für Zwischenschritte angewiesen zu sein.

Die Autoren betonen, dass ihr Ansatz insbesondere für folgende Aspekte bedeutsam ist:

Lösen des Kreditvergabe-Problems: Bereitstellung eines Mechanismus zur Bewertung von mittleren Agenten basierend auf ihrem nachgelagerten Nutzen und nicht nur auf der finalen Korrektheit.
Umgang mit Nicht-Stationarität: Einführung eines dynamischen Refresh-Mechanismus, der den Optimierungsprozess stabil hält, trotz der sich verschiebenden Eingabeverteilungen, die durch Peer-Agenten verursacht werden.
Praktische Anwendbarkeit: Demonstration, dass hohe Leistung mit einem kleinen, ungelabelten Stichprobenpool (50 Instanzen) erreicht werden kann, was das Framework recheneffizient macht und für ressourcenbeschränkte oder datenschutzsensitive Bereitstellungen geeignet ist.

Die Arbeit legt nahe, dass zukünftige Forschung in kollaborativen KI-Systemen sich auf dynamische Rollenspezialisierung und architektonische Optimierung konzentrieren sollte, wobei MASPO als grundlegender Schritt hin zu automatisierten, selbstverbessernden Multi-Agenten-Systemen dient.