🤖 AI

Who Deserves the Reward? SHARP: Shapley Credit-based Optimization for Multi-Agent System

Das Papier stellt SHARP vor, ein neuartiges Framework, das die Herausforderung der Kreditzuweisung in Multi-Agenten-Systemen mit Large Language Models adressiert, indem es Shapley-basierte marginale Kreditbelohnungen nutzt, um Beiträge präzise zuzuschreiben, wodurch es bestehende State-of-the-Art-Methoden hinsichtlich Trainingsstabilität und Leistung signifikant übertrifft.

Ursprüngliche Autoren: Yanming Li, Xuelin Zhang, WenJie Lu, Ziye Tang, Maodong Wu, Haotian Luo, Tongtong Wu, Zijie Peng, Hongze Mi, Yibo Feng, Naiqiang Tan, Chao Huang, Lian Peng, Li Shen

Veröffentlicht 2026-06-03

📖 4 Min. Lesezeit☕ Kaffeepausen-Lektüre

CC BY 4.0

Ursprüngliche Autoren: Yanming Li, Xuelin Zhang, WenJie Lu, Ziye Tang, Maodong Wu, Haotian Luo, Tongtong Wu, Zijie Peng, Hongze Mi, Yibo Feng, Naiqiang Tan, Chao Huang, Lian Peng, Li Shen

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Stellen Sie sich vor, Sie sind der Manager eines hochkarätigen Forschungsteams. Ihr Ziel ist es, ein komplexes Rätsel zu lösen, wie etwa die exakten Spezifikationen eines neuen Computerchips zu finden. Sie haben einen Planer (den Chef, der das große Problem in kleine Aufgaben zerlegt) und mehrere Arbeiter (Spezialisten, die ausrücken und die eigentliche Arbeit erledigen, wie zum Beispiel im Internet suchen oder Berechnungen durchführen).

In der Vergangenheit, wenn dieses Team Erfolg hatte oder scheiterte, war das Belohnungssystem sehr stumpf. Wenn das Team die richtige Antwort fand, bekam alle einen goldenen Stern. Wenn sie scheiterten, bekamen alle eine rote Karte.

Dies verursachte ein großes Problem: Wer verdient eigentlich die Anerkennung?

War es der Planer, der eine großartige Roadmap erstellt hat?
Hat Arbeiter A einen perfekten Artikel gefunden?
Hat Arbeiter B Zeit mit einer Sackgasse verschwendet?
Hat Arbeiter C einen Rechenfehler gemacht?

Da das Team unabhängig von der individuellen Leistung die gleiche Belohnung erhielt, war der „Lernprozess“ chaotisch. Der Planer wusste nicht, ob seine Strategie gut war, und die Arbeiter wussten nicht, ob ihre spezifischen Handlungen hilfreich oder schädlich waren. Es war wie bei einer Sportmannschaft, bei der das gesamte Team den Pokal erhält, selbst wenn ein Spieler ständig über den Ball stolpert.

Hier kommt SHARP ins Spiel: Das „Fair Share“-System

Das Paper stellt eine neue Methode namens SHARP (Shapley Credit-based Optimization for Reinforcement Policy) vor. Denken Sie an SHARP als ein ausgeklügeltes Buchhaltungssystem, das genau berechnet, wie viel jeder Einzelne zum Endergebnis beigetragen hat.

So funktioniert SHARP, unter Verwendung einer einfachen Analogie:

1. Die Drei-Teile-Bewertungskarte

Anstatt nur eine große Belohnung zu geben, unterteilt SHARP die Punktzahl für jedes Teammitglied in drei spezifische Teile:

Der „Haben wir gewonnen?“-Bonus (Globale Genauigkeit): Wenn das Team das Rätsel löst, erhält jeder einen Basisbonus. Dies hält alle auf das Hauptziel ausgerichtet.
Der „Was wäre wenn?“-Bonus (Shapley-Gutschrift): Dies ist der magische Teil. SHARP stellt eine kontrafaktische Frage: „Was wäre passiert, wenn wir diese spezifische Person aus dem Team entfernt hätten?“
- Wenn das Team ohne Arbeiter A scheitert, aber mit ihm erfolgreich ist, erhält Arbeiter A eine riesige „marginale Gutschrift“. Er war essenziell!
- Wenn das Team ohne Arbeiter B genauso gut oder sogar besser abschneidet, erhält Arbeiter B eine niedrige (oder negative) Punktzahl. Er war nicht hilfreich.
- Dies basiert auf einem mathematischen Konzept namens Shapley-Werte, was eine faire Art ist, eine Pizza aufzuteilen – basierend darauf, wie hungrig jeder tatsächlich ist, anstatt sie einfach gleichmäßig aufzuteilen.
Der „Hast du deinen Job gemacht?“-Bonus (Werkzeugprozess): Hier wird geprüft, ob die Arbeiter ihre Werkzeuge korrekt benutzt haben. Wenn ein Arbeiter versucht hat, einen Taschenrechner zu benutzen, aber die falsche Formel eingegeben hat, verliert er hier Punkte, selbst wenn das Endergebnis durch Glück richtig war.

2. Der „Planer vs. Arbeiter“-Tanz

In diesem System werden der Planer und die Arbeiter gemeinsam mit einem gemeinsamen Gehirn (einem einzigen Large Language Model) trainiert.

Der Planer erhält die Gutschrift basierend darauf, wie gut die Arbeiter performten, die er zugewiesen hat. Wenn der Planer eine Aufgabe an einen Arbeiter delegiert, der scheitert, lernt der Planer, beim nächsten Mal bessere Arbeiter auszuwählen.
Die Arbeiter erhalten die Gutschrift basierend darauf, ob ihre spezifischen Handlungen den entscheidenden Unterschied gemacht haben.

3. Die Ergebnisse: Ein besseres Team

Das Paper testete dieses System an realen Rätseln (wie komplexen mathematischen Problemen oder Websuchen). Hier ist, was sie herausfanden:

Bessere Leistung: Teams, die mit SHARP trainiert wurden, lösten signifikant mehr Probleme korrekt als Teams, die alte Methoden verwendeten. Sie verbesserten sich um etwa 23 % gegenüber Einzelpersonen-Teams und um 14 % gegenüber anderen Multi-Personen-Teams.
Weniger Verschwendung: Das System lernte, „schlechtes“ Verhalten zu stoppen. Es reduzierte die Anzahl der Fälle, in denen Arbeiter nutzlose oder schädliche Aufgaben ausführten (wie die Suche nach dem falschen Thema), indem es diese herausfilterte.
Stabilität: Der Trainingsprozess war reibungsloser. Da jeder genau wusste, was er richtig oder falsch gemacht hatte, wurde das Team nicht verwirrt oder in einer Schleife aus schlechten Gewohnheiten gefangen.

Das Fazit

SHARP ist eine neue Art, KI-Teams zu trainieren. Anstatt das Team als einen einzigen Klumpen zu behandeln, der eine generische Belohnung erhält, fungiert es wie ein fairer Schiedsrichter, der jede Bewegung beobachtet. Es fragt: „Wer hat tatsächlich den Unterschied gemacht?“ und belohnt (oder korrigiert) jeden Agenten entsprechend. Dies führt zu intelligenteren, effizienteren Teams, die in der Lage sind, schwierigere Probleme zu lösen, ohne Zeit mit nutzlosen Handlungen zu verschwenden.

Technisches Resümee: SHARP – Shapley-basierte kreditbasierte Optimierung für Multi-Agenten-Systeme

1. Problemstellung

Die Integration von Large Language Models (LLMs) mit externen Werkzeugen über Multi-Agenten-Systeme (MAS) bietet ein vielversprechendes Paradigma zur Lösung komplexer Denk- und Planungsaufgaben. Das Training dieser Systeme wird jedoch durch die Credit-Assignment-Herausforderung (Problem der Zuordnung von Belohnungen) behindert. In kollaborativen MAS-Architekturen (typischerweise bestehend aus einem Planer und spezialisierten Worker-Agenten) ist oft unklar, welcher spezifische Agent für den Erfolg oder Misserfolg eines Entscheidungs-Trajektoriums verantwortlich ist.

Bestehende Methoden verlassen sich überwiegend auf spärliche, global ausgestrahlte Belohnungen, die das Multi-Agenten-Team als monolithische Einheit behandeln. Dieser Ansatz versäumt es, individuelle Beiträge zu erfassen, was zu ineffizienten Reinforcement Learning (RL)-Updates führt, bei denen qualitativ hochwertige Einzelaktionen durch die Gesamtleistung des Teams verschleiert werden. Darüber hinaus haben aktuelle wertfreie Optimierungsmethoden (z. B. DPO, GRPO) und spezialisierte MARL-Frameworks oft Schwierigkeiten, die marginalen Beiträge einzelner Agenten innerhalb eines gemeinsamen Aktionsraums zu entwirren.

2. Methodik: SHARP-Framework

Um diese Einschränkungen zu adressieren, schlagen die Autoren SHARP (Shapley-based Hierarchical Attribution for Reinforcement Policy) vor, ein Framework, das darauf ausgelegt ist, das Multi-Agenten-Training durch präzise, feingliedrige Credit-Attribution zu stabilisieren.

2.1. Systemarchitektur

SHARP nutzt ein Self-Play Multi-Agent Modeling-Paradigma unter Verwendung einer gemeinsamen Policy $\pi_\theta$ .

Rollen: Ein einzelnes Modell instanziiert heterogene Rollen (Planner und Workers) über rollenspezifische System-Prompts.
Ausführung: Der Planner generiert hochgradige Subtask-Queries, die Worker-Agenten dazu veranlassen, mit externen Werkzeugen (z. B. Suche, Rechner, Code-Interpreter) zu interagieren.
Optimierung: Der gesamte Prozess wird als ein einzener Trajektorium end-to-end unter einer gemeinsamen Policy optimiert, was einheitliche Parameter-Updates ermöglicht.

2.2. Tripartite dekomponierter Belohnungsmechanismus

Die Kerninnovation von SHARP ist ein Prinzip der Belohnungsdekomposition, das über monolithische Broadcast-Signale hinausgeht. Die gesamte Ersatzbelohnung (Surrogate Reward) $\bar{R}_{i,m}$ für Agent $m$ auf Trajektorie $i$ ist eine gewichtete Kombination aus drei Komponenten:

Global Broadcast-Accuracy Reward ( $R^b$ ): Ein binäres Terminalsignal ($0$ oder $1$), das angibt, ob die finale Antwort mit der Ground Truth übereinstimmt. Dies stellt die globale Aufgabenorientierung sicher und wird an alle Agenten in der Trajektorie ausgestrahlt.
Shapley-basierter Marginal-Credit Reward ( $R^{mc}$ ): Diese Komponente quantifiziert den spezifischen Beitrag jedes Agenten mittels Shapley-Werten aus der kooperativen Spieltheorie.
- Counterfactual Masking: Das System isoliert den kausalen Einfluss eines Agenten, indem es das Delta ( $\Delta$ ) der Performance misst, wenn dieser Agent aus dem Entscheidungs-Trajektorium entfernt (maskiert) wird, während die Umgebung und andere Agenten unverändert bleiben.
- Planner Credit: Der Credit des Planners wird als Mittelwert der positiven marginalen Beiträge seines Worker-Pools definiert, wodurch das Ziel des Planners mit dem kollektiven Nutzen in Einklang gebracht wird.
- Worker Credit: Berechnet als Differenz zwischen dem Erfolg der Aufgabe im vollen Trajektorium und dem Trajektorium, in dem der spezifische Worker entfernt wurde.
Tool-Process Reward ( $R^{tool}$ ): Ein Signal auf Prozessebene, das die Validität und Ausführbarkeit von Tool-Aufrufen bewertet, um sicherzustellen, dass Agenten Werkzeuge nicht nur halluzinieren, sondern sie auch korrekt ausführen.

2.3. Optimierungsstrategie

SHARP verwendet einen verbesserten Group Relative Policy Optimization (GRPO)-Ansatz.

Advantage Normalization: Agent-spezifische Advantages werden über Trajektorie-Gruppen hinweg normalisiert, indem der Mittelwert abgezogen und durch die Standardabweichung der Belohnungen für diese spezifische Agentenrolle geteilt wird.
Clipped Surrogate Objective: Das Framework verwendet eine Clipped-Objective-Funktion, um stabile Policy-Updates zu gewährleisten und große Abweichungen zu verhindern, die den kollaborativen Lernprozess destabilisieren könnten.

3. Wesentliche Beiträge

Das Paper skizziert drei primäre Beiträge:

SHARP-Framework: Ein neuartiges RL-Framework, das das Multi-Agenten-Training durch die Normalisierung agentenspezifischer Advantages und die Bereitstellung präziser Credit-Attribution stabilisiert und eine einheitliche Lösung für die Ausrichtung heterogener Agenten bietet.
Flexible Reward-Dekomposition: Die Einführung eines tripartite dekomponierten Belohnungsmechanismus (Globale Ausrichtung, Shapley-basierter Marginal Credit und Prozessvalidität), der für verschiedene LLM-Größen und Multi-Agenten-Strukturen (sequenzielle Ketten, Kommunikationsgraphen und hierarchische Planner-Worker-Paradigmen) anwendbar ist.
Empirische Validierung: Umfangreiche Experimente zeigen, dass SHARP bestehende State-of-the-Art-Baselines, einschließlich Single-Agent-RL und bestehender Multi-Agenten-Frameworks, signifikant übertrifft.

4. Experimentelle Ergebnisse

Die Autoren evaluierten SHARP über fünf reale Benchmarks hinweg: MuSiQue, GAIA-text, WebWalkerQA, FRAMES und DocMath-Eval.

Leistungssteigerungen: Mit einem Qwen3-8B Backbone erreichte SHARP durchschnittliche Verbesserungen der Match-Rate um 23,66 % gegenüber Single-Agent-Ansätzen und um 14,05 % gegenüber bestehenden Multi-Agenten-Baselines.
Ablationsstudien: Das Entfernen der Shapley-basierten Credit-Zuweisung führte zu signifikanten Leistungseinbußen, was bestätigt, dass die Modellierung des marginalen Credits ein entscheidender Treiber des Erfolgs ist – mehr noch als die architektonische Komplexität allein.
Skalierbarkeit: SHARP zeigte starke Skalierungsgesetze und erzielte eine Verbesserung von 14,41 Punkten gegenüber Single-Agent-Baselines auf einem 8B Backbone. Die Leistungsgewinne vergrößerten sich mit zunehmender Modellgröße.
Stabilität: Im Gegensatz zu Baselines, die während des Trainings Fluktuationen zeigten, wies SHARP eine monotone Verbesserung der Genauigkeit über 180 Optimierungsschritte auf, was auf eine reduzierte Reward-Varianz hindeutet.
Koordinationsanalyse: SHARP gestaltete die Interaktionen der Agenten um, indem der Anteil „nützlicher“ Subagenten erhöht und der Anteil „schädlicher“ Subagenten-Aufrufe von 5,48 % auf 4,40 % gesenkt wurde.

5. Bedeutung und Ansprüche

Das Paper behauptet, dass SHARP ein mathematisch fundiertes Fundament zur Bewältigung des Credit-Assignment-Engpasses in kollaborativen Multi-Agenten-Systemen bietet. Durch die explizite Trennung individueller kausaler Einflüsse von aggregierten Ergebnissen ermöglicht SHARP:

Stabile gemeinsame Optimierung: Erleichterung einer kohärenten Koordination zwischen heterogenen Agenten.
Interpretierbarkeit: Einblick darin, welche Agenten positiv oder negativ zu einer Aufgabe beitragen.
Generalisierung: Demonstration robuster Leistung über diverse Aufgabenverteilungen und Modellskalen hinweg.

Die Autoren positionieren SHARP nicht bloß als Leistungsbooster, sondern als einen prinzipienbasierten Ansatz für skalierbare und interpretierbare Koordination in hierarchischen MAS, wobei sie nahelegen, dass eine präzise Credit-Attribution essenziell für das effektive Training von Tool-augmentierten Multi-Agenten-Systemen ist.