🤖 AI

MARFT: Multi-Agent Reinforcement Fine-Tuning

Dieses Paper führt Multi-Agent Reinforcement Fine-Tuning (MARFT) ein, ein umfassendes Framework, das eine neue Markov-Spiel-Formulierung namens Flex-MG sowie einen universellen algorithmischen Ansatz umfasst, der darauf ausgelegt ist, die einzigartigen Herausforderungen bei der Anwendung von Reinforcement Learning auf auf Large Language Models basierende Multi-Agenten-Systeme zu bewältigen.

Ursprüngliche Autoren: Junwei Liao, Muning Wen, Jun Wang, Weinan Zhang

Veröffentlicht 2026-06-02

📖 6 Min. Lesezeit🧠 Tiefgang

CC BY 4.0

Ursprüngliche Autoren: Junwei Liao, Muning Wen, Jun Wang, Weinan Zhang

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Die Kernidee: Einem Team von KI-Experten beibringen, zusammenzuarbeiten

Stellen Sie sich vor, Sie haben ein Team aus hochintelligenten Robotern (Large Language Models oder LLMs), die sehr gut darin sind, zu kommunizieren und zu schreiben. Individuell sind sie klug. Aber wenn man sie bittet, gemeinsam ein komplexes Problem zu lösen – wie etwa die Planung einer Reise, das Schreiben eines komplexen Computerprogramms oder die Durchführung wissenschaftlicher Forschung – haben sie oft Schwierigkeiten. Sie reden sich gegenseitig ins Wort, vergessen, wer wofür zuständig ist, oder verlieren das Ziel aus den Augen.

Diese Arbeit stellt eine neue Trainingsmethode namens MARFT (Multi-Agent Reinforcement Fine-Tuning) vor. Betrachten Sie MARFT als ein spezialisiertes „Team-Coaching-System“, das darauf ausgelegt ist, diesen KI-Agenten beizubringen, effektiv zusammenzuarbeiten, ohne dabei ihre individuelle Intelligenz zu verlieren.

Das Problem: Warum alte Methoden scheitern

Die Autoren erklären, dass wir nicht einfach die alten Regeln für das Training von Roboter-Teams (genannt Multi-Agent Reinforcement Learning oder MARL) auf diese neuen KI-Teams anwenden können. Hier ist der Grund:

Das Missverhältnis zwischen „Simultan“ und „Sequentiell“:
- Der alte Weg: Traditionelles Training geht davon aus, dass alle zur exakt gleichen Zeit handeln, wie zum Beispiel ein Fußballteam, das gleichzeitig den Ball schießt.
- Das echte Leben: KI-Agenten arbeiten meistens in einer Sequenz (Abfolge). Ein Agent sagt vielleicht: „Ich benötige das Datum“, und der nächste Agent wartet, bis er das gehört hat, bevor er sagt: „Okay, ich werde den Flug buchen.“
- Die Lösung: MARFT behandelt das Team wie ein Staffellauf oder ein Gespräch, bei dem eine Person spricht und dann die nächste, anstatt dass alle gleichzeitig schreien.
Die „Identitätskrise“:
- Der alte Weg: In traditionellem Training sind Agenten oft identische Zwillinge.
- Das echte Leben: In einem echten KI-Team gibt es einen „Planer“, einen „Programmierer“ und einen „Prüfer“. Sie haben unterschiedliche Aufgaben und unterschiedliche „Persönlichkeiten“ (Prompts).
- Die Lösung: MARFT lehrt das System, diese spezifischen Rollen zu respektieren. Es stellt sicher, dass der „Programmierer“ nicht versucht, wie der „Planer“ zu agieren.
Das Risiko des „Vergessens“:
- Der alte Weg: Wenn man einen Roboter zu hart darauf trainiert, ein Spiel zu gewinnen, könnte er vergessen, wie man menschliche Sprache spricht.
- Das echte Leben: Wir wollen, dass diese KI-Agenten besser darin werden, Aufgaben zu lösen, ohne zu vergessen, wie man gute Sätze schreibt oder Kontexte versteht.
- Die Lösung: MARFT ist eine „Fine-Tuning“-Methode. Es ist wie ein sanfter Anstoß statt einer massiven Überarbeitung. Es verbessert ihr Teamwork, während ihre ursprünglichen Sprachfähigkeiten intakt bleiben.

Die Lösung: Wie MARFT funktioniert

Die Arbeit schlägt ein neues Framework namens Flex-MG (Flexible Markov Game) vor. So funktioniert es in einfacher Sprache:

Die „Abhängigkeitskarte“: Stellen Sie sich ein Flussdiagramm vor. MARFT erstellt eine Karte, die besagt: „Agent B kann nicht handeln, bis Agent A fertig ist.“ Dies berücksichtigt die Tatsache, dass KI-Agenten oft von den Ergebnissen der anderen abhängig sind.
Der „Coach“ (Zentraler Kritiker): MARFT nutzt einen zentralen „Coach“ (ein neuronales Netzwerk), der das gesamte Team beobachtet. Anstatt einen Agenten nur dafür zu loben, dass er seinen eigenen Job gut gemacht hat, lobt der Coach den Agenten dafür, dass er dem gesamten Team geholfen hat, zu gewinnen.
Training auf Token-Ebene: Anstatt nur das Endergebnis zu belohnen (wie „Wurde der Flug gebucht?“), betrachtet MARFT jedes einzelne Wort (Token), das die Agenten generieren. Es ist wie ein Lehrer, der einen Aufsatz eines Schülers Satz für Satz bewertet, anstatt nur die Endnote zu geben. Dies hilft den Agenten zu lernen, wie sie denken sollen, und nicht nur, was sie sagen sollen.

Die Experimente: Funktioniert es tatsächlich?

Die Autoren testeten diese Methode bei zwei schwierigen Aufgaben: Mathematik und Programmierung.

Der Aufbau: Sie erstellten Teams von KI-Agenten (2, 3 oder 4 Agenten) mit unterschiedlichen Rollen (z. B. Planer, Löser, Verifizierer).
Der Vergleich: Sie verglichen MARFT mit der Standardmethode (Independent PPO), bei der die Agenten separat trainiert und dann zusammengeführt werden.
Die Ergebnisse:
- Bessere Punktzahlen: MARFT-Teams erzielten konsistent höhere Werte bei mathematischen Problemen und Programmier-Benchmarks als die Standard-Teams.
- Stabilität: Die Standardmethode stürzte während des Trainings manchmal ab oder geriet durcheinander. MARFT verbesserte sich stetig und reibungslos.
- Die „Anonymitäts“-Überraschung: In einem interessanten Experiment trainierten sie Teams, ohne ihnen spezifische Jobtitel (wie „Planer“ oder „Löser“) zu geben. Überraschenderweise lernten die anonymen Teams, ihre eigenen Rollen zu finden, und schnitten in einigen Fällen sogar besser ab als die Teams mit fest zugewiesenen Rollen. Dies deutet darauf hin, dass MARFT flexibel genug ist, um die KI ihre eigene Organisation finden zu lassen.

Das „Flex-MG“-Konzept

Die Arbeit führt ein neues mathematisches Modell namens Flex-MG ein. Betrachten Sie dies als ein neues Regelwerk für ein Brettspiel.

Im alten Regelwerk zieht jeder gleichzeitig.
Im Flex-MG-Regelwerk verändert sich das Spiel während des Spielens. Manchmal ziehen Sie alleine; manchmal müssen Sie auf einen Teamkollegen warten. Manchmal ändern sich die Regeln basierend auf dem, was im vorherigen Zug passiert ist. Dieses Regelwerk ist speziell für die chaotische, dynamische Art konzipiert, wie echte KI-Teams arbeiten.

Was kommt als Nächstes? (Herausforderungen)

Die Autoren geben zu, dass MARFT zwar ein großer Schritt nach vorne ist, es aber noch Hürden gibt:

Schwierigkeit, Übungsfelder zu finden: Es ist schwierig, realistische, dynamische Umgebungen (wie eine simulierte Stadt oder ein komplexes Büro) zu bauen, in denen diese KI-Teams üben können.
Datenhungrig: Wie alle KI-Trainings benötigt es viele hochwertige Beispiele, um zu lernen.
Kein Standard-Werkzeug: Es gibt noch keinen einheitlichen, leicht zu bedienenden „Werkzeugkasten“, der all diese Funktionen für jeden nutzbar macht.

Zusammenfassung

Kurz gesagt: MARFT ist eine neue Art, Teams von KI-Agenten zu trainieren. Anstatt sie wie identische Roboter zu behandeln, die ein synchronisiertes Spiel spielen, behandelt es sie wie eine vielfältige Gruppe menschlicher Experten, die nacheinander arbeiten. Es nutzt einen „Coach“, um sie zu leiten, respektiert ihre spezifischen Rollen und stellt sicher, dass sie besser im Teamwork werden, ohne zu vergessen, wie man menschliche Sprache spricht. Die Ergebnisse zeigen, dass diese Methode KI-Teams intelligenter, stabiler und besser darin macht, komplexe Probleme wie Mathematik und Programmierung zu lösen.

Technisches Resümee: MARFT: Multi-Agent Reinforcement Fine-Tuning

Problemstellung

Auf Large Language Models (LLM) basierende Multi-Agenten-Systeme (LaMAS) haben ein signifikantes Potenzial bei der Lösung komplexer, agentischer Aufgaben gezeigt, die mehrschichtiges Denken und Kollaboration erfordern. Die Optimierung dieser Systeme bleibt jedoch eine Herausforderung. Während Reinforcement Learning (RL) sich für Single-Agent-LLMs durch Reinforcement Fine-Tuning (RFT) als effektiv erwiesen hat, führt die direkte Anwendung konventioneller Multi-Agent Reinforcement Learning (MARL) auf LaMAS zu erheblichen Reibungsverlusten.

Das Kernproblem liegt in der Diskrepanz zwischen den traditionellen MARL-Annahmen und den einzigartigen Charakteristika von LaMAS. Traditionelles MARL setzt oft synchrone Agenten-Ausführung, homogene Agenten-Strukturen und statische Systemorganisationen voraus. Im Gegensatz dazu operiert LaMAS mit:

Asynchronen Interaktionen: Agenten agieren oft sequenziell oder hängen von den Ausgaben anderer ab.
Heterogenität: Agenten können unterschiedliche Basismodelle, Vokabularien, externe Werkzeuge und Input/Output-Formate besitzen.
Profilbewusstem Design: Agenten benötigen spezifische System-Prompts (Profile), um ihre Rollen zu definieren, die in Standard-MARL-Benchmarks nicht vorhanden sind.
Dynamischer Organisation: Aufgabenzerlegung und Agenten-Koordination können sich je nach Problemkontext dynamisch ändern.

Die naive Anwendung von Single-Agent RFT oder Standard-MARL (z. B. Independent PPO) auf diese Settings führt zu instabilem Training, inaktiven Agenten und ineffizienter Kommunikation. Es mangelt an einem vereinheitlichten Framework, das RFT-Prinzipien mit der spezifischen Dynamik von Multi-Agent-LLMs integriert.

Methodik

1. Theoretische Formulierung: Flex-MG

Um diese Diskrepanzen zu adressieren, schlagen die Autoren Flex-MG (Flexible Markov Game) vor, eine neue spieltheoretische Formulierung, bezeichnet als $\langle V, N, S, A, T, R, \gamma, D \rangle$ .

Abhängigkeitsfunktion ( $D$ ): Eine neuartige Komponente $D: A \times A \rightarrow \{0, 1\}$ , die Inter-Agenten-Abhängigkeiten explizit modelliert. Wenn $D(a_i, a_j) = 1$ , ist die Entscheidung von Agent $j$ bedingt abhängig von der Aktion von Agent $i$ . Dies ermöglicht es dem Framework, die asynchrone und sequentielle Natur von LaMAS-Workflows zu erfassen.
Zustands- und Aktionsräume: Das Framework ermöglicht heterogene Agenten, wobei Aktions- und Beobachtungsräume über verschiedene Agenten hinweg variieren können, wobei Agenten-Profile in den Beobachtungsvektor einbezogen werden.

2. Das MARFT-Framework

Das Paper führt Multi-Agent Reinforcement Fine-Tuning (MARFT) ein, ein Paradigma, das RFT an den Multi-Agenten-Bereich anpasst. Die methodischen Kernkomponenten umfassen:

Reformulierung der sequenziellen Entscheidungsfindung: Unter Nutzung des Multi-Agent Advantage Decomposition Theorems formuliert MARFT das Multi-Agenten-Problem als einen sequenziellen Entscheidungsprozess um. Agenten generieren Aktionen in einer bestimmten Reihenfolge (oder Permutation) und konditionieren ihre Policy auf die Aktionen der Vorgänger ( $a_{1:m-1}$ ).
Agent-weise Aktualisierung: Um monotone Verbesserung und Stabilität zu gewährleisten, nutzt MARFT ein sequenzielles Update-Schema, bei dem Agenten nacheinander statt gleichzeitig aktualisiert werden. Dies mildert die Probleme der Nicht-Stationarität ab, die bei gleichzeitigen Updates auftreten.
Aktions- und Token-Normalisierung: Um die variierenden Längen von LLM-generierten Ausgaben (z. B. Chain-of-Thought vs. direkte Antworten) zu handhaben, führt das Framework Normalisierungstechniken ein, welche die gemeinsamen Wahrscheinlichkeiten durch die Token- oder Wortlänge teilen, um einen Bias gegenüber kürzeren oder längeren Sequenzen zu verhindern.
Zwei Instanziierungen:
- Aktions-Ebene (Action-Level): Optimiert die Policy auf der Ebene vollständiger Agenten-Aktionen (Sequenzen von Tokens).
- Token-Ebene (Token-Level): Behandelt jedes Token als eine individuelle Aktion. Dies reduziert die Optimierungskomplexität von $O(|V|^L)$ auf $O(|V| \times L)$ , führt jedoch zu einer Spärlichkeit (Sparsity) der Belohnungen. Die Autoren leiten spezifische Bellman-Backups für dieses Token-Level MG ab, um das verzögerte Belohnungssignal zu handhaben.
Implementierungsstrategie: Das Framework nutzt LoRA (Low-Rank Adaptation) für effizientes Fine-Tuning, wodurch Agenten dasselbe Basismodell teilen, während sie distinkte Adapter für spezifische Rollen beibehalten. Es verwendet einen zentralisierten Critic zur globalen Wertschätzung (Value Estimation), während es eine dezentrale Ausführung beibehält.

Zentrale Beiträge

Konzeptualisierung von MARFT: Das Paper definiert formal Multi-Agent Reinforcement Fine-Tuning und unterscheidet es sowohl von Single-Agent RFT als auch von traditionellem MARL, indem es die einzigartigen Beschränkungen von LaMAS (Asynchronität, Heterogenität und Profilabhängigkeit) hervorhebt.
Flex-MG-Formulierung: Die Einführung des Flexible Markov Game bietet eine mathematische Grundlage, die Inter-Agenten-Abhängigkeiten explizit modelliert und so die Lücke zwischen statischen MARL-Umgebungen und dynamischen LaMAS-Workflows schließt.
Algorithmisches Framework: Die Autoren präsentieren einen skalierbaren, modularen Algorithmus (Algorithmus 3), der sequentielle Advantage-Dekomposition, Agent-weise Aktualisierungen und Token-Level-Adaptionen integriert.
Open-Source-Implementierung: Eine vollständige Open-Source-Implementierung des MARFT-Frameworks wird bereitgestellt, um die Adoption und weitere Forschung zu erleichschen.

Experimentelle Ergebnisse

Die Autoren evaluierten MARFT bei mathematischen Denkaufgaben (DeepScaler, AIME2024, MATH500, etc.) und Coding-Aufgaben (DeepCoder, LiveCodeBench, CodeForces) unter Verwendung von Qwen2.5 Basismodellen.

Performance vs. Independent PPO (MAPoRL): MARFT übertraf Independent PPO (den Standard-Baseline für Multi-Agent-LLMs) konsistent über verschiedene Benchmarks hinweg. Die Performance-Lücke vergrößerte sich mit steigender Anzahl der Agenten (von Duo zu Quad-Konfigurationen), was darauf hindeutet, dass MARFT besser mit der Systemkomplexität skaliert.
Trainingsstabilität: Die Trainingskurven zeigten, dass MARFT eine monotone Verbesserung erreicht und die während des Trainings beobachteten "Crashes" oder Instabilitäten von Independent PPO vermeidet.
Ablation der Rollenspezifikation: Eine Ablationsstudie verglich vor konfigurierte Rollenbeschreibungen (z. B. "Planner", "Solver") mit anonymen Agenten. Überraschenderweise übertraf die anonyme Einstellung (in der Agenten keine expliziten Rollen via System-Prompts zugewiesen bekamen) die vor konfigurierte Einstellung in der frühen und mittleren Trainingsphase. Dies deutet darauf hin, dass es effektiver sein kann, Agenten während des Fine-Tuning-Prozesses die Selbstentwicklung von Rollenverteilungen zu ermöglichen, anstatt starre, vom Menschen definierte Rollen vorzugeben.
Skalierungsbeobachtungen: Während die Erhöhung der Anzahl homogener Agenten keine proportionalen Leistungssteigerungen lieferte (aufgrund abnehmender Grenzerträge und redundanter Denkpfade), verbesserte MARFT die absolute Kapazität des Systems auf jeder Skala konsistent.

Bedeutung und Ansprüche

Das Paper positioniert MARFT als notwendige Evolution im Bereich der agentischen Systeme. Seine Bedeutung liegt in:

Überbrückung von Theorie und Praxis: Es bietet einen fundierten Ansatz zur Anwendung von RL-Fine-Tuning auf die komplexen, realen Dynamiken von Multi-Agent-LLMs und geht damit über die Limitationen synchroner, homogener MARL-Annahmen hinaus.
Ermöglichung resilienter Kollaboration: Durch die Bewahrung der grundlegenden Sprachfähigkeiten vortrainierter LLMs bei gleichzeitiger Verbesserung ihrer kollaborativen Denkfähigkeit zielt MARFT darauf ab, Systeme zu schaffen, die robust, adaptiv und menschenorientiert sind.
Roadmap für zukünftige Forschung: Die Autoren identifizieren kritische offene Herausforderungen, einschließlich des Mangels an dynamischen Trainingsumgebungen, der geringen Stichproben-Effizienz (Sample Efficiency), des Fehlens vereinheitlichter Kommunikationsprotokolle und der Notwendigkeit standardisierter Frameworks. Sie schlagen MARFT als einen grundlegenden Schritt vor, um skalierbare, kollaborative AGI-Systeme zu realisieren, die in der Lage sind, komplexe Open-World-Probleme zu lösen.

Das Werk kommt zu dem Schluss, dass trotz bestehender Herausforderungen das MARFT-Paradigma einen robusten Mechanismus darstellt, um die kollektive Intelligenz von LLM-basierten Multi-Agenten-Systemen voranzutreiben, insbesondere in Domänen, die verteilte Denkprozesse und dynamische Koordination erfordern.