🤖 AI

UnityMAS-O: A General RL Optimization Framework for LLM-Based Multi-Agent Systems

UnityMAS-O ist ein allgemeines Reinforcement-Learning-Framework, das LLM-basierte Multi-Agenten-Systeme optimiert, indem es gesamte Workflows als Trainingseinheit behandelt, logische Rollen durch eine flexible Vier-Objekt-Abstraktion von Modellparametern entkoppelt und signifikante Leistungssteigerungen bei diversen Aufgaben wie Fragenbeantwortung und Codegenerierung nachweist.

Ursprüngliche Autoren: Yiqun Chen, Wei Yang, Erhan Zhang, Shijie Wang, Qi Liu, Zechun Niu, Bin Zhang, Haitao Li, Rui Li, Lingyong Yan, Jinyuan Feng, Biqing Qi, Xiaochi Wei, Yan Gao, Yi Wu, Yao Hu, Jiaxin Mao

Veröffentlicht 2026-05-27

📖 5 Min. Lesezeit🧠 Tiefgang

CC BY 4.0

Ursprüngliche Autoren: Yiqun Chen, Wei Yang, Erhan Zhang, Shijie Wang, Qi Liu, Zechun Niu, Bin Zhang, Haitao Li, Rui Li, Lingyong Yan, Jinyuan Feng, Biqing Qi, Xiaochi Wei, Yan Gao, Yi Wu, Yao Hu, Jiaxin Mao

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Stellen Sie sich vor, Sie haben ein Team von KI-Assistenten, die zusammenarbeiten, um ein komplexes Rätsel zu lösen, wie etwa das Schreiben eines Computerprogramms oder das Finden der Antwort auf eine knifflige Frage. Derzeit sind die meisten dieser Teams wie eine Gruppe von Menschen, denen ein striktes Skript vorgegeben wurde. Sie wissen, was sie sagen sollen und wann sie es sagen sollen, weil ein Mensch die Regeln geschrieben hat, aber sie haben nicht tatsächlich gelernt, wie sie besser zusammenarbeiten können. Wenn eine Person einen Fehler macht, kann das gesamte Team scheitern, und das System weiß nicht, wie es dies beheben soll.

UnityMAS-O ist ein neuer „Trainingsraum", der entwickelt wurde, um diese KI-Teams beizubringen, aus ihren eigenen Erfahrungen zu lernen, genau wie ein Sportteam trainiert, um ein Spiel zu gewinnen.

So funktioniert es, unter Verwendung einfacher Analogien:

1. Das Problem: Das „skriptierte" Team vs. das „lernende" Team

Derzeit, wenn Sie ein KI-Team ein Problem lösen lassen wollen, müssen Sie jeden Schritt manuell aufschreiben: „Zuerst sucht der Sucher nach Informationen. Dann schreibt der Autor einen Entwurf. Dann prüft der Kritiker ihn."

Das Problem: Wenn der Sucher schlechte Informationen findet, kann der Autor sie nicht korrigieren, weil der Autor nicht darauf trainiert wurde, mit schlechten Informationen umzugehen. Das gesamte Team bleibt bei denselben Fehlern stecken.
Die UnityMAS-O-Lösung: Anstatt ihnen nur ein Skript zu geben, behandelt UnityMAS-O das gesamte Team als eine einzelne Einheit, die trainiert werden kann. Es lässt das Team das Spiel spielen, sehen, was passiert, und passt dann ihre „Gehirne" an, damit sie beim nächsten Mal besser funktionieren.

2. Die vier Bausteine (Das „Spielbuch")

Um das Team zu trainieren, verwendet UnityMAS-O vier Hauptwerkzeuge, die in der Arbeit als „First-Class-Objekte" bezeichnet werden:

Logische Rollen (Die Stellenbeschreibungen): Sie definieren, wer was tut. Es gibt einen „Planer", einen „Sucher", einen „Coder" und einen „Reflektor". Denken Sie an diese wie an die Jobtitel auf einer Visitenkarte.
Der Workflow-Graph (Das Flussdiagramm): Sie zeichnen eine Karte, die zeigt, wie sich das Team bewegt. Spricht der Planer zuerst mit dem Sucher? Arbeiten sie parallel? Dies ist das Spielbuch des Teams.
Die Gehirnzuordnung (Wer denkt?): Dies ist eine clevere Funktion. Sie können entscheiden, ob jede Rolle ihr eigenes einzigartiges Gehirn (ein separates KI-Modell) hat, oder ob sie alle ein riesiges Gehirn teilen, oder ob einige Rollen ein Gehirn teilen, während andere ihr eigenes haben. Es ist wie die Entscheidung, ob Ihre Teammitglieder alle dieselbe Person sind, die verschiedene Hüte trägt, oder ob sie alle verschiedene Personen sind.
Die Punktezettel (Belohnungen): Dies ist der wichtigste Teil. In der Vergangenheit erhielten Sie nur am Ende eine Bewertung (z. B. „Hat der Code funktioniert?"). UnityMAS-O gibt bei jedem Schritt Punkte.
- Beispiel: Wenn der Sucher einen wirklich guten Hinweis findet, erhält er sofort einen kleinen „Gut gemacht"-Punkt. Wenn der Coder einen Fehler macht, den der Reflektor korrigiert, erhält der Reflektor Punkte für die Korrektur. Dies hilft dem Team zu lernen, genau wer was richtig oder falsch gemacht hat.

3. Wie das Training stattfindet (Der „Trainer und die Spieler")

Das System ist wie eine professionelle Sportorganisation aufgebaut:

Die zentrale Steuerung (Der Trainer): Dies ist der Hauptmanager. Er führt das Spiel, sagt den Spielern, wann sie handeln sollen, und verfolgt die Punktzahl. Er leistet nicht die schwere Arbeit des Denkens; er verwaltet nur den Ablauf.
Die Arbeitsgruppen (Die Spieler): Dies sind die eigentlichen KI-Modelle, die die Arbeit verrichten. Sie generieren Antworten, speichern ihr „Muskelgedächtnis" (Daten) und aktualisieren ihre Fähigkeiten basierend auf dem Feedback des Trainers.
Die Schleife: Der Trainer sendet eine Aufgabe -> Die Spieler erledigen ihre Aufgaben -> Der Trainer überprüft die Ergebnisse und weist Punkte zu -> Die Spieler aktualisieren ihre Gehirne, um beim nächsten Mal besser zu sein.

4. Was passierte, als sie es versuchten?

Die Forscher testeten dies an zwei Haupttypen von Aufgaben:

Fragenbeantwortung (Die Detektivarbeit): Sie baten die KI-Teams, Antworten auf schwierige Fragen zu finden.
- Ergebnis: Vor dem Training scheiterten kleine KI-Teams oft vollständig. Nach dem Training mit UnityMAS-O wurden sie viel besser. Selbst die kleinen Teams lernten, die richtigen Hinweise zu finden und bessere Antworten zu schreiben.
Code-Generierung (Die Software-Bauer): Sie baten die KI-Teams, Computercode zu schreiben, der alle Tests besteht.
- Ergebnis: Die trainierten Teams schrieben Code, der viel häufiger funktionierte. Interessanterweise wurden sie auch effizienter. Sie benötigten weniger „Versuche" (Verifizierungsrunden), um den Code richtig zu bekommen, was bedeutet, dass sie weniger Zeit und Energie verschwendeten.

5. Warum dies wichtig ist

Die Arbeit behauptet, dass UnityMAS-O ein „allgemeines Framework" ist. Das bedeutet, Sie müssen nicht jedes Mal ein neues Trainingssystem bauen, wenn Sie ein neues KI-Team wollen. Sie definieren einfach die Rollen, zeichnen das Flussdiagramm und legen die Bewertungsregeln fest, und UnityMAS-O übernimmt den Rest.

Es verwandelt ein starres, manuell geschriebenes Skript in ein flexibles, trainierbares Team, das lernen kann, sich zu koordinieren, zu spezialisieren und seine eigene Leistung im Laufe der Zeit zu verbessern. Die Arbeit zeigt, dass dies für Suchaufgaben, Codierung und potenziell andere komplexe Jobs funktioniert, und beweist, dass KI-Teams lernen können, effektiv zusammenzuarbeiten, nicht nur Befehle zu befolgen.

Technische Zusammenfassung: UnityMAS-O

Problemstellung

Aktuelle auf Large Language Models (LLM) basierende Multi-Agenten-Systeme zerlegen komplexe Aufgaben typischerweise in interagierende Rollen (z. B. Planer, Retriever, Codierer), verlassen sich jedoch auf manuell orchestrierte Workflows, die durch Prompts, Tools und Kontrollregeln definiert sind. Obwohl diese Systeme bei der Inferenz effektiv sind, werden die Agenten selbst selten durch eine einheitliche Reinforcement-Learning-(RL-)Schnittstelle optimiert. Bestehende RL-Nachtrainingsframeworks (z. B. TRL, OpenRLHF, verl) zielen primär auf die Optimierung einzelner Richtlinien ab. Ihnen fehlen die Abstraktionen, die notwendig sind, um beliebige benutzerdefinierte Multi-Agenten-Systeme zu optimieren, die strukturierte Interaktion, rollenspezifische Kreditvergabe und konfigurierbares Parameter-Sharing erfordern. Folglich führt das Training von Multi-Agenten-Pipelines häufig zu aufgaben spezifischen Implementierungen, die verschiedene Parameter-Sharing-Regime nicht einfach vergleichen oder die Infrastruktur über Workflows hinweg wiederverwenden können.

Methodik: UnityMAS-O

UnityMAS-O ist ein allgemeines RL-Optimierungsframework, das entwickelt wurde, um einen vollständigen Multi-Agenten-Workflow als Optimierungseinheit zu behandeln, anstatt eine einzelne Antwort oder Richtlinien-Trajektorie. Entwickelt durch Erweiterung des verl-Frameworks mit einer auf Ray basierenden Stern-Topologie-Laufzeitumgebung, führt es vier erstklassige Abstraktionen ein, um das logische Agentendesign von physikalischen Modellparametern zu entkoppeln:

Logische Agentenrollen: Benutzer definieren Rollen (z. B. Planer, Verifizierer) mit spezifischen Prompts, E/A-Schemata und Tool-Zugriff. Dies sind Workflow-Ebene-Objekte, die nicht an eindeutige Parametersätze gebunden sind.
Agent–Modell-Zuordnungen ( $\phi$ ): Eine konfigurierbare Zuordnung von logischen Rollen zu physikalischen LLM-Instanzen. Dies unterstützt drei Regime:
- Vollständiges Sharing: Alle Rollen werden einem einzigen Modell zugeordnet.
- Vollständige Trennung: Jede Rolle wird einer unabhängigen Instanz zugeordnet.
- Teilweises Sharing: Gruppen verwandter Rollen teilen Parameter, während andere unterschiedliche Modelle verwenden.
Workflow-Graphen ( $G$ ): Gerichtete Berechnungsgraphen, die den Ausführungsfluss darstellen (sequentiell, parallel, iterativ oder hybrid). Die Ausführung erzeugt strukturierte Trajektorien, die Zustände, Aktionen und Kontrollabhängigkeiten enthalten.
Rollenspezifische Belohnungsfunktionen: Belohnungen werden auf Knoten-, Zug- und Trajektorienebene definiert. Das Framework unterstützt verzögerte Belohnungen und Signale für marginale Verbesserungen (z. B. $\Delta$ F1 oder $\Delta$ score) und weist Kredit den spezifischen Agenten zu, die für Zwischenzustände oder Endergebnisse verantwortlich sind.

Systemarchitektur:
Das System verwendet einen zentralen Controller und modelllokale Worker-Gruppen.

Zentraler Controller: Führt den benutzerdefinierten Workflow aus, leitet logische Agentenaufrufe basierend auf $\phi$ an die entsprechende Worker-Gruppe weiter, zeichnet strukturierte Trajektorien auf und fasst Belohnungen zusammen.
Worker-Gruppen: Assoziiert mit spezifischen physikalischen LLM-Instanzen, verarbeiten diese Gruppen asynchrone Inferenz, puffern Rollout-Tensoren (Log-Wahrscheinlichkeiten, Werte), berechnen Vorteile und führen verteilte PPO-artige Richtlinienupdates durch.
Datentrennung: Workflow-Kontrollmetadaten bleiben „dünn" und zentral, während schwere Trainingstensoren „fett" und lokal zu den Worker-Gruppen bleiben, wodurch Kommunikationsaufwand minimiert wird.

Hauptbeiträge

Die Arbeit präsentiert folgende Beiträge:

Vereinheitlichte Abstraktion: Ein Framework, das benutzerdefinierte Workflow-Graphen, logische Agentenrollen, Agent-zu-Modell-Zuordnungen und strukturierte Multi-Agenten-Trajektorien gemeinsam repräsentiert.
Konfigurierbares Parameter-Sharing: Native Unterstützung für vollständiges Sharing, vollständige Trennung und teilweises Sharing, was eine kontrollierte Untersuchung von Spezialisierung, Ressourcenkosten und Optimierungsverhalten ohne Umschreiben der Trainingspipeline ermöglicht.
Verteilte Laufzeitumgebung: Eine auf Ray + verl basierende Architektur mit zentraler Workflow-Kontrolle, asynchronem Rollout, modelllokaler Pufferung und pro-Modell-Richtlinienupdates.
Allgemeine Optimierungsschnittstelle: Eine Schnittstelle, die es Benutzern ermöglicht, Workflows, Agenten, Modellzuordnungen und Belohnungen für diverse Systeme zu definieren, ohne die zugrunde liegende Optimierungsinfrastruktur zu modifizieren.
Open-Source-Implementierung: Veröffentlichung des Frameworks unter https://github.com/chenyiqun/UnityMAS-O.

Experimentelle Ergebnisse

Die Autoren instanziieren UnityMAS-O auf zwei Familien verifizierbarer Aufgaben: retrieval-augmentierte Frage-Antwort-Systeme (QA) und reflektive Code-Generierung.

QA und Agentische Suche:
Experimente wurden an Natural Questions (NQ) und HotpotQA durchgeführt, wobei Workflows von paralleler Retrieval bis zu iterativen Suchschleifen (M-ASK) reichten.

Leistungssteigerungen: Das Training mit Multi-Agenten-RL (MARL) verbesserte die Leistung über alle bewerteten Workflows und Modellskalen (0,5B bis 14B) hinweg.
Auswirkung kleiner Modelle: Die Gewinne waren besonders ausgeprägt für kleinere Modelle (z. B. verbesserten sich 0,5B-Agenten von ~0,02 auf ~0,44 F1 auf NQ), was darauf hindeutet, dass MARL rollenspezialisierten Agenten hilft, Workflow-Protokolle zu erfüllen und effektiv zu koordinieren.
Parameter-Sharing: Experimente, die geteilte gegen unabhängige Modelle verglichen (z. B. 3B geteilt vs. 4x3B unabhängig), zeigten, dass geteilte Modelle etwas langsamer konvergieren, aber ähnliche endgültige Leistungsniveaus erreichen, was die Machbarkeit des Trainings logischer Multi-Agenten-Workflows mit geteilten physikalischen Parametern demonstriert.

Reflektive Code-Generierung:
Ein dreirundiger Plan–Code–Verifizieren–Reflektieren-Workflow wurde an zurückgehaltenen Code-Aufgaben getestet.

Strenge Metriken: Unter der strengen „all-passed"-Metrik verbesserte sich der 3xQwen3-4B-Workflow von 0,255 auf 0,686, und der 3xQwen3-8B von 0,290 auf 0,738.
Effizienz: MARL-Training reduzierte die durchschnittliche Anzahl der zur Problemlösung erforderlichen Verifizierungszüge (von ~2,5 auf ~1,7), was auf ein verbessertes internes Stoppverhalten und eine höhere Ausführungseffizienz hinweist.

Bedeutung und Behauptungen

Die Arbeit behauptet, dass die primäre Engstelle in vielen auf LLM basierenden Multi-Agenten-Systemen nicht das Design des Workflows selbst ist, sondern das Fehlen einer prinzipiellen Optimierungsschnittstelle für den Workflow nach dem Design. UnityMAS-O adressiert dies, indem es manuell spezifizierte Multi-Agenten-Systeme in trainierbare Multi-Agenten-Richtlinien umwandelt.

Die Autoren positionieren UnityMAS-O als wiederverwendbare Optimierungsgrundlage, die Folgendes ermöglicht:

Systematische Optimierung: Umwandlung diverser Workflows in trainierbare RL-Systeme mit expliziter Kreditvergabe.
Flexibilität: Untersuchung von Zielkonflikten zwischen Spezialisierung und Ressourceneffizienz durch konfigurierbares Parameter-Sharing.
Effizienz: Verbesserung nicht nur der endgültigen Korrektheit, sondern auch der Koordinations- und Ausführungseffizienz von Multi-Agenten-Interaktionen.

Die Arbeit wird als praktische Systemgrundlage für das Training komplexer Multi-Agenten-Systeme und als Plattform zur Untersuchung von Koordination, Spezialisierung und Skalierbarkeit in solchen Systemen präsentiert, nicht als Benchmark-Tool für spezifische Aufgaben. Die Autoren weisen darauf hin, dass laufende Experimente in embodied agents und Software Engineering im Gange sind, um die Allgemeingültigkeit des Frameworks weiter zu validieren.