🤖 machine learning

Multi $^2$ : Hierarchical Multi-Agent Decision-Making with LLM-Based Agents in Interactive Environments

Das Papier stellt Multi $^2$ vor, ein hierarchisches Multi-Agenten-Framework, das einen mittels Supervised Fine-Tuning trainierten High-Level-Planer mit einem auf Reinforcement Learning basierenden Low-Level-Executor kombiniert, um Objective Drift zu mildern und eine robuste Entscheidungsfindung über lange Zeiträume in dynamischen interaktiven Umgebungen zu erreichen, begleitet von der Veröffentlichung von drei neuen Benchmark-Datensätzen.

Ursprüngliche Autoren: Sangeun Park, Minhae Kwon

Veröffentlicht 2026-06-03

📖 4 Min. Lesezeit☕ Kaffeepausen-Lektüre

CC BY 4.0

Ursprüngliche Autoren: Sangeun Park, Minhae Kwon

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Stellen Sie sich vor, Sie versuchen, einem sehr intelligenten, aber etwas zerstreuten Roboter beizubringen, eine komplexe, mehrstufige Aufgabe in einem Videospiel zu bewältigen. Vielleicht ist das Ziel: „Finde eine seltene Pflanze, mische sie mit Wasser und braue einen Trank.“

Wenn Sie dem Roboter einfach nur sagen: „Geh und mach es“, und ihn dann jeden einzelnen Schritt selbst herausfinden lassen, wird er oft verwirrt. Er vergisst vielleicht, wofür der Trank gedacht war, läuft im Kreis oder versucht, das Wasser zu trinken, anstatt es zu mischen. In der Forschungswelt wird dies als „Objective Drift“ (Zielabweichung) bezeichnet: Der Roboter beginnt die Reise mit einem klaren Ziel, verliert aber auf halbem Weg aus den Augen, was er eigentlich tun sollte.

Das Paper stellt ein neues System namens Multi2 vor, um dieses Problem zu lösen. Betrachten Sie Multi2 nicht als einen einzelnen Roboter, sondern als ein Team aus zwei spezialisierten Arbeitern, die wie ein Chef und ein geschickter Handwerker zusammenarbeiten.

Die zwei Arbeiter: Der Chef und der Handwerker

1. Der Chef (System 1): Der Planer für das „Große Ganze“

Was er tut: Dieser Arbeiter bedient keine Steuerung. Stattdessen betrachtet er das große Ziel und bricht es in kleine, handhabbare Abschnitte auf.
Die Analogie: Stellen Sie sich vor, Sie bauen ein Haus. Der Chef ist der Architekt. Er legt keine Ziegel, sondern zeichnet die Baupläne und sagt: „Zuerst müssen wir das Fundament gießen. Sobald das fertig ist, bauen wir die Wände.“
Wie er lernt: Der Chef wird trainiert, indem man ihm tausende Beispiele für gute Baupläne zeigt (eine Methode namens Supervised Fine-Tuning). Er lernt, klare, kontextbezogene Anweisungen zu geben, damit das Team das Hauptziel nie aus den Augen verliert.

2. Der Handwerker (System 2): Der Ausführende für die „Praxis“

Was er tut: Dieser Arbeiter führt tatsächlich die Arbeit aus und greift zu den Werkzeugen. Er nimmt die Anweisung des Chefs („Gieße das Fundament“) und findet heraus, welche Tasten er genau drücken muss, um dies zu erreichen.
Die Analogie: Der Handwerker ist die Baustelle. Er sind diejenigen, die sich die Hände schmutzig machen, mit dem Schlamm kämpfen und Fehler korrigieren, wenn ein Eimer Beton verschüttet wird.
Wie er lernt: Der Handwerker wird in zwei Phasen trainiert:
- Phase 1 (Offline): Er studiert eine Bibliothek vergangener Bauvideos, um die Grundlagen zu lernen, ohne echte Fehler zu machen.
- Phase 2 (Online): Er geht in die reale Welt (die Spielumgebung) und übt. Wenn er Fehler macht, lernt er sofort daraus. Entscheidend ist, dass er darauf trainiert wird, nah an dem zu bleiben, was er in der Bibliothek gelernt hat, damit er nicht zu „wild“ wird und die Grundlagen vergisst. Dies nennt man Offline-to-Online Reinforcement Learning.

Warum dieses Team besser funktioniert

Das Paper argumentiert, dass bisherige Methoden versuchten, einen einzigen Roboter sowohl planen als auch bauen zu lassen. Das ist so, als würde man vom Architekten verlangen, auch jeden einzelnen Ziegel selbst zu legen. Das ist zu viel Arbeit, und der Architekt vergisst oft den Bauplan, während er gerade einen Nagel einschlägt.

Multi2 löst dies durch die Trennung der Rollen:

Stabilität: Da der Chef (System 1) auf das Planen spezialisiert ist, verliert das Team nie das Hauptziel aus den Augen, selbst wenn die Aufgabe sehr lange dauert.
Effizienz: Der Handwerker (System 2) wird durch Übung besser in spezifischen Aktionen. Das bedeutet, der Roboter muss nicht so viel „denken“ oder so viele Computer-Wörter (Tokens) verwenden, um Aufgaben zu erledigen. Es ist wie bei einem erfahrenen Schreiner, der ein Brett in einer fließenden Bewegung schneidet, während ein Anfänger ständig nachmessen muss.

Die Ergebnisse

Die Forscher testeten dieses Team in drei verschiedenen „Videospiel-Welten“ (ScienceWorld, ALFWorld und TextCraft), in denen Aufgaben viele Schritte erfordern.

Besserer Erfolg: Multi2 löste mehr Aufgaben als andere Methoden, insbesondere die langen, schwierigen Aufgaben, bei denen andere Roboter normalerweise aufgaben oder verwirrt waren.
Weniger Verwirrung: Wenn andere Roboter in Endlosschleifen gerieten (immer wieder dieselbe nutzlose Aktion ausführten), blieb Multi2 auf Kurs.
Energieersparnis: Multi2 verbrauchte weniger Computerressourcen (Tokens), um die gleichen Ergebnisse zu erzielen, was es schneller und effizier macht.

Die „Geheimzutat“

Das Paper veröffentlichte auch einen neuen Datensatz (wie ein neues Lehrbuch für Roboter), der speziell darauf ausgelegt ist, dieses Teamwork zwischen Chef und Handwerker zu lehren. Sie fanden heraus, dass das System scheitert, wenn man das Training vermischt – zum Beispiel, wenn man versucht, dem Chef das Mauern beizubringen oder dem Handwerker das Zeichnen von Bauplänen. Die spezifischen Rollen müssen getrennt bleiben und jeweils spezifisch für ihre Aufgabe trainiert werden.

Kurz gesagt: Multi2 ist ein Weg, KI-Agenten zu bauen, die sich nicht einfach nur durch eine lange Aufgabe „durchraten“, sondern stat�tdessen einen klaren Manager haben, der das Ziel im Blick behält, und einen geschickten Arbeiter, der durch Erfahrung lernt, die Arbeit effizient zu erledigen.

Technisches Resümee: Multi2 – Hierarchische Multi-Agenten-Entscheidungsfindung mit LLM-basierten Agenten

1. Problemstellung

Die zentrale Herausforderung, die mit dieser Arbeit adressiert wird, ist die Fragilität von Large Language Model (LLM)-Agenten in langfristigen interaktiven Umgebungen. Während jüngste LLM-basierte Agenten über starke kontextuelle Argumentationsfähigkeiten verfügen, haben sie Schwierigkeiten mit anhaltender Interaktion und leiden primär unter Zielabweichung (Objective Drift). Da sich die Interaktionen über mehrere Runden erstrecken, weichen Agenten oft von ihren ursprünglichen Zielen ab, was auf die Akkumulation kleiner Ausführungsfehler und eine Fehlausrichtung ihres internen Zustands mit der ursprünglichen Intention zurückzuführen ist.

Darüber hinaus verlassen sich bestehende Ansätze oft auf stetig wachsende Interaktionshistorien, um den Kontext aufrechtzuerhalten, was zu Token-Ineffizienz führt. Obwohl die hierarchische Dekomposition (Aufteilung von Aufgaben in Teilziele) vorgeschlagen wurde, um Planungsfehler zu mildern, gelingt es aktuellen Methoden oft nicht, eine stabile Ausführung zu gewährleisten. Speziell ist die „Executor“-Komponente (Ausführungskomponente) in vielen hierarchischen Systemen nicht explizit darauf trainiert, kumulative Fehler während der Interaktion zu korrigieren, was das System anfällig für Schleifen, Verstöße gegen Einschränkungen und Leistungsdegradierung macht, wenn sich die Zeithorizonte der Aufgaben verlängern.

2. Methodik: Das Multi2-Framework

Die Autoren schlagen Multi2 vor, ein hierarchisches Multi-Agenten-Entscheidungsframework, das die Aufgabendekomposition (Planung) durch Rollenspezialisierung explizit von der Aktionsausführung entkoppelt. Das Framework opereniert auf zwei distinkten Systemen:

System 1 (High-Level Agent): Konzentriert sich auf kontextsensitive Teilzielgenerierung. Es nimmt eine Aufgabenbeschreibung und eine aktuelle Beobachtung als Input entgegen und gibt ein Teilziel aus. Dieses System wird mittels Supervised Fine-Tuning (SFT) trainiert, um eine konsistente, strukturierte semantische Planung zu gewährleisten.
System 2 (Low-Level Agent): Ist verantwortlich für die Ausführung atomarer Aktionen in der dynamischen Umgebung, um das von System 1 bereitgestellte Teilziel zu erreichen. Dieses System wird über eine Offline-to-Online Reinforcement Learning (RL) Pipeline trainiert.

Trainings-Pipeline

Der Trainingsprozess ist in drei Stufen unterteilt, um Stabilität und kontinuierliche Verbesserung zu gewährleisten:

Offline-Training (System 1): System 1 wird mittels Behavior Cloning (SFT) auf einem High-Level-Datensatz ( $D_{sys1}$ ) feinjustiert, der Aufgabenbeschreibungen und Sequenzen von Beobachtungs-Teilziel-Paaren enthält. Das Ziel ist die Minimierung des Cross-Entropy-Loss, um Experten-Teilziele zu imitieren.
Offline-Training (System 2): System 2 wird mittels Offline-RL auf einem Low-Level-Datensatz ( $D_{sys2}$ $D_{sy s 2}$ ) initialisiert, der Übergänge (Beobachtung, Aktion, Belohnung, nächste Beobachtung) unter Bedingung von Teilzielen enthält. Die Autoren verwenden eine Actor-Critic-Struktur mit einem neuartigen Loss-Design:
- Critic-Training: Minimiert den Temporal-Difference (TD) Error unter Verwendung von In-Distribution (ID) Value Learning, um das Training zu stabilisieren.
- Actor-Training: Verwendet einen policy-anchored advantage term. Dieser kombt die Imitation von Offline-Aktionen mit einem gewichteten Advantage-Term, der Aktionen begünstigt, die höhere Erträge versprechen, wodurch Über-Imitation und templatierte Verhaltensweisen gemildert werden.
Online-Training (System 2 Selbstverbesserung): Um eine kontinuierliche Anpassung zu ermöglichen, durchläuft System 2 eine Online-RL-Verfeinerung. Eine neue Policy ( $\pi_{on}$ $π_{o n}$ ) wird unter Verwendung eines Replay-Buffers aktualisiert, der Offline-Daten und neue Online-Trajektorien mischt. Die Loss-Funktion beinhaltet:
- Einen gewichteten Log-Likelihood-Term, der High-Advantage-Aktionen verstärkt.
- Einen Kullback-Leibler (KL)-Regularisierungsterm, der die Online-Policy dazu zwingt, nah an der Offline-trainierten Policy ( $\pi_{off}$ ) zu bleiben. Dies verhindert Mode Collapse und scharfe Policy-Shifts, was eine stabile Selbstverbesserung gewährleistet.

Architektur

Multi2 nutzt ein gemeinsames vortrainiertes LLM-Backbone (z. B. Qwen-2.5, Mistral, Llama-3.1) mit Low-Rank Adaptation (LoRA). Entscheidend ist, dass System 1 und System 2 separate LoRA-Adapter verwenden, was eine rollenspezifische Parametrisierung ermöglicht, ohne das gesamte Backbone zu aktualisieren.

3. Kernbeiträge

Multi2-Framework: Ein rollenspezialisiertes hierarchisches Framework, das die Teilzielplanung (System 1) und die Aktionsausführung (System 2) als distinkte Optimierungsprobleme entkoppelt und so die Instabilität der langfristigen Interaktion adressiert.
Prinzipienbasiertes Offline-to-Online RL-Ziel: Eine neuartige Trainings-Pipeline für den Executor (System 2), die policy-anchored Offline-Learning mit KL-regularisierter Online-Verfeinerung kombiniert. Dieses Design stimmt explizit mit der Rolle des Executors überein, um eine stabile, sampeleffiziente Selbstverbesserung zu ermöglichen.
Hierarchische Benchmark-Datensätze: Die Veröffentlichung von drei gut strukturierten hierarchischen Datensätzen für das Training und die Evaluierung interaktiver LLM-Agenten über mehrere Umgebungen hinweg (ScienceWorld, ALFWorld, TextCraft), um die Lücke in der Verfügbarkeit konsistenter hierarchischer Daten zu schließen.
Empirische Validierung: Demonstration, dass Multi2 die starken Baselines in Bezug auf Performance, Token-Effizienz und Robustheit gegenüber Zielabweichung konsistent übertrifft.

4. Experimentelle Ergebnisse

Das Framework wurde auf ScienceWorld, ALFWorld und TextCraft unter Verwendung verschiedener Backbone-Modelle (Qwen-2.5 3B, Mistral 7B, Llama-3.1 8B) evaluiert.

Performance: Multi2 erreichte die höchsten Erfolgsraten über die meisten Backbones und Evaluierungs-Splits (In-Distribution und Out-of-Distribution) hinweg. Beispielsweise erreichte Multi2 auf dem ScienceWorld ID-Split mit Llama-3.1 8B eine Erfolgsrate von 67,61 %, verglichen mit 60,48 % für die hierarchische Baseline Glider und 23,23 % für das prompt-basierte ReAct.
Robustheit gegenüber Zielabweichung: Multi2 zeigte eine überlegene Performance bei schwierigeren Aufgaben, die längere Horizonte erfordern. Während prompt-basierte Agenten bei steigender Aufgabenkomplexität stark degradierten und andere feinjustierte Baselines Rückgänge von mittleren zu harten Aufgaben zeigten, behielt Multi2 eine konsistente Performance bei, was auf eine effektive Milderung der Zielabweichung hindeutet.
Token-Effizienz: Multi2 war signifikant token-effizienter als die Baselines. Durch die Verwendung von hierarchischer, bedarfsorientierter Aufrufung und RL-getrimmter Aktionsgenerierung erreichte es eine höhere Performance mit weniger Inference-Zeit-Tokens im Vergleich zu prompt-basierten Methoden, die auf lange Kontextfenster und In-Context-Demonstrationen angewiesen sind.
Ablationsstudien:
- Rollenspezialisierung: Das Vertauschen der Trainingsparadigmen (Training von System 1 mit RL und System 2 mit SFT) führte zur schlechtesten Performance, was die Notwendigkeit von SFT für die Planung und RL für die Ausführung bestätigt.
- Architektur: Die hierarchische Struktur mit rollenspezifischen Adaptern übertraf Single-Model- und Shared-Adapter-Baselines.
- Loss-Design: Der vorgeschlagene policy-anchored offline Loss und der KL-regularisierte online Loss waren entscheidend, um die Varianz zu reduzieren und Low-Performance-Fehler im Vergleich zu Vanilla IQL oder AWAC-Varianten zu verhindern.

5. Bedeutung und Ansprüche

Das Paper behauptet, dass Multi2 eine zuverlässige und effiziente Lösung für den Aufbau interaktiver LLM-basierter Agenten bietet, die in der Lage sind, langfristige Aufgaben zu lösen. Seine Bedeutung liegt in:

Adressierung fundamentaler Limitationen: Es geht über die einfache hierarchische Dekomposition hinaus, indem es die Ausführungsschicht explizit darauf trainiert, kumulative Fehler zu korrigieren – eine Lücke, die in vorangegangenen Arbeiten wie Glider identifiziert wurde.
Stabilität in der Interaktion: Die Kombination aus SFT für die Beibehaltung der Intention und KL-regularisiertem RL für die Verfeinerung der Ausführung bietet einen fundierten Mechanismus für eine stabile Koordination über ausgedehnte Interaktionen hinweg.
Ressourceneffizienz: Das Framework erreicht State-of-the-Art-Performance bei gleichzeitiger Reduzierung des Token-Verbrauchs, was es für den realen Einsatz praktischer macht.
Community-Ressource: Durch die Veröffentlichung der hierarchischen Datensätze und des Codes zielen die Autoren darauf ab, eine breitere Adoption und einen fairen Vergleich in der Entwicklung hierarchischer Entscheidungsfindung für LLM-Agenten zu fördern.

Die Autoren positionieren diese Arbeit als einen Schritt in Richtung einer agentischen KI, die in der Lage ist, ihre Intention beizubehalten und sich effektiv in dynamischen Umgebungen anzupassen, und tragen damit zu effektiveren Lernalgorithmen für interaktive Systeme bei.