🤖 AI

Benchmarking Open-Ended Multi-Agent Coordination in Language Agents

Dieses Paper führt *alem* ein, einen auf JAX basierenden Benchmark zur Evaluierung von offen endlicher Multi-Agenten-Koordination in Langzeit-Überlebensaufgaben, und zeigt auf, dass, während führende LLMs in Einzelaufgaben exzellieren, sie bei der Koordination erheblich Schwierigkeiten haben – ein distinkter Engpass, bei dem Kommunikation entscheidend ist und die Leistung zwischen den Modellen stark variiert.

Ursprüngliche Autoren: Kale-ab Abebe Tessera, Andras Szecsenyi, Cameron Barker, Alexander Rutherford, Davide Paglieri, Aidan Scannell, Henry Gouk, Elliot J. Crowley, Tim Rocktäschel, Amos Storkey

Veröffentlicht 2026-06-09

📖 5 Min. Lesezeit🧠 Tiefgang

CC BY 4.0

Ursprüngliche Autoren: Kale-ab Abebe Tessera, Andras Szecsenyi, Cameron Barker, Alexander Rutherford, Davide Paglieri, Aidan Scannell, Henry Gouk, Elliot J. Crowley, Tim Rocktäschel, Amos Storkey

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Stellen Sie sich eine Gruppe von Entdeckern vor, die versuchen, in einer riesigen, sich ständig verändernden Wildnis zu überleben. Sie müssen Holz hacken, Stein abbauen, Unterkünfte bauen und gegen Monster kämpfen. Aber hier ist der Haken: Sie können diese Dinge nicht einfach alleine tun. Manchmal müssen sie zum Beispiel einen Baum im exakt gleichen Moment fällen, damit er umstürzt. Ein anderes Mal muss eine Person anfangen, ein Loch zu graben, und eine andere muss es innerhalb weniger Sekunden zu Ende führen, sonst bricht das Loch in sich zusammen.

Dieses Paper stellt ein neues „Trainingsgelände“ namens ALEM (was auf Amharisch „Welt“ bedeutet) vor, um zu testen, wie gut KI-Agenten in einer solchen chaotischen Langzeit-Überlebenssimulation zusammenarbeiten können.

Das Problem: Solostars vs. Teamplayer

Bis jetzt waren die meisten Tests für KI eher wie Solo-Videospiele. Sie fragen: „Kann diese KI ein Rätsel lösen?“ oder „Kann sie ein Labyrinth durchqueren?“ Aber in der realen Welt wird KI in Teams arbeiten müssen. Die Autoren stellten fest, dass bestehende Tests für Teamarbeit zu einfach waren: Sie waren zu kurz, die Regeln waren starr oder die Teammitglieder mussten nicht viel miteinander kommunizieren.

Sie wollten sehen, ob moderne KI (Large Language Models, oder LLMs) in der Lage ist, langfristige Koordination zu bewältigen. Können sie sich an einen Plan erinnern, der vor 50 Schritten gemacht wurde? Können sie mit einem Teamkollegen sprechen, um zu sagen: „Ich gehe nach links, du gehst nach rechts“? Können sie sich anpassen, wenn sich die Situation ändert?

Die Lösung: ALEM (Der Überlebenssimulator)

Die Autoren haben ALEM gebaut, eine digitale Welt basierend auf einem Spiel namens Craftax. Denken Sie an eine hochtechnisierte Version von Minecraft oder Terraria, aber mit einem Twist:

Prozedurale Generierung: Jedes Mal, wenn das Spiel startet, werden die Karte und die spezifischen Teamwork-Herausforderungen zufällig generiert. Das verhindert, dass die KI einfach nur die Antworten „auswendig lernt“.
Das „Koordinationsspektrum“: Das Spiel hat einen Regler, der steuert, wie schwer die Teamarbeit ist.
- Einfach: Man kann meistens alleine arbeiten.
- Mittel: Man muss Werkzeuge aneinander weitergeben (wie das Reichen eines Hammers an jemanden, der eine Wand baut).
- Schwer: Man muss in perfekter Harmonie agieren, wie bei einer Synchronisationsschwimmer-Gruppe, sonst schlägt die Aufgabe fehl.
Weiche Spezialisierung: In dieser Welt kann jeder jeden Job machen, aber wenn man nicht der „Spezialist“ für diesen Job ist, scheitert man unter Umständen. Dies zwingt das Team dazu, spontan herauszufinden, wer was tun soll.

Das Experiment: 13 KI-Agenten gegen die Welt

Die Forscher setzten 13 verschiedene moderne KI-Modelle in diese Welt. Sie haben ihnen nicht beigebracht, wie man spielt; sie haben sie einfach hineingeworfen (das nennt man „Zero-Shot“). Sie haben auch einige „Roboter“-Agenten (unter Verwendung von Standard-Reinforcement-Learning) trainiert, um als Benchmark für das Mögliche zu dienen.

Die Ergebnisse waren überraschend:

Die KI hatte Schwierigkeiten: Im Durchschnitt erreichten die KI-Agenten nur etwa 6 % der möglichen Punktzahl. Sie waren weit davon entfernt, das Spiel zu lösen.
Klug allein bedeutet nicht klug im Team: Einige KI-Modelle waren großartig darin, Solo-Aufgaben zu erledigen (wie Holz zu sammeln), aber schrecklich darin, zu koordinieren. Ein Modell, GPT-5.4, war sehr gut in Basistätigkeiten, scheiterte aber kläglich, wenn es darum ging, sich mit Teamkollegen abzustimmen. Ein anderes Modell, Gemini-3.1, war deutlich besser in der Teamarbeit und schlug sogar einige der trainierten Roboter-Agenten in den schwierigsten Szenarien.
Größe ist nicht alles: Größere KI-Modelle (mit mehr „Gehirnschmalz“) waren nicht zwangsläufig besser als Team. Manchmal koordinierte ein kleineres Modell besser als ein riesiges.

Das „Warum“: Was macht Teamarbeit schwer?

Die Forscher haben die KI-Agenten analysiert, um herauszufinden, was die Fehler verursachte. Sie fanden drei Hauptzutaten:

Kommunikation ist entscheidend: Als sie die Fähigkeit der Agenten einschränkten, miteinander zu sprechen, brachen ihre Teamwork-Ergebnisse ein. Die KI-Agenten nutzten den Chat, um Dinge zu sagen wie: „Ich gehe zum Baum, du wartest hier“, oder „Gib mir Holz“. Ohne dies raten sie nur herum.
Gedächtnis dient der Planung: Die KI hatte einen „Notizblock“ (ein privates Notizbuch). Die besten Performer nutzten diesen Notizblock, um zukünftige Pläne aufzuschreiben (z. B. „Schritt 1: Stein abbauen. Schritt 2: Ofen bauen“). Die schwächeren Modelle nutzten den Notizblock nur, um das zu wiederholen, was sie gerade sahen, was bei der Vorausplanung nicht half.
Schlussfolgerung hilft: Wenn die KI gezwungen war, vor dem Handeln zu „denken“, verbesserte sie sich sowohl bei Solo-Aufgaben als auch bei der Teamarbeit.

Die Überraschung beim „Gemischten Team“

Die Forscher versuchten auch, verschiedene KI-Modelle in einem Team zu mischen (z. B. einen Gemini-Agenten, der mit einem GPT-Agenten zusammenarbeitet). Sie erwarteten, dass das Team so gut wie das klügste Mitglied sei. Stattdessen performte das Team im Durchschnitt der beiden. Es stellt sich heraus, dass ein super-intelligenter Teamkollege nicht hilft, wenn der andere Teamkollege den Plan oder den Kommunikationsstil nicht versteht.

Das Fazit

Dieses Paper zeigt, dass Koordination eine einzigartige Fähigkeit ist, die aktuelle KIs noch nicht gemeistert haben. Nur weil eine KI gut darin ist, Fragen zu beantworten oder allein Rätsel zu lösen, bedeutet das nicht, dass sie in einem Team arbeiten kann.

ALEM bietet eine kontrollierte Möglichkeit, diesen spezifischen „Teamwork-Engpass“ zu messen. Es zeigt, dass wir, um eine KI zu bauen, die wirklich mit Menschen oder anderen KIs in der realen Welt zusammenarbeiten kann, uns weniger darauf konzentrieren müssen, sie nur bei Solo-Aufgaben intelligenter zu machen, sondern sie lehren müssen, wie man gemeinsam kommuniziert, plant und einander vertraut.

Der Code für diesen „Überlebenssimulator“ steht anderen Forschern nun zur Nutzung und Verbesserung zur Verfügung.

Technisches Resümee: Benchmarking der offenen Multi-Agenten-Koordination in Sprachagenten

Problemstellung

Da Large Language Models (LLMs) zunehmend als autonome Agenten eingesetzt werden, müssen sie in Multi-Agenten-Umgebungen operieren, in denen der Erfolg von der Koordination mit anderen über lange Zeithorizonte abhängt. Bestehende Benchmarks testen diese Anforderungen jedoch selten gleichzeitig. Aktuelle Benchmarks konzentrieren sich typischerweise auf Single-Agenten-Aufgaben, kurze Interaktionen oder hochstrukturierte Multi-Agenten-Szenarien (z. B. feste Rollen, vorgegebene Ziele). Es mangelt an Evaluierungen, die Langzeit-Interaktion, offene Aufgabenstrukturen und explizit prozedural generierte Koordinationsanforderungen kombinieren. Infolgedessen bleiben die Mechanismen, die für eine dauerhafte Multi-Agenten-Koordination erforderlich sind – wie das Kommunizieren von Intentionen, die Rollenzuweisung, die Aufrechterhaltung gemeinsamer Pläne und die Abstimmung von Handlungen über die Zeit –, unzureichend verstanden.

Methodik: Der ALEM-Benchmark

Um diese Lücken zu schließen, führen die Autoren ALEM (Alem bedeutet „Welt“ auf Amharisch) ein, einen auf JAX basierenden Benchmark für offene Multi-Agenten-Koordination, der auf Craftax-ähnlicher Dynamik basiert.

Umgebungsdesign

ALEM ist ein partiell beobachtbares stochastisches Spiel (Partially Observable Stochastic Game, POSG), das prozedural generierte Umgebungen umfasst, in denen Agenten explorieren, handeln, bauen und kämpfen. Der Benchmark zeichnet sich durch vier Schlüsselachsen aus:

Prozedurale Generierung von Koordination: Im Gegensatz zu bisherigen Arbeiten, bei denen die Koordinationsanforderungen fixiert sind, generiert ALEM die Koordinationsstruktur selbst in jeder Episode prozedural. Aufgaben (Bergbau, Konstruktion, Kampf, Handwerk) werden spezifischen Koordinationstypen (synchron oder Übergabe) und erforderlichen Agentenanzahlen (2 bis N) zugewiesen.
Koordinationsspektrum: Der Benchmark deckt ein volles Spektrum der Kopplung ab, basierend auf der zeitlichen Trennung ( $\Delta t$ $Δ t$ ) zwischen gekoppelten Aktionen:
- Langreichweitig (Long-range): Ein Agent sammelt Ressourcen, die ein anderer später verwendet (großes $\Delta t$ ).
- Übergabe (Handover): Ein Agent initiiert eine Aufgabe, und ein anderer muss sie innerhalb eines kurzen Fensters abschließen (kleines $\Delta t$ ).
- Synchron: Agenten agieren auf demselben Ziel zum selben Zeitpunkt ( $\Delta t = 0$ ).
Weiche Spezialisierung (Soft Specialisation): Anstatt harter Rollenbeschränkungen verfügen die Agenten über eine „weiche“ Spezialisierung. Spezialisten sind deterministisch erfolgreich, während Nicht-Spezialisten mit einer Wahrscheinlichkeit von $1-\alpha$ erfolgreich sind. Dies belohnt effektive Rollenzuweisung, ermöglicht aber gleichzeitig eine Online-Adaption.
Steuerbare Schwierigkeit: Ein einzelner Skalarparameter $\alpha \in [0, 1]$ skaliert die Koordinationsschwierigkeit, ohne das zugrunde liegende Weltlayout zu verändern. Ein höheres $\alpha$ verschärft die Ausführungsbeschränkungen (z. B. kürzere Übergabefenster, höhere N-Agenten-Anforderungen, geringere Effizienz von Nicht-Spezialisten).

Evaluationsprotokoll

Die Autoren evaluierten 13 moderne LLMs in Zero-Shot-homogenen Teams in den Einstellungen Easy, Medium und Hard.

Modelle: Darunter proprietäre Modelle (GPT-5.4-High, Gemini-3.1-Pro-High) und Open-Weight-Modelle (Gemma-4, Llama-3.1/3.3, Qwen-3.5/3.6).
Baselines: Trainierte Multi-Agent Reinforcement Learning (MARL) Agenten (IPPO, MAPPO, PQN-VDV, HyperMARL-IPPO), die für bis zu 1 Milliarde Schritte trainiert wurden, dienten als Referenzpunkte.
Schnittstellen: Die Agenten interagierten über eine strukturierte Textschnittstelle, die Beobachtungen, Teammessages und einen Scratchpad erhielt und strukturierte Aktionen zurückgab.
Metriken: Die Leistung wurde über den normalisierten Episoden-Return gemessen, der in Base% (individueller Aufgabenfortschritt) und Coord.% (koordinationsspezifische Erfolge) zerlegt wurde.

Kernergebnisse

1. Koordination als distinkter Flaschenhals

Aktuelle LLM-Agenten sind weit davon entfernt, ALEM zu lösen, und erreichen im Durchschnitt nur etwa ~6% normalisierten Return über alle Schwierigkeitsgrade hinweg.

Basis- vs. Koordinationskompetenz: Eine hohe Kompetenz in Basistaken impliziert keine hohe Koordinationskompetenz. Beispielsweise erreichte GPT-5.4-High starke Base-Task-Rewards, aber signifikant niedrigere Koordinations-Rewards als kleinere Modelle wie Gemma-4-26B-A4B-it.
MARL-Vergleich: Im schwierigsten Setting erreichte Gemini-3.1-Pro-High (17,5% Coord.%) fast die Leistung von MARL-Agenten, die für eine Milliarde Schritte trainiert wurden (17,6% Coord.%), was zeigt, dass die besten Modelle in spezifischen Kontexten das Niveau von MARL-Agenten erreichen können, obwohl LLMs generell Schwierigkeiten haben.

2. Ablationsstudien zu Agenten-Komponenten

Die Autoren untersuchten drei Komponenten des Agenten-Harness, um deren Einfluss auf die Koordination zu bestimmen:

Kommunikation: Dies war der größte Beitrag zur Koordinationsleistung. Das Entfernen der Kommunikation verursachte den signifikantesten Abfall des Coord.% (z. B. sank Gemini-3.1-Pro-High von 17,5% auf 5,3%). Agenten nutzten die Kommunikation primär, um Intentionen zu verkünden, Aktionen zuzuweisen und das Timing abzustimmen.
Gedächtnis (Scratchpad): Der Nutzen des Gedächtnisses war modellabhängig. Gemini-3.1-Pro-High nutzte Scratchpads als vorausschauende Planer (mehrzeilig, Zukunftsform, turn-indiziert), und das Entfernen beeinträchtigte die Leistung. Gemma-4-31B-it nutzte Scratchpads primär für Zustandszusammenfassungen, und die Auswirkungen des Entfernens waren vernachlichbar.
Schlussfolgerung/Reasoning: Eine Reduzierung des Reasonings senkte sowohl den Base% als auch den Coord.% für beide Modelle. Qualitative Analysen zeigten, dass reduziertes Reasoning planerische Verhaltensweisen (z. B. turn-indizierte Pläne) eliminierte und zu kürzerer, weniger direkter Kommunikation führte.

3. Heterogene Teams

In ersten Experimenten mit heterogenen Teams (Mischung verschiedener Modelle) lag die Leistung nahe am Durchschnitt der jeweiligen homogenen Baselines, anstatt das Niveau des stärksten Mitglieds zu erreichen. Dies deutet darauf hin, dass das Hinzufügen eines stärkeren Modells die Teamleistung nicht automatisch hebt, was wahrscheinlich auf eine Fehlabstimmung in den Kommunikationskonventionen und Planungshorizonten zurückzuführen ist.

4. Fehlermodi

Aufgabenstruktur: Agenten hatten die größten Schwierigkeiten mit Synchronous-Hard Aufgaben, die simultane Aktionen erforderten, und erreichten selbst für das beste LLM nur ~18% Coverage. Handover-Aufgaben waren vergleichsweise zugänglicher.
Skalierung: Die Leistung skalierte nicht linear mit der Parameteranzahl. Innerhalb von Modellfamilien (z. B. Gemma-4, Qwen) variierte die Koordinationsleistung nicht-monoton zwischen Dense- und Mixture-of-Experts-Varianten.

Bedeutung und Beiträge

Das Paper leistet drei primäre Beiträge:

ALEM-Benchmark: Ein auf JAX basierender, prozedural generierter Benchmark für langfristige, offene Multi-Agenten-Koordination mit steuerbarer Schwierigkeit und weicher Spezialisierung.
Schnittstellen: Bereitstellung von Pixel-, symbolischen und Text-Schnittstellen zur Evaluierung sowohl von MARL- als auch von Zero-Shot-LLM-Agenten unter identischen Koordinationsanforderungen.
Systematische Evaluierung: Eine umfassende Evaluierung von 13 LLMs und 4 MARL-Baselines, die Koordination als einen distinkten Flaschenhals identifiziert, der von der Basis-Aufgabenkompetenz getrennt ist.

Die Autoren kommen zu dem Schluss, dass Koordination ein eigenständiger Flaschenhals für Frontier-LLM-Agenten ist. Während aktuelle Modelle überleben und einzelne Aufgaben ausführen können, scheitern sie daran, effektiv zu kommunizieren, Rollen zuzuweisen und gemeinsame Pläne in offenen, langfristigen Settings auszuführen. ALEM bietet ein messbares und kontrolliertes Testfeld zur Entwicklung von Agenten, die zu diesen komplexen kooperativen Verhaltensweisen fähig sind. Der Code ist unter https://github.com/alem-world/alem-env verfügbar.