🤖 machine learning

CooT: Learning to Coordinate In-Context with Coordination Transformers

CooT ist ein neuartiges Framework, das kontextbasiertes Lernen nutzt, um Multi-Agenten-Systeme in die Lage zu versetzen, sich ohne Parameter-Updates schnell und robust an unbekannte Partner anzupassen und dabei bestehende populationsbasierte, Feinabstimmungs- und Meta-RL-Ansätze auf Benchmarks wie Overcooked und Google Research Football zu übertreffen.

Ursprüngliche Autoren: Huai-Chih Wang, Hsiang-Chun Chuang, Hsi-Chun Cheng, Dai-Jie Wu, Shao-Hua Sun

Veröffentlicht 2026-05-19

📖 5 Min. Lesezeit🧠 Tiefgang

CC BY 4.0

Ursprüngliche Autoren: Huai-Chih Wang, Hsiang-Chun Chuang, Hsi-Chun Cheng, Dai-Jie Wu, Shao-Hua Sun

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Das große Problem: Das „neuer Partner"-Dilemma

Stellen Sie sich vor, Sie sind ein professioneller Tänzer. Sie haben Jahre damit verbracht, mit Ihrem regelmäßigen Partner zu üben. Sie wissen genau, wie er sich bewegt, wann er sich dreht und wie er reagiert. Sie sind ein perfektes Team.

Stellen Sie sich nun vor, Sie werden plötzlich für einen Tanzwettbewerb mit einem Fremden zusammengelegt. Sie kennen seinen Stil nicht. Er könnte langsam, schnell oder ungeschickt sein.

Alte KI-Methoden sind wie Tänzer, die nur mit einem bestimmten Partner geübt haben. Wenn sie einen Fremden treffen, versuchen sie, den Fremden dazu zu zwingen, ihre Art zu tanzen, oder sie frieren einfach ein, weil sie die Schritte nicht kennen.
Andere Methoden versuchen, den neuen Partner zu lernen, indem sie stundenlang (Tausende Male) mit ihm tanzen, um seinen Stil herauszufinden. Das ist zu langsam und teuer, besonders wenn Sie nur wenige Minuten Zeit haben, zusammen zu tanzen.

Das Ziel dieses Papiers ist es, einer KI beizubringen, einen neuen Partner sofort zu „lesen" und nach nur wenigen Schritten synchron mit ihm zu tanzen, ohne dass sie das Tanzen von Grund auf neu lernen muss.

Die Lösung: CooT (Der „Kontext"-Tänzer)

Die Autoren haben ein neues KI-Framework namens CooT (Coordination Transformer) entwickelt.

Stellen Sie sich CooT nicht als Tänzer vor, der Schritte auswendig lernt, sondern als einen superbeobachtenden Improvisator.

Wie es lernt (Die Trainingsphase):
Bevor der große Tanzwettbewerb beginnt, sieht sich CooT Tausende von Videos verschiedener Tanzpaare an. Es schaut nicht nur die Bewegungen an, sondern die Beziehung.
- Es sieht Partner A (der gerne nach links dreht) und beobachtet, wie Partner B (die „beste Antwort") sich anpasst, um nach rechts zu drehen und mitzuhalten.
- Es sieht Partner C (der sich langsam bewegt) und beobachtet, wie Partner D geduldig wartet.
- Die Analogie: CooT ist wie ein Schüler, der jedes Tanzpaar der Welt beobachtet hat. Es hat noch nicht mit Ihnen getanzt, aber es hat gesehen, wie Menschen auf Ihren Tanzstil reagieren.
Wie es funktioniert (Die „Im-Kontext"-Magie):
Wenn CooT auf einen neuen menschlichen oder KI-Partner trifft, verändert es sein Gehirn nicht (es wird nicht „neu trainiert"). Stattdessen nutzt es Im-Kontext-Lernen.
- Die Analogie: Stellen Sie sich vor, CooT hat einen „Kritzelblock" (ein Kontextfenster). Während Sie zusammen tanzen, schreibt es auf diesem Block auf, was Sie in den letzten paar Sekunden getan haben.
- Wenn es entscheiden muss, welchen nächsten Schritt es macht, schaut es auf den Kritzelblock: „Ah, mein Partner ist gerade nach links bewegt. In den Videos, die ich gesehen habe, war der beste Zug, wenn ein Partner nach links bewegt, einen Schritt nach rechts zu machen."
- Es nutzt diese kürzlichen Beobachtungen, um Ihren Stil sofort zu erraten und sich anzupassen.

Warum ist das besser als die alten Wege?

Gegenüber „Selbstspiel" (Üben mit sich selbst):
Alte KIs üben, indem sie mit einem Spiegelbild ihrer selbst tanzen. Sie werden sehr gut darin, mit sich selbst zu tanzen, aber schlecht mit Fremden. CooT lernt, mit jedem zu tanzen.
Gegenüber „Feinabstimmung" (Lernen auf die Schnelle):
Manche KIs versuchen, durch stundenlanges Tanzen mit Ihnen zu lernen, Fehler zu machen und sie zu korrigieren. Das ist langsam. CooT ist wie ein Genie, das Ihren Stil nach einem oder zwei Liedern nur durch Beobachten herausfindet. Es passt sich sofort an, ohne sein Gehirn „neu trainieren" zu müssen.
Gegenüber „Populations"-Methoden (Versuchen, in allem gut zu sein):
Andere KIs versuchen, ein „Tausendsassa" zu sein, indem sie mit einer riesigen Gruppe zufälliger Partner trainieren. Aber wenn Sie auf jemanden treffen, der wirklich seltsam ist, könnten sie trotzdem scheitern. CooT betrachtet Ihre spezifischen kürzlichen Aktionen und passt sich Ihnen spezifisch an.

Die Ergebnisse: Hat es funktioniert?

Die Forscher testeten CooT auf zwei sehr unterschiedlichen „Tanzböden":

Overcooked: Ein chaotisches Videospiel, in dem zwei Köche Suppe in einer winzigen Küche zusammen kochen müssen. (Wie eine hochstressige Schicht in einer Küche).
Google Research Football: Ein Fußballspiel, in dem Spieler zusammen passen und sich bewegen müssen. (Wie ein Mannschaftssport).

Die Erkenntnisse:

Geschwindigkeit: CooT begann fast sofort gut zu koordinieren und wurde im Laufe des Spiels besser.
Menschentest: Als echte Menschen mit CooT spielten, bewerteten sie es als den besten Partner. Sie hatten das Gefühl, dass CooT sie verstand, sich an ihren Stil anpasste und ihnen nicht im Weg stand.
Widerstandsfähigkeit: Wenn der Partner plötzlich seine Strategie änderte (z. B. aufhörte zu passen und allein zu laufen), bemerkte CooT die Änderung innerhalb der nächsten paar Sekunden und passte seinen Plan sofort an.

Das Fazit

CooT ist ein neuer Weg für KI, mit Menschen oder anderen KIs zu arbeiten. Anstatt alle zu zwingen, dieselben starren Regeln zu lernen, agiert CooT wie ein Chamäleon. Es beobachtet die Person, mit der es arbeitet, erinnert sich an ihr kürzliches Verhalten und verändert sofort sein eigenes Verhalten, um perfekt mit ihr mitzuhalten.

Es ist der Unterschied zwischen einem Roboter, der sagt: „Ich werde meinen vorprogrammierten Tanz machen," und einem Roboter, der sagt: „Ich sehe, dass du dich nach links bewegst, also bewege ich mich nach rechts, um dir zu helfen."

Technische Zusammenfassung: CooT: Erlernen der Koordination im Kontext mit Coordination Transformers

1. Problemstellung

Die Arbeit adressiert das Problem der ad-hoc Teamarbeit (AHT) in Multi-Agenten-Systemen, bei dem ein Agent effektiv mit bisher unbekannten Partnern koordinieren muss. Bestehende Ansätze weisen erhebliche Einschränkungen auf:

Self-Play (SP): Konvergiert häufig zu spezifischen Konventionen, die beim Interagieren mit unbekannten Kooperationspartnern versagen.
Populationsbasierte Methoden: Obwohl sie die Robustheit durch Diversität verbessern (z. B. HSP, MEP), fehlen ihnen Mechanismen für eine effiziente Online-Anpassung jenseits der Trainingsverteilung.
Fine-Tuning: Gradientenbasierte Anpassung ist in Few-Shot-Szenarien unpraktikabel aufgrund hoher Interaktionskosten und der Notwendigkeit tausender Trajektorien, um effektive Strategien zu erlernen.
Kontextbasiertes Meta-RL: Vorherige Methoden (z. B. PACE, PECAN) verlassen sich oft auf komprimierte latente Repräsentationen des Partnerverhaltens. Diese können Schwierigkeiten haben, reichhaltige, zeitlich strukturierte Verhaltensweisen zu erfassen und können versagen, wenn sich Verhaltensweisen zur Testzeit von den Trainingsdaten unterscheiden.

Die Kernherausforderung besteht darin, einem Agenten zu ermöglichen, sich in Echtzeit mit minimalem Interaktionsaufwand (Few-Shot) an diverse Partnerverhalten anzupassen, ohne Parameterupdates oder explizite Kommunikation zu erfordern.

2. Methodik: Coordination Transformer (CooT)

Die Autoren schlagen CooT vor, ein Framework, das In-Context Learning (ICL) nutzt, um Partneranpassung als Lernaufgabe zu behandeln. Anstatt über Aufgaben hinweg zu generalisieren, generalisiert CooT über diverse Partnerverhalten hinweg.

2.1 Formalisierung: Hidden-Utility Markov Game (HU-MG)

Das Problem wird als HU-MG formuliert. Agenten agieren in einer gemeinsamen Umgebung, werden jedoch durch versteckte Belohnungsfunktionen ( $r_w$ ) angetrieben, die nur dem Partner sichtbar sind. Diese versteckten Nutzen induzieren diverse Verhaltenspräferenzen (Konventionen), selbst innerhalb identischer Umgebungen. Das Ziel ist es, diese versteckten Präferenzen durch Beobachtung zu inferieren und die Aktionen entsprechend auszurichten.

2.2 Generierung von Trainingsdaten

CooT wird auf einem Datensatz von Interaktionstrajektorien zwischen Paaren von Agenten trainiert:

Verhaltenspräferierende Agenten ( $\pi^p_i$ ): Agenten, die mit spezifischen versteckten Belohnungsfunktionen (lineare Kombinationen von Umgebungsereignissen) trainiert wurden, um diverse Verhaltensstile zu zeigen.
Best-Response-Agenten ( $\pi^{br}_i$ ): Agenten, die mittels Multi-Agent Proximal Policy Optimization (MAPPO) trainiert wurden, um die Renditen gegen ihre entsprechenden verhaltenspräferierenden Partner zu maximieren.
Datensatz-Konstruktion: Das Modell lernt aus Tupeln $(s_h, C, \hat{a})$ $(s_{h}, C, \overset{a}{^})$ , wobei:
- $C$ ein Kontextfenster vergangener Interaktionstrajektorien zwischen einem verhaltenspräferierenden Agenten und seiner Best Response ist.
- $s_h$ ein Abfragezustand ist, der unabhängig vom Kontext gesampelt wird (verhindert einfache Trajektorienfortsetzung).
- $\hat{a}$ die Ground-Truth-Best-Response-Aktion ist, die von $\pi^{br}_i$ im Zustand $s_h$ ausgeführt wurde.

2.3 Modellarchitektur und Training

Architektur: CooT nutzt einen Decision-Pretrained Transformer (DPT)-Rückgrat (speziell GPT-2).
Ziel: Das Modell wird durch überwachtes Lernen trainiert, um die Best-Response-Aktionsverteilung $\hat{p}_h(\cdot) = M_\theta(\cdot | s_h, C)$ vorherzusagen. Die Verlustfunktion ist die Kreuzentropie zwischen der vorhergesagten Aktion und der Ground-Truth-Best-Response-Aktion.
Wesentlicher Unterschied: Im Gegensatz zu Standard-Decision-Transformern, die sich auf Aufgabenziele oder Belohnungen konditionieren, konditioniert CooT auf die Partner-Interaktionshistorie, um den latenten Stil des Partners zu inferieren und die optimale kollaborative Antwort vorherzusagen.

2.4 Online-Einsatz

Zum Testzeitpunkt operiert CooT mit einem strengen No-Prior-Protokoll:

Es initialisiert mit einem leeren Kontextpuffer.
Es interagiert für eine Episode mit einem unbekannten Partner.
Die resultierende Trajektorie wird an den Kontextpuffer angehängt (FIFO), wodurch die ältesten Daten verdrängt werden.
Das Modell sagt Aktionen basierend auf dem aktuellen Zustand und dem akkumulierten Kontext $C$ voraus, was eine kontinuierliche, gradientenfreie Anpassung an das Verhalten des Partners ermöglicht.

3. Hauptbeiträge

Neues Framework: Einführung von CooT, das Partneranpassung als In-Context-Learning-Problem neu definiert und eine schnelle Few-Shot-Koordination ohne Parameterupdates ermöglicht.
Trainingsparadigma: Eine Methode, um Transformer auf „Best-Response"-Trajektorien zu trainieren, die auf Partnerkontexten konditioniert sind, wodurch das Modell effektiv lernt, beobachtete Partnerstile optimalen kollaborativen Strategien zuzuordnen.
Empirische Validierung: Umfassende Evaluierung auf zwei Benchmarks:
- Overcooked: Eine diskrete Gitterwelt, die eine enge Koordination erfordert.
- Google Research Football (GRF): Eine kontinuierliche, hochdimensionale Umgebung mit größeren Teams (3 gegen 1).
Menschliche Evaluation: Eine Benutzerstudie zeigt, dass menschliche Partner CooT im Vergleich zu State-of-the-Art-Baselines als adaptiver und zuverlässiger wahrnehmen.

4. Experimentelle Ergebnisse

CooT wurde gegen eine breite Palette von Baselines evaluiert, darunter Behavior Cloning (BC), populationsbasierte Methoden (HSP, MEP), gradientenbasiertes Fine-Tuning (HSP-ft) und kontextbasiertes Meta-RL (HSP-meta, PACE).

Leistung: CooT übertraf konsistent alle Baselines über diverse Overcooked-Layouts und das GRF-Szenario hinweg. Es erreichte die höchste Best Response Proximity (BR-prox) und durchschnittliche Renditen, insbesondere in kooperationsintensiven Layouts (z. B. Coord. Ring Multi-recipe), wo partnerspezifische Anpassung kritisch ist.
Anpassungsgeschwindigkeit: CooT zeigte eine schnelle Few-Shot-Anpassung mit signifikanten Leistungsverbesserungen innerhalb der ersten 15 Episoden und schneller Stabilisierung. Im Gegensatz dazu zeigte gradientenbasiertes Fine-Tuning (HSP-ft) Instabilität und langsame Konvergenz, während andere kontextbasierte Methoden (PACE, HSP-meta) oft unterdurchschnittlich abschnitten oder sich im Laufe der Zeit nicht verbesserten.
Robustheit: In nicht-stationären Umgebungen, in denen Partner mitten in der Aufgabe Strategien wechselten, kalibrierte CooT seine Strategie innerhalb von durchschnittlich 3,67 Episoden neu, während andere Methoden Schwierigkeiten hatten, sich zu erholen.
Menschliche Studie: In einer Studie mit 36 Teilnehmern erreichte CooT die höchste durchschnittliche Rendite und wurde von 50 % der Teilnehmer als bevorzugter Kooperationspartner ausgewählt. Qualitative Analysen bestätigten, dass Menschen CooT als explizit adaptiv wahrnahmen und seine Fähigkeit bemerkten, die Koordination im Laufe der Zeit zu verbessern.

5. Bedeutung und Behauptungen

Die Arbeit behauptet, dass CooT eine praktische Lösung für die reale Mensch-KI-Zusammenarbeit bietet, bei der Online-Fine-Tuning unpraktikabel ist. Indem es Partneranpassung als Lernaufgabe durch In-Context Learning behandelt, erreicht CooT:

Effizienz: Effektive Ausrichtung mit neuen Partnern unter Verwendung nur weniger Interaktionen.
Stabilität: Robustheit gegen plötzliche Partneränderungen ohne das Risiko katastrophalen Vergessens oder Instabilität, die mit Gradientenupdates verbunden ist.
Generalisierung: Die Fähigkeit, über diverse Partnerverhalten zu generalisieren, die während des Trainings nicht explizit gesehen wurden, sofern sie innerhalb der Verteilung des Hidden-Utility-Raums liegen.

Die Autoren positionieren diese Arbeit als Wandel von „Aufgabengeneralisierung" zu „Partnergeneralisierung" und zeigen, dass die Konditionierung auf vollständige Interaktionshistorien eine effektive Few-Shot-Anpassung in komplexen Multi-Agenten-Umgebungen unterstützen kann.

6. Einschränkungen

Die Arbeit erkennt mehrere Einschränkungen an:

Keine explizite Kommunikation: Die Methode verlässt sich ausschließlich auf Aktionshistorien und nutzt keine expliziten Kommunikationskanäle.
Umfang der Benchmarks: Experimente werden in simulierten Benchmarks (Overcooked, GRF) durchgeführt und nicht in verkörperten Umgebungen mit reicher Wahrnehmung und Steuerung.
Cold-Start: Das strenge No-Prior-Protokoll bedeutet, dass der Agent ohne Kontext startet; zukünftige Arbeiten könnten die Verwendung von vorgefüllten Kontexten ähnlicher Partner untersuchen, um frühe Interaktionskosten zu reduzieren.
Sicherheit: Die Autoren weisen darauf hin, dass adaptive Mechanismen potenziell missbraucht werden könnten, um vorhersehbare Partner auszunutzen oder unsichere Gewohnheiten zu verstärken, und betonen die Notwendigkeit von Sicherheitsbeschränkungen bei zukünftigen Einsätzen.