🤖 AI

Partner-Aware Hierarchical Skill Discovery for Robust Human-AI Collaboration

Dieser Beitrag stellt Partner-Aware Skill Discovery (PASD) vor, ein hierarchisches Reinforcement-Learning-Framework, das kontrastive intrinsische Belohnungen nutzt, um Fähigkeiten zu erlernen, die auf das Verhalten von Partnern konditioniert sind, und damit Shortcut-Learning überwindet sowie eine robuste, adaptive Mensch-KI-Zusammenarbeit über diverse und neue Partner hinweg ermöglicht.

Ursprüngliche Autoren: Adnan Ahmad, Bahareh Nakisa, Mohammad Naim Rastgoo

Veröffentlicht 2026-05-26

📖 4 Min. Lesezeit☕ Kaffeepausen-Lektüre

CC BY 4.0

Ursprüngliche Autoren: Adnan Ahmad, Bahareh Nakisa, Mohammad Naim Rastgoo

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Stellen Sie sich vor, Sie versuchen, eine komplexe Mahlzeit mit einem neuen Partner zu kochen. Sie haben noch nie mit ihm zusammengearbeitet. Er könnte schnell, langsam, unordentlich oder organisiert sein. Wenn Sie sich nur auf Ihren eigenen Kochstil konzentrieren, ohne auf ihn zu achten, werden Sie wahrscheinlich gegeneinander stoßen, Zutaten fallen lassen oder zwei verschiedene Suppen statt einer zubereiten.

Dieser Artikel stellt eine neue Methode vor, um KI-„Kochpartner" (oder jeden kollaborativen Roboter) so zu trainieren, dass sie mit jedem Menschen reibungslos zusammenarbeiten können, unabhängig davon, wie er sich verhält. Die Methode heißt PASD (Partner-Aware Skill Discovery).

Hier ist eine einfache Aufschlüsselung der Funktionsweise, unter Verwendung alltäglicher Analogien:

1. Das Problem: Der „eigennützige" Koch

Die meisten aktuellen KI-Trainingsmethoden sind wie ein Koch, der sich nur um seine eigenen Messerfertigkeiten kümmert. Er lernt, Gemüse so schnell wie möglich zu schneiden, weil ihm das eine „Belohnung" gibt.

Der Fehler: Wenn der Partner langsam ist, schneidet der schnelle Koch einfach immer schneller und schneller, ohne zu beachten, dass der Partner nicht mithalten kann. Die KI lernt „Abkürzungen" – sie findet seltsame Muster in der Umgebung, die gut aussehen, aber dem Team nicht wirklich helfen. Es ist wie ein Tänzer, der wild herumwirbelt, weil er denkt, es sieht cool aus, obwohl sein Partner stillsteht.
Das Ergebnis: Wenn Sie diese KI mit einem echten Menschen mit einem anderen Stil zusammenbringen, gerät die KI in Verwirrung und versagt bei der Koordination.

2. Die Lösung: Der „Spiegel"-Koch (PASD)

Die Autoren haben PASD entwickelt, das die KI lehrt, ein „Spiegelbild" ihres Partners zu sein. Statt nur zu lernen, „wie man schneidet", lernt die KI, „wie man schneidet, wenn mein Partner X tut".

Stellen Sie sich vor, Sie lernen einen Tanz.

Alter Weg: Die KI lernt eine Liste von 100 verschiedenen Tanzschritten (Fertigkeiten) und versucht, sie alle perfekt allein auszuführen.
PASD-Weg: Die KI lernt, den Partner zu beobachten. Wenn der Partner eine langsame, anmutige Bewegung macht, weiß die KI, dass sie die „langsame Tanz"-Fertigkeit wählen soll. Wenn der Partner einen schnellen, energiegeladenen Sprung macht, wählt die KI die „schnelle Tanz"-Fertigkeit.

3. Wie es lernt: Der „Gruppenfoto"-Trick

Wie weiß die KI, welche Fertigkeit zu welchem Partner passt? Der Artikel verwendet einen cleveren Trick namens Kontrastives Lernen.

Stellen Sie sich vor, Sie machen Fotos von einer Gruppe von Freunden, die verschiedene Aktivitäten ausführen:

Das Setup: Sie machen 10 Fotos derselben „Langsame Tanz"-Fertigkeit, aber jedes Mal kombinieren Sie die KI mit einem anderen Partner (einer ist groß, einer ist klein, einer ist schnell, einer ist langsam).
Das Ziel: Die KI wird angewiesen: „Obwohl diese Partner unterschiedlich aussehen, sollte das Ergebnis des ‚Langsamen Tanzes' auf dem Foto gleich aussehen."
Der Kontrast: Dann zeigen Sie der KI Fotos der „Schneller Sprung"-Fertigkeit. Die KI lernt: „Diese Fotos sehen völlig anders aus als die ‚Langsame Tanz'-Fotos."

Indem sie dies tut, lernt die KI, das zufällige Rauschen (wie die Körpergröße des Partners) zu ignorieren und sich auf das Muster zu konzentrieren, wie sie sich gemeinsam bewegen. Sie lernt zu sagen: „Aha, dieser spezifische Partnerstil führt immer zu diesem spezifischen Teamergebnis."

4. Die „intrinsische Belohnung": Eine geheime Punktzahl

In Videospielen erhalten Sie Punkte für das Töten von Feinden oder das Sammeln von Münzen (extrinsische Belohnungen). Aber hier erhält die KI eine geheime, interne Punktzahl (intrinsische Belohnung) nur für das Erkennen von Mustern.

Wenn die KI einen Partner sieht und korrekt vorhersagt: „Oh, dieser Partner bewegt sich gerne im Uhrzeigersinn, also sollte ich die ‚Uhrzeigersinn-Fertigkeit' verwenden", erhält sie einen Bonuspunkt.
Wenn sie falsch rät und die „Gegen-Uhrzeigersinn-Fertigkeit" verwendet, erhält sie eine Strafe.
Dieser Bonuspunkt ermutigt die KI, aufhören zu raten und stattdessen genau auf das Verhalten des Partners zu achten.

5. Die Ergebnisse: Erfolgreich zusammen kochen

Die Forscher testeten dies in einem Spiel namens Overcooked-AI, bei dem zwei Agenten in einer winzigen Küche gemeinsam Suppe kochen müssen.

Der Test: Sie kombinierten die KI mit vielen verschiedenen „Partnern" (einige waren andere KIs, einige waren Computermodelle, die auf echten menschlichen Daten trainiert wurden, und einige waren echte Menschen).
Das Ergebnis:
- Die alten Methoden (wie FCP oder DIAYN) gerieten oft in Verwirrung oder prallten gegen Wände, weil sie sich nicht gut anpassten.
- PASD gewann. Es erzielte konsistent höhere Punktzahlen.
- Wenn echte Menschen mit der PASD-KI spielten, kochten sie mehr Suppe und hatten weniger Unfälle als beim Spielen mit den anderen KIs.

Das Fazit

Dieser Artikel behauptet nicht, dass KI morgen Ihr Abendessen für Sie kochen kann. Er beweist einfach, dass eine KI, wenn man ihr beibringt, Fertigkeiten basierend darauf zu lernen, mit wem sie arbeitet (anstatt nur basierend darauf, was sie tut), zu einem viel besseren Teamkollegen wird. Sie hört auf, ein „Einsamer Wolf" zu sein, und wird zu einem echten Partner, der sich an den Stil von jedem anpassen kann.

Technische Zusammenfassung: Partnerbewusste hierarchische Fähigkeitsentdeckung für robuste Mensch-KI-Zusammenarbeit

Problemstellung

Eine effektive Zusammenarbeit mehrerer Agenten, insbesondere bei der Teamarbeit zwischen Mensch und KI, erfordert Agenten, die sich an neue Partner mit diversen und dynamischen Verhaltensweisen anpassen können. Herkömmliche Methoden des Deep Hierarchical Reinforcement Learning (DHRL) konzentrieren sich typischerweise auf agentenzentrierte Belohnungen und optimieren die Vielfalt, ohne den Einfluss von Partnern explizit zu berücksichtigen. Diese Einschränkung führt zu „Shortcut Learning", bei dem Agenten spuriose Korrelationen in Zustandsmerkmalen ausnutzen, anstatt Informationen zu erfassen, die für Partnerinteraktionen relevant sind. Folglich generalisieren erlernte Fähigkeiten oft nicht auf neue Partner, was zu schlechter Koordination und inkonsistentem Verhalten führt. Bestehende Ansätze, die die gegenseitige Information (MI) zwischen Fähigkeiten und Zuständen maximieren, leiden häufig unter diesem Problem, da sie durch die Entropie der Fähigkeiten begrenzt sind und keine Sensitivität gegenüber Partnerverhalten gewährleisten, was zu statischen Fähigkeiten mit begrenzter Anpassungsfähigkeit führt.

Methodik

Die Autoren schlagen Partner-Aware Skill Discovery (PASD) vor, ein DHRL-Rahmenwerk, das entwickelt wurde, um Fähigkeiten zu erlernen, die auf Partnerverhalten konditioniert sind. Die Kerninnovation ist eine kontrastive intrinsische Belohnung, die die Repräsentation von Fähigkeiten so gestaltet, dass sie über Partner mit ähnlichem Verhalten hinweg konsistent sind, während gleichzeitig die Unterscheidbarkeit über diverse Strategien hinweg erhalten bleibt.

Überblick über den Rahmenwerk

PASD operiert innerhalb einer hierarchischen Struktur, die aus einem hochrangigen Manager ( $\pi_{hi}$ ) besteht, der latente Fähigkeiten ( $z$ ) auswählt, und einem niedrigrangigen Controller ( $\pi_{lo}$ ), der primitive Aktionen ausführt, die auf dem aktuellen Zustand und der aktiven Fähigkeit basieren. Der Rahmenwerk nutzt eine Population von Partnern ( $\mathcal{D}_p$ ), die während des Trainings aus einer Verteilung gesampelt werden.

Schlüsselmechanismen

Kontrastive intrinsische Belohnung:
Anstatt die Standard-MI zwischen Fähigkeiten und Zuständen zu maximieren, maximiert PASD eine variationelle untere Schranke der MI zwischen Fähigkeiten und Sub-Trajektorien. Dies wird durch ein InfoNCE-artiges kontrastives Ziel erreicht.
- Positive Paare: Sub-Trajektorien, die von derselben Fähigkeit generiert wurden, die mit verschiedenen Partnern interagiert.
- Negative Paare: Sub-Trajektorien, die von verschiedenen Fähigkeiten generiert wurden.
- Ziel: Die intrinsische Belohnung ( $r_{int}$ ) ermutigt die Policy, Fähigkeiten auszuwählen, die konsistente Zustands-Embeddings über Partner mit ähnlichem Verhalten hinweg produzieren (Intra-Fähigkeits-Konsistenz), während gleichzeitig unterschiedliche Embeddings für verschiedene Fähigkeiten sichergestellt werden (Inter-Fähigkeits-Diskriminierbarkeit).
Trainingsziel:
Die Gesamtbelohnung für sowohl hochrangige als auch niedrigrangige Policies ist eine gewichtete Kombination der extrinsischen Team-Belohnung ( $r$ ) und der kontrastiven intrinsischen Belohnung ( $r_{int}$ ):
$\tilde{r} = (1 - \lambda)r + \lambda r_{int}$
Während des frühen Trainings ist $\lambda$ hoch, um die Exploration diverser partnerkonditionierter Muster zu fördern. Mit fortschreitendem Training wird $\lambda$ abgeklungen, um die Aufgabenleistung zu priorisieren, während die erlernte Verhaltenskonsistenz beibehalten wird.
Optimierung:
Der hochrangige Manager, der niedrigrangige Controller und die Terminierungsfunktion werden end-to-end unter Verwendung des Proximal Policy Optimization (PPO)-Algorithmus optimiert.

Hauptbeiträge

PASD-Rahmenwerk: Einführung eines DHRL-Rahmenwerks, das die Fähigkeitsentdeckung auf Partnerverhalten konditioniert und eine robuste Koordination mit neuen Partnern ermöglicht.
Neuartige intrinsische Belohnung: Vorschlag einer kontrastiven intrinsischen Belohnung, die aus dem InfoNCE-Verlust abgeleitet ist. Diese Belohnung erfasst gemeinsame Muster aus parallelen Rollouts mit diversen Partnern, mildert Shortcut Learning, das durch spuriose Zustandsinformationen verursacht wird, und nutzt direkt partnerrelevante Informationen.
Umfassende Evaluation: Umfassende Evaluation im Overcooked-AI-Benchmark über diverse Partnerpopulationen (mit variierenden Fähigkeitsniveaus und Spielstilen) sowie menschliche Proxy-Modelle. Die Studie zeigt, dass PASD übertragbare Fähigkeiten erlernt, die sich effektiv über ein breites Spektrum an Partnerverhalten hinweg generalisieren.

Experimentelle Ergebnisse

Die Autoren bewerteten PASD gegen Baselines, darunter Fictitious Co-Play (FCP), DIAYN und Hierarchical Population Training (HiPT), in der Overcooked-AI-Umgebung.

Leistung mit KI-Partnern: PASD schnitt bei fünf Standard-Layouts (Cramped Room, Asymmetric Advantages, Coordination Ring, Counter Circuit, Forced Coordination) konsistent besser ab als alle Baselines. Beispielsweise erreichte PASD im Cramped Room-Layout eine durchschnittliche Belohnung von 165,8, deutlich höher als FCP (137,7) und HiPT (117,9).
Leistung mit menschlichen Proxy-Modellen: In Kombination mit Behavior-Cloning (BC)-Modellen, die auf Mensch-Mensch-Trajektorien trainiert wurden, behielt PASD eine überlegene Leistung bei und erzielte die höchsten Erträge in allen Layouts (z. B. 150,00 in Cramped Room im Vergleich zu 118,75 für FCP).
Studie mit menschlichen Probanden: In einer kontrollierten Studie mit 19 menschlichen Teilnehmern erzielte PASD über alle Layouts hinweg höhere gemeinsame Belohnungen als HiPT und verbesserte die Mensch-KI-Zusammenarbeit um 22 % bis 47 %.
Qualitative Analyse: Die Analyse der erlernten Fähigkeiten-Embeddings (mittels Kosinus-Ähnlichkeits-Wärmekarten und UMAP-Projektionen) zeigte, dass PASD Fähigkeiten erfolgreich entwirrt. Embeddings für dieselbe Fähigkeit bildeten kompakte Cluster, unabhängig vom Partner, während verschiedene Fähigkeiten distinkt blieben. Dies bestätigt die Fähigkeit des Modells, partnerkonditionierte Dynamiken anstelle von agentenzentriertem Rauschen zu erfassen.

Bedeutung und Behauptungen

Die Arbeit behauptet, dass PASD eine kritische Lücke im Multi-Agent Reinforcement Learning schließt: die Unfähigkeit standardmäßiger hierarchischer Methoden, sich an das dynamische Verhalten neuer Partner anzupassen. Durch die Verschiebung des Fokus von agentenzentrierter Vielfalt hin zu partnerbewusster Konsistenz mildert die Methode Shortcut Learning und fördert Verhaltensrobustheit.

Die Autoren behaupten, dass PASD eine Grundlage für adaptivere und effizientere kollaborative Agenten schafft, indem Fähigkeiten erlernt werden, die nicht nur vielfältig, sondern auch im Kontext der Mensch-KI-Interaktion sinnvoll sind. Die Ergebnisse deuten darauf hin, dass die Konditionierung der Fähigkeitsentdeckung auf Partnerverhalten es Agenten ermöglicht, sich effektiv auf nicht gesehene Partner zu generalisieren, einschließlich solcher mit menschähnlichen Spielstilen, ohne umfangreiche menschliche Daten für das Training zu benötigen. Die Arbeit hebt hervor, dass robuste Koordination eine Reasoning über zeitlich ausgedehnte Verhaltensweisen erfordert, die für die spezifischen Strategien der Kollaborateure sensitiv sind.