R3DM: Enabling Role Discovery and Diversity Through Dynamics Models in Multi-agent Reinforcement Learning

1. Problemstellung

Multi-Agenten-Reinforcement-Learning (MARL) hat in komplexen Domänen wie Verkehrssteuerung und Robotik Erfolge erzielt, häufig unter Verwendung von Paradigmen für zentralisiertes Training und dezentralisierte Ausführung (CTDE) (z. B. QMIX, MAPPO). Standard-CTDE-Methoden verlassen sich jedoch auf geteilte Policy-Parameter, was oft das Erlernen diverser Verhaltensweisen behindert, die für eine effektive Koordination notwendig sind.

Bestehende rollenbasierte MARL-Ansätze versuchen dies zu lösen, indem sie emergente Rollen aus den vergangenen Beobachtungen der Agenten lernen, um komplementäre Verhaltensweisen zu fördern. Das Papier identifiziert einen kritischen Mangel in diesen Methoden:

• Die Einschränkung: Die Ableitung von Rollen ausschließlich aus vergangenen Erfahrungen berücksichtigt nicht, wie eine Rolle die zukünftige Trajektorie eines Agenten beeinflusst.
• Die Konsequenz: Agenten mit ähnlichen Anfangsbeobachtungen können frühzeitig identische Rollen übernehmen, was zu redundanten Verhaltensweisen führt (z. B. fliegen zwei Drohnen beide zum selben Brandherd) anstatt zu einer effektiven Verteilung und Koordination.
• Die Erkenntnis: Die Rolle eines Agenten sollte sein zukünftiges Verhalten aktiv prägen. Wenn ein Agent eine spezifische Rolle annimmt, sollten seine zukünftigen Beobachtungen und Aktionen sich natürlicherweise von denen anderer Rollen unterscheiden, um eine effektive Koordination zu gewährleisten.

2. Methodik: R3DM

Die Autoren schlagen Role Discovery and Diversity through Dynamics Models (R3DM) vor, ein Framework, das die aktuelle Rolle eines Agenten mit seinem erwarteten zukünftigen Verhalten unter Verwendung informationstheoretischer Konzepte und Weltmodelle verknüpft.

Kernziel

R3DM maximiert die gegenseitige Information (Mutual Information, MI) zwischen drei Variablen:

1. Die Rolle des Agenten zum Zeitpunkt $t$ ($m^t_i$).
2. Die beobachtete Trajektorie bis zum Zeitpunkt $t$ ($\tau^t_i$).
3. Die erwartete zukünftige Trajektorie ($\tau^{t+1:t+k}_i$).

Die Zielfunktion wird wie folgt formuliert:
$$I(\tau^{t+k}_i; m^t_i | \tau^t_i)$$
Da die direkte Maximierung dieses Ausdrucks nicht handhabbar ist, leiten die Autoren eine handhabbare untere Schranke ab, die in zwei Komponenten zerlegt wird:

1. Lernen von Rolle-Embeddings: Lernen von intermediären Rolle-Embeddings ($z^t_i$) aus der Beobachtungs-Aktions-Historie.
2. Vielfalt des zukünftigen Verhaltens: Maximierung der MI zwischen diesen Rolle-Embeddings und der zukünftigen Trajektorie.

Schlüsselkomponenten

A. Lernen von intermediären Rolle-Embeddings (Kontrastives Lernen)

• Nutzt ein Framework für kontrastives Lernen (basierend auf ACORM), um Agenten basierend auf ihren vergangenen Beobachtungs-Aktions-Historien in distincte Rollen zu clustern.
• Verwendet einen Trajektorien-Encoder ($\theta_e$) und einen Rollen-Encoder ($\theta_r$) zur Generierung von Embeddings.
• Optimiert einen kontrastiven Verlust, um sicherzustellen, dass Agenten mit ähnlichen Verhaltensmustern gruppiert werden, während unterschiedliche Muster getrennt werden.

B. Intrinsische Belohnungen durch Dynamikmodelle
Um sicherzustellen, dass Rollen das zukünftige Verhalten prägen, führt R3DM zwei intrinsische Belohnungen ein, die von der unteren MI-Schranke abgeleitet sind:

1. Policy-Intrinsische Belohnung ($r_{pol}$):

   • Fördert Vielfalt bei der Aktionsauswahl basierend auf der Rolle.
   • Berechnet als Kullback-Leibler-Divergenz (KL) zwischen der rollenbedingten Policy und der durchschnittlichen (rollenagnostischen) Policy.
   • Formel: $r_{i,pol} = \sum D_{KL}(\text{SoftMax}(Q_i(\cdot|\tau, z)) || p(\cdot|\tau))$.

2. Dynamik-Intrinsische Belohnung ($r_{dyn}$):

   • Dies ist der neuartige Beitrag. Sie quantifiziert, wie stark das Rollen-Embedding die Vorhersage zukünftiger Beobachtungen beeinflusst.
   • Sie verwendet zwei Recurrent State Space Models (RSSM) (basierend auf DreamerV3):
     • Rollenbedingtes Modell ($q_\psi$): Vorhersage zukünftiger Beobachtungen gegeben die Trajektorie und das Rollen-Embedding.
     • Rollenagnostisches Modell ($p_\phi$): Vorhersage zukünftiger Beobachtungen gegeben nur die Trajektorie (ohne Rolle).
   • Die Belohnung ist die Differenz der Log-Likelihoods zwischen den beiden Modellen. Wenn das rollenbedingte Modell die Zukunft signifikant besser vorhersagt als das agnostische Modell, erhält der Agent eine hohe Belohnung, was die Rolle als prädiktiv für zukünftiges Verhalten belohnt.
   • Formel: $r_{i,dyn} = \sum [\log q_\psi - \log p_\phi]$.

C. Finale Lernzielsetzung
Die Gesamtbelohnung für den MARL-Agenten ist eine Kombination aus der Aufgabenbelohnung ($r_t$) und den intrinsischen Belohnungen:
$$r_{total} = r_t + \alpha r_{int}$$
wobei $r_{int} = \beta_3 r_{pol} + r_{dyn}$. Diese kombinierte Belohnung wird verwendet, um die Q-Netzwerke über standardmäßiges TD-Learning zu aktualisieren.

3. Hauptbeiträge

1. Neues informationstheoretisches Ziel: Ein Ziel wird vorgeschlagen, das die MI zwischen Rollen, vergangenen Trajektorien und erwarteten zukünftigen Trajektorien maximiert und den Fokus von rollenbasierten Rückschlüssen auf der Vergangenheit hin zu zukunftsformenden Rollen verschiebt.
2. Dynamikgetriebene intrinsische Belohnungen: Einführung eines Mechanismus unter Verwendung von Weltmodellen (RSSM) zur Generierung intrinsischer Belohnungen, die rollenspezifische zukünftige Verhaltensweisen erzwingen und Exploration mit Rollenspezialisierung ausbalancieren.
3. Integration mit CTDE: Erfolgreiche Integration dieses Frameworks in bestehende rollenbasierte MARL-Methoden (insbesondere ACORM/QMIX) ohne Verlust der Sample-Effizienz.
4. Empirische Validierung: Demonstration von State-of-the-Art-Leistung auf anspruchsvollen Benchmarks.

4. Experimentelle Ergebnisse

Die Autoren bewerteten R3DM in den Umgebungen SMAC (StarCraft Multi-Agent Challenge) und SMACv2.

• Leistung: R3DM übertrifft State-of-the-Art-Baselines (einschließlich QMIX, ACORM, CIA, GoMARL, CDS und EMC).
  • Erzielte bis zu eine 20%ige Verbesserung der Gewinnraten auf schwierigen Karten (z. B. 3s5z vs 3s6z, Corridor, 6h vs 8z).
  • Zeigte überlegene Sample-Effizienz und schnellere Konvergenz.
• SMACv2: In stochastischen Umgebungen (variierende Anfangsbedingungen) behielt R3DM eine robuste Leistung bei und übertraf Baselines in asymmetrischen Szenarien (z. B. Protoss 10 vs 11).
• Qualitative Analyse: Visualisierungen auf der Karte 3s5z vs 3s6z zeigten, dass während ACORM-Agenten zu Massenangriffs-Verhalten konvergierten, R3DM-Agenten lernten, sich in spezialisierte Untergruppen aufzuteilen (z. B. ein Agent lockt Feinde an, während andere flankieren), was eine echte Rollendifferenzierung demonstriert.
• Ablationsstudien:
  • Imagination-Horizont: Kurze Horizonte ($k=1$ oder $2$) funktionierten am besten; längere Horizonte führten zu akkumulierenden Vorhersagefehlern.
  • Rollen-Kardinalität: Eine moderate Anzahl von Rollen (z. B. 3) balancierte Koordination und Spezialisierung besser als eine hohe Kardinalität.
  • Komponenten: Sowohl kontrastives Lernen als auch intrinsische Belohnungen erwiesen sich als notwendig für optimale Leistung.

5. Bedeutung und Auswirkung

• Paradigmenwechsel: R3DM verschiebt das Feld der rollenbasierten MARL von einer retrospektiven Rollenzuweisung (basierend auf dem, was passiert ist) hin zu einer prospektiven Rollenzuweisung (basierend auf dem, was passieren wird).
• Koordinationsmechanismus: Durch die Verknüpfung von Rollen mit zukünftiger Dynamik löst die Methode natürlich das „Redundanz"-Problem, bei dem Agenten mit ähnlichen Historien keine Koordination erreichen.
• Modellbasiertes RL in MARL: Das Papier überbrückt erfolgreich die Lücke zwischen modellfreiem MARL und modellbasierten Ansätzen (unter Verwendung von Weltmodellen für intrinsische Motivation) und ebnet den Weg für ausgefeiltere Koordinationsstrategien in komplexen, stochastischen Umgebungen.
• Praktische Anwendung: Der Ansatz ist hochrelevant für reale Multi-Agenten-Systeme wie Drohnenschwärme, autonome Fahrzeugflotten und Roboterteams, bei denen distincte Rollen dynamisch zugewiesen werden müssen, um mehrere Ziele gleichzeitig zu bewältigen.