🤖 AI

ASALT: Adaptive State Alignment for Lateral Transfer in Multi-agent Reinforcement Learning

Das Papier stellt ASALT vor, eine Multi-Agenten-Reinforcement-Learning-Methode, die Beobachtungsebene- und Zustandsebene-Adapter verwendet, um nicht übereinstimmende Quell- und Zielbereiche in einen gemeinsamen Einbettungsraum abzubilden, wodurch ein effektiver Wissenstransfer ermöglicht und negativer Transfer in Umgebungen mit unterschiedlichen Zustandsraumdimensionen gemildert wird.

Ursprüngliche Autoren: Anurag Akula, Satheesh K. Perepu, Abhishek Sarkar, Kaushik Dey

Veröffentlicht 2026-06-24

📖 5 Min. Lesezeit🧠 Tiefgang

CC BY 4.0

Ursprüngliche Autoren: Anurag Akula, Satheesh K. Perepu, Abhishek Sarkar, Kaushik Dey

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Stellen Sie sich vor, Sie sind der Trainer einer Fußballmannschaft. Sie haben eine Gruppe von Spielern, die jahrelang ein spezifisches Playbook auf einem kleinen 5-a-side-Platz gemeistert haben. Nun müssen Sie sie auf einem riesigen 11-a-side-Profiplatz einsetzen, oder Sie müssen sie in ein völlig anderes Spiel wechseln, bei dem die Regeln und die Anzahl der Spieler ganz anders sind.

In der Welt der Künstlichen Intelligenz nennt man das Multi-Agent Reinforcement Learning (MARL). Dabei geht es darum, Gruppen von KI-„Agenten“ beizubringen, zusammenzuarbeiten. Das Problem ist: Wenn man ein Team, das für ein kleines Feld trainiert wurde, auf ein großes Feld setzt, gerät es in Verwirrung. Ihre „Augen“ (Sensoren) sehen eine andere Anzahl von Dingen, und ihr „Gehirn“ (die Policy) weiß nicht, wie es mit der neuen Teamgröße koordinieren soll.

Dieses Paper stellt eine neue Methode namens ASALT (Adaptive State Alignment for Lateral Transfer) vor, um genau dieses Problem zu lösen. So funktioniert es, einfach erklärt:

Das Problem: Die „Nicht-für-alle-passend“-Falle

Früher mussten, wenn man das Wissen eines trainierten KI-Teams (die Quelle) für ein neues Team (das Ziel) wiederverwenden wollte, die beiden Teams fast identisch sein. Sie mussten exakt die gleiche Anzahl an Spielern haben, und jeder Spieler musste exakt die gleiche Menge an Informationen wahrnehmen.

Wenn das neue Team mehr Spieler hatte oder die Welt anders sah, konnte das alte Wissen nicht verwendet werden. Es war, als würde man versuchen, einen Kinderschuh einem Riesen an den Fuß zu zwingen; er passte einfach nicht. Die meisten bestehenden Methoden zwangen das neue Team dazu, alles von Grund auf neu zu lernen, was eine enorme Menge an Zeit und Energie verschwendete.

Die Lösung: ASALTs „Universeller Übersetzer“

ASALT fungt wie ein universeller Übersetzer und ein intelligenter Adapter. Anstatt das neue Team zu zwingen, exakt wie das alte auszusehen, baut ASALT eine Brücke zwischen ihnen.

Es verwendet zwei Hauptwerkzeuge, die die Autoren Adapter nennen:

Der Beobachtungs-Adapter (Der „Übersetzer“):
Stellen Sie sich vor, das neue Team sieht eine chaotische Menge von 11 Personen, aber das alte Team weiß nur, wie man mit 3 umgeht. Der Beobachtungs-Adapter nimmt die chaotische Sicht des neuen Teams auf die Welt und übersetzt sie in eine saubere, zusammengefasste „Sprache“, die das Gehirn des alten Teams versteht. Er verkleinert die Daten nicht einfach nur; er nutzt einen speziellen Aufmerksamkeitsmechanismus (wie ein Scheinwerfer), um sich auf die wichtigsten Beziehungen zwischen den Spielern zu konzentrieren und das Rauschen zu ignorieren.
Der Zustands-Adapter (Der „Kontextualisierer“):
Manchmal muss das Team das „Große Ganze“ kennen (den globalen Zustand), wie zum Beispiel, wo sich der Ball im Verhältnis zum gesamten Feld befindet. Wenn das neue Feld größer oder anders geformt ist, formt der Zustands-Adapter diese ganzheitliche Sichtweise so um, dass sie für die Strategie des alten Teams Sinn ergibt.

Wie der Transfer stattfindet: „Laterales“ Lernen

Sobdem die Sicht des neuen Teams übersetzt wurde, kopiert ASALT nicht einfach nur die fertigen Bewegungen des alten Teams. Stattdessen nutzt es eine Technik namens Lateraler Transfer.

Denken Sie an einen Meisterkoch (die Quelle), der einem neuen Lehrling (dem Ziel) etwas beibringt.

Der alte Weg: Der Meister schreibt das fertige Rezept auf, und der Lehrling versucht, es auswendig zu lernen. Wenn sich die Zutaten ändern, scheitert das Rezept.
Der ASALT-W Weg: Der Meister lässt den Lehrling während des Kochens zuschauen. Der Lehrling sieht, wie der Meister schneidet, rührt und abschmeckt – und zwar bei jedem einzelnen Schritt (den intermediären Schichten des Gehirns). Der Lehrling lernt die Prinzipien des Kochens, nicht nur das fertige Gericht.

In ASALT „beobachtet“ das neue Team das eingefrorene (vortrainierte) alte Team bei der Arbeit durch die übersetzten Daten. Das neue Team lernt aus den internen Denkprozessen des alten Teams (sowohl vom „Actor“, der entscheidet, was zu tun ist, als auch vom „Critic“, der beurteilt, wie gut ein Zug war). Dies ermöglicht es dem neuen Team, viel schneller zu lernen.

Was die Experimente zeigten

Die Forscher testeten dies in drei verschiedenen „Spielen“:

StarCraft II (SMAC): Ein komplexes Strategiespiel, bei dem man Einheiten befehligt. Sie testeten den Übergang von 3 Einheiten auf 8 Einheiten und änderten sogar die Arten der Einheiten.
Google Research Football: Eine Fußballsimulation. Sie testeten den Übergung von einem kleinen Trainingsakademie-Spiel zu einem vollen 11-gegen-11-Match.
Multi-Particle Environments: Einfache Physikspiele, bei denen Agenten sich verteilen oder einander abschlagen müssen.

Die Ergebnisse:

Geschwindigkeit: Die neuen Teams lernten signifikant schneller zu gewinnen (manchmal benötigten sie nur 20–30 % der Übungszeit im Vergleich zum Start bei Null).
Flexibilität: Es funktionierte selbst dann, wenn sich die Anzahl der Spieler änderte oder die Regeln leicht abwichen.
Vermeidung von „schlechten Angewohnheiten“: Manchmal kann altes Wissen schädlich sein (bekannt als „negativer Transfer“). Zum Beispiel könnte eine Strategie für ein kleines Feld auf einem großen Feld schrecklich sein. ASALT war gut darin, die schlechten Teile zu filtern und nur die nützlichen Koordinationsmuster beizubehalten, um zu verhindern, dass das neue Team verwirrt wird.

Das Fazit

ASALT ist eine Methode, die es KI-Teams ermöglicht, die in einer Umgebung trainiert wurden, schnell an eine neue, andere Umgebung anzupassen. Dies geschieht, indem die „Sprache“ der neuen Umgebung in ein Format übersetzt wird, das das alte Team versteht, und indem das neue Team lernt, indem es den internen Entscheidungsprozessen des alten Teams zusieht.

Das Paper behauptet, dass dies das Training wesentlich effizienter macht und hilft, KI-Systemen den Umgang mit realen Veränderungen (wie dem Hinzufügen oder Entfernen von Teammitgliedern) beizubringen, ohne dass sie alles von Null auf neu lernen müssen. Es wird nicht behauptet, dass es für medizinische oder klinische Zwecke verwendet wird, sondern dient der Verbesserung der Art und Weise, wie KI-Systeme in Spielen, im Verkehr oder in der Flottenverwaltung koordinieren lernen.

Technisches Resümee: ASALT – Adaptive State Alignment für lateralen Transfer in Multi-Agenten-Reinforcement-Learning

Problemstellung

Multi-Agenten-Reinforcement-Learning (MARL) steht vor erheblichen Herausforderungen beim Transfer von Wissen von einer Quellendomäne auf eine Zieldomäne, in der die Umgebungen strukturell unterschiedlich sind. Während bisherige Arbeiten den Transfer von Wissen in MARL untersucht haben, legen die meisten bestehenden Ansätze eine strikte Einschränkung fest: Die Dimensionalität der Beobachtungsräume und der globalen Zustandsräume muss in der Quell- und Zieldomäne identisch sein.

In realistischen Szenarien, wie etwa beim Verkehrsmanagement, der Flottenkoordination oder kompetitiven Spielen wie StarCraft II, ändern sich oft die Anzahl der Agenten, Gegner oder die Konfigurationen der Umgebung. Diese Änderungen verändern die Dimensionalität der Beobachtungs- und Zustandsräume. Infolgedessen scheitern Standardmethoden des lateralen Transfers, da sie keine heterogenen Eingaben in einen gemeinsamen Repräsentationsraum abbilden können, ohne identische Netzwerkarchitekturen zu erzwingen. Darüber hinaus konzentrieren sich bestehende Methoden oft ausschließlich auf den Transfer von Actor-Informationen (Policy), wobei sie den potenziellen Nutzen des Transfers von Critic-Informationen (Value Function) vernachlässigen, der für die Schätzung von Advantage-Funktionen und die Koordination von Agenten entscheidend ist. Zudem führt der Transfer von Policies zwischen Domänen mit widersprüchlichen Koordinationsanforderungen oft zu „negativem Transfer“, bei dem das Vorwissen die Leistung eher verschlechtert als verbessert.

Methodik: Das ASALT-Framework

Die Autoren schlagen ASALT (Adaptive State Alignment for Lateral Transfer) vor, ein Framework, das darauf ausgelegt ist, unterschiedliche Dimensionalitäten der Zustandsräume zwischen Quell- und Zieldomänen zu bewältigen, ohne strukturelle Beschränkungen für die Netzwerkarchitektur aufzuerlegen. Die Kerninnovation liegt in der Verwendung von Adapter-Modulen, die Ziel-Domänen-Eingaben in einen gemeinsamen Embedding-Raum abbilden, der mit den vortrainierten Quell-Agenten kompatibel ist.

Kernkomponenten

Observation Adapter (Beobachtungs-Adapter):
- Funktion: Bildet Ziel-Domänen-Beobachtungen ( $o_t$ ) in einen gemeinsamen Embedding-Raum ( $\hat{e}_o$ ) ab, der mit dem Eingaberaum der eingefrorenen Quell-Actors kompatibel ist.
- Architektur: Der Adapter zerlegt die Ziel-Beobachtungen in agentenspezifische Merkmale ( $o_a$ $o_{a}$ ) und kontextuelle Merkmale ( $o_c$ $o_{c}$ ), welche die anderen Agenten beschreiben.
  - Agentenspezifische Merkmale werden über ein Fully Connected Network (FCN) verarbeitet.
  - Kontextuelle Merkmale werden über einen Mechanismus der Hierarchical Multi-Head Attention (H-MHA) verarbeitet. Dieses Modul erfasst höherwertige relationale Abhängigkeiten über strukturierte Eigenschaftsgruppen hinweg (z. B. Verbündete vs. Feinde) und erzeugt Embeddings, die kontextuelle Informationen aggregieren.
- Ausgabe: Das finale Embedding ist eine Konkatenation aus agentenbezogenen, relationalen und aggregierten kontextuellen Embeddings, deren Größe auf die Eingabedimension der Quell-Policy abgestimmt ist.
State Adapter (Zustands-Adapter):
- Funktion: Bildet den globalen Zustand der Ziel-Domäne ( $s_t$ ) in ein gemeinsames Zustands-Embedding ( $\hat{e}_s$ ) für die Eingabe in die Quell-Critics ab.
- Architektur: Verwendet einen zwei-schichtigen Transformer Encoder. Der globale Zustand wird in Token-Embeddings projiziert und durch Multi-Head Self-Attention (MHSA) sowie Feed-Forward-Netzwerke (FFN) mit Residualverbindungen und Layer-Normalisierung verarbeitet. Dies erfasst explizit die Interaktionen zwischen den Zustandskomponenten.
- Zweck: Ermöglicht den Transfer von Koordinationsmustern, die in den Value Functions (Critics) der Quelldomäne kodiert sind.
Transfer Module (Laterale Verbindungen):
- Mechanismus: Implementiert den lateralen Wissenstransfer von eingefrorenen Quell-Agenten zum Ziel-Agenten.
- Actor Transfer: Der Ziel-Actor achtet (attends) auf die Repräsentationen der Top- $N$ Quell-Actors (ausgewählt via Clustering oder Ähnlichkeit). Layerweise Attention-Mechanismen ( $\alpha_k$ ) gewichten und aggregieren diese lateralen Signale.
- Critic Transfer: Ähnlich propagieren laterale Verbindungen gewichtete Repräsentationen ( $\beta_k$ ) von Quell-Critics zu den Ziel-Critics. Um unterschiedliche Belohnungsskalen zu handhaben, werden die Belohnungen vor der Konstruktion der Critic-seitigen Signale normalisiert.
- Training: Der Ziel-Agent wird unter Verwendung der ursprünglichen Ziel-Domänen-Inputs ( $o_t, s_t$ ) trainiert, während er gleichzeitig laterale Führung durch die Quell-Agenten via der Adapter erhält.

Trainingsparadigmen

Das Paper untersucht zwei Trainingsstrategien:

Unabhängiges Training (Independent Training): Die Adapter werden zuerst auf gesammelten Trajektorien aus beiden Domänen trainiert und anschließend eingefroren, während der Ziel-Agent trainiert wird.
Gemeinsames Training (Joint Training): Die Adapter und der Ziel-Agent werden gleichzeitig unter Verwendung von Ziel-Domänen-Trajektorien optimiert. Die Autoren stellen fest, dass das gemeinsame Training sample-effizienter ist, da es Embeddings induziert, die den Nutzen der transferierten Informationen explizit maximieren.

Kernbeiträge

Umgang mit Dimensionalitätsunterschieden: ASALT ist die erste Methode, die explizit unterschiedliche Dimensionalitäten der Beobachtungs- und globalen Zustandsräume zwischen Quell- und Zieldomänen in MARL berücksichtigt und damit die Anforderung identischer Netzwerkarchitekturen aufhebt.
Dual-Adapter-Architektur: Die Einführung sowohl von Beobachtungs- als auch von Zustands-Adaptern ermöglicht den Transfer sowohl von Policy- als auch von Value-Wissen (Actor und Critic), was eine effektivere Koordination ermöglicht.
Minderung von Negativem Transfer: Durch die Abbildung der Ziel-Inputs in einen gemeinsamen latenten Raum und den selektiven Transfer aufgabenrelevanter Informationen (statt roher Beobachtungen) reduziert ASALT das Risiko von negativem Transfer, insbesondere in heterogenen Domänen.
Sample-Effizienz: Das Framework verbessert die Sample-Effizienz signifikant und ermöglicht es Ziel-Agenten, schneller zu konvergieren als durch Training von Grund auf oder durch Nutzung bestehender Baselines.

Experimentelle Ergebnisse

Die Autoren evaluierten ASALT in drei Benchmark-Umgebungen: StarCraft II Multi-Agent Challenge (SMAC), Google Research Football (GRF) und Multi-Particle Environments (MPE).

Performance vs. Baselines: ASALT übertraf konsistent Domain-Adaption-Methoden (DANN, CORAL, CycleGAN) sowie State-of-the-Art Transfer-Learning-Baselines (LA-QTransformer, MALT, PSMARL).
Sample-Effizienz: In Szenarien mit Mismatch im Beobachtungsraum (z. B. Transfer von 3 Agenten auf 8 Agenten in SMAC) benötigte ASALT signifikant weniger Umgebungsschritte, um 80 % der asymptotischen Belohnung zu erreichen, verglichen mit allen Baselines. Beispielsweise benötigte ASALT beim 3m-zu-8m-Transfer $0,54 \times 10^5$ Schritte gegenüber $5,1 \times 10^5$ Schritten bei der Baseline.
Negativer Transfer: In Szenarien mit widersprüchlichen Koordinationsanforderungen (z. B. 3m Map vs. 3s5zvs3s6z) zeigte ASALT eine überlegene Robustheit, konvergierte schneller und erreichte höhere End-Win-Rates als Methoden, die anfällig für negativen Transfer sind.
Ablationsstudien:
- Joint vs. Independent: Das gemeinsame Training von Adaptern und Ziel-Agent lieferte eine signifikant schnellere Konvergenz als das unabhängige Training.
- Actor vs. Actor-Critic: Der Transfer sowohl von Actor- als auch von Critic-Informationen verbesserte im Allgemeinen die Stabilität und das frühe Lernen, obwohl in Fällen massiver Zustandsraum-Expansion ein reiner Actor-Transfer teilweise vergleichbare asymptotische Leistungen erzielte.
- Attention-Mechanismen: Attention-basierte Beobachtungs-Adapter übertrafen einfache FCN-basierte Adapter, insbesondere in Up-Scaling-Szenarien.

Bedeutung und Ansprüche

Das Paper behauptet, dass ASALT einen kritischen Engpass beim Einsatz von MARL in der realen Welt adressiert: die Unfähigkeit, Policies zu transferieren, wenn sich die Anzahl der Agenten oder die Komplexität der Umgebung ändert. Durch die Entkopplung der Ziel-Input-Dimensionalität von der Quell-Policy-Architektur mittels adaptiver Embeddings ermöglicht ASALT einen lateralen Transfer in heterogenen Settings.

Die Autoren betonen, dass ihr Ansatz:

Negativen Transfer reduziert: Durch das Erlernen der Abbildung von Zielzuständen in eine gemeinsame Repräsentation filtert die Methode irrelevante oder widersprüchliche Informationen heraus, was ein häufiges Versagensmodell beim Cross-Domain-Transfer ist.
Koordination verbessert: Die Einbeziehung von Zustands-Adaptern und Critic-Transfer erlaubt es dem System, wertbasierte Koordinationsmuster zu nutzen, nicht nur Aktions-Policies.
Recheneffizienz beibehält: Obwohl das Hinzufügen von Adapter-Modulen einen geringfügigen Rechenaufwand verursacht (ca. 21 % längere Trainingszeit in ihren Experimenten), wird dies durch die substantielle Reduktion der benötigten Interaktionen mit der Umgebung zur Konvergenz kompensiert.

Die Arbeit kommt zu dem Schluss, dass die Leistungsfähigkeit von ASALT zwar hochgradig effektiv ist, aber von dem Grad der Diskrepanz zwischen den Domänen abhängt. Zukünftige Arbeiten sollten hierarchischen Transfer und theoretische Analysen untersuchen, um die Rechenkosten weiter zu senken.