🤖 AI

ARMS: Automatic Reward Shaping for Sparse-Reward Multi-Agent Reinforcement Learning

Das Papier schlägt ARMS vor, ein selbstüberwachtes Framework für das Multi-Agenten-Reinforcement-Learning, das automatisch dichte Belohnungssignale aus spärlichen Belohnungen durch Trajektorien-Ranking generiert und dabei theoretisch die Erhaltung von Nash-Gleichgewichten durch bedingte Best-Response-Überlegungen garantiert, wodurch die Sampling-Effizienz und Stabilität in Umgebungen mit spärlichen Belohnungen verbessert werden.

Ursprüngliche Autoren: Elie Abboud, Oren Gal

Veröffentlicht 2026-05-25

📖 5 Min. Lesezeit🧠 Tiefgang

CC BY 4.0

Ursprüngliche Autoren: Elie Abboud, Oren Gal

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Stellen Sie sich vor, Sie unterrichten eine Gruppe von Hunden im Laufen eines Staffellaufs. In einer perfekten Welt erhalten sie jedes Mal eine Leckerbissen, wenn sie einen Schritt in die richtige Richtung machen. Doch in der realen Welt (und in der komplexen Welt der Künstlichen Intelligenz) können Sie oft nicht für jeden Schritt eine Leckerbissen geben. Stattdessen erhalten sie eine Leckerbissen erst, wenn der Hund schließlich die Ziellinie überquert.

Dies ist das Problem der spärlichen Belohnungen (Sparse Rewards). Wenn der Hund eine lange Strecke laufen muss und erst am ganz Ende eine Leckerbissen erhält, hat er keine Ahnung, welche Schritte gut und welche schlecht waren. Es ist, als würde man versuchen, eine neue Sprache zu lernen, indem man nur einmal im Jahr, nachdem man einen Satz beendet hat, „Richtig!" oder „Falsch!" hört.

In der Welt des Multi-Agenten-Verstärkungslernens (MARL) ist dies noch schwieriger. Stellen Sie sich nicht nur einen Hund vor, sondern einen ganzen Rudel. Alle müssen gleichzeitig lernen und müssen sich untereinander koordinieren. Wenn ein Hund seine Strategie ändert, verändert dies die Umgebung für alle anderen Hunde. Dies erzeugt eine chaotische, sich ständig wandelnde Landschaft, in der das Lernen unglaublich schwierig ist.

Das Problem: Der „stumme" Trainer

Die Arbeit argumentiert, dass viele Agenten (wie unsere Hunde), die gemeinsam mit spärlichen Belohnungen lernen, oft feststecken. Sie könnten beginnen, im Kreis zu laufen, gegeneinander zu stoßen oder einfach stehen zu bleiben, weil sie ohne ständiges Feedback nicht herausfinden können, was zu tun ist.

Traditionelle Methoden versuchen dies zu beheben, indem ein menschlicher Experte einen „Spickzettel" (genannt Reward Shaping oder Belohnungsformung) entwirft, der den Agenten unterwegs kleine Hinweise gibt. Dies ist jedoch riskant. Wenn der Mensch falsche Hinweise gibt, könnten die Agenten lernen, das System zu „betrügen" – sie könnten einen Abkürzungsweg finden, der ihnen viele Punkte einbringt, aber das eigentliche Problem nicht löst (wie ein Hund, der im Kreis läuft, um Leckerbissen zu bekommen, statt das Rennen zu laufen).

Die Lösung: ARMS (Der selbstlernende Trainer)

Die Autoren schlagen ein neues System namens ARMS (Automatic Reward-shaping in Multi-agent Systems) vor. Anstatt dass ein Mensch die Hinweise entwirft, agiert ARMS wie ein intelligenter Trainer, der lernt, wie man automatisch Hinweise gibt.

So funktioniert es, anhand einer einfachen Analogie:

Die Beobachtung: Der Trainer beobachtet die Hunde viele Male beim Rennen. Obwohl die Hunde nur am Ziel eine Leckerbissen erhalten, kann der Trainer das gesamte Rennen sehen.
Die Rangfolge: Der Trainer betrachtet zwei verschiedene Rennversuche. „Schauen Sie", sagt der Trainer, „beim Rennen A sind die Hunde schneller fertig geworden und sind nicht kollidiert. Beim Rennen B sind sie kollidiert und brauchten länger. Daher ist Rennen A besser als Rennen B."
Die Lektion: Der Trainer sagt nicht nur „Gut gemacht" oder „Schlecht gemacht". Er nutzt diese Rangfolgen, um ein neues Belohnungssystem zu erfinden. Er erzeugt ein dichtes Signal (ein ständiger Strom kleiner Hinweise), das den Hunden sagt: „Dieser Schritt war gut, weil er den Schritten im siegreichen Rennen ähnelt", oder „Dieser Schritt war schlecht, weil er den Schritten im unterlegenen Rennen ähnelt."
Das Sicherheitsnetz: Der wichtigste Teil von ARMS ist, dass es mathematisch bewiesen sicher ist. Die Autoren zeigen, dass der Trainer zwar neue Regeln erfindet, um Hinweise zu geben, aber niemals das ultimative Ziel des Spiels verändert. Es garantiert, dass die „siegreichen Strategien" (in der Arbeit als Nash-Gleichgewichte bezeichnet) gleich bleiben. Die Agenten lernen möglicherweise schneller, aber sie lernen nicht das Falsche.

Die „Oszillations"-Falle

Die Arbeit entdeckte einen lustigen und gefährlichen Fehler, der auftritt, wenn es zu viele Agenten und nicht genug Exploration gibt.

Stellen Sie sich vor, die Hunde sind so verwirrt, dass sie alle genau denselben albernen Tanz beginnen. Sie stoßen gegeneinander, bleiben stehen, tanzen wieder und stoßen erneut. Da sie alle dasselbe tun, sieht der „Trainer" (das Belohnungssystem) dieses Muster immer wieder und denkt: „Oh, das ist der beste Weg, sich zu bewegen!" Es verstärkt das schlechte Verhalten, und die Hunde stecken in einer endlosen Schleife aus Kollisionen und Tanzen fest.

Die Arbeit fand heraus, dass, wenn man die Agenten auffordert, ein wenig neugieriger zu sein (die „Exploration" erhöhen), sie zufällige, seltsame Bewegungen ausprobieren werden. Dies bricht die Schleife, sodass der Trainer erkennen kann, dass der „Tanz" eigentlich eine schlechte Idee ist, und beginnt, ihnen den richtigen Weg zu laufen beizubringen.

Die Ergebnisse

Die Autoren testeten dies in einer virtuellen Welt, in der Agenten (wie kleine Roboter) ein Raster navigieren, Hindernisse vermeiden und Ziele erreichen mussten, ohne gegeneinander zu kollidieren.

Schnelleres Lernen: Wenn die Belohnungen sehr spärlich waren (schwer zu lernen), half ARMS den Agenten, viel schneller zu lernen als wenn sie keine Hilfe gehabt hätten oder alte, von Hand entworfene Hinweise verwendet hätten.
Bessere Teamarbeit: Die Agenten lernten, sich besser zu koordinieren und kollidierten seltener miteinander.
Generalisierung: Die mit ARMS trainierten Agenten waren besser darin, neue Karten zu navigieren, die sie noch nie gesehen hatten, was bewies, dass sie tatsächlich das Konzept des „Staffellaufs" gelernt hatten und nicht nur eine bestimmte Strecke auswendig gelernt hatten.

Zusammenfassung

Kurz gesagt ist ARMS ein System, das einer Gruppe von KI-Agenten ermöglicht, sich selbst beizubringen, wie sie zusammenarbeiten, wenn sie wenig Feedback erhalten. Dies geschieht, indem sie ihre eigenen vergangenen Versuche beobachten, die guten gegen die schlechten rangieren und automatisch einen hilfreichen „Spickzettel" generieren, der sie führt. Entscheidend ist, dass dies geschieht, ohne die Regeln des Spiels zu brechen, wodurch sichergestellt wird, dass sie die richtige Lösung lernen und nicht nur einen cleveren Trick.

Technische Zusammenfassung: ARMS – Automatische Reward-Shaping für Multi-Agenten-Reinforcement-Learning mit spärlichen Belohnungen

1. Problemstellung

Multi-Agenten-Reinforcement-Learning (MARL) steht bei der Bewältigung von spärlichen Belohnungen vor einem kritischen Engpass. In spärlichen Umgebungen erhalten Agenten nur selten Feedback, was den Lernprozess erheblich verlangsamt. Dieses Problem ist im MARL im Vergleich zum Single-Agenten-RL (SARL) aufgrund von Nicht-Stationarität und Ko-Adaptation noch gravierender: Da Agenten ihre Strategien gleichzeitig aktualisieren, erscheint die Umgebung aus der Perspektive eines einzelnen Agenten nicht-stationär.

Obwohl Reward Shaping (die Ergänzung oder Ersetzung spärlicher Signale durch dichte Signale) eine gängige Lösung darstellt, ist es im MARL besonders riskant. Im SARL kann eine unangemessene Formung die Menge der optimalen Strategien verändern. Im MARL ist das Risiko noch schwerwiegender: Die Formung kann die Menge der Nash-Gleichgewichte verändern, die strategische Struktur des Spiels grundlegend ändern und zu suboptimalen oder unbeabsichtigten kollektiven Verhaltensweisen führen. Bestehende Methoden für automatisches Reward Shaping, wie das Self-Supervised Online Reward Shaping (SORS), stützen sich auf Garantien für das globale Ranking von Trajektorien, die sich aufgrund des Fehlens eines Begriffs der globalen Optimalität und der gegenseitigen Abhängigkeit der Agentenstrategien nicht direkt auf das MARL übertragen lassen.

2. Methodik: ARMS-Rahmenwerk

Die Autoren schlagen ARMS (Automatic Reward-shaping in Multi-agent Systems) vor, ein selbstüberwachtes Rahmenwerk, das darauf ausgelegt ist, dichte Formungssignale aus spärlichen Umweltbelohnungen zu lernen, während die spieltheoretische Gleichgewichtsstruktur erhalten bleibt.

Theoretische Grundlage: Invarianz der bedingten Best-Response

Der zentrale theoretische Beitrag ist eine Neuformulierung der Strategieninvarianz für Multi-Agenten-Szenarien.

Einschränkung bei Single-Agenten: Standard-Garantien für das Trajektorien-Ranking (z. B. aus SORS) gehen davon aus, dass, wenn zwei Belohnungsfunktionen die gleiche totale Ordnung über alle Trajektorienpaare induzieren, sie dieselben optimalen Strategien hervorbringen. Dies beruht auf einem Begriff der globalen Optimalität, der im MARL fehlt.
ARMS-Formulierung: Die Autoren beweisen, dass, wenn die Strategien aller anderen Agenten festgelegt sind, ein einzelner Agent einer induzierten Single-Agenten-Umgebung gegenübersteht. Unter dieser Sichtweise der bedingten Best-Response bewahrt eine formende Belohnungsfunktion die Menge der Best-Responses eines Agenten, wenn sie über die Trajektorien dieser induzierten Umgebung total-ordnungsequivalent zur ursprünglichen Belohnung ist.
Erhaltung des Gleichgewichts: Daraus folgt, dass, wenn diese Bedingung für alle Agenten gilt, die Menge der Nash-Gleichgewichte invariant bleibt. Dies liefert eine spieltheoretische Begründung für die Verwendung des Trajektorien-Rankings im MARL, ohne die zugrunde liegende strategische Lösung zu verändern.

Algorithmische Implementierung

ARMS arbeitet in einer alternierenden Schleife zwischen zwei Phasen (Algorithmus 1):

Reinforcement-Learning-Phase: Agenten interagieren mit der Umgebung unter Verwendung ihrer aktuellen geformten Belohnungen ( $R_{\theta}$ ) und eines Basis-MARL-Algorithmus (z. B. IPPO oder MAPPO). Sie sammeln gemeinsame Trajektorien, die in einem Puffer gespeichert werden.
Reward-Shaping-Phase: Das System sampelt Paare von Trajektorienabschnitten aus dem Puffer. Für jeden Agenten wird ein parametrisiertes Belohnungsnetzwerk ( $F_\theta$ $F_{θ}$ ) aktualisiert, um einen binären Klassifikationsverlust zu minimieren. Dieser Verlust erzwingt, dass die Präferenzordnung der geformten Belohnung über Trajektorienpaare mit der Präferenzordnung übereinstimmt, die durch die ursprüngliche spärliche Umweltbelohnung induziert wird.
- Gemeinsame Parameter: Um Effizienz und Skalierbarkeit zu verbessern, teilen sich alle Agenten dieselben Reward-Shaping-Parameter ( $\theta$ ). Das Netzwerk wird auf agentenweisen Trajektorienordnungen trainiert und aggregiert Signale über alle Agenten hinweg.
- Eingabe: Das Belohnungsnetzwerk nimmt lokale Beobachtungen und Aktionen als Eingabe und modelliert einen dezentralen Informationsfluss.

3. Hauptbeiträge

Die Arbeit umreißt drei primäre Beiträge:

Formulierung der Multi-Agenten-Strategieninvarianz: Die Autoren stellen fest, dass total-ordnungsequivalente Formungsbelohnungen die Menge der Best-Responses jedes Agenten unter festgelegten Gegnerstrategien bewahren und somit die Menge der Nash-Gleichgewichte erhalten. Dies adressiert die theoretische Lücke, die die direkte Anwendung von Single-Agenten-Trajektorien-Ranking-Methoden auf das MARL verhindert.
Das ARMS-Rahmenwerk: Eine praktische, selbstüberwachte Online-Methode zum Lernen von Belohnungen, die das Trajektorien-Ranking nutzt und gleichzeitig die Nicht-Stationarität im Multi-Agenten-Kontext berücksichtigt. Es lernt ein gemeinsames Formungssignal, das unabhängig vom zugrunde liegenden RL-Rückgrat ist.
Empirische Analyse der MARL-Dynamik: Die Studie identifiziert einen spezifischen MARL-Fehlmodus, bei dem eine begrenzte Exploration in Kombination mit Strategien-Belohnungs-Dynamiken oszillierendes Verhalten und eine Konvergenz zu suboptimalen zyklischen Mustern auslöst. Die Autoren zeigen, dass eine Erhöhung der Exploration diesen Effekt abschwächt.

4. Experimentelle Ergebnisse

Die Experimente wurden in einem teilweise beobachtbaren Multi-Agenten-Pfadfindungsdomäne (Lifelong Pathfinding) unter Verwendung der POGEMA-Umgebung durchgeführt. Die Autoren bewerteten ARMS gegenüber einer Baseline ohne Formung und Potential-Based Reward Shaping (PBRS) unter Verwendung von IPPO- und MAPPO-Rückgraten.

Sampling-Effizienz: ARMS schnitt in Bezug auf die kumulierte ursprüngliche Belohnung deutlich besser ab als die Baselines, insbesondere mit zunehmender Anzahl an Agenten (8, 16, 32) und mit zunehmender Spärlichkeit der Belohnungen (Verzögerungen von 10, 20, 30 Zeitschritten).
Generalisierung: Mit ARMS trainierte Strategien generalisierten effektiv auf 50 ungesehene Karten (einschließlich zufälliger und labyrinthartiger Umgebungen), sammelten höhere Belohnungen und zeigten eine bessere Koordination als die Baselines.
Koordination und Kollisionen: ARMS führte zu deutlich weniger normalisierten Kollisionen im Vergleich zu PBRS und keiner Formung, was darauf hindeutet, dass das gelernte Signal koordiniertes Verhalten fördert und nicht nur die Belohnungsmaximierung.
Exploration-Sensitivität: Ein entscheidendes Ergebnis war, dass ARMS versagen konnte, zu optimalen Strategien zu konvergieren, wenn die Exploration zu gering war (z. B. Explorationskoeffizient $\alpha = 0.023$ ), was dazu führte, dass Agenten die Belohnung durch oszillierendes Verhalten „hackten". Eine Erhöhung des Explorationskoeffizienten (z. B. $\alpha = 0.35$ ) stabilisierte das Lernen und stellte eine hohe Durchsatzrate wieder her.

5. Bedeutung und Behauptungen

Die Arbeit behauptet, dass ARMS das erste automatische Reward-Shaping-Rahmenwerk für MARL ist, dessen Design explizit durch ein spieltheoretisches Ergebnis zur Erhaltung von Gleichgewichten motiviert ist.

Im Gegensatz zu früheren Methoden, die die strategische Struktur von Multi-Agenten-Problemen verändern könnten, bietet ARMS eine theoretische Garantie, dass die Menge der Nash-Gleichgewichte unter bestimmten Bedingungen erhalten bleibt. Die Autoren betonen, dass, obwohl das Trajektorien-Ranking im SARL effektiv ist, es im MARL eine grundlegend andere Formulierung erfordert, um die Nicht-Stationarität und das Fehlen globaler Optimalität zu bewältigen. Das Rahmenwerk zeigt, dass automatische, dichte Belohnungssignale gelernt werden können, um das MARL in spärlichen Umgebungen zu beschleunigen, ohne die Integrität des Lösungsraums des Spiels zu beeinträchtigen, vorausgesetzt, es wird ausreichend Exploration aufrechterhalten, um suboptimale Feedback-Schleifen zu verhindern.