🤖 machine learning

Zero Shot Coordination for Sparse Reward Tasks with Diverse Reward Shapings

Dieser Beitrag adressiert die Herausforderung der Zero-Shot-Koordination im Multi-Agenten-Reinforcement-Learning mit spärlichen Belohnungen durch die Einführung einer Ensemble-Trainingsmethode mit randomisierten Belohnungsformulierungen, welche die Kooperation von Agenten mit Partnern, die unterschiedliche Belohnungsformulierungsstrategien verwenden, im Overcooked-Umfeld signifikant verbessert.

Ursprüngliche Autoren: Keenan Powell, Peihong Yu, Pratap Tokekar

Veröffentlicht 2026-04-29

📖 5 Min. Lesezeit🧠 Tiefgang

CC BY 4.0

Ursprüngliche Autoren: Keenan Powell, Peihong Yu, Pratap Tokekar

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Stellen Sie sich vor, Sie unterrichten eine Gruppe von Robotern darin, gemeinsam in einer belebten Küche zu kochen. Das Ziel ist einfach: So viele Suppen wie möglich zubereiten, bevor die Zeit abläuft. Allerdings gibt es einen Haken. Sie trainieren sie nicht, um mit einem bestimmten, Ihnen bekannten Partner zu arbeiten; Sie trainieren sie, um mit jedem Roboter zusammenzuarbeiten, dem sie in Zukunft begegnen könnten, selbst wenn dieser Roboter von einem anderen Unternehmen, auf einem anderen Computer oder mit einer leicht abweichenden Regelmenge trainiert wurde.

Dies ist das Problem der Zero-Shot-Koordination (ZSC). Es ist, als würde man versuchen, mit einem Fremden zu tanzen, ohne jemals gemeinsam geübt zu haben. Wenn beide exakt dieselben Tanzschritte gelernt hätten, wären Sie perfekt. Aber wenn Ihr Partner eine leicht abweichende Version des Tanzes gelernt hat, könnten Sie sich gegenseitig auf die Füße treten.

Das Problem: „Gleiches Ziel, unterschiedliche Motivationen"

In der Vergangenheit versuchten Forscher, dies zu lösen, indem sie allen Robotern exakt dieselbe „Punkteliste" (Belohnungsfunktion) gaben. Wenn ein Roboter eine Zwiebel in einen Topf legt, erhält er einen Punkt. Wenn er einen Teller aufnimmt, erhält er einen Punkt.

Aber in der realen Welt könnten Roboter (oder autonome Fahrzeuge oder Drohnen) dasselbe große Ziel teilen (das Ziel erreichen oder die Suppe kochen), aber sie könnten die Schritte unterschiedlich bewerten.

Roboter A könnte denken: „Geschwindigkeit ist alles! Ich erhalte Punkte für schnelles Bewegen."
Roboter B könnte denken: „Sicherheit ist alles! Ich erhalte Punkte für Vorsicht."

Wenn Sie Ihren Roboter nur darauf trainieren, mit anderen „Geschwindigkeits"-Robotern zu arbeiten, wird er kläglich scheitern, wenn er mit einem „Sicherheits"-Roboter gepaart wird. Die Arbeit argumentiert, dass bestehende Methoden dies nicht berücksichtigt haben. Sie gingen davon aus, dass alle dieselbe interne „Punkteliste" haben.

Die Lösung: Das „Vielfältige Trainingslager"

Die Autoren schlagen eine neue Methode vor, um diese Roboter zu trainieren. Anstatt sie alle mit derselben Punkteliste zu trainieren, schaffen sie ein vielfältiges Trainingslager.

Sie verwenden vier verschiedene Methoden, um eine Vielzahl von „Punktelisten" (genannt Reward Shapings) zu erstellen, auf denen die Roboter lernen sollen:

Der „LLM-basierte" Trainer: Sie bitten eine hochintelligente KI (ein Large Language Model), Beispiele dafür zu betrachten, was funktioniert hat und was nicht, und dann eine brandneue Liste von Regeln zu verfassen, die eine Mischung verschiedener Robotertypen erzeugen würde.
Der „Surrogat-Netzwerk"-Trainer: Sie trainieren eine kleine, einfache KI, um vorherzusagen, welche Regeln zu den besten Kochergebnissen führen. Sie wählt dann die leistungsstärksten Regeln aus einer riesigen Liste von Möglichkeiten aus.
Der „Stratifizierte Gitter"-Trainer: Dies ist wie ein akribischer Organisator. Sie nehmen jede mögliche Regel (wie „wie viel Geschwindigkeit gewichtet werden soll" oder „wie viel Sicherheit gewichtet werden soll") und teilen den Bereich in gleiche Scheiben auf. Sie wählen eine Regel aus jeder Scheibe aus, um sicherzustellen, dass sie das gesamte Spektrum der Möglichkeiten abdecken, ohne etwas zu verpassen.
Der „Zufällige" Trainer: Sie wählen Regeln einfach völlig zufällig aus. (Dies ist die Kontrollgruppe, wie das Würfeln).

Das Ensemble: Das „All-Star-Team"

Sobald sie viele verschiedene Roboter mit diesen verschiedenen Regelbüchern trainiert haben, wählen sie nicht einfach einen aus, um ihn einzusetzen. Stattdessen erstellen sie ein Ensemble.

Stellen Sie sich dies wie ein Super-Team vor. Wenn der Roboter in die Küche kommt, um mit einem Fremden zu arbeiten, agiert er nicht einfach als „Roboter A" oder „Roboter B". Er agiert als Ausschuss. Er fragt alle verschiedenen Versionen seiner selbst (die mit unterschiedlichen Regeln trainiert wurden), was sie tun würden, und folgt dann der populärsten Antwort.

Dies macht den Roboter unglaublich anpassungsfähig. Er hat jede denkbare Denkweise über das Problem gesehen, sodass er herausfinden kann, wie er mit einem Fremden zusammenarbeiten kann, egal wie dieser Fremde denkt.

Die Ergebnisse: Erfolg kochen

Die Forscher testeten dies im Spiel Overcooked (ein beliebtes Videospiel über kooperatives Kochen). Sie stellten ihr „All-Star-Team" Robotern gegenüber, die mit völlig unbekannten Regeln trainiert wurden.

Das Ergebnis: Ihre Methode war ein großer Erfolg. Im Vergleich zu den alten Methoden verbesserten ihre Roboter ihre Leistung um 62 % bis 119 %.
Die Gewinner: Der „Stratifizierte Gitter"-Trainer (der akribische Organisator) und der „Surrogat-Netzwerk"-Trainer (der Vorhersager) waren die besten Trainer. Sie erstellten Teams, die Fremden am effektivsten begegnen konnten.
Die Überraschung: Selbst der „Zufällige" Trainer (der Regeln einfach durch Würfeln auswählte) schlug die alten Standardmethoden, was beweist, dass bereits einige Vielfalt besser ist als gar keine.

Die große Erkenntnis

Die Arbeit zeigt, dass man, um Roboter zu lehren, mit Fremden zusammenzuarbeiten, ihnen nicht nur eine Denkweise beibringen sollte. Man sollte ihnen eine Vielfalt von Denkweisen beibringen, indem man ihnen während des Trainings verschiedene „Punktelisten" gibt. Dann können sie, indem sie all diese verschiedenen Perspektiven zu einem intelligenten Team kombinieren, sich an jeden Partner anpassen, dem sie begegnen, selbst wenn dieser Partner nach einer völlig anderen Regelmenge spielt.

Kurz gesagt: Wenn Sie ein guter Tanzpartner für jeden sein wollen, lernen Sie nicht nur einen Tanz. Lernen Sie ein wenig von allem, und lassen Sie dann Ihren inneren Ausschuss entscheiden, welcher Zug der beste ist, wenn Sie auf die Tanzfläche treten.

1. Problemdefinition

Das Paper adressiert eine kritische Einschränkung im Bereich des Multi-Agent Reinforcement Learning (MARL), die als Zero-Shot Coordination (ZSC) bekannt ist.

Das Kernproblem: Traditionelle MARL-Agenten, die durch Self-Play trainiert werden, entwickeln oft spezifische Konventionen oder Strategien, die versagen, wenn sie mit Agenten kombiniert werden, die unter denselben Zielen, aber mit unterschiedlichen Zufallssamen, Algorithmen oder Trainingsverläufen trainiert wurden.
Die Lücke: Bestehende ZSC-Lösungen (z. B. Other-Play, TrajeDi, MAZE) gehen davon aus, dass alle Agenten eine identische Belohnungsfunktion teilen. In realen Szenarien (z. B. autonome Fahrzeuge verschiedener Hersteller) können Agenten jedoch ein spärliches Ziel teilen (z. B. „Erreichen des Ziels"), aber unterschiedliche Reward Shapings verwenden (unterschiedliche Gewichte, die Umgebungsmerkmalen zugewiesen werden, um die spärliche Belohnung zu verdichten).
Die Herausforderung: Wie trainiert man einen Agenten, um effektiv mit unbekannten Partnern zusammenzuarbeiten, die dieselben spärlichen Ziele, aber unterschiedliche interne Belohnungsstrukturen haben, ohne zusätzliches Training am spezifischen Partner?

2. Methodik

Die Autoren schlagen ein Framework vor, das einen Ensemble von Agenten unter Verwendung diverser Reward Shapings trainiert, um die Generalisierung zu verbessern.

A. Formulierung des Reward Shaping

Die Autoren definieren Reward Shaping als gewichtete Kombination von Umgebungsmerkmalen, die zu einer Basis-Belohnung hinzugefügt werden:
$R(s_t, a_t) = \text{sparse}(s_t, a_t) + \sum_{k=1}^{F} w_k f_k$
Wobei $w_k$ Gewichte sind, die für spezifische Merkmale $f_k$ ausgewählt werden (z. B. Abstand zu einem Topf, Aufheben eines Tellers).

B. Vier Auswahlalgorithmen

Um eine Population diverser Reward Shapings ( $P$ ) zu generieren, stellt das Paper vier Auswahlmethoden vor:

LLM-basiert: Verwendet ein LLM (Claude Sonnet 4.5), das mit Beispielen für Reward Shapings und deren Leistung promptet wird, um neue, diverse Gewichtssätze zu generieren, die Leistung und Politikvielfalt ausbalancieren.
Surrogat-Netzwerk: Trainiert ein Multi-Layer Perceptron (MLP), um die gesamte spärliche Belohnung basierend auf einem gegebenen Reward Shaping vorherzusagen. Anschließend werden 1.000 zufällige Shapings gesampelt und die leistungsstärksten basierend auf den Vorhersagen des Surrogats ausgewählt.
Stratifizierter Gitter: Verwendet Latin Hypercube Sampling, um sicherzustellen, dass die ausgewählten Gewichte den gesamten möglichen Bereich (0–10) gleichmäßig abdecken. Dies garantiert eine statistische Repräsentativität des Belohnungsraums.
Zufällig: Sampelt Gewichte gleichmäßig aus dem möglichen Bereich ohne Einschränkungen.

C. Ensemble-Trainingsframework

Aufbauend auf dem TrajeDi-Algorithmus (Trajectory Diversity):

Populationsgenerierung: Für jedes ausgewählte Reward Shaping wird eine Population von Agenten mit TrajeDi trainiert, die einen Jensen-Shannon-Divergenz-Term enthält, um die Politikvielfalt innerhalb der Population zu fördern.
Ensemble-Konstruktion: Der finale Agent ist ein Ensemble-Modell, das aus den „Best Response" (BR)-Agenten jeder der $P$ trainierten Populationen besteht.
Aktionsauswahl: Das Ensemble wählt die Aktion aus, die den Modus (häufigste Wahl) unter allen BR-Agenten im Ensemble darstellt.

3. Hauptbeiträge

Neuartige Problemformulierung: Erweitert ZSC auf Szenarien, in denen Partner identische spärliche Ziele, aber unterschiedliche Reward Shapings haben, eine realistischere Einschränkung als in der bisherigen Literatur angenommen.
Vier Auswahlmethoden: Stellt vier verschiedene Algorithmen (LLM, Surrogat, Stratifizierter Gitter, Zufall) vor und evaluiert sie zur Generierung diverser Reward Shapings.
Ensemble-Framework: Schlägt eine Methode vor, um Modelle, die auf unterschiedlichen Reward Shapings trainiert wurden, zu einer einzigen robusten Politik zu kombinieren.
Empirische Validierung: Zeigt, dass Vielfalt in Reward Shapings, nicht nur Politikvielfalt, für die Generalisierung in ZSC entscheidend ist.

4. Experimentelle Ergebnisse

Experimente wurden in der Overcooked-Umgebung (speziell Random0_Medium, Random3 und Unident_S) gegen Partner durchgeführt, die mit unbekannten Reward Shapings unter Verwendung von Standard-MAPPO trainiert wurden.

Leistungssteigerungen:
- Die vorgeschlagenen Methoden schnitten deutlich besser ab als Baseline-ZSC-Algorithmen (einschließlich Standard-TrajeDi und Hidden-Utility Self-Play).
- Verbesserungsbereich: Die Verbesserungen bei spärlichen Belohnungen lagen zwischen 62,2 % und 119,2 % gegenüber Baseline-Algorithmen.
- Top-Performer: Stratifizierter Gitter und Surrogat-Netzwerk erzielten konsistent die besten Ergebnisse.
  - Stratifizierter Gitter: Erzielte die höchste Generalisierung, wahrscheinlich aufgrund der gleichmäßigen Abdeckung des Belohnungsraums.
  - Surrogat-Netzwerk: Erzielte trotz geringerer Vielfalt außergewöhnlich gute Ergebnisse, was darauf hindeutet, dass die Auswahl leistungsstarker Shapings wichtiger ist als reine Zufälligkeit.
- Ensemble-Effekt: Der Ensemble-Ansatz selbst brachte eine Verbesserung von 40–70 % gegenüber nicht-ensemble-basierten Baselines.
- LLM-basiert: Zeigte starke Leistung, war jedoch etwas weniger konsistent als der Stratifizierte Gitter.
- Zufall: Übertraf die Baselines (+27 % bis +51 %), war jedoch die schwächste der vorgeschlagenen Methoden, was unterstreicht, dass ungesteuerte Vielfalt nicht ausreicht.
Vielfalt vs. Leistung:
- Stratifizierter Gitter hatte die höchste Bereichsabdeckung (96,7 %) und eine hohe Standardabweichung.
- Surrogat-Netzwerk hatte die niedrigste Standardabweichung und Bereichsabdeckung, erreichte aber in einigen Umgebungen die höchste Leistung. Dies zeigt, dass die Qualität des Reward Shapings (Finden leistungsstarker Gewichte) manchmal die reine statistische Vielfalt überwiegen kann.

5. Bedeutung und Fazit

Realismus: Das Paper schließt die Lücke zwischen theoretischer ZSC und dem realen Einsatz, indem es anerkennt, dass Agenten aus verschiedenen Quellen dasselbe Ziel wahrscheinlich unterschiedlich optimieren werden.
Robustheit: Der Ensemble-Ansatz schafft Agenten, die resistent gegen das Problem des „Konventions-Mismatch" sind und sofort mit unbekannten Partnern zusammenarbeiten können.
Zukünftige Richtungen: Die Autoren schlagen vor, dass zukünftige Arbeiten auf die Hybridisierung von Methoden (z. B. die Leistungsorientierung des Surrogat-Netzwerks mit den Diversitätsbeschränkungen des Stratifizierten Gitters kombinieren) und die Erweiterung auf komplexere Umgebungen fokussieren sollten.

Zusammenfassend beweist das Paper, dass das Trainieren von Agenten auf einer diversen Menge von Reward Shapings und deren Kombination über ein Ensemble eine hochwirksame Strategie ist, um robuste Zero-Shot Coordination in Umgebungen mit spärlichen Belohnungen zu erreichen.