🤖 machine learning

Self-Play Reinforcement Learning under Imperfect Information in Big 2

Dieser Beitrag stellt ein Selbstspiel-Verstärkungslern-Framework für das Kartenspiel Big 2 mit unvollständiger Information vor, zeigt, dass PPO unter kontrollierten Bedingungen wertbasierten Methoden überlegen ist, und hebt die Vorteile der Entropieregularisierung sowie des Selbstspiels mit der aktuellen Politik für das Training robuster Multi-Agenten-Systeme hervor.

Ursprüngliche Autoren: Aalok Patwa

Veröffentlicht 2026-05-29

📖 5 Min. Lesezeit🧠 Tiefgang

CC BY 4.0

Ursprüngliche Autoren: Aalok Patwa

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Stellen Sie sich vor, Sie sitzen mit drei Freunden an einem Tisch und spielen ein Kartenspiel namens Big 2. Sie können Ihre eigene Hand mit 13 Karten sehen, und Sie können die Karten sehen, die alle anderen bisher gespielt haben. Aber Sie können die Karten, die in den Händen Ihrer Freunde versteckt sind, nicht sehen. Das bezeichnen Forscher als „unvollständige Information". Sie müssen raten, was sie halten, basierend darauf, was sie spielen, was sie passen lassen und wie viele Karten noch übrig sind.

Das Ziel dieses Papers ist es, einem Computerprogramm (einem KI-Agenten) beizubringen, dieses Spiel wirklich gut zu spielen, indem Reinforcement Learning (RL) verwendet wird. Stellen Sie sich RL als einen Schüler vor, der durch Versuch und Irrtum lernt: Die KI spielt Tausende von Spielen, erhält „Noten" (Belohnungen) für Gewinn oder Verlust und findet langsam die besten Strategien heraus.

Hier ist eine Aufschlüsselung dessen, was das Paper herausfand, unter Verwendung einfacher Analogien:

1. Die Herausforderung: Ein Spiel versteckter Geheimnisse

Big 2 ist tückisch, weil:

Sie nicht alles wissen: Sie müssen die Hände Ihrer Gegner erraten.
Die Regeln ändern sich jeden Zug: Manchmal können Sie eine Karte spielen, manchmal ein Paar, manchmal eine komplexe „Straße". Die Liste der legalen Züge ändert sich ständig.
Kurzfristig vs. Langfristig: Manchmal fühlt es sich gut an, Ihre stärkste Karte sofort zu spielen, aber es könnte Sie später hilflos zurücklassen. Die KI muss lernen, einen kleinen Gewinn heute zu opfern, um das ganze Spiel morgen zu gewinnen.

2. Das Experiment: Wer lernte am besten?

Die Forscher richteten ein „Trainingslager" ein, in dem sie vier verschiedene Arten von KI-Schülern mit exakt denselben Regeln, derselben Rechenleistung und derselben Zeitdauer unterrichteten. Sie wollten sehen, welcher Lernstil am besten funktionierte.

Die Schüler:
1. PPO (Der „Policy"-Schüler): Dieser Schüler lernt, indem er verschiedene Strategien ausprobieren und sein „Bauchgefühl" bezüglich des zu machenden Zuges anpassen. Es ist wie ein Trainer, der Ihnen sagt: „Versuchen Sie hier ein Paar zu spielen, es fühlt sich richtig an."
2. Q-Learning / SARSA / Monte Carlo (Die „Value"-Schüler): Diese Schüler versuchen, einen Wert für jede mögliche Situation zu memorieren. Sie fragen: „Wenn ich diese Karte spiele, welchen genauen Punktwert werde ich am Ende erhalten?"

Das Ergebnis: Der PPO-Schüler gewann das Trainingslager. Er lernte schneller und wurde ein besserer Spieler als die „Value"-Schüler.

Warum? In einem Spiel mit versteckter Information und vielen Spielern ist der Versuch, den genauen zukünftigen Wert für jeden einzelnen Zug zu berechnen, wie der Versuch, das Wetter für das nächste Jahr mit perfekter Genauigkeit vorherzusagen – es ist zu verrauscht und dauert zu lange. Der Ansatz von PPO, „die Strategie basierend darauf anzupassen, wie die Dinge liefen", war effizienter.

3. Das Geheimnis: Entropie (Seien Sie nicht zu vorhersehbar)

Die Forscher bemerkten etwas Interessantes am gewinnenden PPO-Schüler. Anfangs war er sehr zuversichtlich und wählte denselben „besten" Zug 90 % der Zeit. Aber in einem Spiel, in dem Ihre Gegner Ihre Karten nicht sehen können, ist es gefährlich, zu 100 % vorhersehbar zu sein. Wenn Sie immer auf die gleiche Weise spielen, werden clevere Gegner Sie durchschauen.

Die Analogie: Stellen Sie sich vor, Sie spielen Schere, Stein, Papier. Wenn Sie immer „Stein" werfen, weil es sich wie der beste Zug anfühlt, wird Ihr Gegner schnell beginnen, „Papier" zu werfen und Sie schlagen. Sie müssen es ein wenig mischen.
Die Lösung: Die Forscher fügten ein wenig „Entropie" (Zufälligkeit) zum Training der KI hinzu. Sie sagten ihr: „Seien Sie nicht zu 100 % sicher; behalten Sie ein wenig Überraschung in Ihren Zügen."
Das Ergebnis: Die KI, die eine moderate Menge an Zufälligkeit beibehielt, schnitt am besten ab. Sie wurde schwerer zu lesen und anpassungsfähiger. Allerdings machte zu viel Zufälligkeit sie dumm spielen, daher war die Balance entscheidend.

4. Der Trainingspartner: Gegen wen sollten Sie spielen?

Die KI lernte, indem sie gegen sich selbst spielte (Self-Play). Die Forscher testeten drei verschiedene Möglichkeiten, diese Übungsspiele einzurichten:

Fester Gegner: Die KI spielte gegen einen Computer, der immer dieselbe „kluge" Strategie spielte.
Checkpoint-Gegner: Die KI spielte gegen ältere Versionen ihrer selbst, die aus früheren Phasen des Trainings gespeichert waren.
Current-Policy-Gegner: Die KI spielte gegen die aktuelle Version ihrer selbst, die jeden einzelnen Tag besser wurde.

Das Ergebnis: Das Spielen gegen die Current-Policy (die Version ihrer selbst, die sich gerade verbesserte) war die beste Methode.

Die Analogie: Stellen Sie sich vor, Sie lernen Schwimmen.
- Wenn Sie nur gegen einen langsamen, festen Roboter üben, werden Sie gut darin, diesen Roboter zu schlagen, aber Sie lernen vielleicht nicht, wie man mit einem schnellen Schwimmer umgeht.
- Wenn Sie gegen Ihr „vergangenes Ich" üben, kämpfen Sie vielleicht Schlachten, die Sie bereits gewonnen haben.
- Wenn Sie gegen Ihr aktuelles Ich üben, steigt das Schwierigkeitsniveau genau so schnell wie Ihre Fähigkeiten. Es ist wie ein Personal Trainer, der das Gewicht an der Langhantel genau an Ihre aktuelle Stärke anpasst. Dies hielt die KI ständig gefordert und ließ sie die relevantesten Lektionen lernen.

Zusammenfassung

Dieses Paper zeigt, dass für komplexe Kartenspiele wie Big 2:

Strategielernen (PPO) besser funktioniert als der Versuch, genaue Werte zu memorieren.
Eine kleine Menge an Zufälligkeit in Ihren Zügen zu behalten, Sie zu einem härteren Gegner macht.
Das Üben gegen eine Version Ihrer selbst, die sich parallel zu Ihnen verbessert, der schnellste Weg zum Lernen ist.

Die Autoren kommen zu dem Schluss, dass Big 2 eine großartige „Testküche" ist, um Computern beizubringen, intelligente Entscheidungen zu treffen, wenn sie nicht alle Fakten haben – eine Fähigkeit, die letztendlich in vielen realen Situationen helfen könnte, in denen Informationen verborgen sind.

Technische Zusammenfassung: Selbstspiel-basiertes Reinforcement Learning unter unvollständiger Information in Big 2

Problemstellung

Die Arbeit behandelt die Herausforderungen beim Training von Reinforcement-Learning-(RL)-Agenten in Multiplayer-Spielen mit unvollständiger Information. Konkret untersucht sie das Kartenspiel Big 2, ein vier Spieler umfassendes Kartenspiel zum Abwerfen von Karten, das durch folgende Merkmale gekennzeichnet ist:

Versteckte Information: Spieler beobachten nur ihre eigene Hand und die öffentliche Spielhistorie; die Hände der Gegner müssen aus Aktionen, Pässen und verbleibenden Kartenanzahlen inferiert werden.
Spärliche und verzögerte Belohnungen: Die primäre Belohnung (Gewinnen) tritt nur im terminalen Zustand auf, während Zwischenbelohnungen null sind.
Nicht-stationäre Gegner: In Selbstspiel-Szenarien ändert sich die Gegnerverteilung, sobald sich die Agenten verbessern.
Variable Aktionsräume: Zulässige Aktionen sind hand-spezifische Kombinationen (Einzelkarten, Paare, Straßen usw.), die sich zwischen den Zügen drastisch ändern, was eine feste Aktionsabstraktion erschwert.

Die Autoren zielen darauf ab, herauszufinden, ob Policy-Gradient- oder wertbasierte Zielsetzungen unter einem kontrollierten, rechenressourcenbeschränkten Budget in diesem Setting effektiver lernen, und wie spezifische Trainingsdesign-Entscheidungen (Entropie-Regularisierung, Gegner-Curriculum) Stabilität und Leistung beeinflussen.

Methodik

1. Umgebung und Repräsentation

Die Autoren entwickelten einen Simulator, bei dem der Beobachtungszustand ( $o_i$ ) strikt die verfügbare Information widerspiegelt:

Eingabe: Die private Hand des agierenden Spielers (gepaddet), der aktive Stich, alle gesehenen Karten, verbleibende Kartenanzahlen für Gegner, Pass-Anzahlen und pro-Gegner-Spielhistorien der gespielten Karten.
Aktionsraum: Der Simulator enumeriert alle legalen Kombinationen in der Hand des Spielers und filtert sie basierend auf dem aktiven Stich, wodurch eine variable Menge legaler Aktionen $A(o_i)$ entsteht. Dies vermeidet die Exploration ungültiger Aktionen.
Neuronale Architektur:
- Zustands-Encoder: Verwendet eine gemeinsame Karten-Embedding-Tabelle. Die Hand des Spielers wird über Self-Attention verarbeitet und gepoolt. Öffentliche Informationen (Stich, gesehene Karten, Gegneranzahlen) werden eingebettet und konkateniert, um eine Zustands-Embedding zu bilden.
- Aktions-Bewertung: Legale Aktionen werden als 80-dimensionale Merkmalsvektoren kodiert. Ein Skalarprodukt zwischen der Zustands-Embedding und der Aktions-Embedding bewertet jeden legalen Kandidaten.
- Unterscheidung: Im Gegensatz zu früheren Arbeiten, die feste 1695-Aktions-Köpfe verwendeten, die auf legale Züge maskiert wurden, bewertet dieses Modell nur legale Aktionen, sodass gehaltene Karten vor dem Pooling interagieren können.

2. Lernalgorithmen

Die Studie vergleicht vier Algorithmen unter identischen Architekturen und Trainingsbudgets (5.000 Batches, 64 Episoden/Batch):

PPO (Proximal Policy Optimization): Eine Policy-Gradient-Baseline, die abgeschnittene Surrogat-Zielsetzungen und einen separaten Wert-Kopf verwendet.
Monte-Carlo-Q-Approximation: Eine wertbasierte Methode, die den vollständigen diskontierten Return ( $y_t = \sum \gamma^{k-t} r_k$ ) als Ziel verwendet.
SARSA: Eine on-policy wertbasierte Methode, die Ein-Schritt-Ziele verwendet ( $y_t = r_t + \gamma Q(s_{t+1}, a_{t+1})$ ).
Q-Learning: Eine off-policy wertbasierte Methode, die Max-Ziele verwendet ( $y_t = r_t + \gamma \max_a Q(s_{t+1}, a)$ ).

Alle wertbasierten Methoden verwenden während des Trainings eine $\epsilon$ -greedy-Exploration und während der Evaluation eine greedy-Auswahl.

3. Trainingscurricula und Evaluation

Selbstspiel: Die Standardeinstellung verwendet Selbstspiel mit aktueller Policy, bei der die aktuelle Policy alle vier Sitze steuert.
Baselines: Die Evaluation erfolgt gegen drei heuristische Gegner:
- Random: Wählt gleichmäßig legale Aktionen aus.
- Greedy: Spielt die schwächste legale Nicht-Pass-Kombination.
- Smart: Eine regelbasierte Policy, die Aktionen basierend auf strategischen Merkmalen bewertet (Karten abwerfen, Kombinationen bewahren, frühe Verwendung von '2' vermeiden).
Metriken: Gewinnrate und durchschnittlicher Spiel-Score (Summe der verbleibenden Karten für Verlierer, negativ für Verlierer) gegen jede Gegnerklasse.

Hauptbeiträge und Erkenntnisse

1. Algorithmische Leistung

Unter einem begrenzten Rechenbudget übertrefft PPO alle wertbasierten Methoden (Monte-Carlo-Q, SARSA, Q-Learning) über alle Gegnerklassen hinweg.

PPO erreichte eine Gewinnrate von 85,4 % gegen Random, 58,2 % gegen Greedy und 37,1 % gegen Smart.
Wertbasierte Methoden lernten zwar nützliche Policies, konnten aber die Endleistung von PPO nicht erreichen. Die Autoren führen dies auf die Schwierigkeit der Werteschätzung im hochvariablen, unvollständigen Informationszustandsraum von Big 2 zurück, in dem strategisch wichtige Zustände selten besucht werden und terminale Returns über lange Sequenzen hinweg kreditiert werden müssen.

2. Entropie-Regularisierung

Die Autoren stellten fest, dass PPO ohne Entropie-Regularisierung zu deterministisch wird und Top-Aktionen selbst in mehrdeutigen strategischen Situationen mit einer Wahrscheinlichkeit von >90 % auswählt.

Erkenntnis: Moderate Entropie-Regularisierung ( $\beta_{ent} = 0,05$ ) verbesserte die Leistung über alle Gegnerklassen hinweg signifikant (z. B. Steigerung der Gewinnrate gegen Smart von 37,1 % auf 43,5 %).
Implikation: Stochastische Policies sind in Spielen mit unvollständiger Information vorteilhaft, um Unvorhersehbarkeit zu bewahren und eine übermäßige Festlegung auf suboptimale Aktionspräferenzen zu vermeiden. Eine übermäßige Entropie verschlechtert jedoch die Leistung.

3. Gegner-Curriculum

Die Studie verglich Selbstspiel mit aktueller Policy mit Checkpoint-Selbstspiel (Training gegen gespeicherte vergangene Policies) und Training gegen feste Gegner (nur gegen die Smart-Heuristik).

Erkenntnis: Selbstspiel mit aktueller Policy erzielte die besten Ergebnisse sowohl für PPO als auch für Monte-Carlo-Q.
Begründung: Das Training gegen einen festen, deterministischen Gegner (nur Smart) verengt die Zustandsverteilung und reduziert die Exploration. Checkpoint-Selbstspiel führt zwar Diversität ein, verwässert aber das Lernsignal, indem es den Agenten „veralteten" Fehlern aussetzt, die er bereits gelernt hat zu besiegen. Selbstspiel mit aktueller Policy fungiert als adaptives Curriculum, das die Gegnerschwierigkeit an das aktuelle Skill-Level des Agenten anpasst.

Bedeutung und Behauptungen

Die Arbeit behauptet, die erste kontrollierte empirische Studie zu sein, die RL-Zielsetzungen und Trainingsdesign-Entscheidungen speziell für Big 2 vergleicht. Ihre Bedeutung liegt in:

Etablierung einer Baseline: Sie bietet eine zugängliche Baseline für zukünftige Forschung zu Suche, Abstraktion und Gegnermodellierung in Big 2 und isoliert Faktoren, die in größeren Systemen oft verwechselt werden.
Demonstration von Effizienz: Sie zeigt, dass Deep RL robuste Strategien in einem vier Spieler umfassenden Spiel mit unvollständiger Information lernen kann, ohne auf konstruierte Gegnermodelle, Baumsuche oder heuristische Aktionsbeschneidung jenseits der legalen Filterung angewiesen zu sein.
Identifikation kritischer Faktoren: Sie hebt hervor, dass in ressourcenbeschränkten Settings die Wahl des Algorithmus (PPO > Wertbasiert), die Stochastizität der Policy (Entropie-Regularisierung) und das Curriculum-Design (Selbstspiel mit aktueller Policy) entscheidende Faktoren für den Erfolg sind.

Die Autoren bleiben bescheiden und stellen fest, dass ihre Studie nicht mit Counterfactual Regret Minimization (CFR), suchaugmentierten Agenten oder größeren Trainingsbudgets verglichen wird, und dass weitere Arbeiten erforderlich sind, um zu bestimmen, ob wertbasierte Methoden mit erweitertem Training die Lücke schließen können oder ob Cross-Play neue strategische Schwächen aufdeckt.