Superhuman AI for Generals.io Using Self-Play Reinforcement Learning

Stellen Sie sich ein digitales Schlachtfeld namens Generals.io vor. Es ist ein Echtzeit-Strategiespiel, bei dem zwei Kommandanten (oder Teams) Armeen auf einem Raster befehligen. Sie können nicht das ganze Spielfeld auf einmal sehen; sie sehen nur das Land, das ihnen gehört, und die unmittelbare Umgebung ihrer Truppen. Der Rest ist im „Nebel des Krieges“ verborgen. Das Ziel ist einfach: Den gegnerischen Hauptquartier (den General) zu erobern, während man das eigene schützt.

Dieses Paper beschreibt, wie ein Team von Forschern eine KI gebaut hat, die so gut in diesem Spiel ist, dass sie die besten menschlichen Spieler der Welt geschlagen hat. Hier ist die Geschichte, wie sie es geschafft haben, unterteilt in einfache Konzepte.

1. Der „Superschnele“-Simulator

Bevor sie die KI trainieren konnten, brauchten sie eine Möglichkeit zum Üben. In der Vergangenheit war das Training einer KI für dieses Spiel so, als würde man versuchen, Autofahren zu lernen, indem man beobachtet, wie sich ein Auto einen Zentimeter pro Stunde bewegt. Es war zu langsam.

Die Forscher bauten einen neuen „Simulator“ (eine digitale Version des Spiels) unter Verwendung eines speziellen Tools namens JAX. Betrachten Sie dies als den Wechsel vom Fahrrad zum Überschalljet.

• Der alte Weg: Die vorherige Version konnte etwa 3.500 Spielschritte pro Sekunde auf einem Standardcomputer ausführen.
• Der neue Weg: Ihre neue Version läuft mit 50 Millionen Schritten pro Sekunde auf einer einzigen Grafikkarte.
• Das Ergebnis: Dies ist eine 10.000-fache Beschleunigung. Das bedeutet, die KI kann Millionen von Spielen spielen, während ein Mensch gerade einmal ein einziges spielt. Diese Geschwindigkeit beseitigte den größten Engpass: Die KI konnte endlich schnell genug lernen, um wirklich gut zu werden.

2. Das „Self-Play“-Trainingslager

Anstatt die KI zu lehren, indem man ihr Videos von menschlichen Experten zeigt (was so ist, als würde man einem Schachspieler Schach beibringen, indem man ihm nur Großmeisterpartien zeigt), ließen sie die KI gegen sich selbst spielen.

• Die Methode: Die KI spielt Millionen von Spielen gegen Kopien ihrer selbst.
• Die Belohnung: Das Spiel ist sehr einfach: Man gewinnt (+1 Punkt) oder man verliert (-1 Punkt). Es gibt keine „Trostpreise“ oder Punkte dafür, dass man ein paar gegnerische Soldaten getötet hat. Man erhält nur eine Belohnung, wenn man den gegnerischen General erobert.
• Die Herausforderung: Da die Belohnung so selten ist (man erhält sie erst ganz am Ende eines langen Spiels), ist es schwer für die KI zu verstehen, was sie richtig gemacht hat. Es ist, als würde man versuchen, das Backen eines Kuchens zu lernen, indem man nur das fertige Produkt schmeckt, ohne Feedback zu erhalten, ob man zu viel Zucker oder zu wenig Mehl hinzugefügt hat.

3. Das Geheimrezept: Was tatsächlich funktionierte

Die Forscher testeten viele verschiedene „Rezepte“, um herauszufinden, was die KI übermenschlich machte. Sie fanden heraus, dass einige Dinge, die Menschen für notwendig hielten, eigentlich nutzlos waren, während ein paar einfache Tricks den entscheidenden Unterschied machten.

• Keine „Spickzettel“ nötig: Sie mussten der KI keine komplexen Regeln oder handgefertigten Belohnungen für „gute“ Taten (wie das Erobern einer Burg) geben. Nur das einfache „Gewinnen oder Verlieren“-Signal war ausreichend, dank des superschnellen Simulators.
• Der „Durchschnittsschüler“ (EMA): In vielen KI-Systemen verwendet man die allerletzte Version der KI, die das Training abgeschlossen hat. Die Forscher fanden heraus, dass es besser funktioniert, einen exponentiellen gleitenden Durchschnitt (Exponential Moving Average, EMA) des „Gehirns“ der KI über die Zeit zu bilden.
  • Analogie: Stellen Sie sich vor, ein Schüler macht jeden Tag einen Test. Die „letzte Iteration“ ist einfach seine Punktzahl am letzten Tag. Der „EMA“ ist wie der Durchschnitt seiner Leistung über den gesamten Monat. Die Forscher fanden heraus, dass der „Durchschnittsschüler“ tatsächlich konsistenter und klüger war als der Schüler an seinem besten (oder schlechtesten) einzelnen Tag.
• Filtern der „guten“ Spiele (Top-Advantage Filtering): Die KI spielte Millionen von Spielen, aber die meisten waren langweilig oder zufällig. Die Forscher erkannten, dass sie nicht von jedem Spiel lernen mussten. Sie behielten nur die oberen 25 % der Spiele, in denen die KI einen klaren Vorteil hatte, und lernten aus diesen.
  • Analogie: Wenn Sie versuchen zu lernen, wie man schwimmt, müssen Sie nicht jedes Mal zuschauen, wenn Sie im Wasser herumstrampeln. Sie müssen nur die Zeiten studieren, in denen Sie glatt und effizient geschwommen sind. Dies machte das Training viel schneller und effizienter.
• Klein anfangen: Sie begannen nicht mit einer riesigen Karte. Sie begannen damit, die Generäle sehr nah beieinander zu platzieren, damit die KI lernen konnte, schnell zu gewinnen. Dann bewegten sie die Generäle langsam weiter auseinander, sodass die KI Schritt für Schritt eine langfristige Strategie lernen konnte.

4. Die Ergebnisse: Die Menschen besiegen

Nachdem sie die KI vier Tage lang auf leistungsstarken Computern trainiert hatten, trat die KI (mit dem Spitznamen „Average Joe“) auf der öffentlichen Bestenliste an.

• Ranking: Sie erreichte den Platz #1 von über 5.000 menschlichen Spielern.
• Die Lücke: Sie schlug den zweitplatzierten Menschen mit einem riesigen Vorsprung. Tatsächlich war die Lücke zwischen der KI und dem zweitplatzierten Menschen genauso groß wie die Lücke zwischen dem zweitplatzierten Menschen und dem 25. Platz.
• Direktvergleich: Wenn sie direkt gegen die beiden besten menschlichen Spieler spielten, gewann die KI 199 Spiele und verlor nur 70.
• Gegen die alten Bots: Sie zertrümmerte auch den bisher besten Bot und den besten „regelbasierten“ Bot (der mathematische Formeln statt Lernen verwendet) mit einer perfekten Gewinnrate von 100 %.

5. Was die KI „sah“

Die Forscher schauten in das Gehirn der KI, um zu sehen, ob sie wie ein Mensch dachte.

• Der „Nebel“-Detektor: Sie fanden einen spezifischen Teil des Gehirns der KI, der scheinbar verfolgte, wo sich der gegnerische General versteckte.
• Die Analogie: Stellen Sie sich vor, Sie spielen Verstecken im Dunkeln. Zuer Sie denken, die Person könnte überall sein. Sobald Sie jedoch ein Geräusch hören oder einen Schatten sehen, grenzen Sie den Ort auf wenige Stellen ein. Schließlich entdecken Sie die Person. Das Gehirn der KI tat genau das: Es begann mit einer Vermutung, grenzte diese durch gesammelte Hinweise ein und „fixierte“ schließlich den Standort des gegnerischen Generals, obwohl sie ihn nicht direkt sehen konnte.

Zusammenfassung

Das Paper beweist, dass man keine komplexen, handgefertigten Regeln oder massenhaft menschliche Daten benötigt, um eine übermenschliche KI für Strategiespiele zu erschaffen. Wenn man einen schnell genug laufenden Simulator und eine einfache „Gewinnen oder Verlieren“-Belohnung hat, kann ein Standard-Lernalgorithmus den Rest von selbst herausfinden. Die Schlüsselzutaten waren Geschwindigkeit, Geduld (das Mitteln der Ergebnisse) und die Konzentration auf die informativsten Spiele.