In der Welt der künstlichen Intelligenz entstehen einige der schwierigsten Herausforderungen in Spielen, bei denen die Spieler nicht das gesamte Spielfeld sehen können. Denken Sie an einen Pokertisch: Sie kennen Ihre eigenen Karten und die Karten auf dem Tisch, aber Sie haben keine Ahnung, was Ihr Gegner hält. Dieser Mangel an vollständiger Information schafft eine Landschaft der Ungewissheit, in der jede Entscheidung gegen verborgene Möglichkeiten abgewogen werden muss. Jahrzehntelang haben Forscher eine Methode namens Counterfactual Regret Minimization (Minimierung des kontrafaktischen Bedauerns) verwendet, um Computern beizubringen, wie man diese Spiele spielt. Die Logik ist einfach: Nachdem ein Spiel beendet ist, blickt der Computer auf jede Entscheidung zurück, die er getroffen hat, und fragt sich: „Was wäre passiert, wenn ich etwas anderes getan hätte?“ Wenn die Änderung dieser Entscheidung zu einem besseren Ergebnis geführt hätte, empfindet der Computer ein gewisses Maß an „Bedauern“. Über Millionen von Spielen hinweg lernt er, dieses Bedauern zu minimieren, und pendelt schließlich auf einer Strategie ein, die so stark ist, dass kein Gegner sie konsistent besiegen kann. Dieser Ansatz hat einige der furchteinflößendsten Poker-KIs in der Geschichte hervorgebracht.

Ein großes Problem entsteht jedoch, wenn das Spiel zu komplex wird. In einfachen Poker-Varianten kann der Computer jeden möglichen Pfad, den das Spiel nehmen könnte, kartografieren. Aber in komplizierteren Versionen mit längeren Spielsequenzen explodiert die Anzahl der möglichen Pfade in die Billionen. Die traditionelle Methode, die erfordert, jeden einzelnen Pfad zu prüfen, um das Bedauern zu berechnen, wird unmöglich, da der Computer mehr Daten verarbeiten müsste, als im Universum existieren. Um dies zu lösen, haben Forscher auf Deep Learning zurückgegriffen und neuronale Netze verwendet, um die richtigen Züge zu erraten, ohne jede Möglichkeit prüfen zu müssen. Doch selbst diese fortschrittlichen Systeme haben Schwierigkeiten, wenn sich das Spiel über einen langen Horizont erstreckt, und verlieren sich oft in dem schieren Volumen an zufälligem Rauschen, das durch das Sampling nur weniger Pfade erzeugt wird. Ihnen fehlt eine Möglichkeit, ihr Denken in handhabbare Stücke zu gliedern, ähnlich wie ein Mensch, der versucht, tausend einzelne Schritte zu erinnern, anstatt einige vertraute Routinen zu erkennen.

Ein Team von Forschern der University of Hong Kong, der Peking University und der Purdue University hat einen neuen Ansatz namens Hierarchical Deep Counterfactual Regret Minimization, oder HDCFR, vorgestellt, der darauf ausgelegt ist, diese Einschränkungen zu überwinden. Ihre Arbeit, die in einem Forschungsartikel veröffentlicht wurde, schlägt vor, dass anstatt die KI zu zwingen, jeden winzigen Zug von Grund auf neu zu lernen, man sie zuerst lehren sollte, „Fertigkeiten“ (Skills) zu erlernen. In diesem System lernt die KI niedrigschwellige Komponenten, die als spezifische Fertigkeiten zur Lösung kleiner Teile des Spiels fungieren, wie etwa ein bestimmtes Wettszenario oder ein defensives Manöver. Eine höherschwellige Komponente fungiert dann als Manager, der entscheidet, welche Fertigkeit zu welchem Zeitpunkt eingesetzt werden soll und wann zwischen ihnen gewechselt wird. Diese Struktur ahmt die Art und Weise nach, wie Menschen spielen: Wir denken nicht über jede einzelne Muskelbewegung nach, wenn wir ein Auto fahren; wir denken in Begriffen wie „links abbiegen“, „die Spur wechseln“ oder „anhalten“, und wir wechseln zwischen diesen übergeordneten Zielen, wenn sich die Situation ändert.

Die Forscher bauten ihren Algorithmus so, dass er in Umgebungen funktioniert, in denen der vollständige Entscheidungsbaum zu groß ist, um ihn vollständig einzusehen – ein Szenario, das als „model-free“ bezeichnet wird. In diesen Szenarien kann die KI nicht vorausblicken, um alle möglichen Zukünfte zu sehen; sie kann nur einige Pfade sampeln und aus den Ergebnissen lernen. Um dies zu ermöglichen, ohne dass der Lernprozess aufgrund von zufälligen Schwankungen instabil wird, führte das Team eine Varianzreduktionstechnik ein. Diese wirkt wie ein Stabilisator und hilft der KI, zwischen einer tatsächlich guten Strategie und einem Glückstreffer zu unterscheiden. Sie haben mathematisch bewiesen, dass diese hierarchische Methode zu einer optimalen Strategie konvergiert, was bedeutet, dass die KI schließlich perfekt spielen wird, genau wie die älteren Methoden, jedoch mit der zusätzlichen Fähigkeit, weitaus tiefere und komplexere Spiele zu bewältigen.

Als HDCFR gegen die stärksten existierenden Algorithmen auf diesem Gebiet getestet wurde, zeigte es einen klaren Vorteil, insbesondere wenn die Spiele schwieriger wurden. Die Forscher evaluierten ihr System anhand mehrerer Versionen von Poker, die von einer einfachen Variante mit wenigen Karten bis hin zu einer komplexen Version mit einem Entscheidungsbaum von über dreißig Billionen Knoten reichten. In den einfacheren Spielen war die neue Methode auf dem Niveau der besten existierenden Werkzeuge. Doch als die Spiele länger wurden und die Entscheidungshorizonte sich ausdehnten, begannen die anderen Methoden zu straucheln; ihre Leistung wurde erratisch oder verbesserte sich nicht mehr. HDCFR hingegen konnte weiterhin effektiv lernen und erreichte ein höheres Spielniveau. Das Team stellte fest, dass die hierarchische Struktur es der KI ermöglichte, die Stabilität beizubehalten, selbst wenn sich das Spiel weit ausdehnte – eine Leistung, die vorherige Deep-Learning-Methoden nicht erbringen konnten, ohne vom Rauschen der Daten überwältigt zu werden.

Eine zentrale Erkenntnis der Studie war die Fähigkeit des Systems, Wissen von einer Aufgabe auf eine andere zu übertragen. Die Forscher trainierten die KI auf einer einfacheren Version des Spiels und baten sie dann, das Gelernte auf eine komplexere Version anzuwenden. Sie entdeckten, dass die niedrigschwelligen Fertigkeiten, die die KI gemeistert hatte – wie etwa spezifische Wettstrategien – in dem neuen, schwierigeren Spiel wiederverwendet werden konnten. Dieser Transfer von Fertigkeiten beschleunigte den Lernprozess erheblich. In einigen Fällen konnte sich die KI ganz auf das Erlernen des übergeordneten Managements dieser Fertigkeiten konzentrieren und den Schritt des Neulernens der Grundlagen überspringen. Dies deutet darauf darauf hin, dass das System nicht nur ein spezifisches Spiel auswendig lernt, sondern tatsächlich ein flexibles Set an Werkzeugen erlernt, das an neue Herausforderungen angepasst werden kann. Die Forscher beobachteten auch, dass die KI lernte, diese Fertigkeiten über längere Zeiträume anzuwenden, indem sie manchmal zehn oder mehr Züge lang bei einer einzigen Strategie blieb, bevor sie wechselte, was die Art und Weise widerspiegelt, wie menschliche Experten in Phasen statt in isolierten Aktionen denken.

Die Studie untersuchte auch detailliert, was passiert, wenn bestimmte Teile des Systems entfernt werden. Als die Forscher den Mechanismus entfernten, der es der KI ermöglicht, Fertigkeiten über die Zeit auszuweiten, hatte das System Schwierigkeiten zu konvergieren, ähnlich wie die älteren Methoden. Ebenso sank die Lernleistung signifikant, wenn sie den Varianzreduktions-Stabilisator entfernten, insbesondere bei den längeren Spielen. Diese Tests bestätigten, dass sowohl die hierarchische Struktur als auch die Rauschreduktionstechniken essenziell sind, damit das System in tiefen, komplexen Umgebungen funktioniert. Die Forscher merkten an, dass das System zwar eine beträchtliche Rechenleistung für das Training benötigt – was bei den größten Spielen etwa eine Woche auf einem Standardserver dauerte –, die Ergebnisse jedoch einen lebensfähigen Weg für die künstliche Intelligenz in Spielen mit massiven Zustandsräumen aufzeigen.

Letztendlich stellt diese Arbeit eine Verschiebung in der Art und Weise dar, wie Maschinen komplexe Entscheidungen unter Unsicherheit angehen. Indem die Forscher das Lernen in eine Hierarchie aus Fertigkeiten und Managern organisierten, haben sie ein System geschaffen, das in der Lage ist, die weiten, verborgenen Landschaften von Spielen mit unvollständiger Information effektiver als je zuvor zu navigieren. Die Ergebnisse legen nahe, dass eine KI, um die komplexesten strategischen Herausforderungen zu meistern, aufhören muss, zu versuchen, jede einzelne Möglichkeit zu berechnen, und stattdessen lernen muss, in strukturierten, wiederverwendbaren Fertigkeiten zu denken. Dieser Ansatz verbessert nicht nur die Leistung in Spielen, sondern bietet auch einen Entwurf dafür, wie intelligente Agenten lernen könnten, in der realen Welt zu agieren, in der Informationen oft unvollständig sind und die Zukunft zu weitläufig ist, um sie in voller Detailtiefe kartografieren zu können.