Der Spielplatz digitaler Geister

Stellen Sie sich eine Welt vor, in der Computer nicht nur starren Anweisungen folgen, sondern lernen, indem sie beobachten – ganz so wie ein Kind, das das Fahrradfahren lernt, indem es seinem älteren Geschwisterkind zusieht. Dies ist das Reich des maschinellen Lernens, speziell eines Zweigs namens Behavioral Cloning (Verhaltensklonung). In dieser Ecke der Wissenschaft füttern Forscher eine KI mit tausenden Stunden menschlichen Gameplays in der Hoffnung, dass der Computer die Züge, das Timing und die Instinkte eines Profispielers imitieren kann, ohne jemals explizit gesagt bekommen zu haben, wie man spielt.

Die große Frage, die dieses Feld antreibt, lautet: Wie viel kann eine einfache, kompakte KI allein durch Kopieren lernen, bevor wir komplexe „Gehirn-Funktionen“ wie Gedächtnis, Zielsetzung oder Trial-and-Error-Lernen hinzufügen müssen? Denken Sie daran wie bei der Frage, wie weit ein Papagei fliegen kann, indem er lediglich den Flugpfad eines Habichts auswendig lernt, ohne die Aerodynamik verstehen zu müssen. Wenn wir eine kleine, effiziente KI bauen können, die allein durch Kopieren gut spielt, spart das enorme Mengen an Rechenleistung und Energie. Aber wenn die KI in dem Moment stecken bleibt, in dem sie etwas sieht, das geringfügig anders ist als das, was sie geübt hat, wissen wir, dass wir ihr beibringen müssen, wie sie aus Fehlern lerkt. Dies ist das empfindliche Gleichgewicht zwischen „einfacher Imitation“ und „kluger Anpassung“, das Wissenschaftler ständig testen.

---

Cortex: Der winzige Quake-Kopierer

In der Arbeit „Cortex: Compact Behavior Cloning for Quake with Frozen Visual Features“ entschied ein Forscher namens Dzmitry Malyshau, die Grenzen dieser Idee der „einfachen Imitation“ zu testen. Er baute einen KI-Agenten namens Cortex und warf ihn in die chaotische, schnelllebige Welt des klassischen Videospiels Quake aus dem Jahr 1996. Speziell beauftragte er ihn damit, das erste Level, E1M1, zu navigieren – ein Labyrinth aus Korridoren, Türen, Knöpfen und Monstern, das eine Mischung aus Rennen, Springen, Schießen und dem Lösen einfacher Rätsel erfordert.

Cortex ist darauf ausgelegt, unglaublich schlank zu sein. Er besitzt kein massives Gehirn, das von Grund auf neu gebaut wurde. Stattdessen nutzt er ein „eingefrorenes“ visuelles Gehirn – ein vortrainiertes Computer-Vision-Modell namens DINOv3 –, das wie ein Paar hochtrainierter Augen fungiert. Diese Augen sind „eingefroren“, was bedeutet, dass sie bereits gut darin sind, Formen und Texturen zu erkennen, und während des Trainings niemals verändert werden. Cortexs eigentliches „Gehirn“ ist ein winziger, sechs-schichtiger Transformer mit nur 10,98 Millionen trainierbaren Parametern. Um das in Relation zu setzen: Andere berühmte Gaming-KIs in diesem Bereich verfügen über hunderte Millionen von Parametern. Cortex ist der leichte Sprinter im Vergleich zu den Schwergewichts-Champions.

Der Trainingsprozess war überraschend kurz und effizient. Die KI beobachtete 6.849 Aufzeichnungen menschlicher Spieler, was etwa 474,7 Stunden Gameplay entspricht. Cortex sah jedoch nicht jede einzelne Sekunde an. Die Forscher wählten eine spezifische „gesampelte Epoche“, was so etwas wie einen einzigen, sorgfältig kuratierten Durchgang durch die Daten darstellt. Dies beinhaltete 517.048 kurze Clips (jeweils vier Frames lang) und dauerte es der KI nur 3,3 Minuten, um auf einer einzelnen High-End-Grafikkarte (einer RTX 5080) zu optimieren. Das Ziel war es zu sehen, ob dieses winzige, schnell trainierte Modell mit viel größeren, komplexeren KIs mithalten kann.

Die Ergebnisse: Ein gemischtes Bild aus Erfolgen und Stolpersteinen

Als die Forscher Cortex in Quake losließen, waren die Ergebnisse eine faszinierende Mischung aus beeindruckendem Können und vorhersehbarem Scheitern.

Die guten Nachrichten:
Cortex war überraschend gut in den Grundlagen. In zwei separaten Batches von 20 Episoden (jede dauerte 120 Sekunden) schaffte es Cortex, die „öffnende Tür“, den „Knopfraum“ und den „Torabstieg“ in allen 20 Episoden jedes Batches zu erreichen. Es gelang ihm zudem, in 19 von 20 Episoden einen Kill zu erzielen. Dies deutet darauf hin, dass für die frühen, unkomplizierten Teile des Levels das bloße Kopieren menschlicher Bewegungen sehr gut funktioniert. Die KI konnte die anfänglichen Korridore navigieren und Kämpfe effektiv führen.

Die schlechten Nachrichten:
Trotz dieser frühen Erfolge schaffte Cortex es in keiner der 40 Episoden, das Level abzuschließen (0/20 in beiden Batches). Die KI blieb stecken, meist in der Nähe von Wänden oder im Wasser, und konnte nicht herausfinden, wie sie wieder frei kommt. Die Forscher stellten fest, dass dies ein klassisches Problem beim Behavioral Cloning ist, das als Covariate Shift bezeichnet wird: Wenn die KI einen winzigen Fehler macht, landet sie in einer Situation, die sie in den Trainingsvideos noch nie gesehen hat, und da sie nur weiß, wie man das Kopiert, was man gesehen hat, friert sie ein oder gerät in Panik.

Der Vergleich:
Die Forscher testeten unter denselben Bedingungen auch zwei andere, viel größere KI-Modelle (P2P-150M und NitroGen). Diese Giganten, die auf tausenden Stunden vieler verschiedener Spiele trainiert wurden, schnitten in diesem speziellen Test sogar schlechter ab. Sie schafften jeweils 0 von 5 Episoden und blieben fast sofort stecken. Dies deutet darauf hin, dass für diese spezifische, eng gefasste Aufgabe ein spezialisiertes, kompaktes Modell wie Cortex tatsächlich besser abschneiden kann als ein massives, universelles Modell – zumindest für die erste Minute des Gameplays.

Was die Experimente offenbarten

Das Paper beschränkte sich nicht nur darauf, das Spiel zu spielen; es führte eine Reihe von „Ablationsstudien“ durch, um zu sehen, was Cortex antreibt und was ihn scheitern lässt.

• Mehr Details helfen beim Kampf, nicht bei der Navigation: Als die Forscher Cortex eine dichtere, detailliertere Ansicht des Bildschirms gaben (unter Verwendung von mehr „Tokens“ oder visuellen Patches), verbesserte sich die KI beim Kämpfen und Überleben. Sie erzielte mehr Kills und starb seltener. Diese zusätzliche Detailtiefe half ihr jedoch nicht, die Route besser zu navigieren. Tatsächlich verschlechterte sie die Zuverlässigkeit der Route manchmal sogar leicht. Dies deutet darauf hin, dass das Sehen von mehr Details der KI hilft, auf Gegner zu reagieren, ihr aber nicht unbedingt hilft zu verstehen, wohin sie als Nächstes gehen muss.
• Gedächtnis ist keine Wunderwaffe: Das Team versuchte, Cortex ein „Gedächtnis“ für seine vergangenen Handlungen zu geben, in der Hoffnung, dass es aus seinen eigenen Fehlern lernt. Überraschenderweise verbesserte dies seine Leistung nicht konsistent. Die KI wurde nicht besser in der Navigation des Levels, nur weil sie sich erinnerte, was sie vor fünf Sekunden getan hatte.
• Offline-Metriken täuschen: Die Forscher fanden heraus, dass Standard-Computertests (wie gut die KI den nächsten Zug in einem Testdatensatz vorhersagt) schlechte Prädiktoren dafür waren, wie gut die KI das Spiel tatsächlich spielen würde. Eine KI kann auf dem Papier perfekt aussehen und im eigentlichen Spiel kläglich scheitern. Dies ist eine entscheidende Warnung für zukünftige Forscher: Vertrauen Sie nicht nur den Zahlen; schauen Sie sich das Spiel an.

Das Urteil

Das Paper kommt zu dem Schluss, dass eine kompakte, einfache KI zwar lernen kann, die frühen Teile eines komplexen Spiels durch bloßes Kopieren von Menschen sehr gut zu spielen, aber sie stößt an eine harte Grenze. Sie kann nicht von ihren eigenen Fehlern lernen oder neue Situationen bewältigen, die sie zuvor nicht gesehen hat. Die Ausfälle standen im Einklang mit der Annahme, dass die KI unter einem Covariate Shift litt – sie verirrte sich in den „unbekannten“ Teilen des Spiels.

Die Autoren schlagen vor, dass der nächste Schritt nicht darin besteht, die KI größer zu machen, sondern sie zu lehren, wie sie sich erholt. Sie schlagen eine Methode namens DAgger vor, bei der ein Mensch eingreift, wann immer die KI stecken bleibt, ihr den richtigen Zug zeigt und die KI speziell aus diesen „Rettungsmomenten“ lernt.

Kurz gesagt: Cortex beweist, dass man keinen Supercomputer braucht, um eine Weile lang gut ein Videospiel zu spielen. Ein kleines, effizientes Modell kann die ersten Minuten des menschlichen Spiels mit beeindruckender Geschicklichkeit imitieren. Aber ohne eine Möglichkeit, aus den eigenen Fehlern zu lernen oder zu wissen, was zu tun ist, wenn Dinge schiefgehen, wird es irgendwann gegen eine Wand laufen, die es nicht überwinden kann. Das Paper behauptet nicht, das Spiel gelöst zu haben; statlich liefert es eine klare, ehrliche Karte darüber, wo einfache Imitation funktioniert und wo sie scheitert, um zukünftige Forscher anzuleiten, wie sie Agenten bauen können, die wirklich anpassungsfähig sind.