In den digitalen Landschaften von Videospielen ist die Welt oft eine Bühne für die Reise eines einzelnen Spielers. Doch die denkwürdigsten Momente entstehen häufig nicht durch die Handlungen des Spielers selbst, sondern durch die Reaktionen der Charaktere, denen er auf seinem Weg begegnet. Diese Nicht-Spieler-Charaktere, oder NPCs, sind die Bewohner der Spielwelt und haben die Aufgabe, die Umgebung lebendig wirken zu lassen. Seit Jahrzehnten verlassen sich Spieledesigner auf starre Skripte, um diese Charaktere zu bewegen und agieren zu lassen, was Verhaltensweisen schafft, die vorhersehbar und oft repetitiv sind. In jüngster Zeit hat künstliche Intelligenz begonnen, einen neuen Weg aufzuzeigen, indem sie Modelle nutzt, die ganze Videosequenzen von Gameplay generieren können. Es bleibt jedoch eine bedeutende Hürde bestehen: In diesen neuen KI-Systemen ist das Verhalten der Charaktere oft nur ein Nebenprodukt des erstellten Videos oder es wird gezwungen, Anweisungen von außerhalb des Systems zu folgen. Das bedeutet, dass die Charaktere die sich ändernde Situation um sie herum nicht wirklich „sehen“ und entscheiden können, wie sie im Moment reagieren sollen. Ihnen fehlt ein Geist, der verbindet, was auf dem Bildschirm geschieht, mit dem, was sie als Nächstes tun sollten.

Ein Team von Forschern von Tencent und der National University of Singapore hat diese Lücke geschlossen, indem sie ein neues Framework namens WorldMind vorgestellt haben. Ihre Arbeit stellt eine Verschiebung in der Art und Weise dar, wie Spielwelten modelliert werden, weg von Systemen, in denen das Verhalten der Charaktere innerhalb des Videogenerierungsprozesses verborgen ist. Stattdessen haben sie ein System gebaut, das den Akt des Verstehens des Spielzustands explizit vom Akt der Generierung des Videos trennt. Stellen Sie sich ein Spiel vor, bei dem der Computer zuerst innehält, um den Abstand zwischen einem Spieler und einem Monster zu bewerten, prüft, welche Fähigkeiten das Monster zur Verfügung hat, und sich dann bewusst für einen bestimmten Zug entscheidet, bevor er den nächsten Frame des Videos zeichnet. Dies ist der Kern von WorldMind. Die Forscher demonstrierten, dass sie durch die Aufteilung des Prozesses in distinkte Schritte – das Verstehen der Szene, das Überlegen über eine Reaktion und das anschließende Generieren des visuellen Ergebnisses – Nicht-Spieler-Charaktere erschaffen konnten, die auf den sich entwickelnden Spielzustand mit einem Maß an taktischem Bewusstsein reagieren, das in generativen Modellen bisher ungesehen war.

Die Grundlage dieses neuen Ansatzes liegt in einer vierschichtigen Struktur, die einen Zyklus von Wahrnehmung und Aktion nachahmt. Die erste Schicht fungiert als die Augen des Systems, indem sie die bisher generierten Videoframes nimmt und eine kompakte, digitale Zusammenfassung der aktuellen Situation rekonstruiert. Diese Zusammenfassung enthält spezifische Details wie den Abstand zwischen dem Spieler und dem Boss, den Winkel, in dem sie einander gegenüberstehen, und eine Historie dessen, welche Fähigkeiten der Boss kürzlich eingesetzt hat. Dies ist ein entscheidender Schritt, da die KI in früheren Modellen diese Details erraten musste, während sie gleichzeitig versuchte, das Video zu zeichnen, was oft zu verwirrten oder nicht reaktionsfähigen Verhaltensweisen führte. Durch die Erstellung dieser klaren, separaten Zusammenfassung des Zustands stellt das System sicher, dass der Entscheidungsprozess auf einem soliden Fundament aus Fakten arbeitet.

Sobald dieser kompakte Zustand etabliert ist, wird er an die zweite Schicht weitergegeben, die als das Gehirn des Betriebs dient. Hier liest ein Large Language Model – eine Art künstliche Intelligenz, die darauf trainiert ist, menschliche Sprache zu verstehen und zu generieren – die Zusammenfassung des Spielzustands zusammen mit einer Liste der verfügbaren Fähigkeiten des Bosses und deren Beschreibungen. Das Modell überlegt dann über die Situation nach, um den nächsten Zug zu planen. Es stellt sich Fragen wie: „Der Spieler ist sehr nah, also ist ein Angriff zur Überbrückung der Distanz notwendig“ oder „Der Spieler ist weit entfernt, also sollte ich eine Fernkampf-Fähigkeit nutzen“. Diese Schicht rät nicht einfach; sie formuliert einen taktischen Plan basierend auf den Mechaniken des Spiels und der aktuellen Realität der Szene. Die Forscher waren sorgfältig darauf bedacht, sicherzustellen, dass dieses Nachdenken in den tatsächlichen Regeln des Spiels verwurzelt war, anstatt lediglich Muster aus Trainingsdaten nachzuahmen. Sie fanden heraus, dass das Modell seine Entscheidungen entsprechend änderte, wenn sie die Beschreibungen der Fähigkeiten oder den Zustand des Spiels änderten, was bewies, dass es die Mechaniken tatsächlich verstand, anstatt nur Ergebnisse auswendig zu lernen.

Die dritte Schicht funget als Übersetzer, der den High-Level-Plan des Gehirns in eine Reihe von Anweisungen umwandelt, die der Videogenerator verstehen kann. Sie nimmt die gewählte Aktion und die Bewegungen des Spielers und wandelt sie in eine zeitlich abgestimmte Sequenz von natürlicher Sprache um. Zum Beispiel kann sie eine Phrase wie „der Spieler führt einen Angriff aus, während der Boss einen Sprung-Slam ausführt“ generieren. Dies stellt sicher, dass die visuelle Generierungsschicht, die vierte und letzte Komponente, präzise, zeitlich ausgerichtete Anweisungen erhält. Der Videogenerator erstellt dann das nächste Segment des Gameplay-Videos basierend auf diesen Prompts. Entscheidend ist, dass die von ihm produzierten Frames nicht das Ende der Linie sind; sie werden zurück in die erste Schicht gespeist, um den Zyklus erneut zu starten. Dies schafft einen geschlossenen Kreislauf, in dem die Welt ständig beobachtet, analysiert und aktualisiert wird, was es dem Nicht-Spieler-Charakter ermöglicht, in Echtzeit auf die Konsequenzen seiner eigenen vorangegangenen Handlungen zu reagieren.

Um dieses System zu trainen und zu testen, standen die Forscher vor einer erheblichen Datenherausforderung. Standardmäßige Videospielaufzeichnungen erfassen normalerweise nur, was der Spieler tut und was der Bildschirm zeigt, wobei die internen Daten über den Spielzustand fehlen, die die KI benötigt, um zu lernen, wie man Entscheidungen trifft. Um dies zu lösen, bauten sie eine automatisierte Pipeline auf, um einen massiven neuen Datensatz namens BOSS-140K zu sammeln. Dieser Datensatz enthält über 140.000 Clips von Gameplay, insgesamt mehr als 200 Stunden, die Kämpfe gegen 14 verschiedene Bosse in drei unterschiedlichen Spielen zeigen. Im Gegensatz zu früheren Datensätzen koppelt dieser die Videofolgen mit detaillierten, Frame-für-Frame-Annotationen des internen Spielzustands, einschließlich exakter Distanzen, Skill-Cooldowns und Spieler-Inputs. Sie nutzten einen spezialisierten Agenten, um die Spiele automatisch zu spielen, wodurch eine große Vielfalt an Interaktionen aufgezeichnet wurde, ohne dass menschliche Operatoren jeden Zug manuell steuern mussten. Diese reichhaltigen, strukturierten Daten waren essenziell, um dem System beizubringen, wie man die visuelle Welt mit den zugrunde liegenden Regeln des Spiels verknüpft.

Als die Forscher WorldMind testeten, zeigten die Ergebnisse eine deutliche Verbesserung im Verhalten der Nicht-Spieler-Charaktere. In direkten Vergleichen mit bestehenden Methoden, bei denen Charaktere entweder implizit innerhalb des Videos handelten oder externen Kommandos folgten, wurde das neue System von Evaluatoren in etwa 70 % der Fälle bevorzugt. Die von WorldMind generierten Charaktere waren nicht nur taktisch angemessener, sondern auch kohärenter und behielten eine konsistente Strategie während des Kampfes bei. Sie konnten sich an die Bewegungen eines Spielers anpassen, die Distanz bei Bedarf verringern oder sich zurückziehen, um Fernangriffe zu nutzen, während die Videogenerierung ein Tempo von etwa 20 Frames pro Sekunde beibehielt. Diese Geschwindigkeit ist ausreichend für eine Echtzeit-Interaktion, was bedeutet, dass das System flüssig laufen kann, während ein Mensch spielt. Die Studie bestätigte auch, dass das System sein Verständnis auf Spiele generalisieren konnte, die es während des Trainings nicht gesehen hatte, sofern ihm die korrekten internen Zustandsinformationen gegeben wurden, was darauf hindeutet, dass der Ansatz robust genug ist, um über die in der Studie verwendeten spezifischen Spiele hinaus angewendet zu werden.

Die in dieser Arbeit vorgestellte Arbeit deutet auf einen neuen Pfad für interaktive Unterhaltung hin, bei dem die künstliche Intelligenz, die eine Spielwelt steuert, nicht nur ein Generator von Visuals, sondern ein Teilnehmer an der Logik des Spiels ist. Durch die Entkopplung des Verstehens des Zustands von der Generierung des Videos haben die Forscher ein Framework geschaffen, in dem Nicht-Spieler-Charaktere eine Form von situativer Wahrnehmung besitzen können. Sie sind nicht länger an vorgeschriebene Skripte oder die Einschränkungen eines einzelnen generativen Prozesses gebunden. Stattdessen können sie die Welt beobachten, über ihre Optionen nachdenken und mit Absicht handeln. Während sich das System derzeit auf Bosskämpfe und spezifische Spielgenres konzentriert, bietet das zugrunde liegende Prinzip der Trennung von Zustandsverständnis und Aktionsgenerierung eine vielversprechende Richtung für die Schaffung dynamischerer und reaktionsfähigerer digitaler Welten in der Zukunft. Die Forscher haben gezeigt, dass, wenn man einer KI eine klare Sicht auf den Spielzustand und eine Möglichkeit gibt, darüber nachzudenken, die von ihr erstellten Charaktere wirklich lebendig werden können.