VideoGameBench: Can Vision-Language Models complete popular video games?
Das Papier stellt VideoGameBench vor, einen Benchmark, bei dem Vision-Language-Modelle Videospiele aus den 1990er-Jahren ausschließlich anhand roher visueller Eingaben und hochrangiger Anweisungen spielen müssen, und zeigt, dass selbst fortschrittlichste Modelle aufgrund von Einschränkungen bei der Wahrnehmung, der räumlichen Navigation und der Latenz bei der Inferenz erhebliche Schwierigkeiten beim Echtzeit-Spiel haben.
Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen
Stellen Sie sich vor, Sie haben einen sehr intelligenten Roboter, der jedes Buch in der Bibliothek gelesen hat und komplexe Matheprobleme lösen kann. Sie könnten denken: „Toll! Mal sehen, ob er Videospiele spielen kann."
Genau das haben die Forscher der Princeton University getan. Sie entwickelten einen neuen Test namens VideoGameBench, um zu prüfen, ob diese fortschrittlichen KI-Modelle (sogenannte Vision-Language-Modelle) tatsächlich populäre Videospiele aus den 1990er-Jahren spielen können, genau wie ein Mensch.
Hier ist die Aufschlüsselung ihres Experiments, der Ergebnisse und deren Bedeutung, erläutert mit einfachen Analogien.
Das Setup: Der „Blindfolded Gamer"-Test
Normalerweise geben Wissenschaftler, wenn sie KI an Spielen testen, der KI eine Spickzettel. Sie könnten der KI sagen: „Der Feind befindet sich an den Koordinaten X, Y", oder ihr eine Karte des Levels geben. Es ist, als würde man ein Videospiel spielen, wobei ein Leitfaden offen auf dem Schoß liegt.
VideoGameBench änderte die Regeln.
- Die Regeln: Die KI erhält nur Rohbilder des Bildschirms (wie wenn Sie auf einen Fernseher schauen) und eine einfache Textbeschreibung, was die Tasten tun (z. B. „Drücke 'A', um zu springen").
- Die Herausforderung: Die KI muss das Spiel verstehen, sich erinnern, wo sie gewesen ist, und in Echtzeit auf Feinde reagieren, genau wie ein menschlicher Spieler.
- Die Spiele: Sie wählten 10 klassische Spiele aus den 90ern aus, die von Doom II (ein schneller Shooter) über Civilization (ein langsames Strategiespiel) bis hin zu Pokémon (ein Rollenspiel-Abenteuer) reichten.
Sie versteckten sogar drei geheime Spiele vor der KI. Dies geschah, um sicherzustellen, dass die KI nicht einfach Antworten aus ihren Trainingsdaten auswendig gelernt hatte, sondern tatsächlich lernte, neue Dinge im laufenden Betrieb zu spielen.
Die Ergebnisse: Das „Neugeborene"-Problem
Die Ergebnisse waren überraschend. Selbst die intelligentesten und leistungsfähigsten KI-Modelle, die heute verfügbar sind (wie Gemini 2.5 Pro und Claude 3.7), hatten immense Schwierigkeiten.
- Die Punktzahl: Die besten Modelle schafften es, nur etwa 0,48 % der Spiele zu beenden.
- Die Realität: In einfacher Sprache bedeutet dies, dass die KI bereits am Anfang des Spiels stecken blieb. Sie konnte nicht einmal das erste Level beenden.
Stellen Sie sich das so vor: Sie geben einem genialen Mathematiker eine brandneue Videospielkonsole. Er kann die Flugbahn einer Rakete berechnen, aber wenn er versucht, Super Mario zu spielen, läuft er ständig von einer Klippe, weil er nicht versteht, dass „unten" auf dem Bildschirm „Fallen" bedeutet, oder er vergisst, dass er vor drei Minuten bereits einen Schlüssel aufgehoben hat.
Warum sind sie gescheitert?
Die Studie identifiziert drei Hauptgründe, warum die KI stecken blieb:
- Die „Wissen-Tun"-Lücke: Die KI „wusste" oft, was sie tun sollte (z. B. „Ich muss zur Tür gehen"), drückte aber ständig die falsche Taste. Es war wie bei einer Person, die weiß, dass sie links abbiegen muss, um zum Laden zu kommen, deren Fuß aber ständig nach rechts tritt.
- Visuelle Verwirrung: Die KI konnte manchmal nicht erkennen, was sie sah. In Doom II könnte eine KI auf einen toten Feind schießen, der wie ein Haufen Felsen aussieht, und dabei ihre gesamte Munition verschwenden. In Zelda könnte sie denken, sie habe mit einem Charakter gesprochen, nur weil sie neben ihm stand, obwohl kein Gespräch stattgefunden hatte.
- Kurzzeitgedächtnis: Videospiele erfordern, sich Dinge über längere Zeit zu merken (z. B. „Ich muss den blauen Schlüssel finden, um die rote Tür zu öffnen"). Die KI vergaß ihr Hauptziel nach nur wenigen Schritten und überschrieb ihr Gedächtnis mit neuen, weniger wichtigen Gedanken.
Das „Pause-Taste"-Experiment
Die Forscher stellten fest, dass einige Spiele sehr schnell sind (Echtzeit), während die KI beim Denken langsam ist. Bis die KI entschied, eine Taste zu drücken, hatte sich das Spiel bereits verändert, was die Aktion nutzlos machte.
Um dies zu beheben, schufen sie VideoGameBench Lite.
- Die Änderung: Sie drückten die „Pause"-Taste im Spiel, während die KI nachdachte. Das Spiel bewegte sich nur, wenn die KI einen Befehl gab.
- Das Ergebnis: Die Punktzahlen stiegen leicht an (auf etwa 1,6 %), aber die KI schaffte es immer noch nicht, die Spiele zu beenden. Dies bewies, dass das Problem nicht nur darin bestand, dass die KI langsam war; es bestand darin, dass die KI die Spiellogik einfach nicht effektiv durchdenken konnte.
Der „Übungstest"**
Um zu sehen, ob die KI einfache Aufgaben bewältigen konnte, erstellten sie drei winzige, einfache Übungsspiele:
- Klicken: Klicke auf einen sich bewegenden Punkt.
- Ziehen: Ziehe einen Punkt entlang einer Linie.
- Labyrinth: Bewege ein Quadrat durch ein einfaches Labyrinth.
Selbst hier hatte die KI Schwierigkeiten. Während einige Modelle den Punkt anklicken konnten, scheiterten fast alle beim Ziehen oder beim Navigieren durch das Labyrinth. Dies deutet darauf hin, dass die KI nicht nur bei komplexer Spiellogik, sondern auch bei grundlegenden physischen Interaktionen und räumlichem Denken Schwierigkeiten hat.
Das Fazit
Die Studie kommt zu dem Schluss, dass KI zwar bei Mathematik und Programmierung erstaunlich ist, derzeit aber schrecklich darin ist, Videospiele zu spielen, wenn sie sich nur auf das verlassen muss, was sie sieht und auf ihr eigenes Gedächtnis.
Die Forscher hoffen, dass sie durch die Schaffung dieses schwierigen Tests KI-Entwickler dazu bewegen können, Systeme zu bauen, die besser sind in:
- Dem Verstehen dessen, was sie sehen (Wahrnehmung).
- Dem Erinnern an das, was früher passiert ist (Gedächtnis).
- Dem Planen von Schritten im Voraus (Strategie).
Bis die KI Doom oder Pokémon ohne Spickzettel besiegen kann, hat sie die menschliche Fähigkeit, sich an neue, komplexe Umgebungen anzupassen und zu lernen, noch nicht ganz gemeistert.
Ertrinken Sie in Arbeiten in Ihrem Fachgebiet?
Erhalten Sie tägliche Digests der neuesten Arbeiten passend zu Ihren Forschungsbegriffen — mit technischen Zusammenfassungen, in Ihrer Sprache.