VideoGameBench: Can Vision-Language Models complete popular video games?
L'article présente VideoGameBench, une évaluation où des modèles vision-langage doivent jouer à des jeux vidéo des années 1990 en utilisant uniquement des entrées visuelles brutes et des instructions de haut niveau, révélant que même les modèles les plus avancés éprouvent des difficultés significatives à jouer en temps réel en raison de limitations dans la perception, la navigation spatiale et la latence d'inférence.
Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète
Imaginez que vous possédez un robot très intelligent qui a lu tous les livres de la bibliothèque et qui peut résoudre des problèmes mathématiques complexes. Vous pourriez penser : « Super ! Voyons s'il peut jouer à des jeux vidéo. »
C'est exactement ce que les chercheurs de l'Université de Princeton ont fait. Ils ont créé un nouveau test appelé VideoGameBench pour voir si ces modèles d'IA avancés (appelés Modèles Vision-Langage) peuvent réellement jouer à des jeux vidéo populaires des années 1990, tout comme un humain le ferait.
Voici le détail de leur expérience, des résultats et de ce que cela signifie, en utilisant des analogies simples.
La Configuration : Le Test du « Joueur Bandé »
Habituellement, lorsque les scientifiques testent l'IA sur des jeux, ils lui donnent une feuille de triche. Ils peuvent dire à l'IA : « L'ennemi est aux coordonnées X, Y », ou lui fournir une carte du niveau. C'est comme jouer à un jeu vidéo avec un guide ouvert sur les genoux.
VideoGameBench a changé les règles.
- Les Règles : L'IA reçoit uniquement des images brutes de l'écran (comme vous regardant une télévision) et une simple description textuelle de ce que font les boutons (par exemple, « Appuyez sur 'A' pour sauter »).
- Le Défi : L'IA doit comprendre le jeu, se souvenir de là où elle est allée et réagir aux ennemis en temps réel, tout comme un joueur humain.
- Les Jeux : Ils ont sélectionné 10 jeux classiques des années 90, allant de Doom II (un tir rapide) à Civilization (un jeu de stratégie lent) en passant par Pokémon (une aventure de rôle).
Ils ont même caché trois jeux secrets à l'IA. Cela visait à s'assurer que l'IA ne se contentait pas de mémoriser des réponses issues de ses données d'entraînement, mais apprenait réellement à jouer à de nouvelles choses à la volée.
Les Résultats : Le Problème du « Nouveau-né »
Les résultats ont été surprenants. Même les modèles d'IA les plus intelligents et les plus puissants disponibles aujourd'hui (comme Gemini 2.5 Pro et Claude 3.7) ont énormément peiné.
- Le Score : Les meilleurs modèles ont réussi à compléter environ 0,48 % des jeux.
- La Réalité : En termes simples, cela signifie que l'IA est restée bloquée au tout début du jeu. Elle n'a même pas pu terminer le premier niveau.
Pensez-y ainsi : vous tendez une console de jeu vidéo toute neuve à un mathématicien génial. Il peut calculer la trajectoire d'une fusée, mais quand il essaie de jouer à Super Mario, il continue de tomber dans un précipice parce qu'il ne comprend pas que « vers le bas » sur l'écran signifie « tomber », ou il oublie qu'il a déjà ramassé une clé il y a trois minutes.
Pourquoi Ont-ils Échoué ?
L'article identifie trois raisons principales pour lesquelles l'IA est restée bloquée :
- Le Fossé « Savoir-Faire » : L'IA « savait » souvent ce qu'elle devait faire (par exemple, « Je dois aller à la porte »), mais continuait d'appuyer sur le mauvais bouton. C'était comme une personne qui sait qu'elle doit tourner à gauche pour aller au magasin, mais dont le pied continue de faire un pas vers la droite.
- Confusion Visuelle : L'IA ne parvenait parfois pas à distinguer ce qu'elle regardait. Dans Doom II, une IA pouvait tirer sur un ennemi mort qui ressemblait à un tas de rochers, gaspillant ainsi toute sa munition. Dans Zelda, elle pouvait penser avoir parlé à un personnage simplement parce qu'elle s'était tenue à côté de lui, même si aucune conversation n'avait eu lieu.
- Mémoire Courte : Les jeux vidéo exigent de se souvenir des choses pendant longtemps (par exemple, « Je dois trouver la clé bleue pour ouvrir la porte rouge »). L'IA oubliait son objectif principal après seulement quelques étapes, écrasant sa mémoire avec de nouvelles pensées, moins importantes.
L'Expérience du « Bouton Pause »
Les chercheurs ont réalisé que certains jeux sont très rapides (en temps réel), et que l'IA est lente à réfléchir. Au moment où l'IA décidait d'appuyer sur un bouton, le jeu avait déjà changé, rendant l'action inutile.
Pour remédier à cela, ils ont créé VideoGameBench Lite.
- Le Changement : Ils ont appuyé sur le bouton « pause » du jeu pendant que l'IA réfléchissait. Le jeu ne bougeait que lorsque l'IA donnait un ordre.
- Le Résultat : Les scores ont légèrement augmenté (à environ 1,6 %), mais l'IA a toujours échoué à terminer les jeux. Cela a prouvé que le problème ne résidait pas seulement dans le fait que l'IA était lente ; c'est qu'elle ne pouvait tout simplement pas raisonner efficacement sur la logique du jeu.
Le « Test d'Entraînement »
Pour voir si l'IA pouvait gérer des tâches de base, ils ont créé trois petits jeux d'entraînement simples :
- Clic : Cliquer sur un point en mouvement.
- Glisser : Faire glisser un point le long d'une ligne.
- Labyrinthe : Déplacer un carré à travers un labyrinthe simple.
Même ici, l'IA a peiné. Alors que certains modèles pouvaient cliquer sur le point, presque tous ont échoué à le faire glisser ou à naviguer dans le labyrinthe. Cela suggère que l'IA a des difficultés avec les interactions physiques de base et le raisonnement spatial, et pas seulement avec la logique complexe des jeux.
La Conclusion
L'article conclut que si l'IA est incroyable en mathématiques et en programmation, elle est actuellement terrible pour jouer à des jeux vidéo lorsqu'elle doit se fier uniquement à ce qu'elle voit et à sa propre mémoire.
Les chercheurs espèrent qu'en créant ce test difficile, ils pourront pousser les développeurs d'IA à construire des systèmes meilleurs dans :
- La compréhension de ce qu'ils voient (perception).
- Le souvenir de ce qui s'est passé plus tôt (mémoire).
- La planification des étapes à venir (stratégie).
Jusqu'à ce que l'IA puisse battre Doom ou Pokémon sans feuille de triche, elle n'a pas tout à fait maîtrisé la capacité humaine d'apprendre et de s'adapter à de nouveaux environnements complexes.
Noyé(e) sous les articles dans votre domaine ?
Recevez des digests quotidiens des articles les plus récents correspondant à vos mots-clés de recherche — avec des résumés techniques, dans votre langue.