Le terrain de jeu des esprits numériques

Imaginez un monde où les ordinateurs ne se contentent pas de suivre des instructions rigides, mais apprennent en observant, tout comme un enfant qui apprend à faire du vélo en regardant son frère ou sa sœur aînée. C'est le domaine de l'apprentissage automatique (machine learning), et plus précisément d'une branche appelée l'imitation comportementale (behavioral cloning). Dans ce recoin de la science, les chercheurs nourrissent une IA avec des milliers d'heures de parties humaines, espérant que l'ordinateur puisse imiter les mouvements, le timing et les instincts d'un joueur professionnel sans jamais lui avoir explicitement appris comment jouer.

La grande question qui anime ce domaine est la suivante : jusqu'à quel point une IA simple et compacte peut-elle apprendre uniquement par imitation, avant que nous ayons besoin d'ajouter des fonctionnalités cérébrales complexes comme la mémoire, la fixation d'objectifs ou l'apprentissage par essais et erreurs ? Considérez cela comme se demander jusqu'où un perroquet peut voler simplement en mémorisant la trajectoire de vol d'un faucon, sans avoir besoin de comprendre l'aérodynamisme. Si nous pouvons construire une IA petite et efficace qui joue bien simplement en copiant, cela permet d'économiser des quantités massives de puissance de calcul et d'énergie. Mais si l'IA reste bloquée dès qu'elle voit quelque chose de légèrement différent de ce qu'elle a pratiqué, nous savons qu'il faut lui apprendre à se remettre de ses erreurs. C'est l'équilibre délicat entre « imitation simple » et « adaptation intelligente » que les scientifiques testent constamment.

---

Cortex : Le minuscule copieur de Quake

Dans l'article « Cortex: Compact Behavior Cloning for Quake with Frozen Visual Features », un chercheur nommé Dzmitry Malyshau a décidé de tester les limites de cette idée d'« imitation simple ». Il a construit un agent IA nommé Cortex et l'a jeté dans le monde chaotique et rapide du jeu vidéo classique de 1996, Quake. Plus précisément, il l'a chargé de naviguer dans le premier niveau, E1M1, un labyrinthe de couloirs, de portes, de boutons et de monstres qui nécessite un mélange de course, de saut, de tir et de résolution de puzzles simples.

Cortex est conçu pour être incroyablement léger. Il n'a pas un cerveau massif construit de toutes pièces. Au lieu de cela, il utilise un cerveau visuel « gelé » — un modèle de vision par ordinateur pré-entraîné appelé DINOv3 — qui agit comme une paire d'yeux hautement entraînés. Ces yeux sont « gelés », ce qui signifie qu'ils sont déjà performants pour reconnaître les formes et les textures et qu'ils ne sont jamais modifiés pendant l'entraînement. Le véritable « cerveau » de Cortex est un minuscule transformeur à six couches ne possédant que 10,98 millions de paramètres entraînables. Pour donner un ordre de grandeur, d'autres IA de jeu célèbres dans ce domaine possèdent des centaines de millions de paramètres. Cortex est le sprinteur léger comparé aux poids lourds de la catégorie.

Le processus d'entraînement a été étonnamment court et efficace. L'IA a observé 6 849 enregistrements de joueurs humains, ce qui représente environ 474,7 heures de jeu. Cependant, Cortex n'a pas regardé chaque seconde. Les chercheurs ont sélectionné une « époque échantillonnée » spécifique, ce qui revient à faire une seule passe soigneusement organisée à travers les données. Cela impliquait 517 048 clips courts (chacun faisant quatre images) et n'a pris à l'IA que 3,3 minutes pour l'optimisation sur une carte graphique haut de gamme (une RTX 5080). L'objectif était de voir si ce modèle minuscule et entraîné rapidement pouvait rivaliser avec des IA beaucoup plus grandes et complexes.

Les résultats : Un bilan mitigé entre succès et faux pas

Lorsque les chercheurs ont lâché Cortex dans Quake, les résultats ont été un mélange fascinant de compétences impressionnantes et d'échecs prévisibles.

Les bonnes nouvelles :
Cortex était étonnamment doué pour les bases. Dans deux lots distincts de 20 épisodes (chaque épisode durant 120 secondes), Cortex a réussi à atteindre la « porte d'ouverture », la « salle du bouton » et la « descente de la grille » dans les 20 épisodes de chaque lot. Il a également réussi à obtenir un kill dans 19 cas sur 20. Cela suggère que pour les premières parties simples du niveau, la simple copie des mouvements humains fonctionne très bien. Il pouvait naviguer dans les couloirs initiaux et engager le combat efficacement.

Les mauvaises nouvelles :
Malgré ces premiers succès, Cortex n'a pas réussi à terminer le niveau dans aucun des 40 épisodes (0/20 dans les deux lots). L'IA restait bloquée, généralement près des murs ou dans l'eau, et ne trouvait pas comment s'en débloquer. Les chercheurs ont noté qu'il s'agit d'un problème classique de l'imitation comportementale appelé décalage de covariable (covariate shift) : lorsqu'une IA commet une petite erreur, elle se retrouve dans une situation qu'elle n'a jamais vue dans les vidéos d'entraînement, et comme elle ne sait que copier ce qu'elle a vu, elle se fige ou panique.

La comparaison :
Les chercheurs ont également testé deux autres modèles d'IA, beaucoup plus grands (P2P-150M et NitroGen), dans les mêmes conditions. Ces géants, entraînés sur des milliers d'heures de nombreux jeux différents, ont été encore moins performants lors de ce test spécifique. Ils ont complété 0 épisode sur 5 chacun et se sont bloqués presque immédiatement. Cela suggère que pour cette tâche spécifique et étroite, un modèle compact et spécialisé comme Cortex peut en fait surpasser un modèle massif et polyvalent, du moins pour la première minute de jeu.

Ce que les expériences ont révélé

L'article ne s'est pas contenté de faire jouer le jeu ; il a mené une série d'expériences d'« ablation » pour voir ce qui faisait fonctionner Cortex et ce qui le faisait échouer.

• Plus de détails aident au combat, pas à la navigation : Lorsque les chercheurs ont donné à Cortex une vue plus dense et détaillée de l'écran (en utilisant plus de « tokens » ou de patchs visuels), l'IA est devenue meilleure pour combattre et survivre. Elle a obtenu plus de kills et est morte moins souvent. Cependant, ce surplus de détails n'a pas aidé à mieux naviguer sur l'itinéraire. En fait, cela a parfois légèrement dégradé la fiabilité du parcours. Cela suggère que voir plus de détails aide l'IA à réagir aux ennemis, mais ne l'aide pas nécessairement à comprendre où aller ensuite.
• La mémoire n'est pas une solution miracle : L'équipe a tenté de donner à Cortex une « mémoire » de ses actions passées, espérant qu'il apprendrait de ses propres erreurs. Étonnamment, cela n'a pas amélioré ses performances de manière constante. L'IA ne s'est pas améliorée dans la navigation du niveau simplement parce qu'elle se souvenait de ce qu'elle avait fait cinq secondes auparavant.
• Les métriques hors ligne sont trompeuses : Les chercheurs ont constaté que les tests informatiques standards (comme la capacité de l'IA à prédire le mouvement suivant sur un ensemble de test) étaient de mauvais prédicteurs de la façon dont l'IA jouerait réellement le jeu. Une IA peut sembler parfaite sur le papier mais échouer lamentablement dans le jeu réel. C'est un avertissement crucial pour les futurs chercheurs : ne vous fiez pas seulement aux chiffres ; regardez le jeu.

Le verdict

L'article conclut que, bien qu'une IA compacte et simple puisse apprendre à jouer les premières parties d'un jeu complexe très bien en se contentant de copier les humains, elle atteint un plafond difficile. Elle ne peut pas se remettre de ses propres erreurs ni naviguer dans de nouvelles situations qu'elle n'a pas rencontrées auparavant. Les échecs sont cohérents avec l'idée que l'IA souffrait d'un décalage de covariable — elle s'est perdue dans les parties « inconnues » du jeu.

Les auteurs suggèrent que la prochaine étape n'est pas de rendre l'IA plus grande, mais de lui apprendre à se rétablir. Ils proposent une méthode appelée DAgger, où un humain interviendrait chaque fois que l'IA est bloquée, lui montrerait le mouvement correct, et l'IA apprendrait spécifiquement de ces moments de « sauvetage ».

En résumé, Cortex prouve que vous n'avez pas besoin d'un supercalculateur pour bien jouer à un jeu vidéo pendant un certain temps. Un modèle minuscule et efficace peut imiter les premières minutes de jeu d'un humain avec une compétence impressionnante. Mais sans un moyen d'apprendre de ses erreurs ou une mémoire de ce qu'il faut faire quand les choses tournent mal, il finira par heurter un mur qu'il ne pourra pas franchir. L'article ne prétend pas avoir résolu le jeu ; il offre plutôt une carte claire et honnête de là où l'imitation simple fonctionne et de là où elle échoue, guidant les futurs chercheurs sur la manière de construire des agents capables de véritablement s'adapter.