The Evaluation Protocol Determines the Result: An Independent Reproduction of LeWorldModel on TwoRoom

Le dilemme du détective : Quand la carte ne correspond pas au territoire

Imaginez que vous appreniez à un robot à naviguer dans un labyrinthe. Vous ne voulez pas seulement que le robot mémorise le chemin ; vous voulez qu'il construise un « modèle de monde » dans son cerveau — une carte mentale qui prédit ce qui se passera s'il tourne à gauche ou à droite. Si le robot peut prédire l'avenir avec précision, il peut planifier à l'avance et résoudre des énigmes complexes. C'est le rêve des modèles de monde latents : des systèmes d'IA qui apprennent les règles cachées de leur environnement afin de pouvoir agir intelligemment sans avoir besoin qu'un humain les tienne par la main.

Mais voici la partie délicate : comment savoir si la carte mentale du robot est réellement bonne ? Habituellement, les scientifiques vérifient en observant la capacité du robot à prédire l'étape suivante. S'il peut deviner parfaitement l'image suivante d'une vidéo, nous supposons qu'il comprend le monde. Cependant, cet article pose une question dangereuse : Et si le robot était un génie pour prédire la seconde suivante, mais un désastre total pour planifier la minute suivante ?

Cette histoire provient du monde de l'apprentissage automatique (machine learning), plus précisément de l'étude de la manière dont l'IA apprend à simuler la réalité. C'est un domaine où les chercheurs construisent des cerveaux numériques pour comprendre la physique, le mouvement et la relation de cause à effet. Les enjeux sont de taille car, si nous construisons des robots ou des voitures autonomes basés sur des modèles qui semblent bons sur le papier mais qui échouent dans le monde réel, les conséquences pourraient être désastreuses. Cet article est l'histoire d'une équipe de chercheurs indépendants qui ont décidé de jouer les « détectives » avec une nouvelle méthode d'IA célèbre appelée LeWorldModel. Ils voulaient voir si le tour de magie fonctionnait réellement, ou si le magicien cachait simplement quelques étapes cruciales dans les instructions.

---

L'affaire des instructions manquantes

Les chercheurs se sont donné pour mission de reproduire un résultat provenant d'un article affirmant que leur nouvelle IA, LeWorldModel, pouvait résoudre un labyrinthe simple à deux pièces environ 87 % du temps. Cela semblait faible par rapport à d'autres méthodes qui atteignaient 97 à 100 %, mais l'auteur affirmait que leur méthode était spéciale car elle était plus simple et n'avait pas besoin de tours sophistiqués pour fonctionner.

L'équipe indépendante, dirigée par Joyjeet Singh, a loué de la puissance de calcul (environ 24 $ de temps de GPU) pour reconstruire l'IA de zéro. Ils s'attendaient à voir le même taux de réussite de 87 %. Au lieu de cela, ils ont découvert un amas de secrets cachés.

Les quatre règles cachées
L'équipe a découvert que les instructions de l'article original étaient comme une recette qui oubliait de mentionner les ingrédients les plus importants. Si vous suiviez uniquement les fichiers de configuration publiés, l'IA n'apprenait rien. Les chercheurs ont trouvé quatre « conventions non documentées » enfouies dans le code qui déterminaient tout :

1. Collecte d'actions denses (Dense Action Gathering) : L'IA avait besoin de voir chaque minuscule mouvement du robot, pas seulement quelques instantanés.
2. Largeur programmatique (Programmatic Width) : La taille d'une partie spécifique du cerveau était définie par une formule mathématique cachée, et non par un nombre dans le fichier de configuration.
3. Normalisation ImageNet : Les images injectées dans l'IA devaient être traitées d'une manière très spécifique (en utilisant les standards « ImageNet »), et non simplement en divisant les couleurs par 255.
4. Actions avec score Z (Z-Scored Actions) : Les mouvements du robot devaient être ajustés mathématiquement en fonction de l'ensemble du jeu de données, après avoir supprimé les erreurs bizarres de type « NaN » (not a number).

Sans ces quatre correctifs cachés, le « prédicteur » de l'IA (la partie qui devine le futur) ne pouvait même pas converger. C'était comme essayer de faire un gâteau avec une recette qui aurait oublié de dire « ajoute de la farine » ou « préchauffe le four ».

Le fantôme dans la machine
Même après avoir corrigé la recette, l'équipe s'est heurtée à un mur. Pour trois de leurs sessions d'entraînement, l'IA semblait échouer. La « perte de validation » (un score mesurant à quel point l'IA était mauvaise) oscillait de manière sauvage, suggérant que le modèle était cassé. Mais la « perte d'entraînement » (à quel point elle était mauvaise sur les données qu'elle apprenait) s'améliorait en réalité !

Ils ont trouvé le coupable : une couche de normalisation par lots (Batch Normalization layer). Voyez cela comme un thermostat dans le cerveau de l'IA. Dans le mauvais mode, ce thermostat était défectueux, amplifiant les erreurs infimes par un facteur de 300. Cela donnait l'impression que l'IA échouait alors qu'elle apprenait parfaitement. Une fois qu'ils ont « recalibré » ce thermostat, la véritable performance est apparue.

Les deux cartes différentes
L'équipe a également découvert que l'article original avait publié deux ensembles différents de règles pour tester l'IA, et qu'ils donnaient des résultats totalement différents :

• Le test « court » : Le fichier de configuration du code indiquait de tester l'IA avec un objectif situé à 25 étapes et un budget de 50 étapes. Sous cette règle, l'IA des auteurs originaux atteignait 84,0 %.
• Le test « long » : L'appendice de l'article disait de tester avec un objectif situé à 100 étapes et un budget de 150 étapes. Sous cette règle, la même IA n'atteignait que 14,0 %.

Les chercheurs ont réalisé que le taux de réussite de « 87 % » revendiqué par l'article était probablement basé sur le test « court », mais que le test « long » (décrit dans l'appendice) était en fait beaucoup plus difficile et révélait la faiblesse de l'IA.

La grande surprise : La précision ne signifie pas la compétence

La découverte la plus choquante ne concernait pas les règles cachées, mais ce que signifie réellement être « bon ».

L'équipe a entraîné trois versions différentes de l'IA :

1. Une version « mauvaise » avec des erreurs de prédiction élevées.
2. Une version « moyenne » (la version des auteurs originaux).
3. Une version « excellente » avec des erreurs de prédiction très faibles (la version corrigée par l'équipe).

Le succès à court terme :
Lorsque l'objectif était proche (25 étapes), l'IA « excellente » était la meilleure, atteignant 94,0 % de succès. L'IA « mauvaise » était la moins bonne avec 78,0 %. Cela avait du sens : une meilleure prédiction = une meilleure planification.

Le désastre à long terme :
Mais lorsque l'objectif était loin (100 étapes), les règles s'inversaient complètement.

• L'IA « excellente » (le prédicteur le plus précis) est devenue la moins bonne planificatrice, n'atteignant que 20,0 % de succès.
• L'IA « mauvaise » (le prédicteur le moins précis) est devenue la meilleure planificatrice, atteignant 80,0 % de succès.

L'IA la plus précise était si confiante dans ses prédictions parfaites qu'elle prenait des décisions énormes et imprudentes, dépassant l'objectif pour finir à 116,6 unités de distance (plus loin qu'un choix aléatoire !). L'IA « mauvaise », incertaine de ses prédictions, se déplaçait plus prudemment et atteignait réellement l'objectif.

Ce que cela signifie pour l'avenir

Cet article ne dit pas que la méthode d'IA est inutile. En fait, une fois les règles cachées corrigées, l'IA de l'équipe a atteint 94,0 % sur le test court, battant la revendication originale. La représentation (la carte mentale) était solide ; le robot savait où il se trouvait.

Cependant, l'article lance un avertissement de poids : Vous ne pouvez pas juger un planificateur sur sa capacité à prédire l'étape suivante.

Dans ce labyrinthe spécifique, être un « prédicteur parfait » rendait en fait l'IA moins bonne pour la planification à long terme. Les chercheurs ont découvert que les modèles les plus précis étaient si sûrs de leur chemin qu'ils s'engageaient dans des actions extrêmes qui les égaraient.

L'équipe a également constaté qu'une expérience pré-enregistrée (un test prévu à l'avance pour voir si l'IA était meilleure pour naviguer vers des objectifs dans la même pièce versus une autre pièce) fonctionnait sur une version de l'IA mais échouait complètement sur une autre. Cela suggère que la « magie » de l'IA pourrait être spécifique à la version exacte du modèle, et non une propriété générale de la méthode.

À retenir
L'article conclut que si vous voulez construire une IA capable de planifier sur le long terme, vous ne devez pas simplement choisir celle qui prédit l'avenir le plus précisément. En fait, sur cette tâche, choisir le modèle le plus précis revenait à choisir le pire planificateur. La leçon pour l'avenir est que nous avons besoin de nouvelles façons de tester l'IA qui regardent au-delà des simples scores de prédiction, car une carte parfaite ne signifie pas toujours que vous savez conduire la voiture.