From Pixels to BFS: High Maze Accuracy Does Not Imply Visual Planning
Le benchmark \textsc{MazeBench} révèle que les modèles multimodaux obtiennent de hautes performances sur des labyrinthes visuels non pas grâce à une véritable compréhension spatiale ou une planification, mais en convertissant les images en grilles textuelles pour y effectuer une recherche par force brute (BFS) consommatrice de tokens.
Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète
Imaginez que vous demandez à un robot très intelligent de résoudre un labyrinthe dessiné sur un écran. Pour un humain, c'est facile : on regarde l'image, on voit le chemin d'un coup d'œil, et on y va.
Mais ce papier de recherche, intitulé « Des pixels au BFS : Une haute précision dans les labyrinthes ne signifie pas de planification visuelle », révèle une vérité surprenante et un peu décevante sur les intelligences artificielles (IA) les plus avancées d'aujourd'hui.
Voici l'explication simple, avec quelques images pour mieux comprendre.
1. Le Grand Malentendu : L'IA ne « voit » pas, elle « lit »
Quand vous regardez un labyrinthe, votre cerveau fait une planification spatiale. Vous voyez les murs, vous visualisez le chemin, et vous trouvez la sortie presque instantanément. C'est comme si vous voliez au-dessus du labyrinthe.
Les IA, elles, ne font pas ça.
- L'analogie du traducteur : Imaginez que l'IA est un traducteur très rapide mais un peu rigide. Au lieu de regarder le dessin, elle transforme d'abord l'image en une liste de mots (une grille de texte : « mur, chemin, mur, trésor... »).
- Le problème : Une fois qu'elle a cette liste de mots, elle ne « voit » plus le chemin. Elle doit le trouver en lisant la liste, mot par mot, en essayant des combinaisons au hasard jusqu'à ce qu'elle trouve la bonne.
C'est comme si, pour trouver votre chemin dans une ville, vous ne regardiez pas la carte, mais que vous lisiez à voix haute chaque rue : « Je tourne à gauche, puis à droite, puis je bute sur un mur, donc je recommence... ».
2. Le Piège de la « Force Brute » (Brute-Force)
Les chercheurs ont créé un banc d'essai appelé MAZEBENCH avec 110 labyrinthes de différentes tailles. Ils ont vu quelque chose d'étonnant :
- Les IA les plus puissantes (comme GPT-5.4) réussissent à résoudre 91 % des labyrinthes. On pourrait penser qu'elles sont géniales.
- Mais en réalité ? Elles utilisent une méthode de force brute. Elles énumèrent des milliers de chemins possibles, un par un, dans leur « pensée » (leurs tokens).
- L'analogie du labyrinthe infini : Imaginez que vous devez trouver la sortie d'un labyrinthe. Au lieu de le parcourir, vous essayez de l'écrire entièrement dans un cahier. Si le labyrinthe est petit, vous y arrivez vite. S'il est énorme, votre cahier se remplit de pages avant que vous n'ayez trouvé la sortie. L'IA s'arrête alors, épuisée, en disant : « Je ne peux pas continuer, je n'ai plus de place dans mon cahier ».
3. Le Coût de l'Intelligence
C'est ici que ça devient drôle (et cher).
- Pour résoudre un labyrinthe qu'un humain ferait en 2 secondes, une IA peut utiliser l'équivalent de plusieurs pages de texte de réflexion.
- L'analogie de l'ascenseur : Pour aller du rez-de-chaussée au 1er étage, un humain prend l'escalier (rapide, efficace). L'IA, elle, prend l'ascenseur, mais elle doit d'abord appeler l'ascenseur, attendre qu'il arrive, monter, descendre, puis remonter pour vérifier qu'elle n'a pas fait d'erreur. Elle arrive au même endroit, mais elle a dépensé 100 fois plus d'énergie.
Certaines IA (comme Gemini) sont si efficaces dans cette méthode de « force brute » qu'elles réussissent bien, mais elles consomment énormément de ressources informatiques. D'autres (comme Claude) sont moins bonnes car elles font des erreurs dès la première étape : elles traduisent mal l'image en texte (elles voient des murs là où il n'y en a pas), et ensuite, même si elles réfléchissent beaucoup, elles cherchent dans un labyrinthe qui n'existe pas.
4. Le Test du « Texte vs Image »
Pour prouver leur théorie, les chercheurs ont fait un test génial avec l'IA Claude :
- Ils lui ont donné l'image du labyrinthe : elle a réussi 6 % des cas.
- Ils lui ont donné le texte du labyrinthe (la grille déjà traduite) : elle a réussi 80 % des cas !
La conclusion ? Le problème n'est pas que l'IA ne sait pas réfléchir. Le problème est qu'elle est mauvaise pour transformer l'image en texte. Une fois qu'elle a le bon texte, elle est très intelligente. Mais tant qu'elle doit « voir » l'image, elle trébuche.
5. Pourquoi c'est important ?
Ce papier nous dit une chose cruciale : Ne vous fiez pas uniquement aux scores de réussite.
Si une IA dit qu'elle a résolu 90 % des labyrinthes, cela ne veut pas dire qu'elle a compris l'espace comme un humain. Cela veut juste dire qu'elle a assez de « papier et de crayon » (de puissance de calcul) pour essayer toutes les combinaisons possibles jusqu'à tomber sur la bonne réponse.
En résumé :
Les IA actuelles sont comme des calculatrices très rapides mais aveugles. Elles peuvent résoudre des problèmes complexes, mais elles le font en écrivant des milliers de lignes de calcul au lieu de « voir » la solution. Elles ne planifient pas vraiment ; elles comptent jusqu'à trouver la réponse.
C'est impressionnant, mais ce n'est pas encore de la vraie intelligence visuelle humaine. C'est de la force brute déguisée en intelligence.
Noyé(e) sous les articles dans votre domaine ?
Recevez des digests quotidiens des articles les plus récents correspondant à vos mots-clés de recherche — avec des résumés techniques, dans votre langue.