LEGO-Puzzles: How Good Are MLLMs at Multi-Step Spatial Reasoning?
L'article présente LEGO-Puzzles, un benchmark évaluant les capacités de raisonnement spatial multi-étapes des modèles de langage de grande taille multimodaux (MLLM) à travers des tâches élémentaires et de la planification d'assemblage, révélant que même les modèles les plus performants sont nettement moins efficaces que les humains et peinent à maintenir leur précision à mesure que la complexité de la planification augmente.
Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète
Imaginez que vous essayez d'apprendre à un robot comment construire un château complexe avec des blocs, mais que vous ne pouvez que lui parler et lui montrer des images. C'est le monde des Modèles de Langage Multimodaux (MLLM). Considérez ces modèles comme des cerveaux numériques super intelligents capables de lire du texte et de « voir » des images, tentant de comprendre le monde tout comme les humains le font. L'une des choses les plus difficiles qu'un cerveau puisse apprendre est le raisonnement spatial — la capacité de comprendre comment les objets s'assemblent dans un espace 3D, savoir quel bloc va au-dessus, lequel doit être pivoté, et comment la structure entière change à mesure que l'on ajoute des pièces. Bien que ces modèles d'IA s'améliorent pour discuter et décrire des images, les scientifiques se demandent toujours : peuvent-ils réellement planifier une séquence de mouvements pour construire quelque chose ? C'est une chose de regarder une tour terminée et de dire : « Elle est haute », mais c'est un défi tout autre que de déterminer l'ordre exact de 50 étapes pour la construire à partir de rien. Si nous voulons que les robots réparent nos voitures ou nous aident à assembler des meubles, ils doivent maîtriser ce genre de pensée étape par étape.
Entrez dans LEGO-Puzzles, un nouvel « examen » conçu par des chercheurs pour tester précisément cette compétence. Au lieu d'utiliser de vraies briques en plastique, les chercheurs ont créé un immense terrain de jeu numérique utilisant des instructions LEGO pour voir si les modèles d'IA les plus intelligents au monde peuvent gérer des puzzles spatiaux. Ils ont divisé le test en deux niveaux principaux. Le premier niveau, l'Ensemble Élémentaire, est comme un échauffement. Il pose à l'IA des questions simples sur une seule image : « Quel bloc est le plus haut ? » « Ces deux pièces se touchent-elles ? » ou « Si je tourne cette pièce, à quoi ressemble-t-elle de côté ? » Cela teste la « compréhension spatiale » de base. Le second niveau, l'Ensemble de Planification, est le véritable combat contre le boss. L'IA ne se contente pas de répondre à des questions ; elle doit agir comme un maître constructeur. On lui donne un tas de blocs de départ et l'image de l'objectif final, et elle doit générer un plan étape par étape pour y parvenir. Les chercheurs ont testé 29 des modèles d'IA les plus avancés disponibles, incluant les grands noms comme GPT-5 et Gemini, et ont même demandé à des experts humains de passer le même test.
Les résultats ont été un rappel à la réalité pour le monde de l'IA. Même les modèles les plus forts ont eu du mal avec les bases. Pour les questions élémentaires, les meilleurs modèles d'IA accusaient au moins 20 % de retard sur la performance humaine. Par exemple, lorsqu'on leur demandait de juger la hauteur de blocs dans un espace 3D, de nombreux modèles étaient confus, regardant l'image plate en 2D sur l'écran plutôt que d'imaginer la véritable forme 3D. Mais les problèmes s'aggravaient considérablement à mesure que les tâches devenaient longues. Lorsque l'IA devait planifier une séquence d'étapes à l'aide de questions à choix multiples, sa précision commençait à chuter de manière significative dès que le plan dépassait 3 étapes, tombant sous la barre des 50 %. Lorsqu'un plan nécessitait 8 étapes, la précision des meilleurs modèles chutait à 0 %. En revanche, les participants humains résolvaient chaque tâche de planification parfaitement, quelle que soit la longueur de la chaîne d'étapes.
Les chercheurs ont également essayé quelque chose d'encore plus difficile : demander à l'IA non seulement de décrire les étapes, mais de réellement dessiner les images intermédiaires du processus de construction. Ils voulaient voir si l'IA pouvait imaginer à quoi ressemble le château après l'étape 1, puis l'étape 2, et ainsi de suite. Les résultats ont été frappants. Même pour un plan court de seulement 3 étapes, les modèles ont totalement échoué à générer la séquence visuelle correcte. Ils pouvaient parfois dessiner une image qui ressemblait à une brique LEGO, mais ils ne pouvaient pas la placer au bon endroit ou obtenir l'orientation correcte. L'article note que, puisque les modèles ont si mal échoué à la génération d'images pour seulement 3 étapes, les chercheurs n'ont même pas testé des horizons plus longs pour cette tâche spécifique. Cela suggère que, bien que ces modèles soient doués pour reconnaître des motifs, ils manquent de la capacité d'« imaginer » les conséquences de leurs actions au fil du temps. Ils ne peuvent pas maintenir une carte mentale du processus de construction dans leur tête sans perdre le fil.
En résumé, LEGO-Puzzles révèle que, bien que nos modèles d'IA actuels soient impressionnants, ils sont encore très loin de posséder une véritable intelligence spatiale. Ils ne peuvent pas planifier de manière fiable un assemblage en plusieurs étapes, et ils échouent lamentablement lorsqu'on leur demande de visualiser les états futurs d'un objet. L'article conclut que nous avons encore un long chemin à parcourir avant que l'IA ne puisse véritablement comprendre le monde physique pour nous aider à construire des choses, réparer des objets cassés ou naviguer dans des environnements complexes de manière autonome. L'écart entre l'intuition humaine et le calcul machine dans le monde physique est encore large, et ce nouveau benchmark nous donne une carte précise de l'endroit où les modèles trébuchent.
Noyé(e) sous les articles dans votre domaine ?
Recevez des digests quotidiens des articles les plus récents correspondant à vos mots-clés de recherche — avec des résumés techniques, dans votre langue.