PolyComp: A Polycube-based Benchmark for Compositional 3D Spatial Reasoning in Multimodal Models
L'article présente PolyComp, un banc d'essai généré de manière procédurale comprenant 120 problèmes conçus pour évaluer le raisonnement spatial 3D compositionnel dans les modèles multimodaux, révélant que si des modèles avancés comme GPT-5.6 Sol atteignent une précision modérée (50 %), d'autres peinent à dépasser le niveau du hasard malgré la variation des coûts et des formats de présentation.
Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète
L'esprit humain possède un talent discret, presque instinctif, pour décomposer des formes complexes et imaginer comment elles s'assemblent à nouveau. Nous pouvons regarder une pièce de puzzle, un jouet cassé ou une pile de boîtes et visualiser instantanément comment les parties se rapportent au tout, même lorsque nous ne pouvons pas voir toutes les surfaces. Cette capacité, connue sous le nom de raisonnement spatial, est une pierre angulaire de notre façon de navigre dans le monde physique. Pendant des décennies, les scientifiques se sont demandé si la nouvelle génération d'intelligence artificielle, capable de voir des images et de lire du texte, a développé ce même sens interne de l'espace. Bien que ces machines excellent dans la reconnaissance de chats sur des photos ou la synthèse d'articles, il reste incertain s'elles comprennent véritablement la géométrie tridimensionnelle des objets, ou si elles se contentent de deviner en se basant sur des motifs déjà vus auparavant.
Une nouvelle étude introduit un test rigoureux conçu pour répondre à cette question, allant au-delà de la simple reconnaissance d'images pour sonder le cœur de la manière dont les machines conçoivent la forme et l'assemblage. Les chercheurs ont créé un banc d'essai appelé PolyComp, une collection de 120 puzzles visuels construits à partir de structures cubiques et massives. Dans chaque puzzle, une intelligence artificielle se voit présenter un objet cible composé de plusieurs cubes connectés, vu sous deux angles différents. On lui présente ensuite quatre paires possibles de pièces plus petites et lui demande d'identifier quelle paire, une fois pivotée et déplacée, permettrait de combiner parfaitement les éléments pour recréer l'objet cible original. La tâche exige que le modèle construise mentalement une représentation 3D des pièces, simule la façon dont elles pourraient pivoter dans l'espace et vérifie si elles s'emboîtent sans vides ni chevauchements. Il ne s'agit pas d'un test de mémoire ou de langage, mais d'un test pur de logique géométrique.
L'étude a mis à l'épreuve trois des systèmes d'intelligence artificielle les plus avancés : GPT-5.6 Sol, Claude Fable 5 et Gemini 3.1 Pro Preview. Chaque système a été chargé de résoudre les mêmes 120 puzzles, mais les puzzles ont été présentés de trois manières différentes pour voir si le format de l'image aidait ou entravait le raisonnement. Parfois, la cible et les options apparaissaient ensemble dans une seule image ; d'autres fois, la cible était montrée dans une image et les quatre options étaient réparties sur quatre images distinctes, soit avec des étiquettes génériques, soit avec des noms descriptifs. L'objectif était de voir si le fait de diviser l'information visuelle en plus petits segments rendait la tâche plus facile, ou si les modèles éprouvaient des difficultés quel que soit le mode d'affichage de l'information.
Les résultats ont révélé un écart significatif entre l'intuition humaine et les capacités actuelles des machines. Le modèle le plus performant, GPT-5.6 Sol, n'a résolu correctement que la moitié des puzzles, atteignant une précision de 50 pour cent. Le deuxième modèle, Claude Fable 5, en a résolu environ 39 pour cent, tandis que le troisième, Gemini 3.1 Pro Preview, a performé au niveau d'un choix aléatoire, n'obtenant que 27,5 pour cent de bonnes réponses. Comme il y avait quatre options pour chaque puzzle, un ordinateur devinant aveuglément devrait obtenir 25 pour cent de réussite. Cela signifie que les modèles les plus avancés étaient à peine meilleurs que le hasard, et que les moins avancés étaient essentiellement en train de deviner. L'étude a également révélé que le type de forme importait davantage que la manière dont les images étaient présentées. Les modèles ont le plus eu de mal avec les puzzles impliquant des boucles rectangulaires, où les pièces formaient une structure en forme d'anneau, mais ont obtenu de meilleurs résultats sur les puzzles ressemblant à de simples blocs séparés ou joints.
Il est intéressant de noter que la manière dont les puzzles étaient présentés n'a pas fait de différence dramatique sur le résultat. Diviser les images en fichiers séparés ou ajouter des étiquettes descriptives n'a pas augmenté de manière significative les scores pour aucun des modèles. Cela suggère que la difficulté ne réside pas dans la capacité des modèles à voir clairement les images, mais dans leur incapacité à construire un modèle 3D interne stable des objets et à simuler leurs mouvements. Les chercheurs ont noté que lorsque les modèles réussissaient, c'était souvent parce que les pièces possédaient une forme globale très évidente ou une grande surface plane qui les rendait faciles à identifier. Lorsque les puzzles nécessitaient de suivre de petits coins cachés ou de comprendre comment les pièces s'inséraient dans un espace creux, les modèles échouaient systématiquement.
L'étude a également mis en lumière le coût de ce type de raisonnement profond. Pour résoudre les 360 questions totales (120 puzzles présentés de trois manières chacune), le modèle le plus capable a consommé une quantité immense de ressources informatiques, coûtant près d'un dollar par question en utilisant les tarifs standards. Les modèles moins capables étaient moins coûteux à faire fonctionner, mais aussi moins précis. Ce compromis suggère que même lorsque nous payons pour les systèmes les plus puissants disponibles, ils manquent encore de l'intelligence spatiale fondamentale que les humains développent naturellement. Les chercheurs ont rendu publics les 120 puzzles ainsi que le code utilisé pour les générer, invitant d'autres à tester les futurs modèles selon ce même standard.
En fin de compte, ce travail sert d'outil de diagnostic clair, montrant que si l'intelligence artificielle a fait des progrès considérables dans la compréhension du langage et la reconnaissance d'objets, elle n'a pas encore maîtrisé la capacité de manipuler mentalement l'espace tridimensionnel. Les modèles peuvent décrire un cube ou identifier une forme, mais ils ne peuvent pas encore imaginer de manière fiable comment deux pièces distinctes d'une forme s'emboîteraient si elles étaient tournées et pivotées dans les airs. Tant que les machines ne pourront pas construire ces cartes 3D internes et simuler des transformations en leur sein, leur raisonnement spatial restera fragile, sujet à des erreurs qu'un enfant humain résoudrait probablement avec aisance. L'étude ne prétend pas que cette capacité est impossible à apprendre pour les machines, mais elle établit fermement que les systèmes actuels ne l'ont pas encore atteinte, laissant une voie claire pour de futures recherches afin de combler ce fossé.
Noyé(e) sous les articles dans votre domaine ?
Recevez des digests quotidiens des articles les plus récents correspondant à vos mots-clés de recherche — avec des résumés techniques, dans votre langue.