Towards Embodied Cognition in Robots via Spatially Grounded Synthetic Worlds
Cet article présente un ensemble de données synthétiques, disponible publiquement, généré dans NVIDIA Omniverse pour entraîner des modèles vision-langage sur le raisonnement spatial et la prise de perspective visuelle, servant ainsi d'étape fondamentale vers la cognition incarnée dans l'interaction humain-robot.
Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète
Imaginez que vous jouez à cache-cache avec un ami dans un salon géant et encombré. Vous êtes caché derrière le canapé, et votre ami se tient près de la porte. Si vous criez : « Je vois la balle rouge à ma gauche ! », votre ami doit faire quelque chose de étonnamment complexe : il ne peut pas simplement regarder vers la gauche depuis sa propre position. Il doit mentalement se mettre à votre place, pivoter pour voir la pièce sous votre angle, puis déterminer où se trouve cette balle rouge par rapport à lui. Cette gymnastique mentale s'appelle la « Prise de Perspective Visuelle ». C'est un super-pouvoir que les humains possèdent et qui leur permet de comprendre ce que les autres voient, pensent et ressentent. Pour que les robots puissent véritablement passer du temps avec nous, jouer avec nous ou nous aider dans nos maisons, ils ont besoin de ce même super-pouvoir. Actuellement, les robots sont souvent comme des personnes qui ne peuvent voir le monde qu'à travers leurs propres yeux ; ils ont du mal à comprendre que « la gauche » pour eux peut être « la droite » pour vous. Ce document plonge dans le monde de l'Intelligence Artificielle (IA) pour voir si nous pouvons apprendre aux robots à réaliser cet acte de rotation mentale, spécifiquement en utilisant un type spécial de données d'entraînement qui agit comme un simulateur de jeu vidéo.
Les chercheurs derrière ce papier, Joel Currie et son équipe, s'attaquent à un problème spécifique : les robots et les cerveaux d'IA qui les pilotent sont excellents pour reconnaître des objets, mais ils sont médiocres pour comprendre exactement où ces objets se trouvent dans l'espace 3D, surtout lorsqu'on les regarde sous différents angles. Alors que certaines anciennes méthodes robotiques utilisent des règles mathématiques rigides pour calculer l'espace, l'équipe suggère que les « Modèles Vision-Langage » modernes (des IA capables de voir des images et de lire du texte) pourraient être l'avenir, mais seulement si nous pouvons mieux les enseigner. Le papier soutient que ces modèles intelligents échouent actuellement dans le raisonnement spatial non pas parce qu'ils sont « stupides », mais parce qu'ils n'ont pas été entraînés sur suffisamment de données qui lient parfaitement l'apparence d'un objet à son emplacement exact.
Pour corriger cela, l'équipe a créé une toute nouvelle « salle de sport d'entraînement » pour les robots, mais au lieu d'une vraie pièce, ils ont construit une salle numérique à l'intérieur d'un puissant moteur de jeu vidéo appelé NVIDIA Omniverse. Voyez cela comme un bac à sable numérique où ils peuvent déposer un simple cube légèrement déformé, prendre une photo avec une caméra située à une hauteur aléatoire, et écrire une phrase pour le décrire. La partie magique est que, parce qu'ils ont construit ce monde dans un ordinateur, ils connaissent la mathématique exacte de l'emplacement du cube, au millimètre près. Ils ont généré un ensemble de données rempli de ces scènes, associant une image, une consigne textuelle et une « matrice de transformation 4×4 » précise (une grille mathématique sophistiquée qui indique exactement comment l'objet est positionné).
Dans cette première expérience, l'équipe n'a pas demandé à l'IA de résoudre tout le puzzle de l'espace 3D d'un coup. Au lieu de cela, elle s'est concentrée sur une compétence plus simple et fondamentale : deviner à quelle distance l'objet se trouve le long de l'axe Z (la ligne de profondeur par rapport à la caméra), tout en laissant tout le reste immobile. Ils veulent voir si l'IA peut regarder l'image et la description et deviner correctement cette distance. Si l'IA peut apprendre cela dans leur monde synthétique parfait, l'espoir est qu'elle finira par être capable de gérer la complexité totale et désordonnée d'une vraie pièce. Le papier présente cela comme une « preuve de concept », ce qui signifie qu'il s'agit d'un test préliminaire pour voir si l'idée fonctionne. Ils ne prétendent pas avoir résolu l'intelligence robotique aujourd'hui ; ils posent plutôt la première brique d'un fondement. Ils ont rendu ce jeu de données public afin que d'autres scientifiques puissent l'utiliser pour entraîner leurs propres robots, visant un futur où les robots pourront véritablement comprendre « ce que les autres voient » et naviguer dans notre monde avec la même conscience spatiale que nous considérons comme naturelle.
Noyé(e) sous les articles dans votre domaine ?
Recevez des digests quotidiens des articles les plus récents correspondant à vos mots-clés de recherche — avec des résumés techniques, dans votre langue.