HumanCLAW: Can Vision-Language Models Act Through a Body?
Cet article introduit HumanCLAW, un cadre qui découple la prise de décision des modèles vision-langage de l'exécution motrice pour évaluer l'intelligence incarnée, révélant que les modèles actuels échouent dans les tâches physiques à long terme principalement en raison d'un manque de conscience de soi incarnée plutôt que de capacités de reconnaissance.
Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète
Imaginez que vous enseigniez à un robot brillant et super intelligent comment jouer à un jeu vidéo. Mais ce n'est pas un jeu ordinaire ; c'est un jeu où le robot doit contrôler un corps physique réel qui peut trébucher, tomber, heurter des murs et renverser des vases. Dans le monde de l'intelligence artificielle, il existe deux principaux types de « cerveaux » pour les robots. Un type est comme un pilote qui a mémorisé des millions de trajectoires de vol spécifiques ; il est excellent pour faire exactement ce qu'il a déjà vu, mais si le vent souffle différemment, il risque de s'écraser. L'autre type est un « Modèle Vision-Langage » (VLM). Voyez cela comme un robot doté d'une immense bibliothèque de livres et d'une caméra pour les yeux. Il peut lire une histoire, regarder une image et comprendre des idées complexes comme « trouve le canapé rouge et assieds-toi dessus ». Il est incroyable pour raisonner et parler, mais il n'a jamais réellement déplacé un corps auparavant.
La grande question que les scientifiques se posent actuellement est la suivante : ce robot très cultivé peut-il réellement faire des choses dans le monde réel ? Peut-il prendre une idée de haut niveau comme « va à la cuisine » et la transformer en les minuscules mouvements musculaires à la fraction de seconde nécessaires pour marcher sans tomber ? Habituellement, quand un robot échoue, il est difficile de dire si le « cerveau » a pris une mauvaise décision (comme marcher dans un mur) ou si le « corps » n'a simplement pas pu faire le travail (comme perdre l'équilibre). Pour résoudre ce mystère, les chercheurs avaient besoin d'un moyen de séparer la pensée du mouvement, afin de voir exactement où le cerveau du robot restait bloqué.
C'est ici qu'intervient une nouvelle étude appelée HumanCLAW. Les chercheurs ont construit un terrain d'essai spécial pour voir si ces cerveaux d'IA intelligents pouvaient contrôler un corps de type humain dans un monde physique. Ils n'ont pas entraîné l'IA à bouger ; ils lui ont simplement donné une caméra, un objectif et une liste de mouvements de base comme « marcher vers l'avant », « tourner » ou « s'asseoir ». Ensuite, ils ont laissé l'IA essayer de naviguer à travers 41 maisons virtuelles différentes pour trouver des objets et s'y asseoir.
Les résultats ont été un choc. Même les modèles d'IA les plus intelligents et les plus avancés d'aujourd'hui ont échoué presque à chaque fois. Le meilleur modèle n'a réussi que dans environ 16,8 % des tentatives. Cela signifie qu'il a échoué plus de 83 % du temps.
Voici la partie étrange : l'IA n'échouait pas parce qu'elle était « aveugle ». Lorsque l'objet cible (comme un canapé) apparaissait réellement à l'écran, l'IA le reconnaissait presque toujours. Elle savait ce qu'elle regardait. Le problème n'était pas la vision ; c'était de savoir où il se trouvait.
Les chercheurs ont découvert que ces modèles d'IA souffrent d'un cas sévère d'« amnésie corporelle ». Ils sont comme un fantôme qui peut voir les meubles parfaitement, mais qui n'a aucune idée de l'endroit où se trouvent ses propres jambes. Quand l'IA essayait de marcher, elle continuait souvent à marcher même après être arrivée au canapé, ou elle s'arrêtait bien trop tôt, pensant être arrivée alors qu'elle était encore loin. Lorsqu'elle essayait de s'asseoir, elle abaissait souvent son corps dans le vide, s'asseyant sur rien parce qu'elle ne réalisait pas que le canapé n'était pas directement sous elle. Elle marchait aussi droit dans les murs ou trébuchait sur des obstacles sans même réaliser qu'elle les avait heurtés.
L'étude montre que, bien que ces modèles d'IA soient incroyables pour décrire le monde, ils sont terribles pour comprendre leur propre place en lui. Ils peuvent vous dire à quoi ressemble une chaise, mais ils ne peuvent pas comprendre comment s'asseoir dessus sans tomber. Les chercheurs concluent que pour faire des robots qui peuvent véritablement agir dans le monde réel, nous devons leur apprendre non seulement à voir, mais aussi à « ressentir » où se trouve leur corps et comment ils interagissent avec le monde qui les entoure. Tant que nous ne résoudrons pas ce problème de « conscience de soi incarnée », même les cerveaux d'IA les plus intelligents resteront des fantômes maladroits dans une machine physique.
Noyé(e) sous les articles dans votre domaine ?
Recevez des digests quotidiens des articles les plus récents correspondant à vos mots-clés de recherche — avec des résumés techniques, dans votre langue.