The semantic geometry of action: convergence across foundation models, human behaviour and the brain
Cette étude démontre que les modèles de fondation organisent les actions naturalistes au sein d'une géométrie sémantique qui converge avec les jugements comportementaux et les représentations corticales humains, surpassant les encodeurs vidéo traditionnels dans la prédiction des évaluations de similitude humaine et de l'activité cérébrale.
Article original sous licence CC BY 4.0 (https://creativecommons.org/licenses/by/4.0/). Ceci est une explication générée par l'IA d'un preprint qui n'a pas été évalué par des pairs. Ce n'est pas un avis médical. Ne prenez pas de décisions de santé basées sur ce contenu. Lire la clause de non-responsabilité complète
Les êtres humains sont passés maîtres dans l'art de lire le monde en mouvement. Lorsque nous observons quelqu'un, nous ne voyons pas seulement un corps se déplaçant dans l'espace ; nous comprenons instantanément ce qu'il essaie de faire, pourquoi il le fait et quel pourrait être son prochain mouvement. Cette capacité à interpréter l'action dynamique est une pierre angulaire de l'intelligence humaine, nous permettant de naviguer dans des situations sociales complexes et de coopérer avec autrui. Pendant des décennies, les scientifiques ont tenté de construire une intelligence artificielle capable de faire de même. Si les programmes informatiques modernes peuvent désormais identifier des actions avec une grande précision — en distinguant une personne qui court d'une personne qui marche — les chercheurs se demandent depuis longtemps si ces machines comprennent réellement le sens derrière le mouvement de la même manière que les humains. Organisent-elles ces actions dans leur « esprit » interne selon la même logique que nous, ou ne font-elles que faire correspondre des motifs de pixels sans saisir le concept sous-jacent ?
Une équipe de chercheurs de l'Institut d'automatisation de Chine a franchi une étape significative pour répondre à cette question. Ils ont entrepris de cartographier la structure cachée de la manière dont les humains et l'intelligence artificielle avancée organisent le concept de l'action humaine. En comparant la « géographie » interne de l'action dans les grands modèles de langage, les modèles multimodaux capables de voir et de lire, et le cerveau humain, ils ont découvert une convergence surprenante. L'étude suggère que lorsque ces systèmes artificiels sont entraînés sur de vastes quantités de données, ils développent spontanément une façon de penser les actions humaines qui s'aligne étroitement sur la perception humaine et reflète même la manière dont le cerveau humain traite ces mêmes mouvements.
Pour explorer cela, les chercheurs ont traité les modèles d'intelligence artificielle comme des participants à une expérience psychologique. Ils ont présenté à ces modèles des milliers de courts clips vidéo et des descriptions textuelles de personnes effectuant diverses activités, allant de la cuisine et du jardinage au combat et à la danse. Les modèles devaient accomplir une tâche simple mais révélatrice : étant donné trois actions différentes, ils devaient identifier laquelle était l'intru (« l'élément de trop »). Par exemple, si on montrait une vidéo de quelqu'un faisant du ski, de quelqu'un dessinant et de quelqu'un grimpant une paroi rocheuse, le modèle devait décider quelle action était la plus différente des deux autres. En analysant des millions de ces choix, les chercheurs ont pu reconstruire la carte mentale invisible que les modèles utilisaient pour trier ces actions. Ils ont fait de même avec un large groupe de participants humains, créant ainsi une base de référence de la manière dont les gens regroupent et distinguent naturellement les différents comportements.
Les résultats ont révélé que les modèles uniquement textuels, qui ne lisent que des descriptions d'actions, et les modèles multimodaux, qui regardent les vidéos réelles, ont développé des cartes internes qui sont étonnamment similaires à la carte humaine. Ces cartes n'étaient pas aléatoires ; elles organisaient les actions dans des espaces de faible dimension où les comportements similaires étaient proches et les différents étaient éloignés. Crucialement, ces cartes artificielles prédisaient mieux les choix humains que les outils traditionnels d'analyse vidéo reposant sur de simples caractéristiques visuelles. L'étude a montré que les modèles ne faisaient pas que mémoriser les vidéos ; ils capturaient les objectifs abstraits et les contextes sociaux que les humains utilisent pour donner un sens au mouvement. Par exemple, les modèles ont appris à regrouper les actions de « socialisation » et à les séparer des tâches « solitaires », tout comme le font les humains.
Pour prouver que ces cartes internes étaient véritablement significatives et non de simples astuces statistiques, les chercheurs les ont testées de deux manières rigoureuses. Premièrement, ils ont utilisé les cartes internes des modèles pour guider un système de génération de vidéo. En ajustant un seul chiffre dans la représentation interne du modèle, ils pouvaient modifier de manière fluide le contenu d'une vidéo. S'ils augmentaient la valeur d'une dimension liée à la « nature », une scène d'intérieur se transformait en une scène de plein air ; s'ils augmentaient une dimension « sport », l'activité tendait vers une compétition athlétique. Cela a démontré que les modèles avaient appris des concepts d'action distincts et contrôlables qui pouvaient être manipulés pour créer de nouvelles scènes visuelles cohérentes.
Deuxièmement, et de manière plus significative encore, les chercheurs ont testé si ces cartes artificielles pouvaient prédire l'activité dans le cerveau humain. Ils ont pris les cartes fixes apprises par les modèles et les ont appliquées à un ensemble massif de données de scanners cérébraux de personnes regardant des milliers de vidéos d'actions différentes. Ils ont découvert que l'organisation interne des modèles prédisait avec succès quelles parties du cerveau humain s'activaient lors de la visualisation de actions spécifiques. Les modèles textuels, qui avaient appris les concepts d'action purement par des descriptions linguistiques sans jamais voir de vidéo, étaient particulièrement efficaces pour prédire l'activité dans les régions cérébrales de haut niveau responsables de la compréhension des comportements sociaux complexes et orientés vers un but. Cela suggère que les concepts abstraits de l'action, appris uniquement par le langage, sont suffisants pour capturer la structure fondamentale de la manière dont le cerveau humain représente le mouvement.
L'étude a également mis en évidence des différences intéressantes entre les types de modèles. Alors que les modèles observant la vidéo capturaient des détails visuels fins, les modèles uniquement textuels étaient étonnamment efficaces pour organiser les actions en catégories larges et significatives. Dans certaines régions cérébrales, les modèles textuels étaient même plus performants que les modèles vidéo pour prédire les réponses neurales humaines. Cela implique que la compréhension conceptuelle de l'action — savoir ce qu'une personne cherche à accomplir — pourrait être plus importante pour une perception de type humain que les détails visuels spécifiques de l'apparence du mouvement.
En fin de compte, cette recherche offre une nouvelle façon puissante de comprendre la relation entre l'intelligence artificielle et l'intelligence biologique. Elle montre que lorsque les machines sont exposées à suffisamment de données, elles peuvent développer une géométrie sémantique partagée avec les humains, organisant le monde de l'action d'une manière fonctionnellement similaire à la nôtre. Les conclusions suggèrent que le chemin vers des machines véritablement intelligentes ne nécessite peut-être pas que nous leur programmions explicitement des règles humaines, mais plutôt que nous les laissions découvrir ces structures par elles-mêmes grâce à l'exposition à la richesse de l'expérience humaine. L'étude ne prétend pas que les machines possèdent une conscience ou des sentiments, mais elle démontre qu'elles peuvent construire une compréhension structurelle du comportement humain qui est profondément alignée sur la nôtre, offrant ainsi une base prometteuse pour les futures interactions entre les humains et les machines.
Noyé(e) sous les articles dans votre domaine ?
Recevez des digests quotidiens des articles les plus récents correspondant à vos mots-clés de recherche — avec des résumés techniques, dans votre langue.