📄 other

Semantic Visual Representations Emerge from Embodied Self-Supervised Learning

Cet article introduit l'Apprentissage Auto-Supervisé Incarné (E-SSL), un modèle qui exploite la cohérence temporelle et les contingences sensorimotrices issues de l'interaction humaine naturelle pour générer des représentations visuelles sémantiques de haut niveau qui surpassent les modèles existants, s'alignent plus étroitement avec le cortex visuel des enfants pré-verbaux, et offrent de nouvelles perspectives sur les origines du développement visuel humain et de la spécialisation des flux.

Auteurs originaux : Arthur Aubret

Publié 2026-07-27

📖 8 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Arthur Aubret

Article original sous licence CC BY 4.0 (https://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Le GPS secret du cerveau : Comment le mouvement nous aide à voir

Imaginez essayer d'apprendre à quoi ressemble un « chien » en fixant une seule photographie figée. Vous pourriez mémoriser les couleurs et la texture de la fourrure, mais vous manqueriez la façon dont ses oreilles battent lorsqu'il court ou comment sa forme change lorsqu'il tourne la tête. Maintenant, imaginez apprendre en tournant réellement autour du chien, en l'observant sous tous les angles, et en ressentant comment votre propre corps bouge pour le maintenir en vue. C'est la différence entre un programme informatique statique et un bébé humain. Depuis des décennies, les scientifiques sont perplexes face à une grande question : comment le cerveau humain, avec presque aucun professeur et aucun manuel, apprend-il à comprendre le monde si rapidement ? Nous savons que les bébés ne restent pas simplement immobiles ; ils rampent, tendent les bras et roulent, bougeant constamment leurs yeux et leurs corps. Ce document explore l'idée que ce mouvement n'est pas seulement un effet secondaire de la vie — c'est la clé réelle qui déverrouille notre capacité à voir et à comprendre les objets.

Les chercheurs testent deux idées principales qui circulent dans le milieu scientifique depuis un certain temps. La première est la Cohérence Temporelle, une façon sophistiquée de dire que « les choses qui se produisent proches les unes des autres dans le temps sont probablement liées ». Si vous voyez une balle rouge, puis une seconde plus tard, vous voyez une balle rouge dans un endroit légèrement différent, votre cerveau suppose qu'il s'agit de la même balle. La seconde idée est les Contingences Sensorimotrices, qui est la règle selon laquelle « mes actions modifient ce que je vois ». Si je tourne la tête à gauche, le monde se déplace à droite. Si je prends une tasse, l'anse apparaît. Le document pose la question : si nous apprenons à un ordinateur à apprendre uniquement en regardant des vidéos de personnes en mouvement et regardant autour d'elles, en utilisant juste ces deux règles simples, apprendra-t-il à voir comme un humain ? Et plus important encore, apprendra-t-il à voir comme un bébé qui n'a même pas encore appris à parler ?

Le robot qui apprend en « marchant »

Rencontrez l'E-SSL (Apprentissage Auto-Supervisé Incarné). Considérez-le comme un cerveau de robot numérique qui n'a ni professeur, ni manuel, ni même langage. Au lieu de se voir nourrir de millions d'images étiquetées comme « ceci est un chat » ou « ceci est une voiture », ce robot reçoit 300 heures de vidéos brutes à la première personne, enregistrées à partir de lunettes portées par de vrais humains. Ces vidéos montrent exactement ce que les humains voyaient, où leurs yeux regardaient, et comment leurs têtes et leurs corps bougeaient.

Le travail du robot est de comprendre les règles du monde par lui-même. Il utilise deux astuces. Premièrement, il regarde deux images prises à un instant très bref. Si l'image n'a pas beaucoup changé, il suppose que l'objet est le même (Cohérence Temporelle). Deuxièmement, il observe comment l'humain a bougé la tête ou les yeux entre ces deux images. Il essaie d'apprendre que « quand je bouge ma tête de cette façon, le monde se déplace de cette façon » (Contingences Sensorimotrices). C'est comme un enfant qui apprend que s'il tourne sur lui-même, la pièce tourne avec lui, mais s'il se contente de cligner des yeux, la pièce reste immobile.

Qu'ont-ils découvert ?

Les résultats ont été étonnamment puissants. Même si le robot n'a jamais entendu un seul mot de langage et n'a jamais vu d'étiquette lui indiquant ce qu'est un objet, il a commencé à construire une carte mentale du monde qui ressemble beaucoup à celle d'un humain.

1. Il a appris à reconnaître les objets (presque aussi bien que les adultes)
Lorsque les chercheurs ont testé le robot sur des quiz d'images standards (comme l'identification dans l'ensemble de données ImageNet-1k), il a obtenu environ 71 % de bonnes réponses. C'est un bond énorme par rapport aux autres modèles informatiques « bio-inspirés » qui tentent de copier le cerveau mais n'utilisent pas le mouvement. Bien qu'il soit encore environ 20 % en retrait par rapport à un adulte pleinement formé (qui possède des années de langage et d'expérience), il est bien en avance sur la troupe des autres modèles informatiques. Il a prouvé que vous n'avez pas besoin d'un professeur pour apprendre ce qu'est une « tasse » ou un « chien » ; vous avez juste besoin de bouger et d'observer comment les choses changent.

2. Il pense comme un bébé
C'est ici que cela devient vraiment fascinant. Les chercheurs ont comparé le « cerveau » du robot à celui de vrais bébés. Ils ont trouvé que la façon dont le robot voit les choses correspondait beaucoup mieux à l'activité cérébrale des nourrissons de 9 mois qu'à celle des adultes.

Le test « Forme vs Texture » : Les bébés sont célèbres pour apprendre à reconnaître les objets par leur forme plutôt que par leur couleur ou leur texture. Une balle rouge et une balle bleue sont toutes deux des « balles » pour un bébé. Le robot, après avoir appris avec le mouvement, a commencé à faire la même chose. Il a appris à se concentrer sur la forme d'un objet, tout comme un bambin.
La découverte de l'« Anse » : Le robot a appris que s'il voit une anse, c'est probablement une tasse, même s'il n'a pas encore vu la tasse entière. C'est une compétence qui émerge chez les enfants humains vers l'âge de 18 mois, et le robot l'a développée simplement en regardant les gens bouger.

3. Le mouvement est la sauce secrète
Le document a mené une expérience fascinante pour voir pourquoi le mouvement est important. Ils ont simulé une version « marionnette » du robot. Dans cette version, le robot voyait les mêmes vidéos, mais les mouvements de tête étaient brouillés ou faux. Le robot n'a pas appris aussi bien.

L'effet du « marcheur tardif » : Ils ont également simulé un robot qui commençait à apprendre à bouger sa tête seulement après avoir déjà été en phase d'entraînement pendant un certain temps. Le résultat ? La vision du robot était moins bonne que celle du robot ayant commencé à bouger immédiatement. Cela suggère que le moment où un bébé humain commence à ramper ou à marcher (locomotion) est un moment critique de type « Eurêka ! » pour sa vision. Ce n'est pas seulement qu'il voit plus ; c'est que son cerveau peut enfin connecter ses propres commandes musculaires avec ce qu'il voit, surchargeant ainsi son apprentissage.

4. Les deux autoroutes du cerveau
Enfin, le document a découvert quelque chose sur la façon dont le « cerveau » du robot s'est organisé. Le cerveau humain possède deux principales autoroutes visuelles :

Le Flux Ventral (la voie du « Quoi ») : Aide à reconnaître ce qu'est un objet (ex : « C'est un chat »).
Le Flux Dorsal (la voie du « Où/Comment ») : Aide à comprendre où se trouve un objet et comment interagir avec lui (ex : « Je dois saisir cette tasse »).

Les chercheurs ont découvert que le robot a naturellement divisé son apprentissage en ces deux types de voies, tout comme le cerveau humain. La partie du robot qui a appris sur le « temps » (Cohérence Temporelle) est devenue très douée pour la reconnaissance d'objets (Ventral). La partie qui a appris sur le « mouvement » (Contingences Sensorimotrices) est devenue très douée pour comprendre les changements spatiaux et les actions (Dorsal). Cela suggère que ces deux voies distinctes dans notre cerveau ne sont peut-être pas câblées dès la naissance, mais pourraient en fait émerger naturellement de l'acte simple de bouger et d'observer le monde changer.

L'essentiel à retenir

Ce document suggère que le secret de la vision humaine n'est pas seulement d'avoir une caméra de haute qualité (nos yeux) ou un super-ordinateur (notre cerveau). C'est le fait que nous sommes incarnés. Nous bougeons, nous touchons et nous changeons de perspective. En nous déplaçant simplement dans le monde et en observant comment nos actions modifient ce que nous voyons, nos cerveaux apprennent naturellement à reconnaître les formes, à comprendre les objets et à diviser la vision en « quoi » et « où ».

Bien que le robot ne soit pas aussi intelligent qu'un enfant de 3 ans (qui peut généraliser les formes encore mieux), il prouve que vous n'avez pas besoin de langage ou de bases de données massives pour commencer à voir le monde. Vous avez juste besoin de vous mettre en mouvement. Cela suggère que dès qu'un bébé commence à ramper, son cerveau reçoit une mise à jour massive, transformant un flou de couleurs en un monde d'objets reconnaissables et saisissables.

Résumé technique : Émergence de représentations visuelles sémantiques par l'apprentissage auto-supervisé incarné

Problématique

Les principes régissant le développement de la perception visuelle humaine, en particulier l'acquisition de la reconnaissance d'objets sémantiques avec une supervision minimale, restent mal compris. Bien qu'il existe des systèmes de vision artificielle performants, ceux-ci reposent sur des données d'entraînement et des mécanismes (par exemple, le recadrage agressif, le masquage) qui diffèrent radicalement de l'apprentissage humain. À l'inverse, les modèles bio-inspirés de la vision humaine échouent souvent à capturer des capacités de reconnaissance sémantique riches. Un fossé critique subsiste dans la compréhension de la manière dont les humains comblent la division entre la performance de niveau humain et les principes d'apprentissage semblables à l'humain. Plus précisément, il n'est pas clair si la structure statistique des signaux visuels et moteurs concomitants lors de l'interaction incarnée est suffisante pour conduire l'émergence de représentations visuelles de type humain sans étiquettes sémantiques explicites ou apport linguistique.

Méthodologie

Les auteurs introduisent l'Apprentissage Auto-Supervisé Incarné (E-SSL), un cadre computationnel conçu pour modéliser l'apprentissage visuel humain en utilisant deux principes non supervisés fondamentaux : la Consistance Temporelle (CT) et les Contingences Sensorimotrices (CSM).

Données et Entrée

Le cadre est entraîné sur Nymeria, un ensemble de données à grande échelle comprenant 300 heures de vidéos naturalistes à la première personne (égocentrées) enregistrées avec des caméras montées sur la tête (lunettes ARIA). L'ensemble de données comprend :

Entrée Visuelle : Des recadrages de 224 × 224 centrés sur la position du regard du participant.
Signaux Moteurs : Mouvements oculaires (translation du regard) et mouvements de la tête (rotation et translation dérivés de l'IMU et de l'oculométrie).
Prétraitement : Des paires d'images temporellement adjacentes ( $x_t, x_{t+\delta t}$ ) sont échantillonnées. Pour simuler des conditions d'éclairage diverses et constantes dans le temps, des transformations de couleur identiques sont appliquées aux deux images d'une paire.

Objectifs d'Apprentissage

Le modèle apprend via deux fonctions de perte complémentaires implémentées à l'aide d'architectures SSL standards (MoCoV3, SimCLR, VICReg) :

Consistance Temporelle (CT) : Encourage des plongements (embeddings) similaires ( $z_t, z_{t+\delta t}$ ) pour des entrées visuelles temporellement adjacentes, supposant que les objets et les scènes restent stables sur de courts intervalles de temps.
Contingences Sensorimotrices (CSM) : Aligne un vecteur de mouvement paramétré ( $m'_{t, t+\delta t}$ ) avec un plongement de la transition visuelle ( $m_{t, t+\delta t}$ ) dérivé de la concaténation des représentations visuelles avant et après le mouvement. Cela force le modèle à apprendre la relation entre les actions motrices et leurs conséquences visuelles.

Protocole d'Évaluation

Les représentations apprises sont évaluées via un sondage linéaire (linear probing) sur une variété de tâches en aval sans étiquettes sémantiques supplémentaires lors du pré-entraînement :

Reconnaissance d'Objets/Scènes : ImageNet-1k, Cifar10, Places365.
Segmentation Sémantique/Instance : PascalVOC, DAVIS.
Estimation de la Profondeur : NYUv2.
Estimation de la Pose : MVImgNet.
Benchmarks Développementaux : Reconnaissance à peu d'exemples (few-shot) d'attributs (couleur, texture, taille) et de caricatures de formes pour comparer avec les enfants pré-verbaux.
Alignement Neurobiologique : Analyse de Similarité de Représentation (RSA) par rapport aux données IRMf du cortex visuel ventral d'infants (2 mois, 9 mois) et d'adultes.

Contributions Clés et Résultats

1. Émergence de Représentations Sémantiques

L'E-SSL, entraîné uniquement sur l'expérience humaine sans langage ni supervision explicite, atteint une précision Top-5 de 71,04 % sur ImageNet-1k. Cela surpasse nettement les modèles bio-inspirés établis comme Prednet (jusqu'à 58,73 %) et d'autres modèles auto-supervisés de pointe (LPL, SH, SCFF), bien que ces derniers soient évalués sur des données de distribution interne alors que l'E-SSL a été pré-entraîné sur des données égocentrées hors distribution. Le modèle réduit l'écart de performance avec les humains adultes d'environ 10 à 20 points de pourcentage.

2. Alignement avec le Développement Pré-Verbal

Les représentations apprises par l'E-SSL présentent des propriétés similaires à celles des enfants pré-verbaux :

Prototypes d'Attributs : Le modèle forme avec succès des prototypes fiables pour la couleur, la texture et la taille.
Biais de Forme : Alors que la CT seule favorise l'encodage de la texture, l'ajout de la CSM booste l'encodage de la forme, reflétant le changement développemental chez les jeunes enfants (vers 18 mois) qui commencent à privilégier la forme sur la texture.
Alignement Neural : Les représentations de l'E-SSL montrent une corrélation significativement plus élevée avec les données IRMf du cortex visuel ventral de nourrissons de 9 mois ( $\rho = 0,289$ ) par rapport aux bases aléatoires ou à Prednet, suggérant qu'il capture la géométrie visuelle du cerveau de l'infant.

3. Le Rôle de la Locomotion Auto-Induite

Les expériences simulant différentes conditions d'incarnation révèlent que l'alignement visuomoteur est critique :

Incarné vs Marionnette : Les agents avec des signaux moteurs et visuels alignés (« Incarné ») surpassent systématiquement ceux avec des signaux non corrélés (« Marionnette »).
Mouvement de la Tête : Supprimer les signaux de mouvement de la tête entrave considérablement l'apprentissage, tandis que supprimer les signaux de mouvement oculaire a un impact moindre.
Temporalité : Un accès précoce à des signaux visuomoteurs alignés (simulant une locomotion précoce) produit de meilleures performances qu'un alignement retardé, prédisant que l'apparition de la locomotion autonome améliore substantiellement la perception visuelle.

4. Spécialisation Fonctionnelle (Voies Ventrale vs Dorsale)

L'étude démontre que la CT et la CSM induisent naturellement une organisation fonctionnelle ressemblant à l'architecture à double flux du cortex visuel humain :

Voie Ventrale (Sémantique) : Les tâches comme la reconnaissance d'objets et de scènes performent le mieux avec un poids de CSM intermédiaire et des échelles temporelles intermédiaires ( $\Delta T \approx 2s$ ).
Voie Dorsale (Action/Géométrie) : Les tâches nécessitant un raisonnement spatial et une estimation de la pose bénéficient d'un poids de CSM plus fort et d'échelles temporelles plus courtes ( $\Delta T \approx 0,2s$ ).
Divergence de Gradient : L'analyse de gradient montre que les neurones et les poids impliqués dans l'optimisation de la CT et de la CSM divergent progressivement dans les couches profondes du réseau, reflétant la séparation anatomique des voies ventrale et dorsale.

Signification et Revendications

L'article pose que la Consistance Temporelle et les Contingences Sensorimotrices constituent des principes fondamentaux sous-jacents au développement visuel humain. La principale signification de ce travail réside dans :

Combler le Fossé : Démontrer que les principes d'apprentissage bio-inspirés, lorsqu'ils sont appliqués à l'expérience humaine à grande échelle, peuvent produire des représentations visuelles sémantiques qui rivalisent avec les modèles bio-inspirés actuels et approchent la performance humaine.
Aperçus Développementaux : Fournir un cadre computationnel pour tester rigoureusement des hypothèses sur la manière dont des expériences spécifiques (par exemple, l'apparition de la locomotion) façonnent le développement visuel, prédisant que le mouvement auto-induit facilite à la fois l'apprentissage spatial et sémantique.
Origines Neuroanatomiques : Suggérer que la spécialisation fonctionnelle des voies ventrale et dorsale peut émerger de la dynamique générale de l'apprentissage non supervisé (CT et CSM) plutôt que d'être rigidement spécifiée par des contraintes architecturales innées.
IA Bio-inspirée : Offrir une alternative aux approches standard de l'apprentissage automatique qui reposent sur des transformations artificielles, proposant que la structure statistique de l'interaction incarnée est une voie viable pour l'apprentissage de représentations visuelles robustes.

Les auteurs reconnaissent que bien que l'E-SSL réduise l'écart, une différence de performance subsiste par rapport aux enfants pré-verbaux (particulièrement concernant le biais de forme et la reconnaissance de formes abstraites), probablement en raison de l'absence de langage, d'interaction sociale et de l'utilisation de données adultes plutôt qu'infantiles pour l'entraînement.