Active Inference with a Self-Prior in the Mirror-Mark Task

Cette étude présente un modèle computationnel fondé sur le principe de l'inférence active et un « auto-prior » basé sur Transformer, qui permet à un agent simulé de réussir spontanément le test du miroir en identifiant et retirant une marque sur son propre corps, offrant ainsi une explication unifiée des origines développementales de la conscience de soi.

L'essentiel

🪞 Le Bébé Robot et le Sticker Mystère

Imaginez un tout-petit robot assis devant un grand miroir. Ce robot est programmé pour apprendre par lui-même, sans qu'on lui donne de bonbons (récompenses) ni d'instructions du type « enlève ce sticker ».

Un jour, les chercheurs collent un petit autocollant (un sticker) sur le front du robot. Le robot voit son reflet dans le miroir, mais il ne sait pas encore que ce reflet, c'est lui-même.

La question est : Comment ce robot va-t-il comprendre que le sticker est sur son propre visage et non sur celui d'un autre, et comment va-t-il décider de l'arracher ?

🧠 La Solution : Le « Miroir Intérieur » (Le Self-Prior)

Dans cette étude, les chercheurs ne programment pas le robot avec une règle précise. Au lieu de cela, ils lui donnent un mémoriel de ses propres sensations, qu'ils appellent le « Self-Prior » (ou « Antécédent de Soi »).

Voici comment ça marche, avec une analogie simple :

1. L'Entraînement (La Vie Quotidienne) :
   Pendant des mois, le robot vit sa vie normale. Il bouge, regarde ses mains, sent ses articulations (proprioception) et voit son visage dans le miroir. À chaque instant, il enregistre : « Ah, quand je bouge mon cou de telle façon, je vois mon visage sans sticker. C'est ma "normale". »
   Il construit ainsi une carte mentale de ce à quoi ressemble son corps habituel. C'est comme si son cerveau apprenait la « chanson » de son propre corps.

2. Le Problème (Le Sticker) :
   Quand on colle le sticker, le robot regarde dans le miroir. Son cerveau compare ce qu'il voit avec sa « chanson » habituelle.

   • Résultat : « Attends ! Ça ne colle pas ! J'ai l'impression d'avoir un sticker sur le front, mais ma mémoire dit que je n'en ai jamais eu. C'est une erreur ! »
   • Dans le langage des chercheurs, cette erreur crée une tension (une énergie libre élevée). Le robot se sent « mal à l'aise » parce que la réalité ne correspond pas à son modèle intérieur.

3. La Réaction (L'Action) :
   Pour calmer cette tension et retrouver son état « normal » (sans sticker), le robot agit instinctivement. Il ne réfléchit pas : « Je dois enlever le sticker ». Il agit simplement pour réduire l'erreur.
   Il tend la main vers le sticker dans le miroir, l'attrape et l'enlève. Une fois le sticker parti, son reflet redevient « normal », la tension disparaît, et le robot est satisfait.

🎭 Pourquoi c'est génial ?

Habituellement, pour qu'un robot fasse ça, il faudrait lui programmer une règle complexe : « Si tu vois un point rouge sur un visage dans un miroir, calcule les coordonnées et tends la main. »

Ici, le robot découvre tout seul le lien entre son image dans le miroir et son propre corps.

• L'analogie du corps : Le « Self-Prior » agit comme un schéma corporel. C'est comme si le robot avait une carte interne de son corps. Quand le sticker apparaît, c'est comme si quelqu'un avait ajouté un faux morceau à la carte. Le robot veut simplement effacer ce faux morceau pour que la carte redevienne juste.

📊 Les Résultats

Les chercheurs ont testé ce robot des centaines de fois :

• 70 % du temps, le robot réussit à repérer le sticker dans le miroir et à l'enlever, sans jamais avoir été touché (il n'a pas de sens du toucher pour le sticker, seulement la vue et la sensation de ses muscles).
• Après avoir enlevé le sticker, le robot se sent « plus calme » (son énergie libre diminue), ce qui prouve qu'il a bien résolu le problème.

💡 La Leçon pour la Science

Cette expérience suggère quelque chose de profond sur la conscience humaine :
Peut-être que nous ne naissons pas avec l'idée abstraite « Je suis moi ». Peut-être que la conscience de soi émerge simplement parce que notre cerveau apprend à connaître nos propres sensations. Quand quelque chose ne correspond pas à ce que nous connaissons de nous-mêmes (comme un sticker sur le front), notre cerveau nous pousse à agir pour rétablir l'ordre.

C'est une façon élégante de dire que se connaître soi-même, c'est d'abord connaître ce qui est « normal » pour soi, et réagir quand ça ne l'est plus.

Résumé technique

1. Problématique et Contexte

La reconnaissance de soi dans un miroir (test du marquage ou "rouge test") est un indicateur fondamental de la conscience de soi. Traditionnellement, ce comportement est observé lorsqu'un sujet touche ou tente d'enlever une marque placée sur son propre corps, visible uniquement via un miroir.

Cependant, d'un point de vue computationnel, il reste mal expliqué pourquoi la détection d'une anomalie visuelle dans un miroir devrait spontanément conduire à une action dirigée vers son propre corps sans récompense externe ni objectif explicite. Les modèles existants reposent souvent sur des modules intermédiaires explicites pour transformer la localisation de l'anomalie en commandes motrices ou sur des représentations apprises spécifiquement pour distinguer "soi" de "l'autre".

Le défi central est de faire émerger ce comportement dirigé vers le marquage uniquement à partir de l'expérience propre de l'agent, sans récompense externe, en utilisant un mécanisme unifié.

2. Méthodologie

Les auteurs proposent un modèle computationnel basé sur le principe de l'énergie libre et l'inférence active, intégrant un nouveau concept : le Self-Prior (Auto-prior).

A. Environnement de Simulation

• Plateforme : Un agent simulé (un "bébé") est assis devant un miroir sur la plateforme EMFANT (basée sur MuJoCo).
• Capteurs : L'agent perçoit l'environnement via deux modalités :
  • Vision : Images RGB (64x64) provenant d'un œil droit.
  • Proprioception : Angles des 12 articulations (cou, épaules, coudes).
• Contrainte clé : Aucune entrée tactile n'est fournie. L'agent ne peut pas toucher la marque pour la détecter ; il doit s'appuyer uniquement sur la vision et la proprioception.
• Action : L'agent contrôle ses articulations pour atteindre et retirer un autocollant placé aléatoirement sur son visage ou son torse.

B. Architecture du Modèle

Le système repose sur trois modules principaux implémentés via des réseaux de neurones profonds (inspirés de STORM/DreamerV3) :

1. Modèle du Monde (World Model) :

   • Utilise un encodeur/décodeur (VAE catégoriel) pour compresser les observations (vision + proprioception) en un état latent discret $s_t$.
   • Utilise un Transformer pour prédire la dynamique temporelle de ces états latents.
   • Apprend à reconstruire les observations et à prédire les futurs états.

2. Le Self-Prior (Auto-prior) :

   • C'est le cœur de l'innovation. C'est une distribution de probabilité $\tilde{p}(s)$ apprise sur les expériences multisensorielles familières de l'agent (situations sans autocollant).
   • Implémenté comme un Transformer de type GPT qui modélise la densité des états latents familiers.
   • Il sert de critère interne : il définit ce qui est "normal" pour l'agent.

3. Réseau de Politique (Policy Network) et Inférence Active :

   • L'agent sélectionne les actions pour minimiser l'Énergie Libre Attendue (Expected Free Energy - EFE).
   • Contrairement aux approches classiques où l'EFE est minimisé par rapport à une récompense externe, ici, la minimisation de l'EFE est guidée par le Self-Prior.
   • Mécanisme : Si un autocollant apparaît, l'observation actuelle s'écarte de la distribution du Self-Prior (faible probabilité). Pour réduire cette divergence (et donc l'EFE), l'agent est intrinsèquement motivé à effectuer des actions qui ramènent l'observation vers un état familier (c'est-à-dire, retirer l'autocollant).

C. Processus d'Entraînement

L'entraînement se fait en trois étapes progressives :

1. Modèle du Monde : Apprentissage de la dynamique et de la reconstruction (sans autocollant).
2. Self-Prior : Entraînement sur les états latents des situations sans autocollant (l'agent apprend la densité de son "soi" normal).
3. Politique : Entraînement par imagination (planning) dans le modèle du monde pour minimiser l'EFE par rapport au Self-Prior.

3. Résultats Clés

Les expériences ont été menées sur 50 000 épisodes d'entraînement.

• Émergence du comportement : L'agent, n'ayant jamais reçu d'instruction explicite pour retirer l'autocollant, a appris à le détecter dans le miroir et à le retirer avec une probabilité d'environ 70 %.
• Réduction de l'Énergie Libre Attendue (EFE) :
  • Avant l'apprentissage du Self-Prior, la présence de l'autocollant ne modifiait pas significativement l'EFE.
  • Après apprentissage, l'EFE est élevé en présence de l'autocollant (mismatch) et chute significativement une fois l'autocollant retiré. Cela confirme que le Self-Prior agit comme un critère interne de distinction soi/non-soi.
• Dynamique d'apprentissage : La distance moyenne entre la main et l'autocollant a diminué progressivement, même avant que le taux de réussite ne soit optimal, suggérant que l'agent reconnaît la position de l'anomalie avant de maîtriser la motricité fine.
• Reconstruction Croisée (Cross-modal) : Le modèle a démontré qu'il pouvait reconstruire l'apparence visuelle de l'agent à partir de la seule proprioception, prouvant qu'il a appris les associations vision-propriocception (un "schéma corporel" probabiliste).

4. Contributions Principales

1. Mécanisme Unifié : La première démonstration où le comportement de reconnaissance de soi (retirer une marque) émerge d'un seul mécanisme (minimisation de l'EFE guidée par un Self-Prior) sans récompense externe ni module de détection d'anomalie explicite.
2. Le Self-Prior comme Schéma Corporel : Le modèle propose une implémentation computationnelle du "schéma corporel" (body schema) sous forme de distribution de densité d'expériences sensorielles familières. Il distingue le "soi" du "non-soi" par la probabilité des états sensoriels.
3. Hypothèse sur les Origines de la Conscience de Soi : L'article soutient que le principe de l'énergie libre peut servir d'hypothèse unificatrice pour expliquer les origines développementales de la conscience de soi, reliant l'intentionnalité induite par le stimulus (réaction à l'anomalie) à la formation d'une intention endogène.
4. Validation Théorique : Le modèle valide la théorie inductive de la reconnaissance de soi (correspondance kinesthésico-visuelle) tout en évitant la nécessité de concepts complexes comme la permanence de l'objet ou l'objectification explicite des parties du corps (théorie déductive).

5. Signification et Limites

Signification :
Ce travail offre une explication computationnelle concise de la tâche du marquage miroir. Il suggère que la conscience de soi n'a pas besoin d'être un module cognitif complexe et pré-programmé, mais peut émerger de la nécessité pour un agent de maintenir ses perceptions dans un espace de probabilités familières (minimisation de la surprise).

Limites :

• Environnement simulé : Le modèle n'a pas encore été validé sur un robot physique réel.
• Absence de tactile : L'agent n'utilise pas le toucher, alors que les études développementales suggèrent que l'expérience tactile aide à la reconnaissance de soi.
• Plafond de performance : Le taux de réussite plafonne à ~70 %, souvent dû à des limitations cinématiques ou à la perte de visibilité de l'autocollant dans le miroir (l'agent peut parfois simplement cacher l'autocollant à ses yeux plutôt que de l'enlever physiquement).
• Niveau de conscience : Les auteurs précisent que ce modèle atteint le niveau 3 de la conscience de soi (identification) selon l'échelle de Rochat, mais ne prétend pas atteindre les niveaux supérieurs de conscience réflexive.

En conclusion, cette étude propose une avancée majeure en IA cognitive en montrant comment un agent peut développer une forme primitive de conscience de soi et d'action dirigée vers soi, uniquement par l'apprentissage de la densité de ses propres expériences sensorielles.