Neural Fields as World Models

⚕️

Ceci est une explication générée par l'IA d'un preprint qui n'a pas été évalué par des pairs. Ce n'est pas un avis médical. Ne prenez pas de décisions de santé basées sur ce contenu. Lire la clause de non-responsabilité complète

Each language version is independently generated for its own context, not a direct translation.

🧠 Le Cerveau n'est pas un Ordinateur, c'est une Carte Vivante

Imaginez que vous devez attraper une balle qui tombe. Votre cerveau doit résoudre deux énigmes en même temps :

Où la balle va-t-elle atterrir ?
Où sera ma main quand elle arrivera là ?

La plupart des intelligences artificielles modernes (comme celles qui pilotent les voitures autonomes ou jouent aux échecs) fonctionnent comme des magasins de stockage. Elles prennent une image, la compressent dans un "tiroir" abstrait (un code secret), font des calculs dedans, puis ressortent une réponse. Le problème ? Dans ce tiroir abstrait, la balle peut "téléporter" d'un coin à l'autre instantanément. C'est comme si, dans votre imagination, une balle disparaissait de votre main et réapparaissait soudainement sur le sol, sans passer par l'air. Ce n'est pas comme ça que le monde réel fonctionne.

Joshua Nunley, chercheur à l'Université de l'Indiana, propose une idée différente : et si le cerveau ne compressait pas l'image, mais la gardait intacte ?

🗺️ L'Analogie de la "Carte de Chaleur"

Pour comprendre leur modèle, imaginez une carte de chaleur (une image thermique) posée sur une table.

Le modèle classique (IA standard) : Il prend la photo de la balle, la transforme en un nombre (ex: "balle à la position 5"), fait un calcul mathématique complexe, et dit "la balle est maintenant à la position 10". C'est rapide, mais ça perd la géométrie.
Le modèle de Nunley (Champs Neuronaux) : Il imagine que la balle est une tache de lumière sur cette carte. Pour prédire où elle va, la tache de lumière glisse doucement sur la carte vers la droite et vers le bas. Elle ne saute pas. Elle suit les lois de la physique (la gravité) en se déplaçant de proche en proche, pixel par pixel, exactement comme une vraie balle le ferait dans l'espace.

C'est ce qu'ils appellent un modèle isomorphe : la structure de la carte (le cerveau) est identique à la structure du monde (la réalité).

🎮 Comment ça marche ? (Les 3 Expériences)

Les chercheurs ont testé cette idée avec trois expériences simples :

1. La Balle qui ne Téléporte pas

Ils ont demandé au modèle de prédire la trajectoire d'une balle qui tombe, sans lui montrer la balle après les 3 premières secondes.

Résultat : Le modèle a dessiné une courbe parfaite (une parabole). La "tache" de lumière a glissé doucement.
Comparaison : Les modèles classiques (IA standard) ont souvent fait des erreurs bizarres : la balle "téléportait" ou tremblait de manière erratique.
Leçon : En forçant l'information à voyager de proche en proche (comme dans le cerveau), le modèle apprend la physique naturellement, sans avoir besoin de règles mathématiques explicites.

2. L'Entraînement dans le Rêve (Dream Training)

C'est l'expérience la plus fascinante. Ils ont entraîné un robot à attraper une balle... uniquement dans sa tête.

Le robot n'a jamais vu la vraie balle. Il a juste utilisé son "modèle interne" (sa carte de chaleur) pour imaginer des milliers de trajectoires et apprendre à bouger son bras.
Ensuite, ils l'ont mis dans la réalité.
Résultat : Le robot a réussi presque aussi bien que s'il s'était entraîné dans la vraie vie !
Comparaison : Les robots entraînés avec les modèles classiques (qui compressent l'image) ont échoué la moitié du temps.
Pourquoi ? Parce que la "carte" du modèle de Nunley ressemble tellement à la réalité que ce qui fonctionne dans le rêve fonctionne dans la vraie vie. C'est comme si vous appreniez à faire du vélo en imaginant parfaitement les mouvements : quand vous montez sur le vrai vélo, vos muscles savent déjà quoi faire.

3. La Découverte du "Moi" (Le Schéma Corporel)

Le robot avait un bras mécanique et une balle. Il n'avait pas été programmé pour savoir "ceci est mon bras" et "ceci est une balle". Il devait juste prédire ce qu'il verrait quand il bougerait ses moteurs.

Résultat : Les parties du cerveau artificiel qui contrôlaient le mouvement ont commencé à s'activer uniquement sur la zone du bras, et pas sur la balle.
Leçon : Le robot a découvert tout seul la différence entre "ce qui bouge quand je le commande" (mon corps) et "ce qui bouge tout seul" (le monde extérieur). C'est la naissance d'un schéma corporel (la conscience de son propre corps) qui émerge naturellement de la prédiction, sans qu'on ait besoin de lui apprendre la théorie.

🌟 Pourquoi c'est important ?

Cette recherche suggère quelque chose de profond sur notre propre cerveau :

La physique est géométrique : Nous ne pensons pas aux lois de la physique avec des formules. Nous les "ressentons" parce que notre cerveau est organisé comme une carte de l'espace.
Le corps se construit par l'action : Nous ne naissons pas avec une carte de notre corps. Nous la découvrons en bougeant et en voyant ce qui bouge avec nous.
L'IA plus humaine : Pour créer des robots intelligents, il ne faut pas juste les rendre plus puissants en calcul, mais leur donner une structure qui respecte l'espace, comme le fait la nature.

En résumé

Au lieu de construire un cerveau qui compresse le monde en des codes secrets, cette équipe a construit un cerveau qui garde le monde tel qu'il est.
C'est comme si, pour prédire où ira la balle, nous ne faisions pas un calcul abstrait, mais que nous laissions une onde de lumière glisser sur une carte mentale, exactement comme la balle glisse dans l'air. Et c'est en faisant cela que le robot a appris non seulement la physique, mais aussi à distinguer son propre corps du reste du monde.

Each language version is independently generated for its own context, not a direct translation.

1. Problématique

L'article aborde la question fondamentale de la manière dont le cerveau prédit les résultats physiques tout en agissant dans le monde. Les modèles du monde actuels en apprentissage automatique (comme les architectures VAE-LSTM ou les transformateurs) fonctionnent généralement en compressant les entrées visuelles dans un espace latent abstrait. Cette compression entraîne la perte de la structure spatiale caractéristique du cortex sensoriel.

Dans ces modèles latents, les transitions d'état sont globales : une information peut "téléporter" d'un point à un autre de l'espace latent sans traverser les intermédiaires, ce qui viole les contraintes de la physique réelle (où les objets se déplacent continuellement et où les forces agissent localement). De plus, ces modèles traitent souvent la physique en tant qu'observateur passif, sans intégrer pleinement les commandes motrices pour la planification et le contrôle.

L'auteur propose qu'il manque un lien crucial : l'isomorphisme. Il faut des modèles du monde qui préservent la structure topologique de l'entrée sensorielle, transformant la prédiction physique en un problème de propagation géométrique plutôt qu'en une transition de vecteur abstraite.

2. Méthodologie

Pour tester cette hypothèse, l'auteur propose une architecture basée sur les champs neuronaux (Neural Fields), une implémentation simple du principe isomorphe, enrichie par des canaux à commutation motrice (motor-gated channels).

Architecture du Modèle

Champs Neuronaux : Le modèle est un réseau récurrent spatialement organisé où l'activité évolue via des interactions latérales locales. Contrairement aux réseaux denses, chaque point n'influence que ses voisins spatiaux via un noyau de convolution appris ( $K$ $K$ ).
- L'équation de dynamique suit celle d'Amari : $h_{t+1} = h_t + \frac{\Delta t}{\tau}(-h_t + K * \text{ReLU}(h_t) + W_{in} * I_t)$ .
- Cela garantit que le mouvement prédit doit traverser des positions intermédiaires, imitant la continuité spatiale du monde réel.
Commutation Motrice (Motor Gating) : Pour intégrer l'action, les $M$ $M$ premiers canaux du champ sont modulés multiplicativement par les commandes motrices ( $m$ $m$ ) : $h^{(i)}_{t+1} = m_i \cdot \tilde{h}^{(i)}_{t+1}$ $h_{t + 1}^{(i)} = m_{i} \cdot \tilde{h}_{t + 1}^{(i)}$ .
- Ce mécanisme implémente la modulation de gain, un principe computationnel observé dans le cortex pariétal postérieur, permettant d'intégrer les signaux visuels et moteurs.
Reconstruction : Les prédictions visuelles sont reconstruites linéairement à partir de l'état du champ.

Environnements de Tâche

Deux environnements ont été utilisés pour l'évaluation :

Trajectoire Balistique (Expérience 1) : Prédiction du mouvement d'une balle sous gravité dans un champ visuel $32 \times 32$ . Le modèle observe 3 images, puis prédit le reste sans entrée visuelle.
Bras Musculo-squelettique (Expériences 2 et 3) : Un bras à double pendule (plan) doit attraper une balle tombante. Le modèle utilise 4 commandes motrices (co-contraction et direction réciproque) dans un champ $120 \times 45$ .

Comparaison et Entraînement

Baseline : Un modèle VAE-LSTM (compresseur convolutif + LSTM latent + décodeur) est utilisé comme référence standard.
Entraînement "Rêve" (Dream Training) : Pour l'expérience 2, une politique est entraînée entièrement à l'intérieur du modèle du monde gelé (en imagination), sans interaction avec la physique réelle, puis déployée directement sur la réalité.

3. Contributions Clés

L'article apporte quatre preuves principales soutenant l'approche des champs neuronaux isomorphes :

Alignement Architectural Biologique : L'organisation rétinotopique et le mécanisme de commutation motrice correspondent aux structures connues du cortex visuel (aire MT) et du cortex pariétal postérieur (modulation de gain).
Physique issue de la Dynamique Latérale : La contrainte de connectivité locale suffit à apprendre la physique balistique. Les trajectoires émergent d'une propagation ondulatoire plutôt que de règles symboliques.
Transfert de Contrôle Motore : Les politiques entraînées uniquement dans l'imagination (via le modèle figé) transfèrent avec succès à la physique réelle, prouvant que la représentation spatiale capture une structure actionnable.
Émergence du Schéma Corporel : Les canaux à commutation motrice développent spontanément un encodage sélectif du corps (différenciant le bras de la balle) uniquement par la prédiction visuomotrice, sans supervision explicite.

4. Résultats

Expérience 1 (Prédiction Physique) :
- Le champ neuronal maintient des arcs paraboliques lisses et suit la vérité terrain.
- Le VAE-LSTM présente des oscillations erratiques et un taux de "téléportation" (sauts > 3 pixels entre les trames) de 15,4 %, contre 0 % pour le champ neuronal.
- L'erreur de prédiction (MSE) du champ neuronal est significativement plus faible ( $9,33 \times 10^{-4}$ vs $3,94 \times 10^{-3}$ ).
Expérience 2 (Transfert Rêve-Réalité) :
- Les politiques entraînées dans le champ neuronal atteignent un taux de réussite d'attrapage de 81,5 % en réalité, se rapprochant de la performance d'une politique entraînée directement sur la physique (89,0 %).
- Les politiques basées sur le VAE-LSTM n'atteignent que 46,0 %, soit environ la moitié de la performance, malgré des pertes de prédiction du monde similaires pendant l'entraînement.
- Analyse : La structure spatiale agit comme un intégrateur naturel, éliminant le besoin de "décoder" des coordonnées abstraites.
Expérience 3 (Schéma Corporel Émergent) :
- Les canaux moteurs réciproques (contrôlant la direction) montrent une sélectivité significative pour le bras (activité 2 fois plus élevée sur le bras que sur la balle), tandis que les canaux de co-contraction (rigidité) ne montrent pas cette sélectivité.
- Cela démontre que la distinction "soi vs monde" émerge de la contingence sensorimotrice : le corps est ce qui bouge de manière contingente aux commandes motrices.

5. Signification et Implications

Physique Intuitive et Schéma Corporel : Les résultats suggèrent que la physique intuitive et le schéma corporel ne sont pas des capacités cognitives séparées, mais des conséquences naturelles de la prédiction des effets sensoriels de l'action au sein d'une carte rétinotopique structurée spatialement.
Validité Biologique : L'approche propose un modèle computationnel plausible pour le cerveau, où la simulation physique se déroule dans des représentations visuelles spatialement organisées (similaire à l'aire MT), plutôt que dans un système de raisonnement abstrait séparé.
Apprentissage par Imagination : Le succès de l'entraînement "rêve" valide la théorie de l'emulation de Grush (2004) : le cerveau peut construire des modèles internes précis permettant l'apprentissage hors ligne qui se transfère directement à l'action réelle.
Représentation Isomorphe : Contrairement aux modèles latents qui sont des systèmes descriptifs (compression), les modèles isomorphes sont constitutifs : la représentation partage la forme géométrique du monde. Cela rend le raisonnement physique immédiat et non inférentiel.

Conclusion : L'article démontre que préserver la topologie sensorielle via des champs neuronaux locaux permet de créer des modèles du monde plus robustes, biologiquement plausibles et capables d'apprendre des dynamiques physiques complexes et des représentations corporelles émergentes, comblant ainsi le fossé entre la perception, l'action et la prédiction.