🤖 machine learning

Interaction Locality in Hierarchical Recursive Reasoning

Ce papier introduit la « localité d'interaction », un cadre conscient de la géométrie de la tâche qui utilise le patching d'activation et l'ablation de caractéristiques pour démontrer que les modèles de raisonnement hiérarchique et récursif (HRM et TRM) résolvent des tâches spatiales complexes en accumulant des écritures d'informations locales dans des structures globales, un motif qui contraste avec la localité concentrée aux frontières observée dans les modèles 3D incarnés à grande échelle.

Auteurs originaux : Yosuke Miyanishi, Tetsuro Morimura

Publié 2026-05-21

📖 6 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Yosuke Miyanishi, Tetsuro Morimura

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

La Grande Idée : Comment l'IA « pense-t-elle » à l'espace ?

Imaginez que vous essayez de résoudre un labyrinthe géant. Pour y parvenir, vous avez besoin de deux choses fonctionnant ensemble :

Des mouvements locaux : « Je ne peux pas aller à droite car il y a un mur ici. »
Des plans globaux : « Je dois atteindre la sortie, qui est loin, donc je devrais me diriger vers le nord. »

Ce document pose une question spécifique sur la façon dont les modèles d'IA (spécifiquement ceux dits « récursifs » qui pensent en boucles) gèrent ces deux aspects. Gardent-ils les détails locaux et les plans globaux séparés ? Ou se mélangent-ils ?

Les auteurs ont créé un nouvel outil appelé « Localité des Interactions ». Imaginez cela comme une carte thermique spatiale du flux d'information. Elle mesure : Si je touche une partie spécifique du cerveau de l'IA (comme une seule cellule dans un labyrinthe), la réaction reste-t-elle sur place, ou se propage-t-elle pour modifier l'ensemble du tableau ?

Les Outils : Comment ils l'ont testé

Pour voir comment ces modèles d'IA fonctionnent, les chercheurs ont utilisé trois « sondes » différentes (façons de piquer l'IA) :

La vérification « Caractéristique Sparse » (SAE) : Imaginez que l'IA possède une bibliothèque de milliers d'idées très spécifiques (comme « c'est un mur rouge » ou « c'est un virage »). Ils ont désactivé ces idées une par une pour voir quelles parties du labyrinthe ou de l'énigme elles affectaient.
Le test « Injection de Bruit » (Patching d'Activation) : C'est le test principal. Ils ont pris un tout petit peu de « statique » ou de bruit et l'ont injecté à un endroit précis dans la mémoire de l'IA. Ensuite, ils ont observé où ce bruit s'est déplacé. Est-il resté dans cette seule pièce ? Ou s'est-il répandu dans toute la maison ?
La vérification « Plan » (Jacobien/Attention) : Ils ont examiné les schémas de câblage mathématiques pour voir comment l'IA pourrait théoriquement connecter les choses, même si elle ne le fait pas toujours en pratique.

Les Expériences : Énigmes et Mondes 3D

Ils ont testé cela sur trois types d'énigmes et une simulation du monde réel :

Maze-Hard : Naviguer dans un chemin complexe.
Sudoku Extreme : Remplir une grille de nombres selon des règles.
ARC-AGI : Résoudre des énigmes de motifs visuels (comme « si cette forme devient bleue, la suivante devient rouge »).
MTU3D : Un robot 3D à grande échelle naviguant dans une vraie pièce intérieure (comme un jeu de données ScanNet).

Ce qu'ils ont découvert

1. Le « Rédacteur Local » contre le « Messager Global »

Dans les modèles d'énigmes (HRM et TRM), ils ont découvert un schéma fascinant :

L'État « Haut Niveau » (H) : C'est la partie de l'IA qui détient le plan de la « grande image ». Étonnamment, lorsque cette partie écrit des informations, elle a tendance à être très locale. Elle écrit des notes à ses voisins immédiats (par exemple : « Cette cellule spécifique du Sudoku est un 5 »).
L'État « Bas Niveau » (L) : C'est la partie qui effectue le travail minutieux.
La Magie des Boucles : La clé est que l'IA répète ce processus encore et encore. La partie « Haut Niveau » écrit une note locale, puis la passe à la boucle suivante, qui la passe à la suivante. Avec le temps, ces minuscules notes locales s'accumulent pour construire la solution globale.

Analogie : Imaginez une équipe de personnes passant un message le long d'une longue file.

La Personne A (Haut Niveau) chuchote un secret à la Personne B (Local).
La Personne B le chuchote à la Personne C.
Finalement, le message atteint la fin de la file.
Le document a découvert que le « chuchotement » lui-même est très silencieux et local, mais la chaîne de chuchotements crée une annonce globale forte.

2. La Surprise du Robot 3D (MTU3D)

Lorsqu'ils ont testé cela sur le robot 3D naviguant dans une vraie pièce, le schéma a changé.

Dans les énigmes, le passage « local vers global » s'est produit à l'intérieur des boucles de réflexion.
Dans le robot 3D, le comportement « local » ne s'est produit qu'à la frontière où les yeux du robot (encodeur visuel) ont transmis les données à son cerveau (module d'ancrage).
À l'intérieur du cerveau visuel du robot, l'information ne restait pas locale ; elle était mélangée partout.

Analogie :

IA d'Énigme : Comme un groupe de voisins passant un seau d'eau le long d'une ligne pour éteindre un incendie. Chaque personne ne touche que le seau à côté d'elle, mais l'eau traverse toute la rue.
Robot 3D : Comme un appareil photo prenant une photo. L'appareil photo voit toute la pièce d'un coup (global). La partie « locale » ne se produit que lorsque l'appareil photo remet la photo à la personne qui décide quoi faire ensuite. L'appareil photo lui-même ne garde pas les détails « locaux » séparés ; il les mélange tous ensemble.

La Conclusion Principale

Le document conclut que « Local » et « Global » ne sont pas des étiquettes fixes pour différentes parties d'une IA. Ce sont plutôt des relations qui dépendent de :

La Tâche : Est-ce une énigme en grille ou une pièce 3D ?
Le Timing : Est-ce la première étape de la réflexion ou la dixième ?
L'Architecture : L'IA utilise-t-elle des modules séparés ou un module partagé ?

Le cadre de « Localité des Interactions » prouve que pour ces IA résolvant des énigmes, le « Plan Global » est en réalité construit en empilant de nombreuses mises à jour locales minuscules les unes sur les autres, plutôt que d'avoir un « Cerveau Global » séparé qui regarde tout d'un coup.

En bref : Le document nous offre un nouveau moyen de mesurer où les pensées d'une IA restent et où elles se propagent, montrant que pour les modèles récursifs, la « grande image » n'est qu'une pile de notes très soignées et locales passées en boucle.

Résumé Technique : Localité des Interactions dans le Raisonnement Récursif Hiérarchique

Énoncé du Problème
Le raisonnement spatial chez les agents artificiels nécessite une double capacité : la capacité d'effectuer des calculs liés à une localisation spécifique (par exemple, déplacer une cellule précise, éviter un obstacle spécifique) tout en maintenant simultanément des structures invariantes par rapport à la localisation (par exemple, des itinéraires globaux, des contraintes de « maisons », ou des plans au niveau des objets). Bien que des architectures récursives compactes comme le Modèle de Raisonnement Hiérarchique (HRM) et le Modèle Récursif Minuscule (TRM) aient démontré leur succès sur des tâches telles que Maze-Hard, Sudoku Extreme et ARC-AGI, la compréhension mécaniste de la manière dont ces modèles séparent l'exécution locale de la planification globale reste largement hypothétique. L'interprétabilité existante repose souvent sur des étiquettes informelles (par exemple, « État de haut niveau = planification globale ») qui ne constituent pas des mesures mécanistes de la portée spatiale. Il existe un besoin d'un cadre capable de mesurer empiriquement si le flux d'information reste au sein de cellules ou de segments sémantiques voisins ou s'il les traverse, applicable à la fois aux puzzles symboliques et aux environnements 3D incarnés.

Méthodologie : Cadre de Localité des Interactions
Les auteurs proposent la Localité des Interactions, un cadre conscient de la géométrie de la tâche conçu pour mesurer la portée spatiale du flux d'information au sein des calculs neuronaux. Le cadre définit la « localité » par rapport à la géométrie externe de la tâche (par exemple, les couloirs d'un labyrinthe, les « maisons » 3x3 d'un Sudoku, ou les voisinages d'objets d'ARC-AGI).

La méthodologie utilise une suite de sondes à trois niveaux pour instancier ce cadre :

Ablations de caractéristiques par Autoencodeur Sparse (SAE) : Utilisées pour identifier des caractéristiques lisibles par l'humain et mesurer leur impact au sein de segments spécifiques de la tâche (par exemple, un couloir spécifique ou une case de Sudoku). Cela fournit des hypothèses sémantiques mais n'établit pas pleinement la portée causale.
Patching d'activation à bruit fini : Le test causal principal. Les auteurs perturbent un seul vecteur d'activation à un site source $v$ avec un bruit fini ( $\sigma \epsilon$ ) et mesurent la différence d'activation résultante aux sites cibles $u$ . La localité est quantifiée comme la fraction de la masse de changement d'activation qui reste au sein du voisinage défini par la tâche autour de la source. Cette méthode teste la portée causale sous des changements non infinitésimaux.
Vérifications structurelles (Annexe) : Les analyses de Jacobien et d'attention sont utilisées comme diagnostics structurels pour rapporter la topologie linéarisée et le biais d'attention, servant de contexte aux résultats de perturbation finie plutôt que comme preuve causale principale.

Le cadre est appliqué à :

HRM et TRM : Analysés sur Maze-Hard, Sudoku Extreme et ARC-AGI. Les fenêtres d'analyse critiques sont sélectionnées en fonction de la convergence des changements d'état (par exemple, les premières étapes de raisonnement).
MTU3D : Un modèle d'ancrage de scènes 3D incarnées à grande échelle testé sur des scènes intérieures ScanNet. Ici, les voisinages sont définis par la distance métrique des objets dans l'espace 3D.

Résultats Clés

Passage Local-Global dans les Modèles Récursifs : Sur Maze, Sudoku et ARC-AGI, le patching à bruit fini révèle un schéma cohérent : les états récurrents de haut niveau (H) tendent à écrire des informations au sein de cellules voisines ou d'unités du même segment. Bien que les écritures de niveau H soient souvent plus spatialement concentrées que les écritures de niveau Bas (L), la propagation inter-cycle permet à ces résumés locaux d'être transportés largement à travers l'état récursif.
- Dans TRM/Maze, le contraste est frappant : la localité intra-H est élevée (0,580), tandis que la localité intra-L est proche de la ligne de base (0,032), suggérant que l'opérateur récursif partagé concentre les écritures locales dans l'état H.
- Dans HRM, les écritures de niveau H sont également locales, mais la distinction est moins prononcée dans Sudoku en raison de la plus grande taille de l'unité de contrainte « maison ».
Dissociation dans les Modèles 3D Incarnés : Lorsqu'appliqué à MTU3D, le cadre révèle une dynamique différente. La localité spatiale causale apparaît principalement à la transition où les caractéristiques de la scène visuelle sont transmises au module d'ancrage en aval (frontière entre l'étape 1 et 2). Cependant, à l'intérieur du encodeur visuel unifié, le patching de récupération causale reste proche de la ligne de base aléatoire, malgré des scores de Jacobien structurel et d'attention montrant un biais spatial. Cela suggère que dans les modèles 3D incarnés, la structure spatiale causale est concentrée aux frontières des modules plutôt que d'être uniformément distribuée ou d'émerger de dynamiques récursives comme observé dans HRM/TRM.
Triangulation des Preuves : L'article démontre que les caractéristiques SAE fournissent des hypothèses lisibles au niveau des segments (par exemple, des caractéristiques agissant sur des couloirs spécifiques), tandis que le patching à bruit fini confirme que ces localités survivent aux interventions non infinitésimales. Les Jacobiens structurels fournissent le contexte de la topologie linéarisée.

Signification et Revendications
L'article revendique un changement de paradigme dans la mesure de l'interprétabilité du raisonnement spatial, passant d'une visualisation qualitative à un cadre reproductible basé sur l'intervention.

Révision Mécaniste : Les résultats révisent l'hypothèse informelle selon laquelle « H est global et L est local ». Au contraire, les auteurs démontrent que les états de niveau H effectuent souvent des écritures locales au sein d'un cycle, qui sont ensuite propagées largement à travers le temps récursif. Le calcul local et global ne sont pas des propriétés statiques d'un état nommé, mais des relations entre l'état, la géométrie de la tâche, l'échelle de perturbation et les bords temporels récursifs.
Portée du Cadre : La localité des interactions est présentée comme un outil de diagnostic pour déterminer si les actions locales, les relations au niveau des objets et les plans globaux sont causalement connectés, plutôt que simplement co-visibles dans une représentation.
Limites et Modestie : Les auteurs déclarent explicitement que l'analyse compare des points de contrôle publiés plutôt qu'une exploration d'entraînement appariée en précision. Ils notent que le cadre dépend de la géométrie (reposant sur des voisinages définis) et que la dissociation observée dans MTU3D (biais structurel sans localité causale) met en évidence que l'attention spatiale architecturale ne garantit pas automatiquement une récupération locale causale. L'article ne prétend pas résoudre le raisonnement spatial mais offre une méthode pour auditer comment les modèles existants gèrent l'échelle spatiale.

Conclusion
La localité des interactions fournit un système de coordonnées unifié pour comparer le mouvement local, la propagation des contraintes et la planification au niveau des itinéraires à travers différentes architectures et domaines. En ancrant l'interprétabilité dans des interventions finies et la géométrie de la tâche, le cadre offre un moyen plus rigoureux de comprendre comment les modèles récursifs et incarnés gèrent la séparation entre l'exécution locale et la planification globale.