🤖 machine learning

Representational Alignment Across Model Layers and Brain Regions with Multi-Level Optimal Transport

Cet article propose le Transport Optimal Multi-Niveau (MOT), un cadre unifié qui améliore l'alignement des représentations entre les couches de réseaux de neurones et les régions cérébrales en inférant des couplages souples et globalement cohérents, surpassant ainsi les méthodes d'appariement par paires traditionnelles pour gérer les différences de profondeur et révéler des correspondances hiérarchiques fines.

Auteurs originaux : Shaan Shah, Meenakshi Khosla

Publié 2026-04-23

📖 5 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Shaan Shah, Meenakshi Khosla

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

🧠 L'Alignement des Cerveaux et des IA : Une Danse Globale

Imaginez que vous essayez de comparer deux orchestres géants. L'un est un petit quatuor (un modèle d'intelligence artificielle simple), et l'autre est un orchestre symphonique de 100 musiciens (un modèle complexe ou même un cerveau humain).

Le problème actuel (La vieille méthode) :
Jusqu'à présent, les scientifiques comparaient ces orchestres "couche par couche" de manière isolée. C'était comme demander à un chef d'orchestre : "Qui est le meilleur violoniste de l'orchestre A pour jouer avec le premier violon de l'orchestre B ?"
Le problème ?

C'est déséquilibré : Si l'orchestre B a 100 musiciens et l'orchestre A seulement 10, certains musiciens de B ne seront jamais choisis, tandis que d'autres seront choisis plusieurs fois.
C'est aveugle : On ne regarde pas la musique globale. On ne voit pas que le "violon" de l'orchestre A ressemble en réalité à un mélange de "violon", "alto" et "violoncelle" de l'orchestre B.
C'est asymétrique : Si on inverse la comparaison, on obtient un résultat différent.

La nouvelle solution (MOT - Transport Optimal Multi-Niveau) :
Les auteurs de ce papier proposent une nouvelle façon de voir les choses, qu'ils appellent MOT. Imaginez-le comme un grand chef d'orchestre cosmique qui ne regarde pas les musiciens un par un, mais qui observe l'ensemble de la partition.

Voici comment cela fonctionne avec des analogies simples :

1. La Métaphore du Déménagement de Meubles 🚚

Imaginez que vous déménagez de deux maisons de tailles différentes.

La vieille méthode : Vous prenez le canapé de la maison A et vous essayez de le faire entrer dans une seule pièce de la maison B. Si la pièce B est trop petite, le canapé ne rentre pas. Si elle est trop grande, il y a du vide.
La méthode MOT : Vous dites : "Le canapé de la maison A est si grand qu'il va occuper un peu de l'espace du salon, un peu de la chambre et un peu du couloir de la maison B."
- Le MOT permet de répartir l'information (la "masse") d'une couche d'un réseau sur plusieurs couches de l'autre. C'est comme si l'information pouvait s'étaler comme une pâte à tartiner sur plusieurs tranches de pain, plutôt que d'être coincée dans une seule.

2. La Danse des Étoiles 🌌

Pensez aux réseaux de neurones (les IA) et aux cerveaux humains comme à des galaxies d'étoiles.

L'approche classique essaie de coller une étoile de la galaxie A à une seule étoile de la galaxie B. C'est rigide et ça ne marche pas si les galaxies ont des tailles différentes.
Le MOT regarde la forme globale des galaxies. Il dit : "Cette région lumineuse de la galaxie A correspond à cette autre région lumineuse de la galaxie B, même si elles sont composées d'étoiles différentes."
- Il crée une carte de correspondance douce. Au lieu de dire "L'étoile 1 va à l'étoile 5", il dit "L'étoile 1 va à 30% vers l'étoile 5, 40% vers l'étoile 6 et 30% vers l'étoile 7".

3. Pourquoi c'est révolutionnaire ?

Ce papier montre trois choses magiques :

L'Harmonie Globale : Au lieu de faire des petits accords locaux qui peuvent être faux, le MOT assure que toute la symphonie est cohérente. Si une couche est mal alignée, le système le corrige en regardant l'ensemble, évitant ainsi les erreurs dues au bruit ou au hasard.
La Flexibilité des Profondeurs : C'est la grande force. Vous pouvez comparer un petit modèle (3 couches) à un géant (100 couches). Le MOT va dire : "Ah, cette couche unique du petit modèle contient en fait les idées de 5 couches du grand modèle." C'est comme comprendre qu'une recette simple (un gâteau) est en fait une version condensée d'une recette complexe (un gâteau à plusieurs étages).
La Découverte de Structures Cachées : En appliquant cela aux cerveaux humains (via des IRM) et aux IA, les chercheurs ont vu apparaître des motifs que personne n'avait vus avant : les zones "débutantes" du cerveau s'alignent avec les premières couches de l'IA, et les zones "avancées" avec les dernières. C'est comme si le MOT révélait que le cerveau et l'IA apprennent à peu près la même chose, dans le même ordre, mais à des vitesses différentes.

En Résumé 🎯

Imaginez que vous essayez de traduire un livre écrit dans une langue avec 100 mots (un cerveau) vers une langue avec seulement 10 mots (une petite IA).

L'ancienne méthode essaie de trouver un mot unique pour chaque mot de l'autre langue. Ça échoue souvent.
Le MOT dit : "Ce mot complexe de la grande langue est en fait une combinaison subtile de ces 3 mots simples de la petite langue."

Ce papier nous donne un outil mathématique puissant pour comprendre comment nos cerveaux et nos intelligences artificielles se ressemblent, même quand ils sont construits très différemment. C'est une clé pour comprendre comment l'intelligence (biologique ou artificielle) émerge et se structure.

1. Problématique et Contexte

L'alignement des représentations neuronales est un défi central en neurosciences et en intelligence artificielle (IA). Les méthodes standards actuelles reposent sur un appariement couche par couche (greedy pairwise matching) : chaque couche d'un réseau source est comparée indépendamment à la meilleure couche correspondante d'un réseau cible (ou d'un cerveau) selon une métrique de similarité (RSA, CKA, prédiction linéaire, etc.).

Cette approche présente plusieurs limitations fondamentales :

Correspondances rigides : Elle impose une relation un-à-un, ce qui échoue lorsque les réseaux ont des profondeurs différentes ( $L \neq M$ ) ou lorsqu'une couche source correspond à des caractéristiques distribuées sur plusieurs couches cibles.
Asymétrie et absence de score global : Les résultats dépendent de la direction de la comparaison et il n'existe pas de score unique pour évaluer l'alignement global du réseau.
Ignorance de la structure globale : En optimisant chaque appariement indépendamment, la méthode ignore la structure d'activation globale, ce qui peut mener à un surajustement au bruit et à des mappings déséquilibrés (une couche cible peut être sur-utilisée tandis que d'autres sont ignorées).

2. Méthodologie : Transport Optimal Multi-Niveau (MOT)

Les auteurs proposent le Multi-Level Optimal Transport (MOT), un cadre unifié qui infère simultanément des couplages souples (soft couplings) à deux niveaux :

A. Niveau Interne : Transport Neurone-à-Neurone

Pour chaque paire de couches candidates $(\ell, m)$ , le MOT calcule un coût d'alignement au niveau des neurones en utilisant le transport optimal "soft-matching".

Une matrice de dissimilarité $C_{inner}$ est construite basée sur les profils d'ajustement (tuning) des neurones.
Un plan de transport $Q_{\ell m}$ est optimisé pour minimiser le coût de transport tout en respectant les contraintes marginales. Cela permet à un neurone source de distribuer sa "masse" (son information) sur plusieurs neurones cibles, gérant ainsi les différences de largeur de couche.

B. Niveau Externe : Transport Couche-à-Couche

Les coûts internes $C_{\ell m}$ forment une matrice de coût entre les couches. Un second problème de transport optimal est résolu pour trouver un couplage global $P$ entre les couches du réseau source et du réseau cible.

Contraintes de conservation : Chaque couche source doit distribuer 100 % de sa masse sur les couches cibles, et la masse totale reçue par chaque couche cible est équilibrée.
Gestion des profondeurs : Si $L \neq M$ , le couplage $P$ devient "souple" (many-to-many). Une couche source peut ainsi se répartir sur plusieurs couches adjacentes de la cible, reflétant la manière dont les réseaux profonds décomposent les étapes de traitement.
Résultat : Cela produit un score d'alignement unique pour l'ensemble du réseau et un plan de transport global symétrique et cohérent.

C. Extension Invariante par Rotation (MOT + R)

Constatant que les représentations dans les Transformers (comme les Vision Transformers) sont invariantes par rotation de leur base, les auteurs introduisent une extension MOT + R.

Cette version optimise simultanément les matrices de transport $Q$ et des matrices de rotation orthogonales $R$ pour chaque paire de couches.
Cela permet de capturer l'équivalence géométrique des espaces de représentation même si les axes de coordonnées diffèrent, améliorant considérablement la qualité de l'alignement dans ces domaines.

3. Contributions Clés

Cadre d'alignement global (Théorique) : MOT optimise conjointement toutes les correspondances de couches, produisant des assignations symétriques et globalement cohérentes avec un score unique, contrairement aux approches gloutonnes asymétriques.
Gestion naturelle des écarts de profondeur (Théorique) : En permettant des mappings souples "plusieurs-à-plusieurs", MOT aligne des réseaux de profondeurs différentes sans forcer de correspondances inappropriées un-à-un.
Extension invariante par rotation (Théorique) : L'intégration de transformations orthogonales permet de récupérer des correspondances dans des sous-espaces rotatifs, crucial pour les modèles de type Transformer.
Structure hiérarchique émergente (Empirique) : Sans contraintes d'ordre imposées, MOT récupère naturellement une organisation hiérarchique (les couches précoces s'alignent sur les couches précoces, les couches profondes sur les profondes), une structure absente dans les méthodes gloutonnes.
Distribution des caractéristiques (Empirique) : MOT révèle comment les réseaux profonds étalent les calculs sur plusieurs couches, là où les réseaux plus peu profonds les compressent, un effet totalement manqué par les méthodes par paires.

4. Résultats Expérimentaux

Les auteurs évaluent MOT sur trois domaines distincts :

Modèles de Langage (LLM) : Comparaison de modèles LLaMA-3.2 et Qwen-2.5 de tailles variées.
- Résultat : MOT dépasse systématiquement les méthodes de base (appariement par paires) en termes de score de reconstruction sur des données de validation. Les plans de transport montrent une structure diagonale claire et lisse, révélant des correspondances hiérarchiques robustes.
Cortex Visuel Humain (fMRI) : Alignement des réponses de 4 sujets humains sur le dataset Natural Scenes Dataset (NSD).
- Résultat : MOT récupère les correspondances régionales attendues (V1-V4, etc.) entre les sujets avec une cohérence structurelle que le transport optimal par paires échoue à produire. Les scores de reconstruction sont comparables ou supérieurs aux baselines.
Modèles de Vision (Vision Transformers) : Comparaison de DINOv2 et ViT-MAE.
- Résultat : La version standard de MOT est parfois inférieure aux baselines, mais la version MOT + R (invariante par rotation) surpasse toutes les autres méthodes de manière significative, atteignant des scores de reconstruction bien plus élevés et des mappings hiérarchiques très nets.
Alignement de Trajectoires d'Entraînement (Preuve de concept) : Extension à un niveau "Checkpoints" (Trois niveaux).
- Résultat : MOT aligne avec succès les trajectoires d'entraînement de deux modèles Pythia, révélant des correspondances temporelles cohérentes que l'appariement par paires ne détecte pas.

5. Signification et Conclusion

Ce travail propose une avancée méthodologique majeure pour la comparaison des représentations neuronales. En passant d'une logique locale (couche par couche) à une optimisation globale (transport optimal multi-niveau), MOT résout les problèmes de profondeur inégale et de rigidité des correspondances.

Implications principales :

Interprétabilité : Les plans de transport fournis par MOT offrent une visualisation riche et interprétable de la manière dont les informations sont distribuées et transformées entre systèmes (IA vs IA, ou IA vs Cerveau).
Universalité : La capacité à révéler des structures hiérarchiques communes suggère que MOT est un outil puissant pour tester l'hypothèse de la "représentation platonicienne" (l'idée que différents systèmes convergent vers des structures sous-jacentes similaires face à des tâches naturelles).
Limites : La méthode reste coûteuse en calcul ( $O(L^2 n^3 \log n)$ ), ce qui limite son application aux très grands modèles sans optimisations algorithmiques futures.

En résumé, MOT fournit une fondation rigoureuse pour quantifier l'alignement représentationnel, permettant des comparaisons plus justes, plus riches et plus interprétables entre architectures artificielles et biologiques, en particulier lorsqu'elles diffèrent par leur complexité ou leur profondeur.