Résumé technique : Représentations platoniciennes dans le cerveau humain

Énoncé du problème

L'Hypothèse forte de la représentation platonicienne postule que des réseaux de neurones artificiels entraînés indépendamment convergent vers des représentations géométriquement similaires, permettant de traduire les plongements d'un modèle à l'autre via un espace latent universel sans données appariées ni entrées partagées. Bien que des preuves de ce phénomène existent dans les systèmes artificiels de vision et de langage, il reste inconnu si ce principe s'étend aux systèmes neuronaux biologiques.

Les méthodes existantes en neurosciences pour aligner des données cérébrales entre sujets (par exemple, l'hyperalignement) reposent généralement sur des stimuli partagés pour établir des correspondances inter-sujets ou dépendent d'espaces de référence externes (par exemple, des caractéristiques dérivées de modèles). La question centrale abordée par cet article est de savoir si une géométrie neuronale partagée peut être récupérée à partir de représentations cérébrales apprises indépendamment uniquement, en utilisant exclusivement la géométrie intrinsèque des réponses neuronales et sans échantillons appariés inter-sujets ni représentations de modèles intermédiaires.

Méthodologie

Les auteurs proposent un cadre en trois étapes pour tester cette hypothèse en utilisant l'Ensemble de données des scènes naturelles (NSD), où 8 sujets ont observé des images naturelles complexes. Crucialement, la méthode utilise des images spécifiques au sujet et non partagées pour l'apprentissage et un ensemble retenu d'images partagées exclusivement pour l'évaluation.

1. Apprentissage de plongements préservant la géométrie (Spécifique au sujet)

Pour chaque sujet $s$, un encodeur auto-supervisé $f_s$ mappe les réponses IRMf $X^{(s)}$ vers un espace de plongement de faible dimension $Z^{(s)}$.

• Auto-supervision par répétition : La méthode exploite les présentations répétées de stimuli. Au lieu de moyenner les répétitions (ce qui suppose l'indépendance), l'encodeur les traite comme des vues bruitées d'un signal latent stable.
• Pipeline :
  1. Pondération de la fiabilité des voxels : Les voxels sont repondérés en fonction de leur corrélation à travers les répétitions pour supprimer le bruit.
  2. Projection linéaire : Les réponses pondérées par la fiabilité sont projetées via une Analyse en Composantes Principales (PCA), suivie d'une Analyse Canonique des Corrélations Multi-vues (MCCA) pour extraire des composantes partagées entre les vues.
  3. Raffinement non linéaire : Un Perceptron Multicouche (MLP) résiduel affine le plongement linéaire. Le modèle est entraîné en utilisant une perte contrastive InfoNCE et un terme d'attraction cosinus pour garantir que les plongements d'une même image (à travers différentes répétitions) soient proches, tandis que les plongements d'images différentes sont séparés.
• Objectif : Apprendre un espace de plongement $Z^{(s)}$ qui reflète l'organisation intrinsèque des réponses aux stimuli du sujet sans guidance externe.

2. Traduction cerveau-à-cerveau par paires

Étant donné des plongements appris indépendamment $\{Z^{(s)}\}$, les auteurs recherchent des transformations orthogonales $R_{s \to t}$ pour traduire l'espace du sujet $s$ dans l'espace du sujet $t$ sans données appariées.

• Pseudo-correspondance : Puisqu'aucune image partagée n'est disponible pendant l'entraînement, la méthode construit des paires pseudo-appariées en regroupant l'espace de plongement de chaque sujet (K-moyennes) et en appariant les centroïdes sur la base de structures de similarité par paires.
• Raffinement itératif : Une approche itérative similaire à l'algorithme Iterative Closest Point (ICP) affine la solution de Procruste orthogonale.
• Symétrisation : La rotation résultante est symétrisée pour garantir $R_{t \to s} = R_{s \to t}^\top$, une exigence pour la cohérence globale.

3. Construction d'un espace latent partagé (Synchronisation globale)

Pour aller au-delà des traductions par paires et établir un système de coordonnées unique et cohérent, les auteurs résolvent un problème de synchronisation orthogonale sur le groupe $O(d)$.

• Une matrice par blocs de rotations par paires est construite.
• Une méthode spectrale récupère une transformation orthogonale unique $R_s$ pour chaque sujet telle que $R_{s \to t} \approx R_s R_t^\top$.
• Cela mappe tous les plongements de sujets vers un espace latent partagé $Z$, en imposant une cohérence cyclique à travers le graphe des sujets.

Résultats clés

Performance intra-sujet

L'encodeur auto-supervisé extrait avec succès des représentations de stimuli stables à partir de données IRMf bruitées.

• Récupération : Le modèle atteint un Rang Moyen de 5,28 (chance = 258) et un R@1 de 0,82 dans la récupération d'images correspondantes à travers les répétitions au sein du même sujet.
• Comparaison : Cela surpasse les bases de référence neuronales directes (GLMsingle, PCA), les méthodes auto-supervisées multi-vues (SplitAE, DeepCCA) et les bases de référence guidées par modèle (CLIP, DINOv2). L'auto-supervision basée sur la répétition récupère des informations au niveau de l'instance plus fortes que les encodeurs guidés externalement.

Traduction inter-sujet (Non supervisée)

La méthode traduit avec succès les plongements entre sujets en utilisant uniquement des données non appariées.

• Performance : Sur les images partagées retenues, la traduction orthogonale non supervisée atteint un Rang Moyen de 2,56 et un R@1 de 0,78 à travers les paires de sujets.
• Bases de référence : Cela surpasse significativement les contrôles « sans traduction » (Rang Moyen ~189) et l'appariement par transport optimal. Cela surpasse également les bases de référence guidées par modèle (par exemple, CLIP, ViT) qui reposent sur des espaces de caractéristiques externes.
• Géométrie : Les scores élevés d'Analyse de Similarité de Représentation (RSA) indiquent que les espaces spécifiques aux sujets sont approximativement isométriques.

Espace latent partagé

La synchronisation des rotations par paires en un seul espace partagé améliore encore les performances.

• Amélioration : La synchronisation globale réduit le Rang Moyen moyen de 2,47 (par paires) à 1,97 et augmente le R@1 de 0,79 à 0,83.
• Implication : Cela confirme que les espaces de sujets appris indépendamment sont mutuellement compatibles avec un système de coordonnées commun.

Alignement Modèle-Cerveau

Lors de la mise en correspondance des plongements neuronaux récupérés avec les couches de réseaux de neurones artificiels (RNA) via des cartes linéaires supervisées :

• La régression Ridge améliore la récupération (Rang Moyen ~5,86) par rapport aux cartes semi-orthogonales, indiquant que les RNA capturent des informations de stimuli pertinentes.
• Cependant, ces mappages supervisés restent inférieurs à la traduction cerveau-à-cerveau non supervisée (Rang Moyen 1,97). Cela suggère que, bien que les RNA partagent des informations avec le cerveau, ils ne partagent pas les mêmes transformations géométriques quasi-isométriques observées entre les sujets humains.

Signification et affirmations

L'article prétend fournir la première preuve que l'Hypothèse forte de la représentation platonicienne s'applique aux systèmes neuronaux biologiques. Plus précisément :

1. Géométrie partagée : Les représentations IRMf spécifiques aux sujets dans le cortex visuel humain sont approximativement isométriques entre les individus.
2. Espace latent universel : Ces représentations peuvent être traduites dans un système de coordonnées partagé en utilisant des transformations purement géométriques (rotations orthogonales) apprises à partir de données intrinsèques, sans échantillons appariés inter-sujets ni ancres de modèles externes.
3. Implications pratiques : Cette géométrie partagée suggère que les données, encodeurs et décodeurs appris à partir d'un sujet pourraient potentiellement être transférés à un autre, réduisant le besoin d'un étalonnage spécifique au sujet dans des applications comme le décodage IRMf-vers-image ou la génération de données neuronales synthétiques.

Les auteurs restent modestes concernant les limites, notant que l'analyse repose sur des données IRMf de haute qualité avec répétitions et que la procédure de traduction non appariée est sensible à l'initialisation. Ils ne prétendent pas que les RNA actuels répliquent parfaitement la géométrie humaine, mais plutôt que le cerveau possède une structure universelle récupérable que les modèles n'ont pas encore pleinement alignée via des transformations isométriques.