🧬 biology

Task-guided cross-subject latent alignment: a multi-encoder-decoder VAE

Cet article introduit le Multi-Encoder-Decoder Variational Autoencoder (MED-VAE), un cadre qui parvient à un alignement neural inter-sujets supérieur et à un décodage généralisable sans nécessiter de stimuli partagés, en ancrant les représentations neurales à un échafaudage commun fourni par un réseau de neurones artificiels préentraîné.

Auteurs originaux : Angeliki Papathanasiou, Jascha Achterberg, Thomas E. Nichols, Rui Ponte Costa

Publié 2026-06-16

📖 5 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Angeliki Papathanasiou, Jascha Achterberg, Thomas E. Nichols, Rui Ponte Costa

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ⚕️ Ceci est une explication générée par l'IA d'un preprint qui n'a pas été évalué par des pairs. Ce n'est pas un avis médical. Ne prenez pas de décisions de santé basées sur ce contenu. Lire la clause de non-responsabilité complète

Imaginez que vous essayez de traduire un livre écrit dans un code secret. Le problème est que vous avez 8 personnes différentes, chacune ayant sa propre version du code. Même si elles lisent exactement la même histoire, la Personne A écrit « pomme » comme « fruit-rouge-rond », la Personne B l'écrit comme « croquant-sucré », et la Personne C l'écrit comme « Verger-1 ».

Si vous voulez comprendre ce qu'elles pensent toutes de l'histoire, vous ne pouvez pas simplement comparer leurs notes directement car les mots ne correspondent pas. Traditionnellement, les scientifiques essayaient de résoudre cela en faisant lire à tout le monde les mêmes 872 pages du livre afin de construire un dictionnaire basé sur ces pages communes. Mais que se passe-t-il si les gens lisent des livres différents, ou si les pages ne se chevauchent pas ? Les anciennes méthodes échouent.

Ce document présente un nouvel outil appelé MED-VAE qui résout ce problème sans avoir besoin que tout le monde lise les mêmes pages. Voici comment cela fonctionne, en utilisant des analogies simples :

1. Le « Traducteur Universel » (L'échafaudage ANN)

Au lieu de forcer les personnes à communiquer directement entre elles, les chercheurs introduisent un Traducteur Universel (un réseau de neurones artificiels, plus précisément un ResNet-50). Ce traducteur a déjà lu des millions d'images et sait exactement à quoi ressemble une « pomme », une « voiture » ou une « personne » de manière standard et parfaite.

L'ancienne méthode : Vous demandez à la Personne A et à la Personne B de décrire la même pomme, puis vous essayez de faire correspondre leurs descriptions.
La nouvelle méthode : Vous demandez à la Personne A de décrire la pomme, et vous demandez à la Personne B de décrire la pomme. Ensuite, vous demandez aux deux de traduire leurs descriptions dans la langue du Traducteur Universel.

Parce que le Traducteur Universel possède une définition partagée et parfaite de ce qu'est une pomme, la Personne A et la Personne B sont forcées de « parler la même langue » lorsqu'elles lui parlent, même si elles ne se sont jamais parlé.

2. La « Rue à Double Sens » (L'architecture)

Les chercheurs ont construit une machine avec deux côtés :

Le côté Entrée : Chaque personne possède son propre traducteur privé qui transforme ses scans cérébraux (IRMf) en la langue du Traducteur Universel.
Le côté Sortie : Il existe un décodeur partagé qui tente de transformer cette Langue Universelle pour revenir aux caractéristiques d'image « parfaites » originales du Tradumeur Universel.

La magie opère parce que la machine est entraînée pour faire deux choses à la fois :

S'assurer que la Langue Universelle peut être transformée à nouveau en une image parfaite.
S'assurer que la Langue Universelle peut être transformée à nouveau en ce scan cérébral spécifique de la personne.

Cela crée une « pression » sur les scans cérébraux de chacun. Pour satisfaire la machine, le scan de la Personne A et le scan de la Personne B doivent aboutir exactement au même endroit dans la « Langue Universelle » lorsqu'ils voient des choses similaires (comme un chat), même s'ils ont vu des images différentes globalement.

3. Les Résultats : Une Meilleure Carte

Lorsque les chercheurs ont testé cela, ils ont découvert trois choses majeures :

Une bibliothèque bien organisée : Dans le nouvel espace partagé, les « livres » (images) sont triés parfaitement par catégorie. Si vous regardez une carte des données, tous les « animaux » sont dans un groupe, et tous les « véhicules » sont dans un autre. Les anciennes méthodes étaient comme un tas désordonné où animaux et voitures étaient mélangés.
Pas besoin de « pages partagées » : Les anciennes méthodes (comme SRM et Procrustes) nécessitaient que tout le monde regarde les mêmes 872 images pour apprendre à s'aligner. MED-VAE n'en avait pas besoin. Il a appris l'alignement simplement en utilisant le Traducteur Universel comme guide.
Une meilleure prédiction : Parce que l'alignement est si bon, si vous prenez l'activité cérébrale de la Personne A, que vous la traduisez dans la Langue Universelle, puis que vous la traduisez à nouveau dans la langue cérébrale de la Personne B, vous obtenez une prédiction très précise de ce à quoi ressemblerait le cerveau de la Personne B. C'est comme être capable de lire l'esprit de la Personne B en regardant simplement celui de la Personne A, sans même avoir vu les données de la Personesse B auparavant.

4. Le Filtre du « Bruit »

Une découverte intéressante concernait le « bruit ». Les anciennes méthodes semblaient mieux réussir la reconstruction du scan cérébral exact pendant l'expérience. Cependant, les chercheurs ont réalisé que c'était parce que les anciennes méthodes mémorisaient accidentellement le « statique » ou le « bruit » (comme le rythme cardiaque ou la respiration de la personne) qui se trouvait dans les données à ce moment précis.

Lorsqu'ils ont testé les méthodes sur de nouveaux essais (pour vérifier si le signal était réel ou simplement du bruit), les anciennes méthodes ont échoué. MED-VAE, en revanche, a ignoré le bruit et a conservé le signal réel. C'est comme si les anciennes méthodes enregistraient le bavardage de fond en même temps que la parole, tandis que MED-VAE filtrait le bavardage pour ne garder que la voix claire.

Résumé

Le document présente une façon d'aligner l'activité cérébrale de différentes personnes sans avoir besoin qu'elles regardent les mêmes images. Il y parvient en utilisant une IA pré-entraînée comme « terrain d'entente » ou échafaudage. Cela crée une carte mentale partagée où différents cerveaux peuvent être comparés, menant à une meilleure compréhension de la façon dont nous voyons tous le monde, et permettant de prédire l'activité cérébrale d'une personne à partir de celle d'une autre.

Résumé technique : Alignement de l'espace latent inter-sujets guidé par tâche via un VAE multi-encodeur-décodeur

Problématique

L'alignement de l'activité neurale entre différents individus est essentiel pour découvrir des principes computationnels partagés et construire des décodeurs généralisables en neurosciences systémiques. Cependant, les méthodes d'alignement traditionnelles (par exemple, les modèles de réponse partagée [SRM], l'analyse de Procruste, l'hyperalignement) reposent sur une contrainte critique : elles nécessitent des stimuli partagés visionnés par tous les sujets pour dériver les matrices de transformation. Cette limitation restreint sévèrement l'applicabilité aux paradigmes naturalistiques où les sujets visionnent des données largement non chevauchantes ou non partagées, empêchant l'agrégation de jeux de données de neuroimagerie à grande échelle issus de différentes études. De plus, les méthodes entraînées uniquement sur des sous-ensembles partagés échouent souvent à se généraliser aux stimuli non partagés (held-out), car leurs transformations d'alignement peuvent ne pas capturer l'espace représentationnel complet requis pour des jeux de données plus vastes.

Méthodologie : MED-VAE

Les auteurs introduisent le Multi-Encoder-Decoder Variational Autoencoder (MED-VAE), un cadre conçu pour réaliser un alignement inter-sujets sans nécessiter de stimuli partagés. L'idée centrale est d'utiliser un réseau de neurones artificiels (ANN) pré-entraîné comme « échafaudage » computationnel pour ancrer les représentations de différents sujets dans un espace latent commun.

Architecture

Le MED-VAE emploie une architecture à voies multiples :

Encodeurs spécifiques au sujet : Chaque sujet $i$ possède un encodeur dédié ( $Enc_{fMRI}^i$ ) qui projette ses réponses IRMf ( $x_{fMRI}^i$ ) vers un espace latent commun de dimension $d$ ( $z_i$ ).
Encodeur ANN partagé : Un encodeur partagé ( $Enc_{ANN}$ ) projette les caractéristiques d'un ANN pré-entraîné (spécifiquement ResNet-50) vers le même espace latent.
Décodeurs spécifiques au sujet : Chaque sujet possède un décodeur dédié ( $Dec_{fMRI}^i$ ) qui reconstruit ses motifs de voxels originaux à partir de l'espace latent.
Décodeur ANN partagé : Un décodeur universel ( $Dec_{ANN}$ ) reconstruit les caractéristiques de l'ANN à partir de toute représentation latente (qu'elle provienne de l'IRMf ou de l'ANN lui-même).

Objectif d'entraînement

Le modèle est entraîné à l'aide d'une fonction de perte qui intègre quatre voies de reconstruction avec une régularisation KL :

Intra-modalité IRMf : Reconstruire les données IRMf d'un sujet à partir de son propre code latent.
Cross-modalité ANN $\to$ IRMf : Reconstruire les données IRMf d'un sujet à partir du code latent généré par l'encodeur de l'ANN.
Intra-modalité ANN : Reconstruire les caractéristiques de l'ANN à partir du code latent de l'encodeur de l'ANN.
Cross-modalité IRMf $\to$ ANN : Reconstruire les caractéristiques de l'ANN à partir d'un code latent dérivé de l'IRMf du sujet.

Le décodeur ANN partagé sert de mécanisme d'alignement principal. En forçant les représentations latentes de tous les sujets à reconstruire les mêmes caractéristiques visuelles hiérarchiques et les relations sémantiques encodées par l'ANN, le modèle impose une pression d'alignement implicite. Cela garantit que des stimuli sémantiquement similaires (même s'ils sont visionnés par des sujets différents) sont projetés dans des zones proximales de l'espace latent partagé. Crucialement, l'échafaudage ANN n'est requis que pendant l'entraînement ; lors de l'inférence, les sujets sont projetés dans l'espace partagé en utilisant uniquement leurs encodeurs IRMf.

Contributions clés

Élimination des stimuli partagés : Le MED-VAE parvient à un alignement inter-sujets sans exiger que les sujets visionnent des stimuli identiques, en s'appuyant sur les priors structurels d'un ANN pré-entraîné.
Organisation sémantique : La méthode produit des espaces latents dotés d'une organisation sémantique supérieure, comme en témoignent des scores de silhouette plus élevés et une meilleure précision de décodage de catégories inter-sujets par rapport aux méthodes traditionnelles.
Généralisation robuste : Contrairement aux méthodes traditionnelles qui se dégradent sur les stimuli non partagés, le MED-VAE démontre une généralisation robuste aux images non vues lors de l'entraînement, capturant des représentations invariantes au sujet plutôt que de sur-apprendre des sous-ensembles partagés spécifiques.
Préservation du signal : L'évaluation cross-trial révèle que si les méthodes traditionnelles peuvent présenter une reconstruction intra-trial plus élevée (capturant souvent le bruit spécifique à l'essai), le MED-VAE préserve un niveau équivalent de signal piloté par le stimulus tout en supprimant le bruit.
Utilité en aval : L'espace aligné permet une prédiction neurale inter-sujets et un décodage d'image supérieurs, permettant la reconstruction de l'activité cérébrale d'un sujet à partir de la représentation latente d'un autre.

Résultats

Les expériences ont été menées à l'aide du Natural Scenes Dataset (NSD), impliquant 8 sujets visionnant environ 10 000 images naturelles avec un chevauchement minimal.

Structure sémantique : Les espaces latents du MED-VAE ont montré des scores de silhouette significativement plus élevés (0,34) que le SRM (0,22) et Procrustes (0,21), indiquant un regroupement cohérent des catégories sémantiques. Le décodage "leave-one-subject-out" a également produit une précision plus élevée pour le MED-VAE.
Métriques d'alignement : Le MED-VAE a obtenu une corrélation composante par composante plus élevée (0,64 contre 0,52/0,45) et des scores de similitude de représentations (RSA) plus élevés (0,63 contre 0,41/0,41) que les modèles de référence.
Écart de généralisation : Les méthodes traditionnelles (SRM, Procrustes) ont montré une baisse significative de performance lors de l'évaluation sur un ensemble testé (semi-partagé de 128 images) par rapport à leur ensemble d'entraînement, tandis que le MED-VAE a maintenu une performance constante, indiquant qu'il ne dépendait pas du chevauchement des stimuli pour l'alignement.
Récupération inter-sujets : Le MED-VAE a atteint une précision de récupération top-1 de 46,2 % sur l'ensemble testé, soit plus du double de celle du SRM (21,8 %) et de Procrustes (18,4 %).
Bruit vs Signal : Les métriques de reconstruction intra-trial favorisaient les méthodes traditionnelles, mais l'évaluation cross-trial (corrélant la reconstruction de l'essai $i$ avec la vérité terrain de l'essai $j$ ) n'a montré aucune différence significative entre les méthodes. Cela confirme que l'avantage des méthodes traditionnelles provenait de la reconstruction du bruit spécifique à l'essai, tandis que le MED-VAE préservait le signal piloté par le stimulus de manière équivalente.
Décodage d'image : Lorsque les prédictions inter-sujets étaient injectées dans un décodeur MindEye2 gelé, le MED-VAE surpassait les modèles de référence dans les mesures sémantiques de haut niveau (ex: similitude CLIP, scores Inception), particulièrement dans les espaces de faible dimension (32D).

Signification et affirmations

L'article affirme que le MED-VAE fournit un cadre pour identifier des sous-espaces communs généralisables pour les prédictions inter-sujets et les tâches en aval sans le goulot d'étranglement des stimuli partagés. En remplaçant l'appariement explicite des stimuli par des contraintes implicites issues d'un ANN pré-entraîné, la méthode permet :

Des analyses de population sur des données provenant de sujets scannés sous différents protocoles ou visionnant des stimuli différents.
Une prédiction neurale inter-sujets et un décodage d'image avec un calibrage par sujet minimal.
L'augmentation de données pour les sujets disposant d'un temps de scan limité en empruntant des données alignées d'autres sujets.

Les auteurs soulignent que l'espace commun capture l'organisation computationnelle de la représentation visuelle (structure catégorielle et relations sémantiques) plutôt que des correspondances statistiques arbitraires. Ils notent que la qualité de l'alignement est fondamentalement limitée par la correspondance modèle-cerveau de l'échafaudage ANN choisi (ex: ResNet-50), suggérant que des échafaudages avec une modélisation dynamique ou temporelle plus forte pourraient améliorer l'alignement à l'avenir. Le cadre est présenté comme une étape vers l'agrégation de données neurales à travers les études et les individus pour des investigations en neurosciences plus puissantes.