🧬 biology

Cross-Subject Modeling for Widefield Calcium Imaging via Atlas-Aligned Spatiotemporal Tokenization

L'article introduit WiCAT, un modèle de fondation multi-sujets pour l'imagerie calcique à large champ qui utilise une tokenisation spatio-temporelle alignée sur des atlas et un pré-entraînement auto-supervisé pour atteindre une performance supérieure aux bases de référence à session unique, tout en permettant le décodage du comportement en zéro-shot et la reconstruction de régions cérébrales sur des sujets non vus.

Auteurs originaux : Mohammad Hosseini, Eray Erturk, Saba Hashemi, Maryam M. Shanechi

Publié 2026-07-14

📖 7 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Mohammad Hosseini, Eray Erturk, Saba Hashemi, Maryam M. Shanechi

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ⚕️ Ceci est une explication générée par l'IA d'un preprint qui n'a pas été évalué par des pairs. Ce n'est pas un avis médical. Ne prenez pas de décisions de santé basées sur ce contenu. Lire la clause de non-responsabilité complète

Imaginez que votre cerveau soit une ville immense et bouillonnante. Habituellement, lorsque les scientifiques veulent étudier le fonctionnement de cette ville, ils n'étudient qu'un seul quartier à la fois, ou étudient peut-être le trajet spécifique d'une personne. Ils construisent une carte pour cette personne, pour ce jour précis, pour cette tâche particulière. Mais et si vous vouliez une carte qui fonctionne pour tout le monde dans la ville, instantanément, sans avoir besoin de réapprendre les rues à chaque fois qu'un nouveau visiteur arrive ? C'est le grand rêve, et jusqu'à présent, cela ressemblait un peu à un casse-tête.

Voici WiCAT, un nouveau « traducteur cérébral » créé par des chercheurs de l'USC. Considérez WiCAT comme un guide touristique super intelligent qui a étudié les plans de toute la ville (l'anatomie du cerveau) plutôt que de simplement mémoriser les habitudes des touristes individuels.

Le Problème : Trop de bruit, trop de cartes

L'imagerie calcique en champ large (widefield calcium imaging) est comme une caméra de drone haute définition survolant la surface du cerveau. Elle capture l'activité lumineuse de millions de neurones à la fois, créant une vidéo massive et tourbillonnante du cerveau en action. Mais voici le hic : ces vidéos sont énormes, désordonnées et pleines de « bruit de fond » — comme le bourdonnement du cerveau lui-même ou ses réactions à des choses qui n'ont rien à voir avec la tâche en cours.

À cause de ce désordre, les scientifiques devaient généralement jeter les données d'une session et repartir de zéro pour la suivante. Ils ne pouvaient pas facilement combiner les données de 38 souris différentes, 378 sessions d'enregistrement différentes et deux types de tâches différents pour construire un seul modèle géant et puissant. C'était comme essayer d'apprendre une langue en ne lisant qu'une seule phrase d'un livre, puis en jetant le livre pour recommencer avec un autre livre différent.

La Solution : L'astuce de l'« Atlas »

Les chercheurs ont réalisé que, bien que chaque souris soit unique, leurs « cartes de la ville » cérébrale sont en fait construites sur un même plan. Pour résoudre ce problème, ils ont inventé une façon de forcer les données cérébrales de chaque souris à s'ajuster sur une carte standard unique, appelée l'Allen Brain Atlas.

Pensez-y de cette manière : imaginez que 38 personnes différentes dessinent la carte de leur propre maison. L'une utilise une grille de 10x10 carrés, une autre de 20x20, et elles placent toutes leurs cuisines à des endroits légèrement différents. WiCAT prend tous ces dessins désordonnés et les ajuste sur une grille unique et parfaite, déjà tracée. Soudain, la « cuisine » de la Souris A s'aligne exactement avec la « cuisine » de la Souris B.

Une fois tout aligné, WiCAT découpe la vidéo du cerveau en petits morceaux de puzzle (tokens) et les injecte dans un cerveau artificiel géant (un Transformer) qui apprend à prédire à quoi ressemblent les pièces manquantes. C'est comme jouer à un jeu où l'on cache 90 % d'une vidéo du cerveau et où l'on demande à l'IA de deviner ce qui se cache en dessous. Pour gagner, l'IA doit apprendre les règles de la façon dont le cerveau bouge et pense, et non pas seulement mémoriser les visages spécifiques des souris qu'elle a vues auparavant.

La Magie : Des super-pouvoirs « Zero-Shot »

La vraie magie opère lorsqu'ils testent WiCAT sur une souris qu'ils n'ont jamais vue auparavant.

Dans le passé, si vous montriez une nouvelle souris à un ancien modèle, le modèle était confus et échouait. Mais WiCAT est différent. Parce qu'il a appris les « règles universelles » de la ville cérébrale pendant son entraînement, il peut regarder une nouvelle souris et décoder immédiatement son comportement.

Décodage du comportement Zero-Shot : Le modèle peut observer une nouvelle souris et deviner ce qu'elle fait (comme tendre la patte vers un levier ou tourner la tête) avec une précision surprenante, sans avoir besoin de données d'entraînement provenant de cette souris spécifique au préalable. C'est comme rencontrer un étranger et savoir instantanément comment il marche, simplement parce que vous avez étudié le plan des jambes humaines.
Combler les vides : Le modèle peut même deviner ce qui se passe dans une partie du cerveau qu'il ne peut pas « voir » (une région qui a été masquée), simplement en observant l'activité dans le reste du cerveau. C'est comme être capable d'entendre une conversation dans une pièce que vous ne voyez pas, simplement en écoutant les sons étouffés provenant du couloir.

Ce que WiCAT n'est PAS (et ce qu'il écarte)

Il est important de savoir ce que ce modèle ne fait pas, car l'article est très clair à ce sujet.

Ce n'est pas une baguette magique « universelle » qui ignore l'anatomie. L'article argumente explicitement contre les modèles qui tentent d'apprendre sans une carte. Si vous essayez d'entraîner un modèle sans aligner les cerveaux sur l'atlas, il échoue à se généraliser à de nouveaux sujets. La « carte » est essentielle.
Il n'a pas besoin d'être réentraîné pour chaque nouvelle souris. L'article a testé des modèles qui tentaient d'apprendre des détails « spécifiques à la session » (comme un identifiant unique pour chaque souris). Ces modèles ont échoué face à une nouvelle souris. WiCAT prouve que vous n'avez pas besoin de réentraîner tout le système pour chaque nouvel animal ; le « langage cérébral » partagé est suffisant.
Ce n'est pas encore une solution « parfaite ». L'article suggère que, bien que les résultats soient solides, le modèle dépend toujours d'un alignement correct du cerveau. Si la carte est tordue ou mal alignée, les performances du modèle chutent. Il est robuste, mais pas invincible.

Les Chiffres (La Preuve)

Les chercheurs n'ont pas seulement deviné ; ils ont mesuré.

Ils se sont entraînés sur des données de 38 sujets à travers 378 sessions.
Lorsqu'ils ont été testés sur de nouvelles souris jamais vues, WiCAT a atteint un score de décodage du comportement (R²) de 0,3274 sur le jeu de données Musall et de 0,1840 sur le jeu de données Kondo.
Comparez cela aux anciens modèles « par session unique » qui marquaient environ 0,0477 et 0,0573 respectivement sur ces mêmes nouvelles souris. C'est un bond énorme !
Mieux encore, si vous donnez au modèle un tout petit peu d'aide (environ 16 essais ou environ 100 secondes d'enregistrement), il peut s'adapter et devenir encore meilleur, atteignant des scores de 0,4336 et 0,2869.

L'Essentiel à Retenir

WiCAT est une étape majeure vers un « modèle de fondation » pour le cerveau — un IA puissante et unique qui comprend le langage général de l'activité cérébrale à travers différents animaux et tâches. Cela suggère que si nous alignons correctement nos données et enseignons à l'IA à chercher des motifs universels plutôt que des détails spécifiques, nous pouvons construire des modèles qui se généralisent instantanément à de nouveaux sujets.

L'article ne prétend pas que cela résout tout ou que cela fonctionne pour tout type de données cérébrales (comme les enregistrements du cerveau profond) pour l'instant. Mais pour l'imagerie calcique en champ large, cela propose une nouvelle voie : ne plus traiter chaque cerveau comme un puzzle unique, mais commencer à enseigner à l'IA le plan partagé qui les relie tous. Et le meilleur dans tout cela ? Le code est ouvert, afin que quiconque puisse essayer de construire quelque chose sur ce « traducteur cérébral ».

Résumé Technique : Modélisation Inter-Sujets pour l'Imagerie de Calcium en Champ Large via une Tokenisation Spatiotemporelle Alignée sur un Atlas

Énoncé du Problème
L'imagerie de calcium en champ large offre un accès sans précédent à la dynamique corticale globale chez les animaux en mouvement, fournissant une activité neurale mésoéchelle avec une haute résolution temporelle et une large couverture spatiale. Cependant, la haute dimensionnalité, la structure spatiotemporelle complexe et l'activité substantielle non liée à la tâche dans ces enregistrements ont historiquement limité les efforts de modélisation aux analyses par session ou par sujet unique. Les approches existantes reposent généralement sur des paramètres ou des étapes de prétraitement spécifiques à la session (par exemple, PCA, LocaNMF) qui limitent la scalabilité et la généralisation inter-sujets. Bien que des modèles pré-entraînés multi-sujets aient montré des promesses pour d'autres modalités neurales (par exemple, les potentiels d'action, les LFP), cela n'a pas été démontré pour l'imagerie de calcium en champ large. De plus, parvenir à un décodage de comportement et à une reconstruction neurale "zero-shot" invariants au sujet sur des sujets non vus reste un défi ouvert.

Méthodologie : WiCAT
Les auteurs introduisent WiCAT (Widefield Calcium imaging Atlas-aligned Tokenizer model), un modèle de fondation multi-sujets conçu pour apprendre des représentations spatiotemporelles partagées à travers divers sujets, sessions et jeux de données. L'architecture se compose de trois composants fondamentaux :

Tokenisation Ancrée sur un Atlas : Pour permettre le partage de paramètres entre des sujets ayant des morphologies corticales et des configurations d'enregistrement variables, tous les enregistrements en champ large sont spatialement enregistrés sur un référentiel anatomique commun (le Allen Brain Atlas Common Coordinate Framework) et rééchantillonnés à une résolution spatiale unifiée (128 × 128). Les cadres alignés sont partitionnés en patchs spatiotemporels non chevauchants. Crucialement, le modèle utilise des embeddings spatiaux globaux associés à l'indice de chaque patch aligné sur l'atlas. Ces embeddings sont partagés entre tous les sujets, sessions et jeux de données, fournissant une représentation cohérente de la localisation corticale sans composantes spécifiques à la session.
Backbone Transformer Spatiotemporel : Les données tokenisées sont traitées par un encodeur Transformer qui applique une attention conjointe spatiale et temporelle. Des embeddings de position rotatifs (RoPE) sont utilisés pour encoder l'information temporelle relative. Le modèle opère sur une séquence unifiée de tokens, lui permettant de capturer les interactions entre les régions corticales et le temps au sein d'un mécanisme d'attention unique.
Pré-entraînement Auto-supervisé (MAE) : Le modèle est pré-entraîné à l'aide d'un objectif d'Auto-encodeur Masqué (MAE). Pendant le pré-entraînement, 90 % des tokens spatiotemporels sont masqués aléatoirement dans l'espace et le temps. L'encodeur traite uniquement les tokens non masqués, tandis qu'un décodeur Transformer léger reconstruit les patchs masqués en utilisant une perte d'erreur quadratique moyenne (MSE). Crucialement, aucun identifiant de sujet, de session ou de jeu de données n'est fourni pendant le pré-entraînement ; le modèle doit s'appuyer uniquement sur le contexte parcimonieux et les embeddings spatiaux globaux partagés pour reconstruire l'activité neurale.

Contributions Clés

Modélisation Multi-Sujets : WiCAT est le premier modèle capable de projeter les enregistrements neuraux de différents sujets dans un espace de représentation partagé pour l'imagerie de calcium en champ large, dépassant les limitations mono-session des travaux antérieurs.
Tokenisation Basée sur l'Atlas : Les auteurs proposent un schéma de tokenisation utilisant des embeddings spatiaux globaux qui capturent l'organisation anatomique invariante au sujet, permettant une modélisation inter-sujets sans paramètres spécifiques à la session.
Cadre de Pré-entraînement Exigeant : Un cadre d'auto-apprentissage MAE est conçu pour apprendre des représentations spatiotemporelles qui reconstruisent l'activité neurale sans accès aux identifiants de sujet, forçant le modèle à apprendre les dynamiques globales plutôt que le bruit spécifique à la session.
Capacités Zero-Shot : Le modèle démontre un décodage de comportement continu robuste en "zero-shot" et une adaptation efficace "few-shot" sur des sujets non vus. Il parvient également à la reconstruction "zero-shot" de régions cérébrales exclues, indiquant que les représentations apprises capturent des dépendances inter-régions qui se généralisent à travers les sujets.
Transfert Inter-Jeux de Données : Les représentations pré-entraînées se transfèrent efficacement entre des jeux de données présentant des configurations d'enregistrement, des résolutions spatiales et des tâches comportementales différentes.

Résultats
Évalué sur deux jeux de données à grande échelle (Musall et Kondo) couvrant 38 sujets et 378 sessions, WiCAT a surpassé les modèles de référence, y compris les modèles dynamiques à session unique (SBIND), la régression linéaire sur les caractéristiques PCA/LocaNMF, et les extensions multi-sessions de SBIND.

Décodage du Comportement : WiCAT a obtenu des performances de décodage de comportement ( $R^2$ ) nettement plus élevées sur les ensembles de fine-tuning et zero-shot par rapport à tous les modèles de référence. Notamment, sur l'ensemble zero-shot (sujets non vus), le sondage linéaire (linear probing) de WiCAT a atteint des scores $R^2$ de 0,3274 (Musall) et 0,1840 (Kondo), surpassant substantiellement le meilleur modèle de référence multi-session.
Généralisation Zero-Shot : Le modèle a maintenu des performances solides sur des sujets non vus sans aucune mise à jour de gradient du backbone ou du décodeur.
Reconstruction Neurale : Dans les tâches de reconstruction de régions exclues en zero-shot, WiCAT a systématiquement obtenu une erreur de reconstruction (MSE) plus faible qu'un décodeur inter-régions linéaire sur les principales zones corticales (ex: SS, VIS, MO), préservant la structure temporelle spécifique à chaque région.
Études d'Ablation : La suppression des embeddings spatiaux globaux ou l'introduction de paramètres spécifiques à la session a considérablement dégradé les performances zero-shot, confirmant la nécessité de l'architecture proposée pour le transfert inter-sujets. De plus, le pré-entraînement MAE a surpassé le pré-entraînement de type JEPA pour cette modalité.
Scalabilité : Les performances se sont améliorées avec l'augmentation du volume de données de pré-entraînement et de la capacité du modèle, suggérant que le cadre peut exploiter efficacement de plus grands jeux de données.

Signification
Cet article positionne WiCAT comme une étape fondamentale vers une modélisation de type "modèle de fondation" pour l'imagerie de calcium en champ large. En démontant que des représentations partagées peuvent être apprises à travers les sujets et les sessions sans réglage spécifique à la session, ce travail répond aux barrières critiques de la scalabilité et de la généralisation. La capacité d'effectuer un décodage de comportement et une reconstruction neurale "zero-shot" sur des sujets non vus indique que le modèle capture les dynamiques spatiotemporelles fondamentales et invariantes au sujet de l'activité corticale. Cette approche facilite la réutilisation des représentations apprises à travers les animaux, les sessions et les conditions expérimentales, accélérant potentiellement la recherche sur les dynamiques de population distribuées et l'organisation fonctionnelle à grande échelle. Les auteurs notent que bien que l'échelle actuelle des données publiques en champ large soit plus petite que celle d'autres modalités, le cadre est conçu pour passer à l'échelle à mesure que des jeux de données plus vastes et plus diversifiés deviennent disponibles.