💻 computer science

ImmuVis: Hyperconvolutional Foundation Model for Imaging Mass Cytometry

ImmuVis est un modèle fondation hyperconvolutif entraîné sur l'énorme jeu de données IMC17M qui résout la variabilité des ensembles de marqueurs en cytométrie de masse par imagerie en utilisant des noyaux adaptatifs aux marqueurs pour permettre une analyse efficace, sans réentraînement, avec une incertitude calibrée sur des sous-ensembles de marqueurs arbitraires.

Auteurs originaux : Dawid Uchal, Marcin MoĊejko, Krzysztof Gogolewski, Piotr Kupidura, Szymon Łukasik, Jakub Giezgała, Tomasz Nocoń, Kacper Pietrzyk, Robert Pieniuta, Mateusz Sulimowicz, Michal Orzyłowski, Tomasz Siłkows

Publié 2026-05-15

📖 5 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Dawid Uchal, Marcin MoĊejko, Krzysztof Gogolewski, Piotr Kupidura, Szymon Łukasik, Jakub Giezgała, Tomasz Nocoń, Kacper Pietrzyk, Robert Pieniuta, Mateusz Sulimowicz, Michal Orzyłowski, Tomasz Siłkowski, Karol Zagródka, Eike Staub, Ewa Szczurek

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Imaginez que vous êtes un chef étoilé essayant de recréer des plats complexes et à multiples couches (les tissus) à partir d'une liste d'ingrédients (les marqueurs biologiques) que vous avez sous la main.

Dans le monde de la Cytométrie par Imagerie de Masse (IMC), les scientifiques prennent des photos d'échantillons de tissus pour voir quelles protéines sont présentes. Considérez chaque protéine comme un ingrédient spécifique. Le problème est que deux chefs (études de recherche) n'utilisent jamais exactement la même recette. Une étude pourrait avoir 20 ingrédients, une autre 40, et elles se recoupent rarement parfaitement.

Le Problème : Le Piège du « Menu Fixe »

Les modèles d'IA précédents pour analyser ces images étaient comme des chefs qui ne savaient cuisiner que si on leur donnait un menu fixe. Si vous leur donniez une recette avec des ingrédients qu'ils n'avaient jamais vus, ou si un ingrédient qu'ils attendaient manquait, ils plantaient ou refusaient de cuisiner. Ils ne pouvaient pas s'adapter.

De plus, lorsque ces chefs tentaient de deviner un ingrédient manquant (un processus appelé « coloration virtuelle »), ils ne vous donnaient qu'une seule supposition. Si la supposition était fausse, ils ne vous le disaient pas. Ils agissaient comme s'ils étaient sûrs à 100 %, même lorsque les preuves étaient faibles.

La Solution : ImmuVis (Le « Sous-Chef Adaptable »)

Les auteurs de cet article présentent ImmuVis, une nouvelle famille de modèles d'IA conçue pour être le sous-chef adaptable ultime. Voici comment cela fonctionne, en utilisant des analogies simples :

1. La Ceinture Magique (Hyperconvolutions)

Au lieu d'avoir un ensemble fixe d'outils pour des ingrédients spécifiques, ImmuVis possède une ceinture magique.

Comment cela fonctionne : Lorsque vous donnez au modèle un ensemble spécifique d'ingrédients (marqueurs), il « imprime en 3D » instantanément les outils parfaits (noyaux de convolution) nécessaires pour traiter juste ces ingrédients.
L'Avantage : Peu importe que vous lui donniez 5 ingrédients ou 30, ou qu'ils soient complètement différents de ce qu'il a appris auparavant. Il construit les bons outils à la volée. Il peut gérer n'importe quelle combinaison de marqueurs sans avoir besoin d'être réentraîné ni de voir son architecture modifiée.

2. Le Traducteur Universel (Espace Latent Pan-Marqueurs)

Une fois que le modèle a ses outils personnalisés, il traduit tous les différents ingrédients dans un langage universel (un espace latent partagé).

L'Analogie : Imaginez traduire une conversation entre des personnes parlant 20 dialectes différents dans une seule langue commune. Une fois que tout est dans cette langue commune, le modèle peut comprendre les relations entre les ingrédients, indépendamment de ceux qui étaient présents dans l'image originale.

3. La Prédiction « Honnête » (Incertitude)

Lorsque ImmuVis tente de prédire un ingrédient manquant (coloration virtuelle), il ne vous donne pas juste un chiffre. Il vous donne un score de confiance.

L'Analogie : Si le modèle devine un épice manquant basé sur des preuves faibles, il dit : « Je pense que c'est du paprika, mais je ne suis pas très sûr. » Si les preuves sont solides, il dit : « C'est définitivement du paprika. »
Pourquoi c'est important : Cela empêche le modèle d'inventer avec assurance des faits biologiques lorsque les données sont floues. Il signale les prédictions « risquées » afin que les scientifiques sachent où faire attention.

4. Vitesse et Efficacité

Les modèles précédents étaient comme de lourds camions lents essayant de transporter tous les ingrédients possibles à la fois. ImmuVis est comme une voiture de sport légère et agile.

Il traite les images beaucoup plus rapidement et utilise considérablement moins de puissance de calcul (énergie) que ses concurrents, ce qui le rend pratique pour des études à grande échelle impliquant des milliers d'images.

Le Terrain d'Entraînement : IMC17M

Pour enseigner ce modèle, les auteurs ont créé la plus grande « école de cuisine » jamais assemblée pour cette tâche, appelée IMC17M.

Il contient plus de 17 millions de patches d'images provenant de 28 études différentes (cohortes).
Il couvre 265 marqueurs différents (ingrédients).
En s'entraînant sur cet ensemble de données massif et diversifié, le modèle a appris à reconnaître des modèles à travers différentes « recettes » et types de tissus, lui permettant de bien performer même sur de nouvelles combinaisons de marqueurs jamais vues.

Les Résultats

Lors des tests, ImmuVis s'est avéré :

Plus Précis : Il a recréé les marqueurs manquants mieux que les modèles de l'état de l'art précédents.
Plus Honnête : Ses scores de confiance correspondaient parfaitement à la façon dont ses suppositions étaient fausses ou justes.
Plus Rapide : Il s'exécutait significativement plus vite et à moindre coût que les lourds modèles basés sur les Transformers contre lesquels il était en concurrence.
Polyvalent : Il fonctionnait bien pour identifier les types de cellules et prédire les résultats cliniques, prouvant que son « langage universel » des tissus est utile pour de nombreuses tâches différentes.

En bref, ImmuVis est un cadre d'IA flexible, rapide et honnête qui permet enfin aux scientifiques d'analyser des images de tissus complexes indépendamment des marqueurs spécifiques mesurés, résolvant le problème des « recettes incompatibles » en imagerie biologique.

Résumé Technique : ImmuVis

Énoncé du Problème
La Cytométrie de Masse par Imagerie (IMC) permet un profilage spatial à haut débit et à l'échelle subcellulaire des tissus en mesurant des anticorps marqués par des métaux. Cependant, un défi fondamental dans la modélisation des données IMC est l'absence d'un espace de canaux fixe. Contrairement aux images naturelles disposant d'un ensemble de canaux RGB statique, les panels IMC varient considérablement d'une étude à l'autre en raison des interférences physiques entre canaux et des designs expérimentaux spécifiques aux cohortes. Cette hétérogénéité viole l'hypothèse centrale des backbones de vision standard, qui nécessitent une dimension d'entrée fixe. Les approches existantes, telles que les U-Nets, sont limitées à des panels de marqueurs fixes, tandis que les modèles récents basés sur les Transformers (par exemple, VirTues, EVA) tentent de gérer des entrées variables en concaténant des tokens spatiaux spécifiques aux marqueurs avec des encodages d'identité. Ces méthodes basées sur des tokens ignorent souvent les dépendances locales cruciales entre les marqueurs et entraînent des coûts computationnels élevés à mesure que le nombre de marqueurs et les résolutions spatiales augmentent. De plus, la coloration virtuelle (prédiction de marqueurs non mesurés) est un problème mal posé lorsque les preuves sont faibles ; les modèles actuels manquent souvent d'estimations d'incertitude calibrées, rendant difficile la distinction entre des reconstructions biologiquement plausibles et des prédictions erronées.

Méthodologie
Les auteurs présentent ImmuVis, une famille de modèles de fondation conçue pour unifier l'apprentissage à entrées variables, l'efficacité computationnelle et la quantification de l'incertitude. L'innovation centrale est une architecture d'hyperconvolution adaptative aux marqueurs.

Architecture Hyperconvolutionnelle :
- Encodage Indépendant des Marqueurs : Les canaux d'entrée des marqueurs sont d'abord traités indépendamment par un tronc convolutif partagé ( $Enc_{ma}$ ) pour capturer les motifs spatiaux locaux.
- Hyperconvolution Conditionnelle : Au lieu de poids fixes, le modèle emploie un hyperréseau qui génère des noyaux de convolution conditionnés par des encodages de marqueurs appris. Pour un ensemble d'entrée de marqueurs $I_e$ , un hypernoyau $H^e_{I_e}$ est construit en concaténant des générateurs de noyaux appris $\phi_e(i)$ pour chaque marqueur $i \in I_e$ . Cela permet au modèle d'adapter dynamiquement ses opérateurs d'extraction de caractéristiques à la sous-ensemble spécifique de marqueurs observés sans modification architecturale.
- Backbone Pan-Marqueur : La sortie de l'hyperconvolution est un embedding unifié de taille fixe qui peut être traité par des backbones standards de vision par ordinateur (par exemple, ConvNeXt v2, Swin Transformer, ViT).
- Décodeur Symétrique : Le décodeur miroir l'encodeur, utilisant une hyperconvolution conditionnée par les marqueurs pour mapper la représentation latente vers des marqueurs cibles spécifiques, en prédisant à la fois l'expression moyenne et la log-variance (incertitude).
Stratégie d'Entraînement :
- Jeu de Données : Les modèles sont pré-entraînés sur IMC17M, le plus grand jeu de données IMC à ce jour, comprenant 24 405 images, 265 marqueurs et plus de 17 millions de patches répartis sur 28 cohortes.
- Objectif : Les modèles sont entraînés à l'aide d'une tâche de reconstruction de canal masqué avec une perte de régression hétéroscédastique gaussienne. Cet objectif modélise les pixels cibles comme des distributions gaussiennes indépendantes, permettant au réseau de prédire à la fois la moyenne ( $\mu$ ) et la variance ( $\sigma^2$ ). La prédiction de la variance fournit une estimation d'incertitude calibrée qui corrèle avec l'erreur de reconstruction.
- Prétraitement : Les auteurs emploient un pipeline de prétraitement spécifique impliquant une transformation arcsinh (pour gérer la dynamique des comptes d'ions), un filtrage passe-bas de Butterworth (pour réduire le bruit spécifique à l'IMC) et une mise à l'échelle au 99e percentile minimum.

Contributions Clés

Conception Hyperconvolutionnelle : Une architecture novatrice qui génère des noyaux de convolution à partir d'encodages de marqueurs appris, permettant à un modèle unique de traiter des sous-ensembles de marqueurs arbitraires sans réentraînement ni modification architecturale.
Famille Efficace de Modèles de Fondation : Implémentation de trois variantes (ImmuVisConv, ImmuVisSwin, ImmuVisViT) qui exploitent des backbones établis. Ces modèles atteignent des performances de pointe avec des coûts computationnels significativement inférieurs par rapport aux alternatives de Transformer basées sur la concaténation de tokens.
Apprentissage Conscient de l'Incertitude : Intégration d'un objectif de vraisemblance hétéroscédastique produisant des estimations d'incertitude au niveau du pixel, répondant aux problèmes de fiabilité inhérents à la coloration virtuelle pour les phénotypes rares ou les motifs atypiques.
Pré-entraînement à Grande Échelle : La curation et l'utilisation de IMC17M, facilitant l'apprentissage de représentations robustes et transférables à travers des histologies et des panels de marqueurs divers.

Résultats

Coloration Virtuelle : Les variantes d'ImmuVis surpassent les bases de référence de l'état de l'art (VirTues, EVA) dans les tâches de coloration virtuelle. Plus précisément, ImmuVisSwin et ImmuVisConv ont obtenu la plus faible Erreur Quadratique Moyenne (MSE) et la plus forte corrélation de Pearson, démontrant une préservation supérieure de la structure spatiale par rapport aux méthodes basées sur des tokens.
Calibration de l'Incertitude : La tête hétéroscédastique produit des estimations d'incertitude qui corrèlent fortement avec l'erreur de reconstruction (corrélation de Pearson > 0,92). Les modèles fournissent des signaux de confiance significatifs au niveau du pixel, ImmuVisSwin obtenant la plus faible Aire sous la Courbe d'Erreur de Sparsification (AUSE).
Apprentissage de Représentation : Dans les tâches en aval, les embeddings d'ImmuVis ont produit des performances de pointe dans le typage cellulaire (ImmuVisConv a atteint un Macro-F1 de 0,709) et la prédiction clinique (ImmuVisSwin a atteint un Macro-F1 de 0,641), surpassant les variantes VirTues et EVA.
Efficacité Computationnelle : Les modèles ImmuVis fonctionnent à un coût de calcul substantiellement inférieur. ImmuVisConv nécessite environ 89,9 GFLOPs par passage avant, ce qui est un ordre de grandeur inférieur à VirTues (1049,3 GFLOPs) et près de 40 fois inférieur à EVA (3590 GFLOPs). Les temps d'inférence sont proportionnellement plus rapides (par exemple, 13,4 ms contre 28,5 ms pour VirTues).

Signification
L'article positionne ImmuVis comme un cadre pratique pour la modélisation IMC dans le monde réel, répondant aux contraintes critiques d'hétérogénéité des panels et d'efficacité computationnelle. En permettant à un modèle de fondation unique d'opérer sur des sous-ensembles de marqueurs arbitraires sans réentraînement, ImmuVis facilite le profilage spatial à grande échelle des tissus et la mise à niveau rétrospective de cohortes héritées. L'intégration d'une incertitude calibrée offre une approche consciente de la fiabilité pour la coloration virtuelle, ce qui est crucial pour les applications cliniques où les faux positifs ou les prédictions de faible confiance doivent être signalés. Les auteurs suggèrent que cette adaptabilité des canaux au niveau de l'opérateur fournit une recette générale pour construire des modèles de fondation en imagerie multiplex et au-delà, combinant flexibilité, efficacité et fiabilité au sein d'une seule architecture.