InSTaPath: Integrating Spatial Transcriptomics and histoPathology Images via Multimodal Topic Learning

Le papier présente InSTaPath, un cadre d'apprentissage de sujets multimodal qui intègre la transcriptomique spatiale et les images d'histopathologie en convertissant les morphologies tissulaires en « mots » d'images quantifiés pour identifier des sujets latents interprétables reliant les programmes génétiques à la structure tissulaire.

L'essentiel

🧩 Le Problème : Deux langages qui ne se parlent pas

Imaginez que vous essayez de comprendre une ville très complexe (un tissu biologique, comme une tumeur). Pour cela, vous avez deux cartes très différentes :

1. La carte des habitants (L'ADN/ARN) : Elle vous dit qui habite où et ce qu'ils disent (les gènes qui s'activent). C'est très précis, mais c'est comme une liste de noms et de phrases sans voir les bâtiments.
2. La carte de l'architecture (L'image histologique) : C'est une photo de la ville prise au microscope. Vous voyez les rues, les maisons, les parcs et les foules. Mais vous ne savez pas ce que les habitants disent à l'intérieur.

Jusqu'à présent, les scientifiques utilisaient souvent ces deux cartes séparément. Ils regardaient la photo pour voir à quoi ça ressemblait, puis regardaient la liste des gènes pour comprendre la biologie, mais ils n'arrivaient pas à relier directement une phrase spécifique d'un habitant à une forme spécifique d'un bâtiment. C'est comme essayer de comprendre pourquoi une maison est rouge sans savoir qui l'habite.

🚀 La Solution : InSTaPath, le "Traducteur Universel"

Les chercheurs ont créé InSTaPath (Integrating Spatial Transcriptomics and histoPathology). Voici comment cela fonctionne, avec une analogie simple :

1. Transformer la photo en "Mots" (Le Dictionnaire Visuel)

Les images microscopiques sont faites de millions de pixels (des points de couleur). C'est trop complexe pour un ordinateur classique pour trouver des motifs cachés.

• L'analogie : Imaginez que vous prenez une photo d'une forêt. Au lieu de regarder chaque feuille individuellement, InSTaPath utilise un "dictionnaire visuel" pré-entraîné. Il découpe l'image en petits morceaux et les transforme en mots.
• Une zone de cellules serrées devient le mot "Brique".
• Une zone de graisse devient le mot "Nuage".
• Une zone de vaisseaux sanguins devient le mot "Route".
• Le résultat : L'image n'est plus une photo floue, c'est devenu un texte (un compte de mots) que l'ordinateur peut lire et comparer, exactement comme on compte les mots dans un livre.

2. Le "Club de Lecture" (La Modélisation par Sujets)

Maintenant, l'ordinateur a deux types de textes pour chaque petit point du tissu :

• Le texte des Gènes (ce que les cellules disent).
• Le texte des Images (ce que les cellules ressemblent).

InSTaPath utilise une technique appelée "modélisation par sujets" (comme si on classait des livres par thème). Il cherche des Sujets Cachés (des "Topics") qui apparaissent souvent ensemble.

• Exemple de sujet trouvé : "Le Club des Muscles".
  • Dans ce club, on trouve souvent les mots-image "Fibres allongées" ET les mots-gènes "Protéines de contraction".
  • Exemple de sujet trouvé : "Le Club de la Tumeur".
  • On y trouve les mots-image "Cellules en désordre" ET les mots-gènes "Signaux de division rapide".

Le génie de l'outil, c'est qu'il ne se contente pas de dire "c'est une tumeur". Il dit : "Voici le groupe de gènes qui crée cette forme spécifique de tumeur."

🔍 Ce que cela permet de faire (Les Super-Pouvoirs)

Grâce à cette connexion, InSTaPath fait trois choses magiques :

1. Cartographier la ville avec précision :
   Il peut tracer des frontières beaucoup plus nettes entre les différents tissus (tumeur, graisse, immunité) que les méthodes précédentes. C'est comme si on passait d'une carte dessinée à la main à une carte satellite ultra-précise.

2. Expliquer le "Pourquoi" :
   Si le modèle trouve un nouveau type de tissu, il peut immédiatement vous dire : "Ce tissu ressemble à ceci (image) parce que ces gènes spécifiques sont actifs (biologie)." C'est une interprétation claire, pas une boîte noire mystérieuse.

3. Le Laboratoire Virtuel (Perturbation In Silico) :
   C'est la partie la plus fascinante. Imaginez que vous pouvez faire un "test de suppression" virtuel.

   • Vous demandez à l'ordinateur : "Et si on éteignait les 100 gènes les plus importants de ce 'Club de la Tumeur' ?"
   • InSTaPath simule la réponse : "Si on éteint ces gènes, la forme de la tumeur (les mots-image) va changer et ressembler à du tissu sain."
   • Cela permet de prédire quels gènes sont les vrais chefs d'orchestre de la maladie, sans avoir à couper des tissus réels dans un laboratoire.

🏁 En résumé

InSTaPath est un traducteur génial qui apprend à parler deux langues en même temps : le langage des gènes et le langage des images.

Au lieu de regarder la photo et la liste de gènes séparément, il les mélange pour découvrir des histoires cachées (des programmes biologiques) qui expliquent pourquoi un tissu a telle ou telle forme. Cela aide les médecins et les chercheurs à mieux comprendre les maladies comme le cancer, à trouver de nouveaux traitements et à prédire comment les cellules vont réagir si on modifie leur code génétique.

C'est comme passer de l'observation d'une forêt à la compréhension de la relation exacte entre chaque arbre et le sol qui le nourrit.

Résumé technique

Titre : InSTaPath : Intégration de la transcriptomique spatiale et des images d'histopathologie via l'apprentissage de sujets multimodaux

1. Problématique

Les technologies de transcriptomique spatiale (ST) permettent de mesurer l'expression des gènes tout en préservant le contexte spatial des tissus. De nombreuses plateformes (comme 10x Visium) génèrent des données appariées : des profils d'expression génique et des images histologiques (coloration H&E) correspondantes.

Cependant, les approches computationnelles existantes souffrent de plusieurs limitations :

• Sous-utilisation des images : Les images histologiques sont souvent utilisées uniquement pour la visualisation ou l'annotation manuelle, tandis que les analyses en aval reposent principalement sur l'expression génique.
• Manque d'interprétabilité : Les méthodes d'apprentissage profond récentes (basées sur des graphes, des CNN ou des modèles fondateurs comme CLIP) intègrent les deux modalités mais produisent des embeddings latents continus difficiles à interpréter biologiquement.
• Défi de la modélisation : Les modèles de sujets (Topic Modeling), qui sont naturellement interprétables pour les données de comptage (gènes), ne peuvent pas être directement appliqués aux images histologiques, qui sont constituées de valeurs de pixels continues et haute dimension.

L'objectif est donc de créer un cadre unifié capable de lier les programmes transcriptionnels aux morphologies tissulaires de manière interprétable.

2. Méthodologie : Le cadre InSTaPath

InSTaPath propose un modèle de sujets multimodal en trois étapes principales pour transformer les images continues en données discrètes compatibles avec l'expression génique.

Étape 1 : Discrétisation des embeddings d'images (Conversion en "Mots d'images")
Pour rendre les images compatibles avec la modélisation de sujets (qui nécessite des données de comptage), InSTaPath convertit les embeddings continus en "mots d'images" (image words) discrets :

1. Extraction de tokens : Les images histologiques (WSI) sont découpées en tuiles. Un modèle fondateur pré-entraîné (UNI, basé sur une architecture ViT-Giant) extrait des embeddings au niveau des tokens.
2. Construction d'un codebook visuel : Les embeddings continus sont divisés en sous-vecteurs. Un algorithme de clustering (k-means par mini-batch) est appliqué pour créer un "codebook" de centres de clusters.
3. Quantification vectorielle (VQ) : Chaque sous-vecteur est assigné à son entrée la plus proche dans le codebook. Cela transforme chaque embedding d'image en un vecteur de comptage discret (par exemple, un vecteur de 512 dimensions représentant la fréquence de 512 "mots d'images" uniques).

Étape 2 : Modélisation de sujets multimodaux
Chaque spot spatial (ST spot) est traité comme un "document" multimodal contenant deux types de comptages : les gènes et les mots d'images.

• Encodage : Des encodeurs VAE (Variational Autoencoders) spécifiques à chaque modalité (gènes et images) projettent les données dans un espace latent commun.
• Intégration : Un mécanisme de "produit de Gaussiennes" fusionne les variables latentes spécifiques pour produire une distribution de sujets unifiée ($\theta$) pour chaque spot.
• Décodeur : Le modèle reconstruit les distributions de caractéristiques (gènes et mots d'images) à partir des sujets latents, définissant des associations Sujet-Gène et Sujet-Mot d'image.

Étape 3 : Analyses en aval
Le cadre génère trois sorties interprétables :

1. Détection de domaines spatiaux : Utilisation des proportions de sujets ($\theta$) pour le clustering des tissus.
2. Enrichissement de voies : Analyse des associations Sujet-Gène pour identifier les fonctions biologiques.
3. Perturbation in silico : Reconstruction des signaux d'image à partir de l'expression génique pour simuler l'effet de l'ablation de gènes sur la morphologie.

3. Contributions Clés

• Représentation discrète des images : Première application réussie de la quantification vectorielle pour transformer des embeddings d'images histologiques continus en données de comptage discrètes, permettant leur intégration directe dans des modèles de sujets.
• Interprétabilité unifiée : Chaque sujet latent est interprétable simultanément par ses gènes associés (signatures biologiques) et ses mots d'images associés (motifs morphologiques visibles).
• Contexte morphologique étendu : Contrairement aux méthodes qui ne regardent que les patchs centrés sur les spots, InSTaPath utilise les caractéristiques de l'image entière (WSI), permettant de capturer un contexte morphologique plus large.
• Analyse de causalité virtuelle : Capacité à simuler des perturbations génétiques et à prédire leur impact visuel sur l'architecture tissulaire.

4. Résultats

Les auteurs ont validé InSTaPath sur plusieurs jeux de données (cancer colorectal CRC-100k, cancer du sein 10x Visium, et Visium HD colorectal).

• Qualité de la représentation visuelle : Sur le dataset CRC-100k, la représentation par mots d'images (ViT-VQ) a montré une meilleure séparation des classes tissulaires que les embeddings bruts. Les sujets appris correspondent clairement à des structures histologiques (ex: fibres musculaires, lumières glandulaires, zones tumorales denses).
• Détection de domaines spatiaux : Sur les données de cancer du sein, InSTaPath a surpassé les méthodes mono-modalité (gènes seuls ou images seules) et d'autres méthodes multimodales (STAMP, OmiCLIP) en termes d'indices de clustering (ARI = 0.82 vs 0.60 pour les gènes seuls). Il parvient notamment à distinguer des régions morphologiquement définies (stroma vs immunitaire) que les méthodes basées uniquement sur les gènes échouent à séparer.
• Corrélation Gène-Morphologie : Les sujets identifiés montrent une forte concordance spatiale entre les gènes enrichis et les motifs d'image. Par exemple, un sujet lié aux adipocytes est enrichi en signatures d'adipogenèse et associé à des mots d'image représentant des cellules graisseuses.
• Perturbation in silico : L'ablation des gènes clés d'un sujet (ex: sujet tumoral) entraîne une diminution significative de la probabilité prédite de tissu tumoral par le modèle, et modifie la distribution spatiale des mots d'image associés, validant le lien causal entre le transcriptome et la morphologie.

5. Signification et Impact

InSTaPath représente une avancée majeure dans l'analyse intégrative des données spatiales.

• Interprétabilité biologique : Il comble le fossé entre les données moléculaires complexes et l'observation microscopique, offrant un langage commun (les sujets) pour décrire les tissus.
• Découverte de biomarqueurs : En reliant directement des gènes à des motifs morphologiques spécifiques, il aide à identifier de nouveaux marqueurs pour le diagnostic et la compréhension du microenvironnement tumoral.
• Futur de la pathologie computationnelle : La capacité à prédire comment des changements génétiques altèrent la structure tissulaire ouvre la voie à de nouvelles approches pour la découverte de médicaments et la compréhension des mécanismes pathologiques, au-delà de la simple corrélation.

En résumé, InSTaPath transforme l'analyse des images histologiques en un format compatible avec la transcriptomique, permettant une modélisation probabiliste unifiée, interprétable et puissante de l'architecture tissulaire.