InSTaPath: Integrating Spatial Transcriptomics and histoPathology Images via Multimodal Topic Learning

⚕️

Questa è una spiegazione generata dall'IA di un preprint non sottoposto a revisione paritaria. Non è un consiglio medico. Non prendere decisioni sulla salute basandoti su questo contenuto. Leggi il disclaimer completo

Each language version is independently generated for its own context, not a direct translation.

Immagina di avere una mappa del tesoro del corpo umano, ma con un problema: hai due mappe diverse che raccontano la stessa storia, ma in lingue completamente differenti.

La prima mappa (la "Trascrittomica Spaziale") è come un elenco di parole. Ti dice quali "istruzioni" (i geni) sono attive in ogni punto preciso del tessuto, ma non ti dice come appare fisicamente quel punto.
La seconda mappa (l'"Immagine Istologica") è una fotografia ad alta risoluzione di quel tessuto. Ti mostra la forma, i colori e la struttura (come le cellule sono impilate), ma non ti dice quali istruzioni stanno lavorando lì dentro.

Fino ad ora, i computer erano bravi a leggere una delle due mappe, o a guardarle separatamente, ma faticavano a capire come le istruzioni (geni) creassero la forma (tessuto).

InSTaPath è il nuovo traduttore magico creato dai ricercatori che risolve questo problema. Ecco come funziona, spiegato con un'analogia semplice:

1. Tradurre la "Fotografia" in "Parole" (Il Passo della Quantizzazione)

Immagina di voler insegnare a un computer a leggere un'immagine medica. Il computer vede milioni di pixel (punti di colore), che sono come un flusso continuo e confuso di numeri. È difficile per un computer trovare schemi in un flusso infinito.

InSTaPath fa una cosa geniale: prende l'immagine e la scompone in "parole visive".

Immagina di avere un enorme dizionario di "blocchi di mattoni" (un codice) che rappresentano forme comuni: un "blocco muscolare", un "blocco ghiandolare", un "blocco tumorale".
Invece di guardare l'immagine come un flusso di pixel, il sistema guarda ogni piccolo pezzo dell'immagine e dice: "Questo pezzo assomiglia al blocco numero 42 del mio dizionario".
Alla fine, invece di un'immagine, il computer ha un elenco di conteggi: "In questa zona ci sono 50 'blocchi muscolari', 10 'blocchi tumorali' e 5 'blocchi di grasso'".
Ora, l'immagine è diventata una lista di parole, esattamente come l'elenco dei geni! Entrambe le mappe parlano la stessa lingua: la lingua dei "conteggi".

2. Trovare i "Temi" Nascosti (Il Modello a Topic)

Ora che abbiamo due liste di parole (una di geni, una di "blocchi visivi"), InSTaPath le mette insieme in un grande calderone per trovare dei temi nascosti.

Pensa a un cocktail party dove ci sono due gruppi di persone che parlano lingue diverse. InSTaPath è l'organizzatore che nota che:

Ogni volta che le persone che parlano di "Geni A, B e C" sono presenti, c'è anche un gruppo che mostra "Forme X, Y e Z".
L'organizzatore dice: "Ah! Questo è il Tema 1: è il gruppo 'Muscolo Liscio'".
Un altro gruppo parla di "Geni D, E e F" e mostra "Forme P, Q e R".
L'organizzatore dice: "Questo è il Tema 2: è il gruppo 'Tessuto Tumorale'".

Il risultato è che il computer non vede più solo geni o solo immagini, ma storie complete. Ogni "tema" è una ricetta che dice: "Se vedi queste forme, probabilmente ci sono anche questi geni attivi".

3. Cosa ci permette di fare? (Le Applicazioni)

Grazie a questa magia, InSTaPath fa tre cose incredibili:

Mappa i quartieri della città: Se guardi un tessuto, InSTaPath può dire con precisione: "Qui c'è il quartiere dei muscoli, lì c'è il quartiere del tumore, e qui c'è il quartiere del sistema immunitario". Lo fa meglio di chi guarda solo i geni o solo le foto, perché usa entrambi i dati.
Spiega il "Perché": Se il computer trova un "Tema Tumore", può dirci esattamente quali geni lo stanno guidando (come un detective che trova la lista dei colpevoli) e quali forme fisiche sta creando (come la prova del crimine).
Il "Cosa succederebbe se..." (Perturbazione In Silico): Questa è la parte più futuristica. Immagina di poter dire al computer: "E se spegnessimo i geni principali di questo tema tumorale?". Il sistema simula questa azione e ti mostra come cambierebbe la foto.
- Esempio: Se spegni i geni del tumore, la "foto ricostruita" mostra che le forme tumorali spariscono e il tessuto torna normale. Questo aiuta i ricercatori a capire quali geni sono i veri "cattivi" da colpire con i farmaci.

In Sintesi

InSTaPath è come un ponte che collega due isole separate: l'isola delle istruzioni genetiche e l'isola della forma fisica.
Invece di guardare le due isole separatamente, InSTaPath costruisce un ponte che ci permette di vedere come le istruzioni costruiscono la forma. Ci aiuta a capire non solo cosa sta succedendo nel corpo (i geni), ma anche come appare (il tessuto), e cosa succederebbe se cambiassimo le istruzioni. È un passo enorme per capire le malattie come il cancro e trovare cure migliori.

Each language version is independently generated for its own context, not a direct translation.

Titolo

InSTaPath: Integrazione di Transcriptomica Spaziale e Immagini di Istopatologia tramite Apprendimento Multimodale a Topic

1. Il Problema

Le tecnologie di transcriptomica spaziale (ST) permettono di misurare l'espressione genica mantenendo il contesto spaziale dei tessuti. Molte piattaforme (es. 10x Visium) generano dati multimodali accoppiati: profili di espressione genica risolti spazialmente e immagini istologiche (colorazione H&E) corrispondenti.
Tuttavia, esistono diverse limitazioni negli approcci computazionali attuali:

Sottoutilizzo delle immagini: Nella maggior parte delle pipeline, le immagini istologiche sono usate solo per visualizzazione o annotazione manuale, mentre le analisi computazionali si basano principalmente sull'espressione genica.
Mancanza di interpretabilità: I metodi esistenti che integrano immagini e genetica (basati su GNN, CNN o modelli fondazionali come CLIP) producono spesso embedding latenti continui difficili da interpretare biologicamente. Non modellano esplicitamente i "programmi latenti condivisi" che collegano i segnali trascrizionali a quelli morfologici.
Disallineamento dei formati: I modelli a topic (Topic Modeling), ideali per l'interpretabilità, funzionano bene su dati di conteggio discreti (come i geni), ma le immagini istologiche sono rappresentate da valori di pixel continui ad alta dimensionalità, rendendo difficile la loro integrazione diretta in un framework probabilistico comune.

2. Metodologia

InSTaPath è un framework di modellazione a topic multimodale che supera queste limitazioni attraverso tre fasi principali:

Fase 1: Discretizzazione degli Embedding delle Immagini (Image Embedding Discretization)

Per rendere le immagini istologiche compatibili con la modellazione a topic, InSTaPath le converte in una rappresentazione discreta basata su conteggi ("parole immagine"):

Estrazione di Embedding: Le immagini a intero vetrino (WSI) vengono suddivise in patch. Un modello fondazionale pre-addestrato per l'istopatologia (UNI, basato su ViT-Giant) estrae embedding a livello di token per ogni patch.
Costruzione del Codice Visivo (Visual Codebook): Gli embedding continui vengono suddivisi in sottovettori. Viene applicato un clustering k-means su mini-batch per creare un "codebook" di centri cluster.
Quantizzazione Vettoriale (Vector Quantization): Ogni sottovettore viene assegnato all'entry più vicina nel codebook. Ogni token viene così convertito in un vettore di conteggi di "parole immagine" (es. un vettore di dimensione 512). Questo trasforma i dati continui in un formato di conteggio analogo all'espressione genica.

Fase 2: Modellazione a Topic Multimodale

Ogni spot spaziale (ST spot) viene trattato come un "documento" multimodale contenente due tipi di parole: parole immagine e geni.

Codificatori Specifici: Vengono utilizzati encoder VAE (Variational Autoencoder) specifici per modalità per mappare i conteggi di geni e parole immagine in variabili latenti.
Integrazione: Un meccanismo "Product-of-Gaussians" integra le variabili latenti specifiche per modalità in una singola distribuzione di topic latenti per spot ( $\theta$ ).
Decodifica: Una matrice di embedding condivisa e matrici specifiche per modalità ricostruiscono le distribuzioni di geni e parole immagine associate a ciascun topic.
Output: Il modello inferisce topic latenti condivisi che catturano co-occorrenze tra programmi trascrizionali e pattern morfologici.

Fase 3: Analisi Integrata a Valle

I risultati del modello vengono utilizzati per:

Rilevamento di Domini Spaziali: Clustering delle distribuzioni topic ( $\theta$ ) per identificare regioni tissutali.
Arricchimento di Set Genici (GSEA): Interpretazione biologica dei topic tramite i punteggi di associazione topic-gene ( $\beta_{gene}$ ).
Visualizzazione Morfologica: Mappatura delle parole immagine top associate a ciascun topic sull'intero vetrino istologico per visualizzare i pattern strutturali.
Perturbazione In Silico: Simulazione di knockout genico. I geni top associati a un topic vengono azzerati e il modello ricostruisce le probabilità delle parole immagine per valutare come la perdita di espressione genica alteri i segnali morfologici previsti.

3. Risultati Chiave

Il metodo è stato validato su dataset di cancro al seno (10x Visium) e cancro al colon-retto (CRC):

Rappresentazione delle Immagini: La rappresentazione "ViT-VQ" (parole immagine) mantiene informazioni discriminative simili agli embedding originali UNI ma offre una separazione più chiara tra classi istologiche rispetto agli embedding grezzi.
Miglioramento nel Rilevamento di Domini Spaziali:
- Su dati di cancro al seno, InSTaPath ha raggiunto un ARI (Adjusted Rand Index) di 0.82, superando significativamente i metodi basati solo su geni (0.60) o solo su immagini (0.47).
- Ha superato anche metodi basati su GNN (STAMP) e modelli fondazionali (OmiCLIP).
- InSTaPath è riuscito a distinguere compartimenti morfologicamente definiti (es. stroma vs. immune) che i metodi basati solo su geni fallivano nel separare, pur mantenendo la capacità di distinguere sottotipi trascrizionali.
Interpretabilità Biologica:
- I topic inferiti mostrano una forte coerenza biologica. Ad esempio, il topic associato al tumore invasivo è arricchito per pathway di fosforilazione ossidativa, mentre i topic immunitari mostrano differenziazione dei linfociti T.
- Le mappe delle parole immagine top rivelano strutture tissutali specifiche (es. fibre muscolari lisce, lumina ghiandolari) che corrispondono alle annotazioni istologiche.
Perturbazione In Silico:
- L'azzeramento dei geni top associati al topic "tumore" ha portato a una drastica diminuzione della probabilità predetta di tessuto tumorale nel modello, confermando il legame causale tra programma genico e fenotipo morfologico.
- La perturbazione ha permesso di visualizzare come i cambiamenti nell'espressione genica alterino i segnali morfologici su aree dell'immagine non coperte dallo spot ST.

4. Contributi Principali

Framework Multimodale Interpretabile: InSTaPath è il primo framework che applica la modellazione a topic classica (basata su conteggi) alla transcriptomica spaziale integrando immagini istologiche, rendendo i risultati interpretabili sia a livello di geni che di morfologia.
Discretizzazione delle Immagini: Introduce un metodo innovativo per convertire embedding continui di immagini fondazionali in "parole immagine" discrete tramite quantizzazione vettoriale, permettendo l'uso di modelli probabilistici generativi.
Superamento dei Limiti di Risoluzione: Sfruttando le immagini a intero vetrino, il modello può visualizzare pattern morfologici associati ai topic oltre l'area limitata degli spot di cattura ST.
Analisi Causale: Fornisce un approccio per valutare l'impatto fenotipico delle perturbazioni genetiche direttamente sui segnali morfologici.

5. Significato e Impatto

InSTaPath rappresenta un passo avanti significativo nell'analisi dei dati multimodali in patologia computazionale. Risolvendo il problema dell'interpretabilità dei modelli deep learning multimodali, permette ai ricercatori di:

Scoprire programmi tissutali spaziali coerenti che legano direttamente la biologia molecolare alla struttura del tessuto.
Identificare marcatori genici candidati per specifici fenotipi morfologici.
Comprendere meglio l'organizzazione del microambiente tumorale e le interazioni tra cellule e architettura tissutale.
Questo approccio apre la strada a diagnosi più precise e a una migliore comprensione dei meccanismi patologici attraverso l'integrazione sinergica di dati genomici e di imaging.