InSTaPath: Integrating Spatial Transcriptomics and histoPathology Images via Multimodal Topic Learning

InSTaPath is een multimodaal topic-modellering framework dat ruimtelijke transcriptomics en histopathologie afbeeldingen integreert door beeldeigenschappen om te zetten in 'beeldwoorden', waardoor interpreteerbare, gedeelde latente thema's worden afgeleid die biologisch betekenisvolle relaties tussen genprogramma's en weefselmorfologie onthullen.

De kern

InSTaPath: De Vertaler tussen Genen en Weefsel

Stel je voor dat je een heel groot, ingewikkeld boek wilt lezen. Dit boek is een stukje menselijk weefsel (bijvoorbeeld uit een tumor). Maar dit boek is in twee talen geschreven die niet goed met elkaar communiceren:

1. De Gen-taal: Dit is de lijst met instructies (genen) die vertellen wat de cellen moeten doen. Het is als een lijst met ingrediënten in een recept.
2. De Foto-taal: Dit is de histologie, de foto van het weefsel die je onder de microscoop ziet. Het laat zien hoe de cellen eruitzien, hoe ze zijn opgebouwd en hoe ze tegen elkaar aan liggen.

Het probleem: Tot nu toe keken wetenschappers vaak alleen naar de "Gen-taal" (de recepten) en gebruikten ze de "Foto-taal" alleen om te kijken of ze het recept goed hadden begrepen. Ze probeerden niet echt te begrijpen hoe de ingrediënten samen de vorm van het gerecht bepalen. Bestaande computersystemen waren ook vaak te ingewikkeld om te begrijpen waarom ze tot een bepaalde conclusie kwamen.

De oplossing: InSTaPath
De onderzoekers hebben een nieuwe slimme tool bedacht genaamd InSTaPath. Je kunt dit zien als een talenverteller die beide talen tegelijk leest en samenvoegt.

Hier is hoe het werkt, stap voor stap, met een paar analogieën:

Stap 1: Het maken van "Woorden" uit een Foto

Computers zien een foto als een wirwar van miljoenen pixels (kleine puntjes). Dat is te rommelig om te vergelijken met een lijst met genen.

• De Analogie: Stel je voor dat je een foto van een stad hebt. In plaats van naar elke steen te kijken, laat InSTaPath de foto zien als een verzameling van bouwstenen of woorden.
• Hoe? De computer kijkt naar de foto en gebruikt een slimme "oefening" (een AI-model) om kleine stukjes van de foto te herkennen als specifieke patronen. Een stukje met veel lange lijnen wordt een woord voor "spiervezel". Een stukje met ronde kringen wordt een woord voor "klier".
• Het resultaat: De hele foto wordt nu omgezet in een lijstje met "beeld-woorden" (bijvoorbeeld: 50 keer 'spier', 10 keer 'klier', 20 keer 'tumor'). Dit lijkt nu precies op een lijst met genen!

Stap 2: De Grote Mix (Topic Modeling)

Nu hebben we twee lijsten: een lijst met genen en een lijst met beeld-woorden.

• De Analogie: Stel je voor dat je een grote zak met M&M's hebt. Je hebt rode M&M's (genen) en blauwe M&M's (beeld-woorden). InSTaPath sorteert deze M&M's niet op kleur, maar op smaakcombinaties.
• Het systeem zegt: "Ah, als er veel rode M&M's (genen voor immuniteit) zijn, dan zijn er bijna altijd ook blauwe M&M's (beeld-woorden voor een bepaalde celstructuur) bij."
• Het groepeert deze combinaties in thema's (in het paper 'topics' genoemd).
  • Thema 1: "Dit is een immuun-gebied." (Veel immuun-genen + veel beeld-woorden die lijken op immuuncellen).
  • Thema 2: "Dit is een tumor-gebied." (Veel kankergenen + beeld-woorden die lijken op dichte, chaotische cellen).

Stap 3: Wat levert dit op?

Dit systeem doet drie geweldige dingen:

1. Beter Kaarttekenen: Het kan veel nauwkeuriger aangeven waar de verschillende delen van het weefsel zitten (bijv. waar de tumor eindigt en het gezonde weefsel begint) dan systemen die alleen naar genen of alleen naar foto's kijken. Het is als een GPS die zowel de wegenkaart als het landschap gebruikt om je route te vinden.
2. Betere Uitleg: Omdat het werkt met "thema's", kunnen wetenschappers precies zien welke genen en welke foto-patronen bij elkaar horen. Het is niet meer een zwarte doos; je kunt zeggen: "Thema 3 gaat over spieren, en hier zijn de genen die dat spierweefsel aansturen."
3. De "Wat als?" Test (Simulatie): Dit is misschien wel het coolste deel. InSTaPath kan een simulatie doen.
   • De Analogie: Stel je voor dat je in het recept de suiker weghaalt. Wat gebeurt er met de taart?
   • In het computermodel "verwijderen" ze de belangrijkste genen voor een bepaald thema (bijv. kankergenen). De computer rekent dan uit: "Als deze genen weg zijn, hoe zou de foto er dan uitzien?"
   • Het systeem toont dan een nieuwe foto van het weefsel. Als de kankergenen weg zijn, ziet de "foto" er plotseling weer gezond uit. Dit helpt onderzoekers te begrijpen welke genen de vorm van de tumor eigenlijk aansturen.

Samenvatting

InSTaPath is een slimme vertaler die de taal van de genen (de instructies) en de taal van de foto's (de vorm) samenvoegt. Door beide talen te vertalen naar een gemeenschappelijke "woordenlijst", kan de computer patronen zien die eerder onzichtbaar waren. Het helpt artsen en onderzoekers niet alleen om ziektes beter te vinden, maar ook om te begrijpen waarom ze er zo uitzien en wat er gebeurt als je bepaalde genen verandert.

Het is alsof we eindelijk een boek hebben dat zowel de tekst als de illustraties leest om het volledige verhaal te vertellen.

Technische samenvatting

Probleemstelling

Ruimtelijke transcriptomics (ST) technologieën maken het mogelijk om genexpressie te meten binnen weefselsecties terwijl de ruimtelijke context behouden blijft. Veel ST-platforms (zoals 10x Visium) genereren gepaarde data bestaande uit een histologische H&E-kleuring (Hematoxyline en Eosine) en ruimtelijk opgeloste genexpressieprofielen.

Hoewel deze data een unieke kans bieden om transcriptieprogramma's te koppelen aan weefselmorfologie, hebben bestaande computationele benaderingen beperkingen:

1. Gebruik van histologie: In veel pipelines worden histologie-afbeeldingen voornamelijk gebruikt voor visualisatie of handmatige annotatie, terwijl downstream analyses voornamelijk op genexpressie zijn gebaseerd. Hierdoor worden interacties tussen weefselarchitectuur en transcriptie gemist.
2. Interpreteerbaarheid: Bestaande deep-learning methoden (zoals SpaGCN of foundation model-benaderingen zoals OmiCLIP) integreren wel beelden en genen, maar genereren vaak latente embeddings die moeilijk te interpreteren zijn. Ze modelleren niet expliciet gedeelde "latente programma's" die zowel transcriptie als morfologie verbinden.
3. Data-structuur: Topic modeling (een interpretabel raamwerk) werkt goed op discrete teldata (zoals genexpressie), maar histologische beelden bestaan uit continue, hoogdimensionale pixelwaarden, wat de toepassing van topic modeling bemoeilijkt.

Methodologie: InSTaPath

InSTaPath (Integrating Spatial Transcriptomics and histoPathology images) is een multimodaal topic modeling-raamwerk dat genexpressie en histologische morfologie in één probabilistisch model combineert. Het proces verloopt in drie fasen:

Fase 1: Discretisatie van beeld-embeddings (Image Embedding Discretization)
Om histologische beelden geschikt te maken voor topic modeling, worden continue beeld-embeddings omgezet in discrete "beeldwoorden" (image words) die analoog zijn aan gen-tellingen:

• Token-extractie: Whole-slide images (WSI) worden opgedeeld in tiles. Een vooraf getraind histologisch foundation model (UNI, gebaseerd op ViT-Giant) extraheert token-level embeddings.
• Codebook-construktie: De continue embeddings worden opgesplitst in sub-vector. Via mini-batch k-means clustering wordt een visueel codebook (een verzameling clustercentra) gegenereerd.
• Vector Quantization (VQ): Elke token-embedding wordt toegewezen aan het dichtstbijzijnde punt in het codebook. Hierdoor wordt elke token omgezet in een tellingsvector van "beeldwoorden". Dit creëert een discrete representatie van de morfologie die direct vergelijkbaar is met genexpressie-tellingen.

Fase 2: Multimodaal Topic Modeling
Elke ruimtelijke locatie (ST-spot) wordt behandeld als een "document" met twee modaliteiten: genexpressie en beeldwoorden.

• Encoder: Modality-specifieke VAE-encoders (volledig verbonden neurale netwerken) mappingen de input naar een gedeelde latente ruimte.
• Product-of-Gaussians: De latente variabelen van beide modaliteiten worden geïntegreerd tot een unieke spot-level topic-verdeling ($\theta$).
• Decoder: Een gedeelde topic-embeddingsmatrix en modality-specifieke feature-matrices reconstrueren de oorspronkelijke modaliteiten. Dit resulteert in twee interpreteerbare verdelingen:
  • $\beta_{gene}$: De associatie tussen topics en genen.
  • $\beta_{img}$: De associatie tussen topics en beeldwoorden.

Fase 3: Integrale analyses
Het model levert interpreteerbare outputs voor downstream taken:

• Ruimtelijke domein detectie: Clustering van de topic-verdelingen ($\theta$) om weefselregio's te identificeren.
• Biologische interpretatie: Gen-set verrijking (GSEA) op basis van $\beta_{gene}$.
• Visualisatie: Het visualiseren van morfologische patronen via $\beta_{img}$ over de hele WSI, niet alleen binnen de ST-spot.
• In silico perturbatie: Het simuleren van gen-knockouts om te voorspellen hoe veranderingen in genexpressie de voorspelde histologische signalen beïnvloeden.

Belangrijkste Resultaten

Het paper presenteert resultaten op colorectale kanker (CRC) en borstkanker datasets:

1. Leren van visuele topics: Op de CRC-100k dataset (alleen beelden) toonde InSTaPath aan dat de discretisatie (ViT-VQ) leidt tot duidelijkere scheiding tussen weefselklassen dan ruwe embeddings. De geleerde topics corresponderen sterk met ground-truth histologische klassen (bijv. spiervezels, klierstructuren, tumorgebieden) en tonen een hoge topic-coherentie.
2. Verbeterde ruimtelijke domein detectie: Op 10x Visium borstkanker data presteerde InSTaPath (genen + beelden) aanzienlijk beter dan single-modality baselines (alleen genen of alleen beelden) en andere geavanceerde methoden (STAMP, OmiCLIP).
   • ARI (Adjusted Rand Index): InSTaPath behaalde 0.82, vergeleken met 0.60 voor alleen genen en 0.47 voor alleen beelden.
   • Het model slaagde erin om morfologisch gedefinieerde compartimenten (zoals stroma en immuunregio's) te onderscheiden die door gen-only methoden vaak werden gemist.
3. Koppeling transcriptoom aan fenotype: InSTaPath identificeerde topics die zowel biologisch betekenisvolle genprogramma's (bijv. oxidatieve fosforylering in tumorgebieden) als overeenkomstige morfologische patronen vertegenwoordigen.
4. In silico perturbatie: Door top-genen per topic uit te schakelen, toonde het model aan dat het verwijderen van genen geassocieerd met tumor-topics leidde tot een sterke daling in de voorspelde waarschijnlijkheid van tumorweefsel. De resulterende veranderingen in beeldwoorden konden worden gemapt op de hele WSI, waardoor morfologische veranderingen zichtbaar werden die verder reiken dan de oorspronkelijke ST-capture zones.

Bijdragen en Significantie

• Interpreteerbaarheid: InSTaPath biedt een uniek raamwerk waarbij latente topics direct interpreteerbaar zijn via zowel gen-associaties als beeldwoorden, wat de "black box" van veel multimodale deep-learning modellen doorbreekt.
• Discrete representatie van beelden: De innovatieve conversie van continue histologische embeddings naar discrete "beeldwoorden" via vector quantization maakt het mogelijk om beelddata op dezelfde manier te modelleren als genexpressie-tellingen.
• Ruimtelijke context buiten de spots: Omdat beeldwoorden worden afgeleid van token-level features van hele slides, kan het model morfologische patronen visualiseren en analyseren buiten de beperkte gebieden die door het ST-platform zijn opgevangen.
• Causale inzichten: De mogelijkheid om in silico genperturbaties uit te voeren en de impact op morfologische signalen te voorspellen, biedt nieuwe inzichten in de causale relatie tussen genexpressie en weefselstructuur.

Kortom, InSTaPath is een krachtige tool die de kloof overbrugt tussen moleculaire data en histologische morfologie, waardoor dieper inzicht wordt verkregen in de ruimtelijke organisatie van weefsels en ziekteprocessen zoals kanker.