InSTaPath: Integrating Spatial Transcriptomics and histoPathology Images via Multimodal Topic Learning

Das Paper stellt InSTaPath vor, ein multimodales Topic-Learning-Framework, das räumliche Transkriptomik und histopathologische Bilder integriert, indem es Bildmerkmale in diskrete „Wörter" umwandelt, um gemeinsam interpretierbare latente Themen zu identifizieren, die Genexpressionsprogramme mit Gewebemorphologie verknüpfen.

Das Wesentliche

InSTaPath: Der Übersetzer zwischen Genen und Bildern

Stell dir vor, du hast ein riesiges, lebendiges Stadtviertel vor dir – das ist dein Körpergewebe (z. B. ein Tumor). Um dieses Viertel zu verstehen, haben Wissenschaftler bisher zwei völlig getrennte Werkzeuge benutzt:

1. Das Gen-Verzeichnis: Eine Liste, die sagt, welche „Bauarbeiter" (Gene) an welchem Ort aktiv sind. Das ist sehr detailliert, aber man sieht nicht, wie das Viertel eigentlich aussieht.
2. Die Luftaufnahme: Ein Foto des Viertels (das Gewebebild), das zeigt, ob dort Häuser (Zellen) dicht gedrängt stehen oder ob es Parks gibt. Das sieht man gut, aber man weiß nicht, welche Bauarbeiter gerade arbeiten.

Das Problem: Bisher haben Computer diese beiden Welten kaum miteinander verbunden. Sie haben die Bilder oft nur als „Hinterbild" benutzt, ohne sie wirklich zu verstehen.

InSTaPath ist wie ein genialer Übersetzer, der diese beiden Welten zusammenbringt. Hier ist, wie es funktioniert, Schritt für Schritt:

1. Das „Wörterbuch" für Bilder (Die Magie der Umwandlung)

Stell dir vor, du willst ein ganzes Gemälde (das Gewebebild) in eine Sprache übersetzen, die ein Computer versteht, der nur mit Zahlen und Listen arbeitet.

• Das alte Problem: Bilder bestehen aus Millionen von Pixeln (Farbklecksen). Das ist wie ein riesiger, unstrukturierter Wortsalat.
• Die InSTaPath-Lösung: Das System schaut sich das Bild an und zerlegt es in kleine Schnipsel. Es nimmt diese Schnipsel und ordnet sie einem Wörterbuch zu.
  • Analogie: Stell dir vor, du hast ein Wörterbuch mit 512 verschiedenen „Bild-Wörtern". Ein „Bild-Wort" könnte „dichte Zellhaufen" heißen, ein anderes „lange Muskelstränge" oder „leere Räume".
  • Das System wandelt das ganze Bild in eine Liste von Wörtern um. Statt zu sagen „Pixel 1 ist rot, Pixel 2 ist blau", sagt es: „Hier gibt es 50-mal das Wort 'dichte Zellhaufen' und 10-mal das Wort 'Muskel'."
  • Der Clou: Jetzt sieht das Bild für den Computer genauso aus wie die Gen-Liste! Beide sind jetzt nur noch Listen von Wörtern und deren Häufigkeit.

2. Das große Misch-Party-Modell (Das Thema finden)

Jetzt hat der Computer zwei Listen für jeden kleinen Bereich des Gewebes:

• Liste A: Welche Gene sind hier aktiv? (z. B. „Krebs-Gene", „Immun-Gene")
• Liste B: Welche Bild-Wörter sind hier zu sehen? (z. B. „dichte Zellhaufen", „Muskel")

InSTaPath spielt nun ein Spiel: Es sucht nach Mustern.

• Analogie: Stell dir vor, du bist auf einer Party und beobachtest Gäste. Du merkst: „Aha! Wenn Leute Gene X und Y haben, dann tragen sie auch immer Bild-Wort A und B."
• Das System gruppiert diese Muster zu Themen. Ein Thema ist wie ein „Rezept" für einen bestimmten Gewebetyp.
  • Thema 1 (Tumor): Enthält Gene, die Krebs fördern, UND Bild-Wörter, die dichte, chaotische Zellhaufen beschreiben.
  • Thema 2 (Immunsystem): Enthält Gene, die Abwehrkräfte sind, UND Bild-Wörter, die kleine, runde Zellen beschreiben.

Das Tolle daran: Jedes Thema ist erklärbar. Man kann sagen: „Dieses Thema ist wichtig für den Tumor, weil es diese spezifischen Gene und dieses spezifische Aussehen kombiniert."

3. Was bringt uns das? (Die Anwendungen)

A. Bessere Landkarten (Raum-Zuordnung)
Wenn man versucht, die verschiedenen Bereiche eines Tumors zu kartieren, war das bisher oft ungenau. InSTaPath nutzt sowohl die Gen-Liste als auch das Bild, um die Karte viel genauer zu zeichnen. Es erkennt Bereiche, die nur durch das Aussehen (z. B. Bindegewebe) oder nur durch die Gene (z. B. spezifische Krebs-Subtypen) unterscheidbar sind, und verbindet sie perfekt.

B. Die „Was-wäre-wenn"-Maschine (Simulation)
Das ist der coolste Teil. Da InSTaPath verstanden hat, welche Gene zu welchem Bild führen, kann es simulieren, was passiert, wenn man Gene ausschaltet.

• Analogie: Stell dir vor, du hast ein Rezept für einen Kuchen (das Gewebe). Du weißt, dass Mehl und Eier (Gene) für die Struktur (das Bild) verantwortlich sind.
• InSTaPath fragt: „Was passiert mit dem Kuchen, wenn wir das Mehl weglassen?"
• Das System berechnet: „Wenn wir diese Krebs-Gene ausschalten, verschwindet das Bild-Wort 'dichte Zellhaufen' und das Gewebe sieht plötzlich wieder gesund aus."
• Das hilft Forschern zu verstehen, welche Gene wirklich für das Aussehen eines Tumors verantwortlich sind, ohne dass man im Labor tausende Experimente machen muss.

Zusammenfassung

InSTaPath ist wie ein Dolmetscher, der die Sprache der Gene (die molekulare Welt) und die Sprache der Bilder (die sichtbare Welt) in eine gemeinsame Sprache übersetzt. Es findet die „Themen", die beide Welten verbinden, und erlaubt uns, nicht nur zu sehen, wie ein Tumor aussieht, sondern auch zu verstehen, warum er so aussieht und was passiert, wenn wir ihn verändern.

Es macht die komplexe Welt der Krebsforschung damit greifbarer und verständlicher – wie das Entschlüsseln eines Geheimcodes, der aus Zahlen und Bildern besteht.

Technische Zusammenfassung

1. Problemstellung

Räumliche Transkriptomik (Spatial Transcriptomics, ST) ermöglicht die Messung der Genexpression unter Beibehaltung des räumlichen Kontexts von Gewebeschnitten. Viele Plattformen (z. B. 10x Visium) generieren gepaarte multimodale Daten: histologische H&E-Färbungsbilder und räumlich aufgelöste Genexpressionsprofile.

Herausforderungen bestehender Ansätze:

• Mangelnde Integration: In vielen aktuellen Pipelines werden histologische Bilder nur zur Visualisierung oder manuellen Annotation genutzt, während die rechnerische Analyse primär auf Genexpression basiert. Die Interaktion zwischen Gewebearchitektur und Transkriptionsprogrammen wird nicht erfasst.
• Interpretierbarkeit: Deep-Learning-Ansätze (z. B. Graph- oder Faltungsnetze, CLIP-ähnliche Methoden) integrieren zwar beide Modalitäten, erzeugen jedoch oft latente Embeddings, die schwer zu interpretieren sind.
• Datentyp-Konflikt: Topic-Modelle (Themenmodelle) sind ideal für interpretierbare ST-Analysen, da sie Daten als Mischungen latenter Programme darstellen können. Herkömmliche Topic-Modelle erfordern jedoch diskrete Zähl-Daten (wie Genexpression), während histologische Bilder hochdimensionale, kontinuierliche Pixelwerte darstellen.

2. Methodik: InSTaPath Framework

InSTaPath (Integrating Spatial Transcriptomics and histoPathology images) ist ein multimodales Topic-Modellierungs-Framework, das Genexpression und histologische Morphologie in einem einheitlichen probabilistischen Rahmen verbindet. Der Workflow gliedert sich in drei Stufen:

Stufe 1: Diskretisierung von Bild-Embeddings (Image Embedding Discretization)

Um histologische Bilder für Topic-Modelle nutzbar zu machen, werden kontinuierliche Embeddings in diskrete „Bildwörter" (Image Words) umgewandelt:

1. Token-Level-Extraktion: Ganzes Gewebeschnitte (Whole-Slide Images, WSIs) werden in Kacheln unterteilt. Ein vortrainierter Histologie-Grundmodell (UNI, basierend auf ViT-Giant) extrahiert Token-Level-Embeddings (Dimension 1536) für jede Kachel.
2. Codebook-Erstellung: Die kontinuierlichen Embeddings werden in Sub-Vektoren unterteilt. Mittels Mini-Batch-K-Means-Clustering wird ein visueller Codebook (eine Sammlung von Clusterzentren) erstellt.
3. Vektor-Quantisierung (Vector Quantization): Inspiriert von VQ-VAE wird jeder Sub-Vektor dem nächstgelegenen Eintrag im Codebook zugeordnet. Jeder Token wird somit in einen Zählvektor von Codebook-Einträgen (Bildwörtern) umgewandelt. Dies erzeugt eine diskrete, zählbasierte Repräsentation der Morphologie, die analog zur Genexpression ist.

Stufe 2: Multimodale Topic-Modellierung

Jeder räumliche Ort (ST-Spot) wird als „Dokument" mit zwei Modalitäten behandelt: Genexpression und Bildwörter.

• Architektur: Es werden modality-spezifische VAE-Encoder (zwei Schichten vollverbundener Netze) verwendet, um Eingaben in latente Themen-Repräsentationen zu mapen.
• Fusion: Ein „Product-of-Gaussians"-Mechanismus integriert die modalitätsspezifischen latenten Variablen zu einer einheitlichen Spot-Level-Themenverteilung ($\theta$).
• Rekonstruktion: Ein gemeinsamer Themen-Embedding-Matrix ($\alpha$) und modality-spezifische Feature-Embedding-Matrizen ($\rho$) rekonstruieren die ursprünglichen Merkmale. Die Themen-Feature-Verteilungen ($\beta$) zeigen die Wahrscheinlichkeit, mit der Gene oder Bildwörter zu einem bestimmten Thema gehören.

Stufe 3: Integrierte Analysen

Die gelernten Themen werden für folgende Anwendungen genutzt:

• Räumliche Domänenerkennung: Clustering der Spot-Themen-Verteilung ($\theta$) zur Identifizierung von Geweberegionen.
• Biologische Interpretation: Gen-Set-Enrichment-Analyse (GSEA) basierend auf den Themen-Gen-Scores ($\beta_{gene}$).
• Visualisierung: Darstellung der räumlichen Verteilung der top-Bildwörter ($\beta_{img}$) auf dem gesamten WSI, um morphologische Muster zu visualisieren.
• In-silico-Perturbation: Simulation von Gen-Knockouts. Gene werden auf Null gesetzt, und das Modell rekonstruiert die vorhergesagte Bildwörter-Verteilung, um den kausalen Einfluss von Genen auf morphologische Signale zu bewerten.

3. Wichtige Beiträge

• Neue Repräsentation: Erstmals werden histologische Bilder durch Vektor-Quantisierung in eine diskrete, zählbasierte Form („Image Words") überführt, die direkt mit Genexpressionsdaten in Topic-Modellen kombiniert werden können.
• Interpretierbarkeit: Im Gegensatz zu Black-Box-Deep-Learning-Modellen liefert InSTaPath explizite Zuordnungen zwischen Themen, Genen und morphologischen Mustern.
• Kontext-Erweiterung: Da die Bildwörter aus Token-Level-Features ganzer Gewebeschnitte stammen, kann das Framework morphologischen Kontext erfassen, der über die begrenzten ST-Spot-Patches hinausgeht.
• Kausale Analyse: Das Framework ermöglicht „in silico"-Experimente, um vorherzusagen, wie Änderungen in der Genexpression die Gewebemorphologie beeinflussen.

4. Ergebnisse

Die Methode wurde an mehreren Datensätzen validiert:

• Kolonkrebs-Daten (CRC-100k): InSTaPath zeigte, dass die diskretisierte Bildwort-Repräsentation (ViT-VQ) klarer getrennte Cluster für Gewebeklassen bildet als rohe UNI-Embeddings. Die gelernten Themen korrelierten stark mit histologischen Klassen (z. B. Muskelfasern vs. Drüsenlumina vs. Tumorgewebe).
• Brustkrebs-Daten (10x Visium):
  • Klusterleistung: InSTaPath (kombiniert) erreichte einen Adjusted Rand Index (ARI) von 0,82, deutlich höher als reine Genexpression (0,60) oder reine Histologie (0,47). Es übertraf auch State-of-the-Art-Methoden wie STAMP und OmiCLIP.
  • Komplementarität: Während Gen-Methoden transkriptionell unterschiedliche Regionen (z. B. DCIS vs. invasiver Tumor) trennen, scheiterten sie oft an morphologisch definierten Kompartimenten (Stroma vs. Immunzellen). InSTaPath kombinierte beide Signale erfolgreich.
  • Biologische Validität: Themen zeigten kohärente Gen-Signaturen (z. B. oxidativer Phosphorylierung für Tumor, Adipogenese für Fettgewebe) und korrelierten mit spezifischen morphologischen Mustern.
• In-silico-Perturbation: Beim gezielten Ausschalten (Knockout) der top-Gene eines Tumorthemas sank die vorhergesagte Wahrscheinlichkeit für Tumorgewebe drastisch. Die rekonstruierten Bildwörter zeigten spezifische morphologische Veränderungen, die mit den betroffenen Geweberegionen übereinstimmten.

5. Bedeutung und Ausblick

InSTaPath stellt einen Paradigmenwechsel dar, indem es die Lücke zwischen kontinuierlichen Bildmerkmalen und diskreten molekularen Daten schließt. Es bietet:

• Einheitliches Framework: Eine probabilistische Verbindung von Transkriptomik und Pathologie.
• Erweiterte Visualisierung: Die Möglichkeit, Themen-Muster über den gesamten Gewebeschnitt hinweg zu visualisieren, nicht nur innerhalb der ST-Spots.
• Mechanistische Einblicke: Durch Perturbationsanalysen können Kandidaten-Marker-Gene identifiziert werden, die für spezifische morphologische Merkmale verantwortlich sind.

Die Autoren planen, das Framework auf andere Bildmodalitäten als H&E zu erweitern und die Robustheit gegenüber Färbungs- und Auflösungsvariationen zu verbessern. Der Quellcode ist auf GitHub verfügbar.