Multimodal spatial alignment and morphology mapping with MOSAICField

Das Paper stellt MOSAICField vor, ein einheitliches Deep-Learning-Framework zur präzisen physischen und morphologischen Ausrichtung multimodaler Gewebeschnitte, das die Rekonstruktion genauer 3D-Tumor-Modelle und die integrierte Analyse komplexer Gewebestrukturen ermöglicht.

Das Wesentliche

Stellen Sie sich vor, Sie versuchen, ein riesiges, dreidimensionales Puzzle aus einem komplexen Organ wie der Prostata zu lösen. Das Problem ist: Sie haben nicht nur ein einziges Puzzle, sondern viele verschiedene Arten von Puzzleteilen, die alle etwas anderes zeigen.

Einige Teile zeigen nur die Form (wie ein Foto), andere zeigen Gene (die Baupläne der Zellen), und wieder andere zeigen Proteine (die Arbeiter in der Zelle). Außerdem sind diese Puzzleteile nicht perfekt geschnitten; sie wurden beim Schneiden des Gewebes etwas gedreht, gestreckt oder verzerrt.

Bisher war es für Computer fast unmöglich, diese verschiedenen Puzzleteile so zusammenzufügen, dass sie ein perfektes, dreidimensionales Bild ergeben. Das ist genau das Problem, das die Forscher mit ihrer neuen Methode namens MOSAICField lösen.

Hier ist eine einfache Erklärung, wie sie das gemacht haben, mit ein paar kreativen Vergleichen:

1. Das Problem: Ein chaotischer Stapel verschiedener Fotos

Stellen Sie sich vor, Sie haben einen Stapel von 16 Fotos, die durch einen Gewebestapel geschossen wurden.

• Foto 1 zeigt nur die Struktur (wie ein Schwarz-Weiß-Foto).
• Foto 2 zeigt Gene (wie eine Liste aller Einwohner).
• Foto 3 zeigt Proteine (wie eine Liste aller Berufe).

Das Schlimmste ist: Die Fotos sind nicht gerade gestapelt. Eines ist schief, eines ist gedreht, und eines ist etwas größer als das andere. Wenn Sie versuchen, sie einfach übereinanderzulegen, passen die Konturen nicht. Und da die Fotos verschiedene "Sprachen" sprechen (Gene vs. Struktur), verstehen normale Computerprogramme nicht, dass ein roter Fleck auf Foto A dasselbe ist wie ein roter Fleck auf Foto B.

2. Die Lösung: MOSAICField – Der super-intelligente Architekt

MOSAICField ist wie ein genialer Architekt, der zwei verschiedene Aufgaben gleichzeitig erledigt, um das Puzzle zu lösen:

Aufgabe A: Der "Physische" Zusammenbau (Das 3D-Gerüst)

Zuerst muss der Architekt das ganze Gebäude wieder aufbauen. Er nimmt die schiefen Fotos und richtet sie so aus, als wären sie Teile eines einzigen, riesigen Gebäudes.

• Die Analogie: Stellen Sie sich vor, Sie haben einen Stapel loser Blätter Papier, die alle ein Stück eines Hauses zeigen. Der Architekt richtet sie so aus, dass die Wände wieder gerade sind und das Dach oben sitzt. Er korrigiert das Drehen und Stauchen.
• Das Ergebnis: Ein perfektes, dreidimensionales Modell des Gewebes, bei dem alle Schichten genau übereinander liegen.

Aufgabe B: Die "Morphologische" Verfolgung (Die Wanderer)

Jetzt kommt der spannende Teil. In einem Organ gibt es Strukturen, die sich nicht gerade durch das Gewebe ziehen, sondern sich winden, wie ein Fluss oder ein Schlauchsystem (in der Prostata sind das die Gänge).

• Das Problem: Wenn Sie das Gewebe schneiden, wird ein solcher "Schlauch" an verschiedenen Stellen durchschnitten. Auf Foto A ist er links, auf Foto B ist er rechts. Ein normaler Architekt würde denken: "Das sind zwei verschiedene Dinge."
• Die MOSAICField-Lösung: Der Architekt hat eine spezielle Brille auf. Er ignoriert die gerade Linie und folgt dem "Schlauch". Er sagt: "Aha, dieser Schlauch windet sich durch das Haus! Ich verfolge ihn, auch wenn er auf dem nächsten Foto an einer ganz anderen Stelle aussieht."
• Die Analogie: Stellen Sie sich vor, Sie verfolgen einen roten Faden, der sich durch einen Stapel Bücher windet. Ein normaler Stapel würde den Faden abreißen. MOSAICField sieht den Faden, auch wenn er sich durch die Bücher schlängelt, und zieht ihn virtuell durch den ganzen Stapel hindurch, um zu sehen, wo er langgeht.

3. Wie funktioniert das technisch? (Ohne Fachchinesisch)

Die Forscher nutzen zwei Tricks:

1. Der "Globale Transport" (Das grobe Ausrichten): Zuerst schauen sie sich die groben Formen an. Sie nutzen eine mathematische Methode, die wie ein "Tauschmarkt" funktioniert. Sie fragen: "Welches Stück auf Foto A passt am besten zu welchem Stück auf Foto B, wenn wir sie drehen und verschieben?" Das bringt die Bilder grob in die richtige Position.
2. Der "Neuronale Dehnungs-Feld" (Das feine Justieren): Jetzt kommen die Details. Die Bilder sind immer noch nicht perfekt. Hier nutzt die KI ein "neutrales Netz" (eine Art digitales Gehirn), das lernt, wie man das Bild wie einen Gummiboden dehnt und staucht, bis die feinen Details (wie die Wände der Gänge) perfekt übereinstimmen.
   • Das Besondere: Dieses Gehirn lernt, Bilder zu vergleichen, die völlig unterschiedlich aussehen (z. B. ein Gen-Scan vs. ein Foto). Es sucht nicht nach gleichen Farben, sondern nach ähnlichen Mustern und Strukturen.

4. Warum ist das so wichtig?

Bisher konnten Wissenschaftler nur flache 2D-Bilder von Gewebe betrachten. Mit MOSAICField können sie nun:

• Echte 3D-Modelle von Tumoren erstellen: Sie sehen nicht nur, wo der Krebs ist, sondern wie er sich durch die Gänge und Blutgefäße ausbreitet.
• Krankheiten besser verstehen: Sie können sehen, wie Gene und Proteine in einem bestimmten Bereich des Tumors zusammenarbeiten, während sie sich durch das 3D-Gewebe bewegen.
• Neue Medikamente testen: Indem man das 3D-Modell hat, kann man besser vorhersagen, wie ein Medikament durch das Gewebe wandert.

Zusammenfassung

MOSAICField ist wie ein magischer Kleber und ein Detektiv in einem. Er nimmt einen chaotischen Stapel verschiedener, verzerrter Fotos von einem Organ, richtet sie zu einem perfekten 3D-Modell aus und verfolgt dann die komplexen Wege von Blutgefäßen und Gängen durch dieses Modell hindurch – selbst wenn die Fotos völlig unterschiedliche Informationen enthalten.

Das ermöglicht es uns, die "Stadt" unseres Körpers nicht mehr nur als flachen Stadtplan zu sehen, sondern als lebendiges, dreidimensionales Gebilde mit allen seinen Straßen, Flüssen und Gebäuden.

Technische Zusammenfassung

Titel: Multimodale räumliche Ausrichtung und Morphologie-Mapping mit MOSAICField

Autoren: Xinhao Liu, Hongyu Zheng, Peter Halmos, Julian Gold, Erik Storrs, Li Ding, Benjamin J. Raphael.

---

1. Problemstellung

Moderne Technologien zur räumlichen Profilierung (z. B. räumliche Transkriptomik, Proteomik, Epigenomik und histologische Färbungen wie H&E) ermöglichen die Messung tausender molekularer Merkmale an tausenden bis millionen Orten in Gewebeschnitten. Ein zentrales Ziel der Biologie ist es, aus diesen 2D-Schnitten ein kohärentes 3D-Modell des Gewebes zu rekonstruieren und dabei die räumliche Heterogenität verschiedener Modalitäten zu integrieren.

Es bestehen jedoch erhebliche Herausforderungen:

• Fehlende gemeinsame Merkmale: Viele Methoden zur Integration von Multi-Omics-Daten setzen voraus, dass dieselben Gene oder Proteine in allen Modalitäten gemessen werden. In der Praxis werden jedoch oft völlig unterschiedliche Modalitäten (z. B. RNA-Expression vs. H&E-Bilder) auf verschiedenen Schnitten desselben Gewebes verwendet, die keine gemeinsamen Features aufweisen.
• Unterscheidung der Ausrichtungsziele: Bestehende Methoden unterscheiden selten zwischen zwei grundlegend verschiedenen Zielen:
  1. Physische Ausrichtung (Physical Alignment): Die Rekonstruktion der ursprünglichen 3D-Struktur des Gewebes durch Registrierung der Schnitte in ein gemeinsames Koordinatensystem (Korrektur von Rotation, Skalierung und globalen Verzerrungen).
  2. Morphologische Ausrichtung (Morphological Alignment): Das Verfolgen spezifischer anatomischer Strukturen (z. B. Drüsengänge, Blutgefäße, Tumorgrenzen), die das Gewebe in beliebigen Winkeln durchqueren und nicht senkrecht zur Schnittfläche verlaufen. Diese Strukturen erfordern eine lokale, nichtlineare Anpassung, die über die reine physische Registrierung hinausgeht.
• Limitationen bestehender Tools: Methoden wie STalign, PASTE, SANTO oder CAST sind oft auf einzelne Modalitäten beschränkt oder benötigen gemeinsame Features (z. B. gemeinsame Gene), was sie für die Integration heterogener Daten (z. B. Transkriptomik + Histologie) ungeeignet macht.

---

2. Methodik: MOSAICField

MOSAICField (MultimOdal Spatial Alignment and Integration with Coordinate neural Field) ist ein einheitliches Framework, das zwei Arten der räumlichen Ausrichtung ohne gemeinsame Merkmale ermöglicht. Der Ansatz besteht aus zwei Hauptschritten:

Schritt 1: Affine Ausrichtung (Globale Invarianz)

Zunächst wird eine affine Transformation $T$ zwischen zwei benachbarten Schnitten (auch bei unterschiedlichen Modalitäten) berechnet.

• Optimierungsziel: MOSAICField minimiert eine Zielfunktion, die auf einer Erweiterung des Fused Gromov-Wasserstein Optimal Transport (OT) basiert.
• Besonderheit: Im Gegensatz zu früheren OT-Methoden, die Features direkt vergleichen, nutzt MOSAICField einen global invarianten Ansatz.
  • Der Wasserstein-Term misst die räumliche Distanz unter Berücksichtigung der affinen Transformation $T$.
  • Der Gromov-Wasserstein-Term vergleicht die strukturellen Beziehungen der Features innerhalb jedes Schnitts (z. B. Ähnlichkeiten zwischen Genen oder Pixeln), ohne dass direkte Feature-Übereinstimmungen zwischen den Modalitäten bestehen müssen.
• Dies ermöglicht die Ausrichtung von Schnitten, die völlig unterschiedliche Messungen (z. B. RNA vs. Proteinintensität) liefern.

Schritt 2: Nichtlineare Ausrichtung via Neuronales Feld

Nach der affinen Ausrichtung werden nichtlineare Deformationen modelliert, um lokale Verzerrungen und komplexe Morphologien zu erfassen.

• Neuronale Implizite Darstellungen: Anstatt ein Gitter zu verzerren, lernt MOSAICField ein neuronales Deformationsfeld $\phi$ (basierend auf einem Multi-Layer Perceptron, MLP), das für jede Koordinate einen Verschiebungsvektor ausgibt.
• Zwei Skalierungsstufen:
  1. Physische Ausrichtung ($\phi_P$): Wird auf einer globalen, niedrig aufgelösten Skala berechnet. Sie korrigiert globale Verzerrungen (Stauchung, Risse, nicht-parallele Schnitte), um ein kohärentes 3D-Gewebemodell zu erstellen.
  2. Morphologische Ausrichtung ($\phi_M$): Wird auf einer lokalen, hochauflösenden Skala innerhalb der physisch ausgerichteten Schnitte berechnet. Sie erfasst feine, nichtlineare Verformungen, um spezifische Strukturen (wie Drüsengänge) über die Schnitte hinweg exakt zu verfolgen.
• Verlustfunktion (Similarity Loss): Da die Modalitäten unterschiedlich sind, wird eine generalisierte Modality Independent Neighborhood Descriptor (MIND)-Verlustfunktion verwendet.
  • MIND beschreibt die lokale Umgebung eines Pixels/Features basierend auf den Intensitätsunterschieden zu seinen Nachbarn.
  • Dies erlaubt den Vergleich von Strukturen (z. B. Zellkanten in H&E vs. Genexpression), ohne dass die Rohdaten direkt vergleichbar sein müssen.
  • Zusätzlich wird ein MSE-Loss auf normalisierte Grauwerte angewendet, um die Stabilität zu erhöhen.

---

3. Key Contributions (Hauptbeiträge)

1. Erste Methode für multimodale Ausrichtung ohne gemeinsame Features: MOSAICField kann Schnitte aus völlig unterschiedlichen Technologien (z. B. Xenium-Transkriptomik, CODEX-Proteomik, H&E-Histologie) integrieren, ohne dass gemeinsame Gene oder Proteine vorhanden sein müssen.
2. Trennung von physischer und morphologischer Ausrichtung: Das Framework unterscheidet explizit zwischen der Rekonstruktion der globalen 3D-Geometrie und dem Verfolgen lokaler anatomischer Strukturen, die schräg durch das Gewebe verlaufen.
3. Neuronale Deformationsfelder mit multimodalem Loss: Die Kombination aus global invariantem Optimal Transport und neuronalen Feldern mit MIND-basiertem Loss ermöglicht eine robuste, nichtlineare Registrierung über Modalitätsgrenzen hinweg.
4. Open Source: Der Code ist öffentlich verfügbar, was die Reproduzierbarkeit und Weiterentwicklung fördert.

---

4. Ergebnisse

Simulationen

• Physische Ausrichtung: Auf simulierten Daten (E10.5 Maus-Embryo mit künstlichen globalen Verzerrungen und getrennten Feature-Sets) übertraf MOSAICField alle Vergleichsmethoden (STalign, PASTE, SANTO, CAST) signifikant. Es erzielte den niedrigsten Registrierungsfehler und den höchsten Label-Transfer Adjusted Rand Index (LTARI). Andere Methoden scheiterten oft, da sie gemeinsame Features benötigten oder zu starr waren.
• Morphologische Ausrichtung: In einem Szenario mit einem hohlen Lumen, das schräg durch die Schnitte verläuft, konnte MOSAICField die Struktur korrekt verfolgen (hohe Jaccard-Ähnlichkeit), während andere Methoden die Struktur verloren oder nur teilweise abbildeten.

Reale Daten: Prostata-Krebs-Probe (HTAN)

MOSAICField wurde auf 16 aufeinanderfolgende Schnitte eines menschlichen Prostata-Tumors angewendet, gemessen mit drei Plattformen:

• Daten: 10x Genomics Xenium (475 Gene), H&E (Histologie), CODEX (25 Proteine).
• Physische Ausrichtung: MOSAICField rekonstruierte ein kohärentes 3D-Modell des Gewebes. Die Jaccard-Ähnlichkeit zwischen benachbarten Schnitten lag bei 0,98–1,00 (deutlich höher als bei STalign oder PASTE). Zudem stieg die Korrelation zwischen Protein- und Genexpression an den korrespondierenden Orten um das Zehnfache im Vergleich zu nicht ausgerichteten Daten.
• Morphologische Ausrichtung: Das System verfolgte erfolgreich das komplexe Netzwerk der Prostata-Drüsengänge durch das 3D-Gewebe.
  • Im Vergleich zur rein physischen Ausrichtung zeigte die morphologische Ausrichtung eine deutlich bessere Übereinstimmung mit manuellen Annotationen (Durchschnittliche Jaccard-Ähnlichkeit um 35–100 % höher als bei der besten Vergleichsmethode).
  • Sie erkannte lokale Verformungen (z. B. Verengungen oder Erweiterungen von Drüsen), die bei rein affinen oder globalen Methoden verloren gingen.
• Funktionale Beziehungen: Durch die präzise Ausrichtung konnten funktionelle Zusammenhänge zwischen Genen und Proteinen (z. B. CD44) innerhalb der Drüsenstrukturen validiert werden, selbst wenn die Features in den verschiedenen Modalitäten unterschiedlich stark exprimiert waren.

---

5. Bedeutung und Ausblick

MOSAICField stellt einen Paradigmenwechsel in der räumlichen Biologie dar, da es die Integration von Daten aus verschiedenen experimentellen Plattformen ermöglicht, die bisher als unvereinbar galten.

• 3D-Tumor-Atlas: Es ermöglicht die Konstruktion genauer multimodaler 3D-Modelle von Tumoren, was für das Verständnis der Tumor-Mikroumgebung, der Invasion und der Angiogenese entscheidend ist.
• Morphologie-Tracking: Die Fähigkeit, anatomische Strukturen über Modalitäten hinweg zu verfolgen, eröffnet neue Wege zur Untersuchung von Krankheitsmechanismen (z. B. wie sich Krebszellen entlang von Drüsengängen ausbreiten).
• Zukünftige Anwendungen: Das Framework könnte auf zeitliche Daten (Spatiotemporal) erweitert werden, um dynamische Prozesse wie Wundheilung oder Immunantworten zu studieren, und dient als Grundlage für nachgelagerte Analysen wie Zell-zu-Zell-Kommunikation oder die Generierung von Multi-Modal-Features.

Zusammenfassend bietet MOSAICField ein robustes, mathematisch fundiertes Werkzeug, um die Komplexität des Gewebes in 3D und über verschiedene molekulare Ebenen hinweg vollständig zu entschlüsseln.