Multimodal spatial alignment and morphology mapping with MOSAICField

Dit artikel introduceert MOSAICField, een unificerend raamwerk dat gebruikmaakt van een diep neuronaal netwerk om ruimtelijke weefseldata van verschillende modaliteiten nauwkeurig te aligneren en een coherent 3D-model te reconstrueren, waardoor de integratie van complexe tumoratlassen zoals die van prostaatkanker aanzienlijk wordt verbeterd.

De kern

Stel je voor dat je een enorme, complexe stad wilt reconstrueren, maar je hebt alleen duizenden losse foto's van verschillende straten. Het probleem? Elke foto is genomen met een andere camera (soms een drone, soms een microscoop, soms een gewone camera), en ze zijn allemaal een beetje scheef, gedraaid of uitgerekt. Bovendien laten sommige foto's alleen de gebouwen zien, terwijl andere alleen de bomen of de elektriciteitsdraden tonen.

Als je deze foto's nu zomaar op elkaar plakt, krijg je een rommelige, onherkenbare puinhoop. Dat is precies het probleem waar wetenschappers mee zitten als ze proberen om 3D-modellen van weefsels (zoals een tumor in een prostaat) te maken uit verschillende soorten meetgegevens.

Deze paper introduceert een nieuwe methode genaamd MOSAICField. Laten we uitleggen wat dit doet, alsof we een meester-puzzellegger zijn.

1. Het Probleem: De "Kaleidoscoop" van Weefsels

Wetenschappers gebruiken tegenwoordig supergeavanceerde technieken om naar cellen te kijken. Ze kunnen kijken naar:

• Genen (de blauwdruk van de cel).
• Eiwitten (de machines die de cel laat werken).
• H&E-afbeeldingen (gewone microscopische foto's van de weefselstructuur).

Het probleem is dat ze vaak niet op hetzelfde moment worden gemeten. Ze worden op verschillende plakjes van hetzelfde weefsel gedaan. Omdat het weefsel dun wordt gesneden, zijn deze plakjes niet perfect recht op elkaar. Ze zijn verschoven, gedraaid, en soms zelfs uitgerekt (alsof je op een deken trekt).

Bovendien zijn de "taal" van de genen en de "taal" van de eiwitten totaal verschillend. Het is alsof je probeert een tekst in het Nederlands te vertalen naar een tekst in het Chinees, maar je hebt geen woordenboek en de zinnen hebben geen overeenkomstige woorden.

2. De Oplossing: MOSAICField als de "Slimme Architect"

MOSAICField is een slim computerprogramma dat twee dingen doet, net als een meester-architect die een 3D-model bouwt:

Stap A: De Fysieke Alignering (Het "Grote Plaatje")

Stel je voor dat je een stapel losse bladzijden van een boek hebt die door een storm zijn verstoord. Ze liggen scheef, gedraaid en uitgerekt.

• Wat MOSAICField doet: Het kijkt naar de randen en de algemene vorm van de bladzijden. Het gebruikt een slimme wiskundige techniek (die ze "Optimal Transport" noemen, maar laten we het "De Slimste Weg" noemen) om te berekenen hoe je elke bladzijde moet draaien en verschuiven zodat ze weer perfect op elkaar passen.
• Het resultaat: Je hebt nu een perfect gestapelde reeks bladzijden. Je weet precies waar elke bladzijde in het 3D-boek hoort. Dit noemen ze fysieke alignering.

Stap B: De Morfologische Alignering (Het "Volgen van de Rivier")

Nu de bladzijden netjes gestapeld zijn, is er nog een probleem. Stel je voor dat er een rivier door het landschap stroomt. Omdat de bladzijden schuin door de rivier zijn gesneden, zie je op de ene foto een stukje van de rivier, en op de volgende foto een stukje verderop. Als je ze simpelweg op elkaar plakt, lijkt de rivier te springen of te verdwijnen.

• Wat MOSAICField doet: Het kijkt niet alleen naar de positie, maar naar de vorm. Het volgt de rivier (of in dit geval, de prostaat-kanalen of bloedvaten) door het hele 3D-landschap. Het gebruikt een "neuraal veld" (een soort digitale elastische deken) om de afbeeldingen zachtjes te vervormen, zodat de rivier op de ene foto perfect doorloopt in de rivier op de andere foto, zelfs als ze schuin door het weefsel lopen.
• Het resultaat: Je kunt nu de hele rivier volgen van begin tot eind, alsof je door een 3D-tunnel loopt. Dit noemen ze morfologische alignering.

3. Waarom is dit zo speciaal?

Vroeger hadden wetenschappers twee grote problemen:

1. Geen gemeenschappelijke taal: Andere methoden hadden nodig dat de genen op foto A exact dezelfde genen waren als op foto B. MOSAICField kan zelfs werken als de genen op de ene foto totaal anders zijn dan op de andere. Het kijkt naar de structuur en de patronen, niet naar de specifieke woorden.
2. Scheef snijden: Andere methoden dachten dat als je twee foto's op elkaar legde, alles perfect zou passen. Maar in het echt zijn weefsels vaak krom of onregelmatig. MOSAICField is slim genoeg om die krommingen te "repareren" door de afbeeldingen zachtjes te rekken en te buigen, net als een digitale klei.

4. Het Resultaat: Een Drie-dimensionaal Kaartje van Kanker

In dit onderzoek hebben ze dit getest op een prostaatkanker-stukje.

• Ze namen 16 verschillende plakjes.
• Sommige hadden gen-data, sommige eiwit-data, en sommige gewoon foto's.
• MOSAICField plakte ze allemaal perfect aan elkaar.
• Het resultaat: Ze kregen een schitterend, 3D-model van de tumor. Ze konden precies zien hoe de kanker zich verplaatste langs de kanalen van de prostaat, en ze konden zien hoe genen en eiwitten samenwerken in die specifieke ruimtes.

Samenvattend

MOSAICField is als een super-slimme tolk en een meester-puzzellegger in één. Het neemt een chaotische stapel foto's en meetgegevens van verschillende soorten, en maakt er een perfect, samenhangend 3D-verhaal van. Hierdoor kunnen artsen en wetenschappers ziektes zoals kanker veel beter begrijpen, omdat ze eindelijk kunnen zien hoe het weefsel er echt uitziet in de diepte, en niet alleen op een plat stuk papier.

Technische samenvatting

Titel: Multimodale ruimtelijke uitlijning en morfologische mapping met MOSAICField

Auteurs: Xinhao Liu, Hongyu Zheng, Peter Halmos, Julian Gold, Erik Storrs, Li Ding, en Benjamin J. Raphael.
Instellingen: Princeton University, Washington University in St. Louis, Human Tumor Atlas Network (HTAN).

---

1. Het Probleem

De opkomst van ruimtelijke sequencing-technologieën (zoals ruimtelijke transcriptomica, proteomica en epigenomica) maakt het mogelijk om moleculaire data te koppelen aan specifieke locaties in weefsel. Projecten zoals het Human Tumor Atlas Network (HTAN) genereren steeds vaker datasets waarbij verschillende sneden van hetzelfde weefsel worden gemeten met verschillende technologieën (modaliteiten).

De huidige uitdagingen zijn:

• Integratie van verschillende modaliteiten: Bestaande methoden voor het uitlijnen van ruimtelijke data zijn vaak beperkt tot één type data (bijv. alleen transcriptomica) of vereisen dat er gemeenschappelijke genen/kenmerken zijn tussen de sneden. Ze kunnen geen data uitlijnen van fundamenteel verschillende bronnen (bijv. RNA-expressie versus H&E-kleuring of proteïne-imaging).
• Fysieke versus Morfologische uitlijning: Bestaande methoden onderscheiden zelden tussen twee verschillende doelen:
  1. Fysieke uitlijning: Het reconstrueren van een samenhangend 3D-model van het oorspronkelijke weefsel door sneden correct ten opzichte van elkaar te plaatsen (correctie van rotatie, schaling en vervorming).
  2. Morfologische uitlijning: Het volgen van specifieke anatomische structuren (zoals ducten, bloedvaten of tumorgrenzen) die het weefsel in hoekige richtingen doorkruisen, wat complexe lokale vervormingen vereist die niet loodrecht op de snijrichting liggen.
• Gebrek aan methoden: Bestaande tools (zoals STalign, PASTE, SANTO, CAST) falen vaak bij multimodale data zonder gedeelde kenmerken of kunnen de complexe, niet-lineaire vervormingen van morfologische structuren niet adequaat modelleren.

2. Methodologie: MOSAICField

MOSAICField (MultimOdal Spatial Alignment and Integration with Coordinate neural Field) is een unificerend framework dat twee stappen doorloopt om sneden uit te lijnen, ongeacht de gebruikte modaliteit.

Stap 1: Affiene Uitlijning (Globale Transformatie)

• Doel: Het vinden van een globale transformatie (rotatie, schaling, translatie) tussen twee aangrenzende sneden.
• Techniek: De methode gebruikt een extensie van Global Invariant Optimal Transport (OT).
• Functie: Het minimaliseert een objectieve functie die bestaat uit twee termen:
  1. Een Wasserstein-term voor de ruimtelijke afstand tussen de sneden (na toepassing van de affiene transformatie).
  2. Een Gromov-Wasserstein-term die de structuur van de kenmerken vergelijkt binnen elke snede, zonder dat er directe overeenkomstige kenmerken (zoals dezelfde genen) nodig zijn tussen de sneden. Dit maakt uitlijning mogelijk tussen totaal verschillende modaliteiten (bijv. RNA vs. eiwitten).
• Optimalisatie: Er wordt gebruik gemaakt van een block coordinate descent algoritme om de koppeling (coupling matrix) en de transformatiematrix simultaan te leren.

Stap 2: Niet-lineaire Uitlijning via Neuraal Veld

• Doel: Het corrigeren van lokale, niet-lineaire vervormingen die door de affiene stap niet worden opgevangen.
• Techniek: MOSAICField leert een niet-lineaire vervormingsveld ($\phi$) met behulp van een diep neurale netwerk (een Multi-Layer Perceptron of MLP) dat werkt als een implicit neural representation.
• Verliesfunctie (Loss Function):
  • Generalized Modality Independent Neighborhood Descriptor (MIND): Een verbeterde versie van de MIND-descriptor die werkt voor multi-kanaals beelden. Deze vergelijkt lokale patch-structuren in plaats van pixelintensiteiten, waardoor het robuust is tegen verschillen in modaliteit.
  • MSE Loss: Een extra term voor gemiddelde intensiteit (na normalisatie) om globale contrastverschillen te corrigeren.
  • Regularisatie: Termen voor Jacobian (om te voorkomen dat het veld "vouwt" of omkeert) en magnitude (om extreme vervormingen te beperken).

Twee Types Uitlijning:
MOSAICField onderscheidt twee specifieke doelen door het algoritme op verschillende schalen toe te passen:

1. Fysieke Uitlijning ($\phi_P$): Wordt uitgevoerd op globale schaal (vaak op verlaagde resolutie van de hele slides). Dit reconstructeert de 3D-structuur van het weefsel.
2. Morfologische Uitlijning ($\phi_M$): Wordt uitgevoerd op lokale schaal (op volledige resolutie binnen een Region of Interest) na de fysieke uitlijning. Dit volgt complexe structuren (zoals prostaatducten) die schuin door het weefsel lopen en vereist fijne, niet-lineaire aanpassingen.

3. Belangrijkste Bijdragen

• Unieke Modaliteit-onafhankelijke uitlijning: MOSAICField is de eerste methode die effectief sneden uit verschillende modaliteiten (bijv. Xenium transcriptomica, CODEX proteomica, en H&E histologie) kan uitlijnen zonder dat er gedeelde moleculaire kenmerken nodig zijn.
• Duidelijke scheiding van doelen: Het introduceert het concept van het onderscheiden tussen fysieke (globale 3D-reconstructie) en morfologische (lokale structuur-tracking) uitlijning, wat essentieel is voor complexe weefsels.
• Neurale Velden voor Ruimtelijke Data: Het toepassen van implicit neural representations voor de modellering van vervormingsvelden in multimodale ruimtelijke contexten.
• Open Source: De code is beschikbaar gesteld voor de gemeenschap.

4. Resultaten

De auteurs hebben MOSAICField getest op zowel gesimuleerde data als een real-world dataset van het HTAN (prostaatkanker sample HT891Z1).

• Gesimuleerde Data:

  • MOSAICField overtrof bestaande methoden (STalign, PASTE, SANTO, CAST) aanzienlijk bij het herstellen van globale rotaties, schalingen en niet-lineaire sinusvormige vervormingen.
  • Bij het volgen van een holle structuur (lumen) die schuin door het weefsel loopt, behaalde MOSAICField de hoogste Jaccard-overlap, terwijl andere methoden faalden of onnauwkeurige resultaten gaven.
  • Bestaande methoden faalde vaak omdat ze afhankelijk waren van gedeelde genen of te starre transformaties gebruikten.

• HTAN Prostaatkanker Dataset:

  • Dataset: 16 sneden gemeten met 3 verschillende platforms (10x Genomics Xenium, H&E, CODEX).
  • Fysieke Uitlijning: MOSAICField reconstrueerde een nauwkeurig 3D-model. De Jaccard-overlap tussen aangrenzende sneden was extreem hoog (0.98 - 1.00), wat aanzienlijk beter was dan concurrenten.
  • Correlatie: De uitlijning leidde tot een 10-voudige verbetering in de correlatie tussen eiwitten en genen op uitgelijnde locaties vergeleken met niet-uitgelijnde data.
  • Morfologische Uitlijning: De methode slaagde erin om de complexe architectuur van het prostaatductsysteem in 3D te volgen. Handmatige annotaties van ducten op de bovenste snede werden succesvol getraceerd doorheen de hele stack.
  • Kwaliteit: MOSAICField toonde een relatieve verbetering van 35% tot 100% in Jaccard-similairiteit ten opzichte van de tweede beste methode bij het volgen van ducten.

5. Betekenis en Toekomstperspectief

MOSAICField opent nieuwe wegen voor de ruimtelijke biologie:

• 3D Tumor Atlassen: Het maakt de bouw van nauwkeurige, multimodale 3D-modellen van tumoren mogelijk, wat essentieel is voor het begrijpen van tumorheterogeniteit en micro-omgevingen.
• Dynamische Processen: Het vermogen om morfologische structuren te volgen (zoals ducten of tumorinvasie) faciliteert studies naar dynamische biologische processen zoals angiogenese en metastase.
• Functionele Relaties: Door data van verschillende modaliteiten nauwkeurig uit te lijnen, kunnen onderzoekers complexe interacties tussen genexpressie en eiwitniveaus in specifieke ruimtelijke contexten bestuderen.

De auteurs zien toekomstige uitbreidingen in het toepassen van de methode op tijdsreeksdata (spatiotemporeel) en het integreren met modellen voor cel-cel communicatie. Een beperking is dat de methode, net als andere registratie-algoritmen, geen nieuwe morfologieën kan genereren die niet aanwezig zijn in de bron-snedes.