GraPHFormer: A Multimodal Graph Persistent Homology Transformer for the Analysis of Neuroscience Morphologies

Probleemstelling

De morfologie van neuronen (hun vorm en vertakkingspatronen) bevat cruciale informatie over de functie van neurale circuits, ontwikkeling en ziekteprocessen. Bestaande methoden voor de analyse van deze structuren opereren echter vaak geïsoleerd:

1. Grafiekgebaseerde methoden (zoals Graph Neural Networks) coderen goed de vertakkingspatronen en lokale connectiviteit, maar missen vaak globale geometrische invarianten.
2. Topologiegebaseerde methoden (zoals Persistent Homology) vangen de ruimtelijke rangschikking en globale vorm vast, maar verliezen vaak fijnkorrelige structurele informatie.

De beperking ligt in het gebrek aan een methode die deze complementaire perspectieven (topologie en grafiek) effectief combineert om een robuuste representatie van neuronale morfologie te creëren.

Methodologie: GraPHFormer

GraPHFormer is een multimodale architectuur die de kracht van contrastief leren (geïnspireerd door CLIP) combineert met topologische data-analyse (TDA) en grafiek-neurale netwerken. Het systeem bestaat uit twee parallelle encoders die worden getraind om een gedeelde inbeddingsruimte te creëren.

1. Visuele Tak (Vision Branch)

Deze tak verwerkt persistentie-afbeeldingen (persistence images) die zijn gegenereerd uit de neuronale bomen.

• Topologische Morfologie Descriptor (TMD): De boomstructuur wordt omgezet in een continu topologisch descriptor door een filtratie op basis van de radiale afstand vanaf het soma (cellichaam).
• Meerkanaals Persistentie-afbeelding: In plaats van een eendimensionale weergave, wordt een RGB-afbeelding gegenereerd met drie kanalen die verschillende aspecten coderen:
  • R (Rood): Ongegewogen dichtheid (behoudt de ruimtelijke structuur).
  • G (Groen): Persistentie-gewogen dichtheid (benadrukt topologisch belangrijke, langlevende takken).
  • B (Blauw): Radius-gewogen dichtheid (vangt radiale kenmerken en dikte van takken).
• Encoder: Een DINOv2-ViT-S (Vision Transformer) verwerkt deze afbeeldingen om topologische invarianten te extraheren.
• Augmentatie: In plaats van standaard beeldaugmentatie (die de topologische betekenis zou verstoren), worden augmentaties direct toegepast op de topologische feature-ruimte (bijv. jittering van geboorte/sterfte-waarden, schaling van persistentie en verstoring van de straal) voordat de afbeelding wordt gegenereerd.

2. Grafiek-tak (Graph Branch)

Deze tak verwerkt de oorspronkelijke skeleton-structuur van de neuron.

• Encoder: Een TreeLSTM (Long Short-Term Memory) of een vergelijkbaar grafiek-encoder model verwerkt de gerichte boom. Het neemt geometrische attributen (coördinaten, straal, padlengte) en hiërarchische vertakkingsinformatie waar.
• Doel: Het vastleggen van lokale ruimtelijke details en connectiviteit die in de afbeelding kunnen verloren gaan.

3. Contrastief Leren en Projectie

• Beide encoders projecteren hun output via MLP-heads naar een gedeelde inbeddingsruimte.
• Verliesfunctie: Het model wordt getraind met een symmetrische InfoNCE-loss (vergelijkbaar met CLIP). Dit maximaliseert de overeenkomst tussen de juiste paar (dezelfde neuron als grafiek én als afbeelding) en minimaliseert de overeenkomst met andere neuronen in de batch.
• Downstream Taken: Voor classificatie worden de embeddings van beide takken samengevoegd (concatenatie of optelling) en een classificatielaag wordt toegevoegd.

Belangrijkste Bijdragen

1. Meerkanaals Persistentie-afbeeldingen: Introductie van een RGB-encoding die topologische dichtheid, persistentie en straal gelijktijdig codeert, wat een rijkere topologische weergave biedt dan eerdere methoden.
2. Augmentatie in Persistentie-ruimte: Een nieuwe strategie voor data-augmentatie die de semantiek van topologische kenmerken behoudt door transformaties toe te passen op de feature-vectoren in plaats van op de pixelruimte.
3. Multimodaal Contrastief Leren voor Neuronen: De eerste toepassing van een CLIP-achtig kader voor neuronale representatiestudie, waarbij boomstructuren en topologische afbeeldingen in een gedeelde ruimte worden uitgelijnd.

Resultaten

GraPHFormer werd geëvalueerd op zes benchmarks (BIL-6, ACT-4, JML-4, N7, M1-Cell, M1-REG) in zowel zelftoezicht (self-supervised) als toezicht (supervised) settings.

• Zelftoezicht (Self-Supervised): GraPHFormer behaalde state-of-the-art resultaten op 5 van de 6 benchmarks.
  • Op BIL-6: 86,2% (een verbetering van +4,9% ten opzichte van de vorige beste, SGTMorph).
  • Op N7: 83,8% (+4,0% verbetering).
  • De methode toonde zeer lage variantie (±0,6-4%).
• Toezicht (Supervised): Het model bereikte nieuwe state-of-the-art resultaten op 5 van de 6 benchmarks.
  • BIL-6: 93,51% (vs. 88,9% voor SGTMorph).
  • N7: 92,3%.
• Ablatiestudies:
  • De volledige RGB-encoding presteerde significant beter dan enkelvoudige kanalen.
  • De combinatie van grafiek- en beeldmodi was essentieel; een beeld-only baseline (PI) presteerde aanzienlijk slechter, wat aantoont dat grafiek-structuur nodig is voor discriminatie.
• Cross-Domain Generalisatie: Het model toonde overdraagbaarheid tussen neuronen en glia-cellen (een ander celtype), wat suggereert dat de geleerde representaties universele morfologische principes vangen.

Betekenis en Impact

GraPHFormer biedt een fundamentele doorbraak in de computationele neurowetenschap door de kloof tussen topologische en grafische analyse te overbruggen.

• Robuustheid: Het biedt een krachtig hulpmiddel voor kwantitatieve morfologische analyse, essentieel voor het begrijpen van neurodevelopment, synaptische integratie en neurodegeneratieve ziekten.
• Efficiëntie: Door zelftoezicht te gebruiken, maakt het gebruik van grote, ongelabelde datasets mogelijk, wat de afhankelijkheid van dure handmatige annotatie vermindert.
• Toepassingsbereik: De methode is niet beperkt tot neuronale classificatie, maar kan ook worden gebruikt om ontwikkelings- en degeneratieve processen te detecteren en morfologische verschillen tussen soorten en hersenregio's te analyseren.

Kortom, GraPHFormer bewijst dat het combineren van de globale inzichtelijkheid van topologie met de lokale precisie van grafieknetwerken via contrastief leren leidt tot superieure representaties van complexe biologische structuren.