GrapHist: Graph Self-Supervised Learning for Histopathology

Probleemstelling

Bestaande zelfsupervisie-modellen (Self-Supervised Learning - SSL) voor digitale pathologie, zoals Vision Transformers (ViT), hebben aanzienlijke successen geboekt. Echter, deze modellen vertonen fundamentele beperkingen:

1. Gebrek aan biologische inductie: Ze gebruiken een roostergebaseerde (grid-based) token-indeling (bijv. 14x14 pixels) die niet overeenkomt met de echte biologische eenheden: cellen en hun complexe ruimtelijke interacties.
2. Inefficiëntie: De complexe architecturen van ViT's vereisen een kwadratische rekencomplexiteit ten opzichte van het aantal tokens, wat leidt tot hoge rekenkosten en geheugengebruik, vooral bij gigapixel-weergaven van hele slides (Whole Slide Images - WSIs).
3. Heterofilie: De tumor micro-omgeving (TME) is inherent heterofiel (aangrenzende entiteiten zoals tumorcellen, immuuncellen en stromale cellen hebben zeer verschillende eigenschappen). Standaard Graph Neural Networks (GNNs) gaan vaak uit van homofilie (aangrenzende knopen zijn gelijk), wat niet past bij biologische weefsels.

De kernvraag is: Hoe kunnen we een representatie leren die de biologische structuur van weefsel expliciet modelleert, efficiënter is dan pixel-gebaseerde benaderingen, en goed generaliseert?

Methodologie: GrapHist

GrapHist is een nieuw framework voor zelfsupervisie dat weefsel modelleert als een celgrafiek (cell graph) in plaats van een pixelrooster.

1. Van Beeld naar Grafiek (Pre-processing):

• Segmentatie: H&E-geschilderde WSIs worden verwerkt met een lichtgewicht cel-segmentatiemodel (StarDist) om individuele cellen te identificeren.
• Knooppunten (Nodes): Elke cel wordt een knoop in de grafiek. De knopen worden voorzien van 96-dimensionale kenmerken die morfologie, textuur en kleurintensiteit beschrijven.
• Randen (Edges): Randen worden gedefinieerd op basis van ruimtelijke nabijheid (via Delaunay-triangulatie). Randen tussen cellen die verder dan 100 µm uit elkaar liggen, worden verwijderd om fysisch plausibele interacties te benadrukken. De randen zijn gewogen op basis van de Euclidische afstand.

2. Zelfsupervisie Architectuur (Masked Autoencoding):

• Framework: GrapHist bouwt voort op GraphMAE. Een subset van de knoopkenmerken wordt gemaskeerd (verwijderd) en het model moet deze oorspronkelijke kenmerken reconstrueren op basis van de context van de naburige knopen.
• Heterofiele GNN's: In plaats van standaard GNN's, gebruikt GrapHist Heterofiele Graph Neural Networks (specifiek de Adaptive Channel Mixing - ACM architectuur). Dit stelt het model in staat om signalen te gladstrijken binnen homogene weefselgebieden, maar scherpe representaties te behouden op heterogene grenzen (bijv. tumor-stroma interface).
• Verbeterde Expressiviteit:
  • Een virtuele knoop wordt toegevoegd die verbonden is met alle andere knopen om langetermijnafhankelijkheden te vangen.
  • Een Jumping Knowledge-strategie wordt gebruikt om informatie-overdracht over lagen te verbeteren en overgladstrijking (oversmoothing) te voorkomen.

3. Schaalbaarheid:

• Het model wordt voorgeïntroduceerd op een dataset van 11 miljoen celgrafieken afkomstig van borstweefsel (TCGA-BRCA).
• De complexiteit is lineair met het aantal cellen, in tegenstelling tot de kwadratische complexiteit van Vision Transformers.

4. Evaluatie op Verschillende Schalen:

• Celniveau: Direct gebruik van knoop-embeddings voor celclassificatie.
• Regio-niveau: Aggregatie van cel-embeddings naar regio-embeddings (gemiddelde).
• Slide-niveau: Gebruik van Attention-based Multiple Instance Learning (MIL) om regio-embeddings te combineren tot een slide-embeddings voor diagnose of prognose.

Belangrijkste Bijdragen

1. Eerste Groot-Schaal Framework: GrapHist is het eerste zelfsupervisie-framework voor histopathologie dat expliciet complexe afhankelijkheden tussen cellen modelleert via gemaskeerde autoencoding met heterofiele GNN's.
2. Efficiëntie en Prestaties: Het framework levert concurrerende tot superieure prestaties ten opzichte van state-of-the-art vision-modellen (zoals DINOv2 en MAE), maar vereist 4 keer minder parameters en is aanzienlijk sneller in training en inferentie.
3. Open Data: De auteurs publiceren vijf grafiek-gebaseerde digitale pathologie-datasets, waarmee ze de eerste grote schaal benchmark voor grafiekleren in dit veld creëren.

Resultaten

De prestaties van GrapHist zijn geëvalueerd op diverse benchmarks (in-domain en out-of-domain) en vergeleken met vision-baselines en volledig-supervisie grafiek-modellen:

• Tumor Subtypering (Slide- en Regioniveau): GrapHist behaalde de hoogste F1-scores op alle datasets (TCGA-BRCA, BACH, BRACS, BreakHis). Het overtrof de beste vision-baseline (MAE) met een marge van tot 9,9% op regio-niveau.
• Overlevingsanalyse: Bij de prognose van patiënten (Cox-analyse) behaalde GrapHist de hoogste concordance index (C-index: 0,76), wat aangeeft dat het beter in staat is om risicogroepen te scheiden dan vision-modellen.
• Celclassificatie: GrapHist presteerde consistent beter dan zelfsupervisie vision-baselines. In vergelijking met volledig-supervisie grafiek-modellen presteerde GrapHist beter in scenario's met weinig labels (low-supervision), hoewel volledig-supervisie modellen nog steeds sterk zijn bij overvloedige annotaties.
• Computational Efficiency:
  • Parameters: GrapHist heeft ~9,5 miljoen parameters (vs. 22M voor DINOv2 en 47M voor MAE).
  • Trainingstijd: 3 tot 7 keer sneller dan vision-transformers.
  • Geheugen: Vermindert het piek-gebruik van GPU-geheugen met meer dan 50%.
• Robuustheid: Het model bleek ongevoelig voor de grootte van de invoer-patches (224x224 tot 896x896 pixels), wat betekent dat het mogelijk is om een enkele grafiek voor een heel regio te bouwen zonder patching en MIL-aggregatie, wat de inferentiepijplijn vereenvoudigt.

Betekenis en Conclusie

GrapHist markeert een paradigmaverschuiving in digitale pathologie. Het bewijst dat het modelleren van weefsel via zijn fundamentele biologische componenten (cellen) via grafieken een effectievere inductieve bias biedt dan puur pixel-gebaseerde benaderingen.

De studie toont aan dat:

1. Biologisch geïnformeerde grafieken leiden tot compactere, ruimtelijk bewuste en biologisch relevante representaties.
2. Zelfsupervisie op grafieken superieur kan zijn aan vision-baselines, zelfs met minder rekenkracht.
3. Het openbaar maken van deze datasets en code een nieuwe standaard zet voor toekomstig onderzoek in grafiekleren voor medische beeldvorming.

Kortom, GrapHist biedt een schaalbare, efficiënte en biologisch onderbouwde basis voor de volgende generatie foundation-modellen in de computergestuurde pathologie.