Context-aware Skin Cancer Epithelial Cell Classification with Scalable Graph Transformers

Deze studie introduceert een schaalbare Graph Transformer-methode die, door gebruik te maken van het volledige weefselcontext in plaats van alleen afbeeldingspatches, een hogere nauwkeurigheid bereikt bij het classificeren van gezonde versus tumor-epitheelcellen in huidkanker dan bestaande beeldgebaseerde modellen.

De kern

Stel je voor dat je een gigantische, extreem gedetailleerde luchtfoto van een drukke stad hebt. Op deze foto zie je elke auto, elke boom en elke persoon. Voor een patholoog (een arts die weefsels bekijkt) is zo'n foto van een kankergezwel (een 'Whole-Slide Image') net zo groot en complex. Het probleem is dat deze foto's zo enorm zijn dat je ze niet in één keer kunt bekijken.

Het oude probleem: De "Postzegel"-benadering
Tot nu toe hebben computers deze foto's opgelost door ze in duizenden kleine stukjes te knippen, net als het inplakken van postzegels op een kaart. De computer bekijkt dan één postzegel tegelijk: "Is dit een gezonde cel of een kankercel?"

Het probleem hiermee is dat een postzegel je geen context geeft. Een kankercel en een gezonde cel zien er op een postzegel bijna identiek uit, alsof twee mensen op een foto allebei een blauw shirt dragen. Maar in de echte wereld (op de hele kaart) zie je dat de kankercel zich in een dichte menigte bevindt, terwijl de gezonde cel in een rustige wijk staat. De computer mist dit "buurman-effect" omdat hij alleen naar het losse stukje kijkt.

De nieuwe oplossing: Het "Stadsknooppunten"-netwerk
De auteurs van dit artikel, Lucas, Noémie en Katarzyna, hebben een slimme nieuwe manier bedacht. In plaats van naar losse postzegels te kijken, bouwen ze een digitaal stadsplan van de hele foto.

1. De Knopen (Nodes): Elke cel wordt een puntje in het netwerk.
2. De Lijnen (Edges): Als twee cellen dicht bij elkaar zitten, trekken ze een lijn tussen hen.
3. De Context: De computer kijkt nu niet alleen naar één puntje, maar ziet wie de buren zijn. "Ah, dit puntje lijkt op een gezonde cel, maar al zijn buren zijn kankercellen die drukken en duwen. Dan is dit puntje waarschijnlijk ook een kankercel."

De Supercomputer: De "Snelle Trein"
Het bouwen van zo'n netwerk voor een hele foto is normaal gesproken te zwaar voor computers; het zou uren of dagen duren. De auteurs gebruiken echter een nieuw type kunstmatige intelligentie genaamd Graph Transformers.

Je kunt dit vergelijken met een snelle trein die door de stad rijdt.

• De oude methoden waren als een bus die bij elke halte stopt om te kijken wie er instapt (zeer traag en lokaal).
• Deze nieuwe "Graph Transformers" zijn als een hogesnelheidstrein die razendsnel door het hele netwerk kan kijken en direct ziet welke buren belangrijk zijn, zonder vast te lopen in de file. Ze zijn zo snel dat ze een taak doen die normaal 5 dagen duurt, in slechts 32 minuten.

Wat hebben ze ontdekt?
Ze hebben dit getest op huidkanker (cSCC), waar gezonde en kankercellen er heel erg op lijken.

• De oude methode (Postzegels): Haalde ongeveer 81% juistheid.
• De nieuwe methode (Stadsnetwerk): Haalde ongeveer 85% juistheid.

Het belangrijkste was dat de computer leerde dat je de omgeving moet bekijken. Net zoals een detective niet alleen naar een verdachte kijkt, maar ook naar wie die verdachte omringt, kijkt deze nieuwe AI naar de "sociale omgeving" van de cel.

Conclusie
Dit onderzoek laat zien dat we voor het diagnosticeren van kanker niet hoeven te blijven hangen in het kijken naar losse stukjes beeld. Door de hele "stad" van cellen te bekijken als een samenhangend netwerk, kunnen we kanker sneller, nauwkeuriger en veel goedkoper detecteren. Het is een stap van "kijken naar één boom" naar "begrijpen van het hele bos".

Technische samenvatting

Probleemstelling

Volledige-scanbeelden (Whole-Slide Images of WSIs) van kankerweefsel bevatten waardevolle informatie voor diagnose en behandelingsmonitoring. Hoewel diep leermethoden, zoals Convolutionele Neural Networks (CNNs) en Vision Transformers, succesvol zijn toegepast, hebben deze methoden een fundamenteel nadeel bij het analyseren van WSIs:

1. Grootte en Complexiteit: WSIs zijn extreem groot en bevatten duizenden tot miljoenen cellen.
2. Patch-gebaseerde beperking: Bestaande modellen splitsen de afbeelding in kleine patches om ze te verwerken. Hierdoor gaat de cruciale weefselcontext verloren.
3. Morfologische gelijkenis: In het specifieke geval van cutaan plaveiselcelcarcinoom (cSCC) zijn gezonde en tumor-epitheelcellen morfologisch zeer vergelijkbaar. Het is voor beeldgebaseerde modellen die alleen naar lokale patches kijken, uiterst moeilijk om deze twee typen te onderscheiden zonder de bredere ruimtelijke organisatie van het weefsel te raadplegen.

Methodologie

De auteurs stellen een contextbewuste, grafgebaseerde aanpak voor die de volledige WSI modelleert als een graf, in plaats van als een verzameling losse afbeeldingspatches.

1. Van WSI naar Cell Graph:

• Segmentatie: Een bestaand model (cSCC Hovernet) wordt gebruikt om celkernen te detecteren en te segmenteren.
• Klassificatie: Cellen worden eerst in vijf categorieën ingedeeld (granulocyten, plasmacellen, lymfocyten, stromale cellen, epitheelcellen). Met behulp van door experts geannoteerde tumorgebieden worden de epitheelcellen verder onderverdeeld in "gezond" en "tumor".
• Grafconstructie:
  • Knooppunten (Nodes): Elke gedetecteerde celkern is een knooppunt.
  • Kanten (Edges): Kanten worden gelegd tussen naburige cellen op basis van een drempelafstand ($r_0 \approx 11,5 \mu m$), wat de ruimtelijke interactie in het weefsel vastlegt.
  • Knooppuntkenmerken: Elke knoop bevat een vector met morfologische kenmerken (bijv. oppervlakte, omtrek), textuureigenschappen, de celklasse (one-hot encoding) en de centroid-coördinaten.

2. Grafvereenvoudiging (Graph Simplification):
Om de computationele complexiteit te beheersen en de focus te leggen op relevante context, wordt de graf vereenvoudigd:

• Niet-geclassificeerde kernen en geïsoleerde epitheelcellen worden verwijderd.
• Er wordt gefocust op "anker-knooppunten" (gezonde en tumor-epitheelcellen).
• Alleen knooppunten binnen een bepaalde geodesische afstand (aantal hops, $k$) van een ankerknoop worden behouden. De auteurs vonden dat $k=3$ (3 hops) een goede balans biedt tussen context en complexiteit.

3. Schaalbare Graph Transformers:
Omdat standaard Graph Transformers kwadratische complexiteit hebben ($O(N^2)$) en niet schaalbaar zijn naar grote grafen (WSIs), gebruiken de auteurs lineaire Graph Transformers met $O(N)$ complexiteit:

• SGFormer: Gebruikt een enkele globale attention-laag en een ondiepe GNN.
• DIFFormer: Vervangt de exponentiële functie in de attention-mechanisme door een Taylor-ontwikkeling van de eerste orde.
• NodeFormer: Gebruikt stochastische kernelbenadering.

4. Experimenteel Ontwerp:
De methode werd getest op twee niveaus:

• WSI-Graph: Een enkele, grote graf van één volledige patiënt-WSI, opgesplitst in subgrafen voor validatie.
• TILE-Graphs: Een dataset van 93 WSIs van 84 patiënten. Hieruit werden 372 patches (2560x2560 px) gehaald en omgezet in kleinere grafen. Dit maakte training over meerdere patiënten mogelijk.

Belangrijkste Bijdragen

1. Eerste volledige WSI-graf: Dit is het eerste werk dat een volledige WSI op celniveau encodeert als één enkele graf voor knoopclassificatie.
2. Verbeterde cSCC-classificatie: Toepassing van grafen om gezonde versus tumor-epitheelcellen in cSCC te onderscheiden, een taak waar traditionele beeldmethoden tekortschieten.
3. Vergelijkende studie: Een eerlijke vergelijking tussen state-of-the-art beeldmodellen (zoals CellViT256) en grafgebaseerde modellen op dezelfde onderliggende data.
4. Contextbewustzijn: Demonstratie dat het omringen van cellen (de micro-omgeving) essentieel is voor het correct classificeren van morfologisch identieke cellen.

Resultaten

1. Prestaties op WSI-Graph (Enkele patiënt):

• Graph Transformers: SGFormer en DIFFormer behaalden een gebalanceerde nauwkeurigheid van respectievelijk 85,2% en 85,1%.
• Beeldmodellen: De beste beeldmethode (CellViT256) bereikte slechts 81,2%.
• Kenmerkanalyse: De beste resultaten werden behaald wanneer morfologische kenmerken, textuur én de klassen van niet-epitheelcellen (de omringende context) als invoer werden gebruikt.

2. Prestaties op TILE-Graphs (Meerdere patiënten):

• DIFFormer: Bereikte 83,6% gebalanceerde nauwkeurigheid.
• CellViT256: Bereikte 78,1%.
• SGFormer: Presteerde slechter op de kleinere grafen (61,0%), wat suggereert dat de architectuur te licht is voor kleinere grafen waar de globale structuur minder representatief is.

3. Computationele Efficiëntie:

• Trainingstijd: Het trainen van DIFFormer duurde slechts 32 minuten voor één cross-validatie fold.
• Vergelijking: Het trainen van CellViT256 op dezelfde data duurde ongeveer 5 dagen op dezelfde GPU (NVIDIA A100 80GB).
• Geheugen: De beeldmodellen liepen vaak vast op het geheugen (OOM - Out of Memory) bij grotere batches, terwijl grafmodellen dit probleem niet hadden.

Betekenis en Conclusie

Dit onderzoek toont aan dat grafgebaseerde benaderingen een veelbelovend alternatief zijn voor traditionele computer vision-methoden bij objectclassificatie in de pathologie, met name voor taken die context vereisen.

• Superieure Context: Door cellen als knooppunten in een graf te modelleren, kunnen modellen de ruimtelijke organisatie en interacties tussen cellen benutten, wat essentieel is voor het onderscheiden van cellen met gelijke morfologie.
• Efficiëntie: Graph Transformers met lineaire complexiteit maken het mogelijk om volledige WSIs te analyseren zonder de enorme rekenkosten en geheugenbeperkingen van beeldmodellen.
• Toekomstperspectief: De auteurs suggereren dat toekomstige werken gebruik kunnen maken van voorgeïmplementeerde foundation modellen (zoals VOLTA) voor het afleiden van celkenmerken en complexere grafstructuren (zoals hypergrafen) voor het modelleren van hogere-orde interacties.

Samenvattend bewijst deze studie dat het integreren van weefselcontext via schaalbare Graph Transformers de nauwkeurigheid en snelheid van kankerdiagnose op celniveau aanzienlijk kan verbeteren.