AdvDINO: Domain-Adversarial Self-Supervised Representation Learning for Spatial Proteomics

Probleemstelling

Zelftoezicht leren (Self-Supervised Learning of SSL), en specifiek modellen zoals DINOv2, heeft zich bewezen als een krachtige methode voor het leren van visuele representaties zonder handmatige annotaties. Echter, deze methoden kampen met een significant probleem: gebrek aan robuustheid tegen domeinverschuivingen (domain shift).

In de biomedische beeldvorming, en specifiek bij ruimtelijke proteomica (zoals multiplex immunofluorescentie of mIF), treden systematische verschillen op tussen datasets door "batch effects". Deze omvatten variaties in verkleuringintensiteit, contrast en signaalverdeling tussen verschillende slides, batches of scanners.

• Het gevolg: Standaard SSL-modellen neigen om domein-specifieke artefacten (bijv. de specifieke slide-identiteit) te leren in plaats van biologisch betekenisvolle kenmerken.
• De uitdaging: Dit leidt tot clusters die de batch-herkomst weerspiegelen in plaats van echte biologische fenotypes, wat de generaliseerbaarheid en de klinische bruikbaarheid voor prognostische taken (zoals overlevingsvoorspelling) ondermijnt.

Methodologie: AdvDINO Framework

De auteurs stellen AdvDINO voor, een domein-adversariaal SSL-framework dat de DINOv2-architectuur integreert met een Gradient Reversal Layer (GRL) om domein-invariante kenmerken te leren.

1. Architectuur en Training:

• Student-Leerkracht Framework: AdvDINO gebruikt een asymmetrisch ViT-L (Vision Transformer Large) student-leerkracht paar, gebaseerd op DINOv2.
• Doelen: Het model wordt getraind op drie doelen:
  1. Masked Image Modeling (MIM): Reconstructie van gemaskerde image patches.
  2. Knowledge Distillation: De student leert van de leerkracht (die een exponentiële moving average is van de student).
  3. Adversariaal Domeinverlies: Dit is de kerninnovatie. Een domeindiscriminator probeert de oorsprong van een afbeelding (de "domein-label", in dit geval de slide-ID) te voorspellen op basis van de embedding van de student.
• Gradient Reversal Layer (GRL): Tijdens de forward-pass werkt de GRL als een identiteitsfunctie. Tijdens de backpropagation vermenigvuldigt de GRL de gradiënten van de discriminator met -1. Dit dwingt de student-encoder om kenmerken te genereren die de discriminator "in de war brengen", waardoor de encoder leert om domein-specifieke informatie te negeren terwijl het semantische informatie behoudt.

2. Data en Preprocessing:

• Dataset: Een cohort van 435 mIF Whole Slide Images (WSI) van longkankerpatiënten (NSCLC), resulterend in meer dan 5,46 miljoen image tiles (256x256 pixels, 6 kanalen: DAPI, FOXP3, CK, CD8, PD-1, PD-L1).
• Data Augmentatie: Toepassing van de multi-crop strategie van DINOv2 (globale en lokale crops) met aanpassingen voor pathologie, waaronder verticale spiegeling en uitsluiting van solarisatie (niet gedefinieerd voor niet-RGB beelden).
• Initialisatie: Het model is geïnitieerd met gewichten van UNI (een op H&E getraind model), waarbij de input-laag is aangepast van 3 naar 6 kanalen.

3. Downstream Taken:

• Unsupervised Clustering: Leiden-clustering op de tile-embeddings om biologische subgroepen te identificeren.
• Survival Prediction: Toepassing van Attention-Based Multiple Instance Learning (ABMIL) om patiëntoverleving op slide-niveau te voorspellen.

Kernbijdragen

1. AdvDINO Framework: De eerste integratie van domein-adversariaal leren in de DINOv2-architectuur specifiek voor multi-channel ruimtelijke proteomica.
2. Mitigatie van Batch Effects: Een bewezen strategie om slide-specifieke bias te elimineren zonder de kwaliteit van de biologische representaties te verliezen.
3. Biologisch Interpretabele Clusters: Het genereren van clusters die overeenkomen met specifieke proteomische profielen en prognostische uitkomsten, in plaats van artefacten.
4. Generaliseerbaarheid: Validatie dat de methode werkt op zowel longkanker als borstkanker (TNBC) cohorts.

Resultaten

1. Domein-Robuustheid:

• UMAP Visualisatie: Baseline DINOv2 toonde duidelijke clustering per slide (hoge ARI van 0,66), wat aangeeft dat het model slide-identiteit leert. AdvDINO toonde een gemengde verdeling over de slides (lage ARI van 0,037), wat aantoont dat het model domein-invariante kenmerken leert.
• Conclusie: AdvDINO voorkomt overfitting op batch-effecten.

2. Proteomische en Prognostische Associaties:

• De gegenereerde clusters vertoonden duidelijke verschillen in proteomische profielen (bijv. Cluster 5 met verrijking van CD8 en PD-1, indicatief voor immuunverrijking; Cluster 1 met FOXP3, indicatief voor immuunsuppressie).
• Overleving: Verschillende clusters hadden een significante correlatie met patiëntoverleving (C-index 0,67–0,73 voor gunstige clusters, 0,23 voor ongunstige). Cluster 12 (arm aan tumorcellen) was sterk geassocieerd met slechte overleving, terwijl Cluster 26 (normaal longweefsel) gunstig was.

3. Overlevingsvoorspelling (ABMIL):

• Het ABMIL-model met AdvDINO-embeddings bereikte een C-index van 0,799, significant beter dan:
  • Baseline DINOv2 (zonder adversariaal leren): 0,789.
  • Traditionele CoxPH-modellen gebaseerd op cel-dichtheid: 0,680.
• Dit bewijst dat de leerde ruimtelijke kenmerken meer prognostische waarde bevatten dan traditionele handmatige metrics.

4. Generaliseerbaarheid:

• Toepassing op een borstkanker-cohort (218 WSI's) resulteerde opnieuw in een verbetering van de robuustheid (ARI verbeterde van 0,44 naar 0,12).
• AdvDINO identificeerde 8 clusters die significant geassocieerd waren met de agressieve Triple Negative Breast Cancer (TNBC) subtype, terwijl DINOv2 er geen vond.

Significantie

Dit paper biedt een cruciale oplossing voor een van de grootste obstakels in de toepassing van AI op biomedische beeldvorming: batch effects.

• Klinische Impact: Door robuuste, domein-invariante representaties te leren, kunnen modellen betrouwbaarder worden ingezet voor het ontdekken van nieuwe biomarkers en het voorspellen van patiëntuitkomsten over verschillende ziekenhuizen en protocollen heen.
• Wetenschappelijke Vooruitgang: Het demonstreert dat zelftoezicht leren, wanneer gecombineerd met adversariale training, superieur is aan traditionele handmatige kenmerkextractie en standaard SSL voor complexe, multi-channel weefselbeelden.
• Toekomstperspectief: Hoewel getest op mIF-data, is de methode breed toepasbaar op andere medische beeldvormingsdomeinen (zoals histopathologie en radiologie) waar domeinverschuiving een veelvoorkomend probleem is.

Samenvattend stelt AdvDINO de standaard voor het leren van representaties in ruimtelijke proteomica, waarbij het de kloof tussen ruwe data en klinisch bruikbare inzichten overbrugt door batch-effecten effectief te neutraliseren.