Feature-level Site Leakage Reduction for Cross-Hospital Chest X-ray Transfer via Self-Supervised Learning

Probleemstelling

Modelprestaties voor het analyseren van borstfoto's (chest X-rays) vallen vaak samen wanneer ze worden ingezet in een ander ziekenhuis dan waar ze voor zijn getraind. Dit wordt veroorzaakt door domeinverschuiving (domain shift), waarbij ziekenhuizen verschillen in scanners, protocollen, compressie en labelpraktijken.

• Het kernprobleem: Modellen leren vaak "shortcuts" door site-specifieke signalen (bijv. de achtergrond van een specifieke scanner) te associëren met pathologie-labels.
• De huidige aanpak: Veel bestaande methoden gaan er ten onrechte van uit dat representaties "domein-invariant" zijn, zonder dit feitelijk te meten.
• De doelstelling: Het paper onderzoekt hoe men site-leakage (het lekken van informatie over de herkomst van de afbeelding in de modelrepresentaties) direct kan meten en hoe deze meting de interpretatie van transfermethoden beïnvloedt.

Methodologie

De auteurs hanteren een experimenteel kader dat zich richt op representatieleren met ongelabelde data uit meerdere sites, gevolgd door een strikte evaluatie.

1. Multi-site Zelftoezicht Lerend (Self-Supervised Learning - SSL):

   • Een encoder (ResNet-18) wordt vooraf getraind (pretrained) op ongelabelde data van twee bronnen: NIH en CheXpert.
   • Er wordt gebruikgemaakt van een contrastieve SSL-methode (SimCLR-stijl) met een InfoNCE-verliesfunctie om robuuste features te leren zonder pathologie-labels.
   • Twee soorten features worden gegenereerd:
     • $h$: De backbone-features (gebruikt door de downstream classifier).
     • $z$: Projectie-features (alleen gebruikt tijdens SSL-training).

2. Adversariële Site-Confusie (CanonicalF):

   • Om te testen of het verminderen van zichtbare site-informatie de transfer verbetert, wordt een adversariële kop toegevoegd aan de backbone-features ($h$).
   • Deze kop probeert de site te voorspellen, maar de gradiënten worden omgekeerd (gradient reversal) tijdens het trainen. Het doel is om de encoder te dwingen features te genereren die de site niet kunnen onderscheiden, terwijl de pathologie-informatie behouden blijft.

3. Downstream Evaluatie:

   • De encoder wordt bevroren (frozen).
   • Er wordt een lineaire pneumonie-classificatie getraind op de gelabelde data van één bron (bijv. alleen NIH).
   • De prestaties worden getest op onbekende sites (bijv. RSNA, CheXpert).

4. Leakage-meting (Post-hoc Probes):

   • In plaats van alleen te kijken naar de AUC (Area Under the Curve) van de ziektevoorspelling, trainen de auteurs na afloop een lineaire probe (logistische regressie) op de bevroren features.
   • Deze probe probeert de herkomstsite van de afbeelding te voorspellen.
   • Een hoge nauwkeurigheid bij deze probe betekent veel "leakage" (de site is nog steeds voorspelbaar uit de features). Een lage nauwkeurigheid (dicht bij het toevalsniveau van 0,50) betekent minder leakage.

Belangrijkste Bijdragen

1. Leakage-metingprotocol: Een nieuw protocol dat site-informatie in representaties kwantificeert via post-hoc probes en multi-split evaluatie. Dit is de primaire bijdrage.
2. Multi-site SSL-baseline: Een baseline voor borstfoto's die aantoont dat multi-site SSL de cross-site transfer significant verbetert wanneer de encoder bevroren wordt.
3. Feature-level adversariële variant (CanonicalF): Een methode die een adversariële kop toepast op de features die daadwerkelijk door de downstream classifier worden gebruikt.
4. Gedetailleerde evaluatie: Een evaluatie die twee transferrichtingen (NIH→andere, CheXpert→andere) en een "leave-one-site-out" scenario over drie sites omvat, met statistische significantie (gemiddelde ± standaardafwijking over 3 seeds).
5. Empirische bevinding: Het aantonen dat multi-site SSL de belangrijkste drijver is voor transfer, terwijl adversariële verwarring slechts een hulpmiddel is om leakage te reduceren, maar niet noodzakelijk de prestaties verbetert.

Resultaten

1. Transferprestaties (AUC):

• Multi-site SSL: Verbeterde de AUC op de RSNA-testset aanzienlijk van 0,6736 (ImageNet-initialisatie) naar 0,7804.
• Adversariële training (CanonicalF): Reduceerde de gemeten leakage, maar verbeterde de AUC niet consistent. In feite nam de variantie (onzekerheid) tussen verschillende seeds toe, wat wijst op instabiliteit.
  • Conclusie: Het reduceren van site-leakage garandeert geen betere voorspellende prestaties.

2. Gemeten Site-Leakage:
De auteurs maten hoe goed een probe de site kon voorspellen uit de features (chance level = 0,50):

• Vóór SSL (ImageNet): Zeer hoge leakage (0,9962 op features $h$).
• Na SSL-only: Leakage daalde licht (0,9890 op $h$), maar bleef extreem hoog.
• Na CanonicalF: Leakage daalde significant naar 0,8504 op features $h$ en 0,7810 op features $z$.
• Interpretatie: Hoewel CanonicalF de leakage verlaagt, blijft deze ver boven het toevalsniveau. De claim van volledige "domein-invariantie" wordt hiermee weerlegd; er is sprake van reductie van leakage, niet van eliminatie.

3. Stabiliteit:
Adversariële training introduceerde meer variabiliteit in de resultaten (coëfficiënt van variatie steeg van ~0,025 naar ~0,13), wat suggereert dat het agressief wegnemen van site-signalen kan conflicteren met het behoud van diagnostisch relevante signalen.

Betekenis en Conclusie

Dit paper biedt een kritische nuancering in het veld van medische beeldanalyse:

• Meet, niet veronderstel: Het is cruciaal om site-leakage direct te meten in plaats van te veronderstellen dat representaties invariant zijn.
• SSL is de sleutel: Multi-site zelftoezicht lerend (SSL) is de belangrijkste factor voor het verbeteren van cross-hospital transfer.
• Adversariële training is beperkt: Feature-level adversariële training kan nuttig zijn om de zichtbaarheid van de herkomst te verminderen, maar het is geen garantie voor betere klinische prestaties en kan de stabiliteit van het model verstoren.
• Aanbeveling: De auteurs pleiten ervoor dat toekomstige studies niet alleen transferprestaties rapporteren, maar ook leakage-metrics opnemen om de robuustheid van modellen beter te begrijpen.

Samenvattend bewijst dit werk dat het verminderen van site-leakage een waardevol doel is, maar dat het niet automatisch leidt tot betere diagnoseprestaties, en dat de focus moet liggen op het leren van robuuste representaties via SSL in plaats van op het agressief onderdrukken van domein-specifieke signalen.