Technische Samenvatting: Verklarende Stabiliteit van Test-Time Adaptatie in Computationele Pathologie

1. Probleemstelling

Deep learning-modellen in de computationele pathologie zijn zeer gevoelig voor domeinverschuivingen die voortkomen uit variaties in kleurprotocollen, scannerhardware en patiëntcohorten. Hoewel Test-Time Adaptation (TTA) een praktisch mechanisme biedt om modellen online bij te werken op ongelabelde doelgegevens zonder hertraining, richten huidige evaluatieparadigma's zich bijna uitsluitend op doeldomein-nauwkeurigheid.

Het artikel identificeert een kritieke kloof: klinische implementatie vereist niet alleen nauwkeurige voorspellingen, maar ook betrouwbare verklaringen (bijv. saliency maps die aangeven waar het model naar kijkt). Het blijft onbekend of TTA-methoden, die modelparameters online aanpassen, onbedoeld deze verklaringen veranderen. Een methode kan een hoge nauwkeurigheid behouden terwijl de aandacht verschuift naar niet-diagnostische weefselgebieden, of omgekeerd, de verklaringen behouden terwijl de kalibratie verslechtert. De auteurs stellen dat verklarende stabiliteit een afzonderlijke betrouwbaarheidsas is die momenteel ongemeten blijft in TTA-benchmarks.

2. Methodologie

Experimentele Opzet

De auteurs voerden een grootschalige benchmark uit met 2.958 adaptatieruns over:

• Datasets: Twee histopathologische benchmarks met natuurlijke domeinverschuivingen:
  • Camelyon17: Multi-ziekenhuis lymfeklier tumordetectie (binair).
  • NCT-CRC-HE: Negen-klasse colorectale weefselclassificatie.
• Architecturen: Vijf modellen variërend van convolutionele netwerken, transformers en foundation models:
  • Convolutioneel: ResNet-50, EfficientNet-B3.
  • Transformers: Swin-T, ViT-B/16.
  • Foundation Model: Phikon-v2.
• TTA-methoden: 17 verschillende methoden gegroepeerd per mechanisme:
  • Normalisatie: BN-Adapt.
  • Entropie: Tent, EATA, DeYO, ROID, COME, REM.
  • Scherpte (Sharpness): SAR, SoTTA.
  • Continual: CoTTA, RoTTA, RMemSafe.
  • Prototype/Gradient-vrij/Adapter: T3A, LAME, SICL, ViDA.
• Attributie-operatoren: Vier families van uitlegbaarheidsmethoden:
  • Integrated Gradients (primair, architectuur-agnostisch).
  • Grad-CAM, Grad-CAM++ en Attention Rollout.

De Explanation Stability Index (ESI)

Om de beweging van modelverklaringen te kwantificeren, introduceerden de auteurs de Explanation Stability Index (ESI).

• Proces: Saliency maps ($S_{pre}$ en $S_{post}$) worden min-max genormaliseerd, hergeschaald naar een $224 \times 224$ grid, en omgezet naar waarschijnlijkheidsverdelingen.
• Metrieken: ESI aggregeert zes maten:
  • Gelijkenis: Structurele gelijkenis (SSIM), Cosinus-gelijkenis, Rescaled Spearman Rank Correlatie, Top-20% Region-of-Interest IoU.
  • Divergentie: Symmetrische KL-divergentie, Wasserstein-1 afstand (EMD).
• Berekening: De index is een evenredig gewogen gemiddelde van deze zes termen, begrensd tussen 0 en 1. Een ESI van 1,0 duidt op een ongewijzigde verklaring.
• Evaluatie: De studie meet drie gekoppelde effecten: verandering in verklaring (ESI), verandering in discriminatie ($\Delta$AUC) en verandering in kalibratie ($\Delta$ECE).

3. Belangrijkste Resultaten

A. Systematische Hiërarchie van Stabiliteit

TTA-methoden vertonen een scherp, systematisch verschil in de mate waarin ze verklaringen verstoren:

• Frozen-Backbone Methoden: Methoden die de backbone niet bijwerken (bijv. No-TTA, LAME, T3A, SICL) behouden verklaringen vrijwel perfect, met ESI $\approx$ 1,000.
• Continual Methoden: Methoden die updates over de tijd accumuleren (bijv. CoTTA, RoTTA) veroorzaken de grootste drift, met de laagste gemiddelde rangen in stabiliteit.
• Normalisatie/Entropie Methoden: BN-Adapt en Tent vertonen lage gepoolde ESI-waarden (0,786 en 0,849), maar hun verstoring is sterk geconcentreerd op convolutionele modellen.

B. Architectuur en Shift Afhankelijkheid

• Convolutionele Gevoeligheid: Convolutionele netwerken (ResNet-50, EfficientNet-B3) zijn aanzienlijk gevoeliger voor adaptatie-geïnduceerde drift dan transformer of foundation-model backbones. EfficientNet-B3 vertoonde de laagste gemiddelde ESI (0,806).
• Transformer Robuustheid: Swin-T, ViT-B/16 en Phikon-v2 behielden ESI-waarden nabij 1,0. Dit wordt toegeschreven aan het adaptatieprotocol voor deze modellen, waarbij de backbone bevroren blijft en alleen de normalisatieblokken en de lineaire head worden bijgewerkt.
• Taakcomplexiteit: De moeilijkere multi-class NCT-CRC-HE taak veroorzaakte grotere drift dan de binaire Camelyon17 taak voor continual methoden.

C. Ontkoppeling van Stabiliteit en Kwaliteit

De belangrijkste bevinding is dat verklarende stabiliteit grotendeels ontkoppeld is van adaptatiekwaliteit:

• Stille Fouten (Silent Failures): De studie identificeerde 54 "stille kalibratiefouten" waarbij de nauwkeurigheid stabiel bleef ($|\Delta$AUC| < 0,02) maar de kalibratie verslechterde ($\Delta$ECE > 0,05). 94% van deze fouten trad op bij methoden (LAME, T3A) die verklaringen perfect behielden (ESI = 1,0).
• Zwakke Correlatie: De partiële Spearman-correlatie tussen ESI en $\Delta$ECE (gecontroleerd voor $\Delta$AUC) was zwak ($\rho = +0,089$).
• Conclusie: Een methode kan verklaringen behouden terwijl de nauwkeurigheid/kalibratie verslechtert, of verklaringen verplaatsen terwijl de nauwkeurigheid behouden blijft. Daarom kan ESI niet worden afgeleid van nauwkeurigheid of kalibratie alleen.

D. Drijvers van Drift

• Adaptatiekracht: Het verhogen van het aantal adaptatiestappen (bijv. in Tent) verminderde de ESI monotoon.
• Batch Grootte: Het wijzigen van de batchgrootte had een verwaarloosbaar effect op ESI.
• Mechanisme: Drift wordt gedreven door hoeveel van de feature-hiërarchie wordt gewijzigd. Continual methoden en BN-statistiek updates in convolutionele netwerken beïnvloeden features breed, terwijl frozen-backbone benaderingen dit niet doen.

4. Bijdragen

1. Formalisering van Verklarende Stabiliteit: Het artikel definieert verklarende stabiliteit als een afzonderlijke betrouwbaarheidsas voor TTA en introduceert de ESI, een begrensde index die gelijkenis- en divergentiemetrieken combineert.
2. Grootschalige Benchmark: De auteurs bieden een uitgebreide evaluatie van 17 TTA-methoden over 5 architecturen en 2 datasets, wat resulteert in 2.958 gepaarde metingen van nauwkeurigheid, kalibratie en verklarende stabiliteit.
3. Empirische Bevindingen: De studie stelt vast dat verklarende drift methode-afhankelijk, architectuur-afhankelijk en shift-afhankelijk is. Cruciaal is dat zij aantonen dat verklarende stabiliteit geen vervanging is voor kalibratie- of nauwkeurigheidsmonitoring, aangezien "stille fouten" kunnen optreden waarbij verklaringen stabiel lijken terwijl de modelbetrouwbaarheid afneemt.

5. Betekenis en Claims

Het artikel betoogt dat verklarende stabiliteit een afzonderlijke betrouwbaarheidsas is voor TTA in de computationele pathologie.

• Klinische Relevantie: In klinische workflows vertrouwen pathologen op verklaringen om te verifiëren of modellen aandacht besteden aan plausibele weefselgebieden. Als TTA deze attributies verschuift zonder de nauwkeurigheid te veranderen, kan het model zelfs numeriek robuust zijn, maar minder "klinisch auditeerbaar" worden.
• Implicaties voor Implementatie: De auteurs bevelen aan dat de evaluatie van TTA in medische beeldvorming discriminatie, kalibratie en verklarende stabiliteit gezamenlijk moet rapporteren. Het vertrouwen op alleen nauwkeurigheid of alleen verklarende metrieken kan kritieke foutmodi missen.
• Toekomstige Richting: De bevindingen suggereren dat toekomstige TTA-methoden de beweging van verklaringen moeten reguleren of updates moeten beperken tot kleinere subsetten van parameters om onnodige verplaatsing van aandacht te voorkomen, met name in convolutionele backbones.

De auteurs stellen expliciet dat ESI een integriteitsmaatstaf is, geen veiligheidscertificaat. Een hoge ESI geeft aan dat de visuele rationale stabiel is, maar garandeert niet dat de voorspelling correct of goed gekalibreerd is. Omgekeerd duidt een lage ESI op een verschuiving in de rationale, wat nadere inspectie rechtvaardigt, maar hoeft niet noodzakelijkerwijs een slechtere voorspelling te impliceren.