Technische Samenvatting: Het benutten van pathologie-co-occurrence voor Test-Time Adaptation bij de diagnose van borstfoto's

Probleemstelling

Deep learning-modellen voor de classificatie van borstfoto's lijden vaak aan significante prestatiedegradatie wanneer ze worden ingezet op nieuwe klinische locaties vanwege domeinverschuivingen die voortvloeien uit verschillen in beeldvormingsapparatuur, acquisitieprotocollen en patiëntdemografie. Hoewel Test-Time Adaptation (TTA) een oplossing biedt door vooraf getrainde modellen bij te werken met behulp van alleen ongeannoteerde doelgegevens (zonder toegang tot brongegevens of doelannotaties), zijn bestaande TTA-methoden slecht geschikt voor multi-label medische beeldvorming.

Standaard TTA-benaderingen, die oorspronkelijk zijn ontworpen voor single-label natuurlijke beeldclassificatie, minimaliseren de voorspellingsentropie uniform over alle samples. Dit gaat impliciet uit van labelonafhankelijkheid. Echter, in klinische settings vertonen pathologieën gestructureerde co-occurrence patronen (bijvoorbeeld bepaalde ziekten die vaak samen voorkomen) in plaats van dat ze geïsoleerd optreden. Bestaande methoden houden geen rekening met deze afhankelijkheden; ze behandelen alle zelfverzekerde voorspellingen als even betrouwbaar, zelfs als een voorspelling plausibele labelrelaties schendt. Dit kan leiden tot de amplificatie van inconsistente patronen en de introductie van ruisige gradiënten tijdens adaptatie, met name onder domeinverschuivingen.

Methodologie: Co-occurrence Weighted Adaptation (CoWA)

De auteurs stellen CoWA voor, een source-free TTA-methode die pathologie-co-occurrence patronen benut als een betrouwbaarheidssignaal om adaptatie te sturen. Het framework werkt zonder dat er aanvullende supervisie of architecturale wijzigingen nodig zijn, en past alleen de Batch Normalization (BN) affine parameters van het vooraf getrainde model aan.

CoWA bestaat uit drie kerncomponenten:

1. Target Domain Co-occurrence Matrix Estimatie:
   De methode schat de label co-occurrence structuur direct in van de binnenkomende testvoorspellingen. Modeloutputs (zachte waarschijnlijkheden) worden gebinariseerd via een vaste drempelwaarde om voorspellingen met een lage betrouwbaarheid te onderdrukken. Een pairwise co-occurrence matrix $S$ wordt geaccumuleerd over verwerkte batches, waarbij $S_{jk}$ de gezamenlijke voorspelling van pathologieën $j$ en $k$ telt. Deze wordt genormaliseerd om een empirische co-occurrence matrix $M$ te vormen, die evolueert naarmate de adaptatie vordert en de specifieke afhankelijkheidsstructuur van het doel-domein vastlegt.

2. Consistentie-bewuste Sample Weging:
   Voor elk sample berekent CoWA een consistentiescore die meet hoe goed de voorspelde labelconfiguratie overeenkomt met de geschatte target co-occurrence matrix $M$. Een lokale co-occurrence patroon $m_i$ wordt geconstrueerd uit de voorspellingen van het sample. De afwijking tussen $m_i$ en $M$ wordt berekend met behulp van de Frobeniusnorm. Deze afwijking wordt omgezet in een betrouwbaarheidsgewicht $w_i$:
   $$w_i = \exp\left(-\frac{\|m_i - M\|_F^2}{\tau}\right)$$
   waarbij $\tau$ een temperatuurparameter is. Samples met voorspellingen die consistent zijn met de opkomende target-structuur ontvangen gewichten nabij 1, terwijl structureel inconsistente (ruisige) voorspellingen worden lager gewogen.

3. Gewogen Entropie Minimalisatie:
   In plaats van de uniforme gemiddelde entropie te minimaliseren, minimaliseert CoWA een gewogen entropieverlies:
   $$L_{CoWA} = \frac{1}{B} \sum_{i=1}^{B} \max(w_i, w_{min}) \cdot H(\hat{y}_i)$$
   Hier is $H(\cdot)$ de voorspellingsentropie, $B$ de batchgrootte, en $w_{min}$ voorkomt dat gewichten naar nul convergeren voor numerieke stabiliteit. Dit zorgt ervoor dat het model primair adapteert op basis van structureel coherente samples, wat de impact van ruisige gradiënten vermindert.

Belangrijkste Bijdragen

1. Voorstel van CoWA: Een nieuwe TTA-methode die pathologie-co-occurrence patronen schat uit modelvoorspellingen en deze gebruikt als een per-sample betrouwbaarheidssignaal voor multi-label medische beeldclassificatie.
2. Identificatie van beperkingen in standaard TTA: De auteurs tonen aan dat standaard TTA-methoden, ontworpen voor single-label benchmarks, ineffectief of zelfs schadelijk kunnen zijn bij multi-label klinische taken omdat ze labelafhankelijkheden negeren.
3. Empirische Validatie: Uitgebreide experimenten op publieke borstfoto-datasets (MIMIC-CXR, CheXpert, VinDr-CXR, NIH Chest X-ray) over zes domeinverschuivingsscenario's laten consistente prestatiewinsten zien ten opzichte van gevestigde baselines.

Experimentele Resultaten

De auteurs evalueerden CoWA tegen verschillende baselines, waaronder No Adaptation, AdaBN, TENT, CoTTA, EATA en RoTTA, waarbij AUROC de primaire metriek was.

• Algemene Prestaties: CoWA behaalde de beste gemiddelde AUROC in de meeste domeinverschuivingsscenario's en bleef competitief in andere scenario's, waarbij het consequent op de eerste of tweede plaats eindigde met kleine prestatiekloven.
• Robuustheid tegen Domeinverschuiving: In tegen tegenstelling tot baselines zoals TENT en AdaBN, die een hoge variabiliteit vertoonden (goed presterend in sommige verschuivingen maar degraderend in andere), behield CoWA een stabiele prestatie.
• Class-Specifieke Verbeteringen: Concurrerende methoden leden vaak aan duidelijke dalingen op pathologieën met een lage prevalentie (bijv. Pneumothorax). CoWA verlichtte deze class-specifieke degradaties consistent. Opvallend genoeg was CoWA de enige methode die de ernstige prestatiedalingen onder de ongeadapteerde baseline over alle verschuivingen heen vermeed, wat de worst-case robuustheid benadrukt.
• Analyse:
  • Matrix Evolutie: De geschatte co-occurrence matrix in CoWA stemde tijdens de adaptatie progressief overeen met de ware target-structuur, terwijl baselines duidelijke afhankelijkheidsstructuren verloren.
  • Gewicht Betrouwbaarheid: Er werd een positieve correlatie waargenomen tussen de toegewezen gewichten en de voorspellingskwaliteit (AUPRC), wat bevestigt dat de gewichten effectief dienen als een impliciete betrouwbaarheidsestimator.
  • Ablatie: Het gebruik van de Frobeniusnorm ($\ell_F$) voor consistentiescoring leverde een hogere gemiddelde AUROC en een lagere variantie op vergeleken met $\ell_1$, $\ell_2$, of $\ell_\infty$ normen. Daarnaast vertoonde CoWA stabielere BN affine gradiëntupdates vergeleken met TENT.

Betekenis en Claims

Het artikel claimt dat CoWA een eenvoudige, inzetbare oplossing biedt voor het verbeteren van diagnostische robuustheid onder domeinverschuiving door de target-domein co-occurrence structuur in TTA te integreren zonder extra annotaties te vereisen.

De auteurs benadrukken dat in klinische settings, waar een ernstige daling in prestaties op een enkele pathologie de diagnose kan compromitteren, de door CoWA geboden "worst-case robuustheid" even cruciaal is als de gemiddelde prestatie. Door voorspellingen die plausibele labelrelaties schenden lager te wegen, stelt CoWA de adaptatie in staat zich te richten op structureel consistente samples, waardoor ruisige gradiënten worden verminderd.

De auteurs concluderen bescheiden door op te merken dat hoewel CoWA effectief is, de geschatte patronen gevoelig kunnen zijn voor dataset-niveau biases. Zij suggereren dat het uitbreiden van CoWA om meer robuuste, causaal gefundeerde relaties te vangen een veelbelovende richting is voor toekomstig werk.