Technische Samenvatting: Cethraian-Shift

Probleemstelling

Grootschalige publieke thoraxfoto-datasets, zoals NIH ChestX-ray14 en VinDr-CXR, faciliteren reproduceerbare modelontwikkeling, maar verschillen aanzienlijk in patiëntenpopulaties, acquisitiepaden, bronnen van labels en annotatiedichtheid. Hoewel interne validatie de standaard is, faalt dit vaak in het blootleggen van veranderingen in discriminatie, probabilistische kalibratie, gevoeligheid voor labelbeleid en de stabiliteit van post-hoc lokalisatie die optreden wanneer modellen worden geëvalueerd over verschillende datasets of onder verschillende doeldefinities. Bestaande literatuur suggereert dat de prestaties van classifiers substantieel kunnen veranderen buiten de ontwikkelomgeving, maar weinig studies isoleren deze variabelen met een strikt bevroren evaluatieprotocol dat de modeltraining scheidt van externe testen en interpretatie.

Methodologie

De studie, getiteld Cethraian-Shift, hanteert een "frozen evaluation" (bevroren evaluatie) protocol om een vaste familie van multi-label thoraxfoto-classifiers te auditeren. De kernmethodologie behelst het trainen, bevriezen en vervolgens evalueren van modellen zonder verdere modificatie over verschillende datasets en labelpolicies.

1. Modelarchitectuur en Training

• Backbone: Drie onafhankelijke DenseNet-121 classifiers werden geïnitialiseerd met ImageNet-gewichten (DenseNet121_Weights.IMAGENET1K_V1).
• Trainingsdata: Modellen werden uitsluitend getraind op de NIH ChestX-ray14 ontwikkelingspartitie (73.549 afbeeldingen).
• Seeds: Drie verschillende random seeds (42, 1337 en 2026) werden gebruikt om drie afzonderlijke checkpoints te genereren. Geen enkele seed werd uitgesloten.
• Klassen: Zes bevindingen werden het doel: Cardiomegalie, Pleuravocht, Pneumothorax, Atelectase, Consolidatie en Pleurale verdikking.
• Trainingsprotocol: Unweighted binary cross-entropy loss, AdamW optimizer, en vroege stopzetting (early stopping) gebaseerd op validatie macro AUROC. Geen klasseweging, focal loss of oversampling werd toegepast.
• Reproduceerbaarheid: Deterministische algoritmen, vaste random states en specifieke hardwareconfiguraties (NVIDIA RTX 4080 SUPER) werden afgedwongen.

2. Evaluatiedatasets en Policies

De bevroren checkpoints werden geëvalueerd op twee verschillende datasets onder specifieke beperkingen:

• NIH Official Test: De uitgesloten testpartitie van NIH ChestX-ray14 (25.596 afbeeldingen).
• VinDr-CXR: De 15.000-afbeeldingen trainingspartitie van VinDr-CXR.
• Label Policies (VinDr): Om het effect van doeldefinities te isoleren, werden dezelfde modellogits geëvalueerd tegen twee door lezers afgeleide policies:
  • Majority (Meerderheid): Een positief label vereist overeenstemming van >50% van de drie beschikbare radiologen (ten minste 2).
  • Threshold-One (Drempel-één): Een positief label vereist overeenstemming van ten minste één radioloog.
• Kalibratie: Een enkele scalaire temperatuur per seed werd gefit op de NIH-validatiedata; deze temperatuur werd toegepast op alle daaropvolgende evaluaties (NIH test en VinDr) zonder opnieuw te fitten.

3. Analyse-dimensies

De studie beoordeelde zes verschillende technische dimensies:

1. Discriminatie: Gemeten via macro AUROC en Average Precision (AP).
2. Kalibratie: Geëvalueerd met Brier score, Negative Log-Likelihood (NLL) en Expected Calibration Error (ECE).
3. Label-Policy Gevoeligheid: Gekwantificeerd door de metrics te vergelijken tussen de Majority en Threshold-One policies op VinDr.
4. Cross-Seed Variatie: Geanalyseerd via voorspellingsverschillen en waarschijnlijkheidsvariantie over de drie seeds.
5. Lokalisatie Overlap: Grad-CAM++ kaarten werden gegenereerd vanuit network.features.denseblock4 en vergeleken met VinDr bounding boxes met behulp van de "pointing game" en "energy-inside-box" metrieken.
6. Verklaring Stabiliteit: Pairwise Pearson correlatie en Top-Region IoU werden berekend tussen kaarten gegenereerd door verschillende seeds voor dezelfde afbeelding.

Belangrijkste Resultaten

Discriminatie en Prestaties

• NIH Official Test: Macro AUROC was 0,798986 ± 0,002181; Macro AP was 0,307838 ± 0,004391.
• VinDr-CXR (Majority): Macro AUROC steeg naar 0,871625 ± 0,015777, terwijl Macro AP daalde naar 0,279830 ± 0,011922.
• VinDr-CXR (Threshold-One): Macro AUROC was 0,843146 ± 0,014760; Macro AP was 0,317946 ± 0,013857.
• Observatie: De divergentie tussen de AUROC- en AP-trends over cohorten duidt erop dat ranking-discriminatie en precisie-recall gedrag verschillend reageren op cohort-prevalentie en casuscompositie.

Label-Policy Gevoeligheid

Het wijzigen van de doelpolicy van Majority naar Threshold-One op VinDr beïnvloedde 1.809 afbeeldingen en voegde 2.374 positieve afbeelding-klasse targets toe. De grootste verschuiving vond plaats bij Pleurale verdikking (prevalentie steeg van 0,059 naar 0,132). Deze wijzigingen in metrics weerspiegelen de gevoeligheid van de doeldefinitie in plaats van veranderingen in de onderliggende outputlogits van het model.

Kalibratie Transfer

Temperatuurschaling gefit op de NIH-validatiedata verbeterde de kalibratie op de NIH-testset (verlaagde de gemiddelde ECE van 0,0287 naar 0,0197). Deze verbetering generaliseerde echter niet uniform:

• VinDr Majority: ECE verslechterde licht (0,0292 raw → 0,0318 gekalibreerd).
• VinDr Threshold-One: ECE vertoonde een verwaarloosbare verbetering (0,0448 raw → 0,0446 gekalibreerd).
  Dit demonstreert dat op validatie gefitte kalibratie geen gegarandeerde verbetering biedt onder dataset- of target-shifts.

Lokalisatie en Stabiliteit

• Lokalisatie Overlap: Pneumothorax vertoonde de hoogste pointing-game score (0,500), terwijl Pleurale verdikking de laagste vertoonde (0,046).
• Cross-Seed Stabiliteit: Cardiomegalie vertoonde de hoogste kaartcorrelatie tussen seeds (0,919), terwijl Atelectase de laagste vertoonde (0,550).
• Atlas Audit: Een deterministische atlas van 182 foutgevallen werd geselecteerd; 83 werden gerenderd, terwijl 99 niet beschikbaar bleven vanwege ontbrekende lokalisatiekaarten, wat de beperkingen in de reproduceerbaarheid van post-hoc visualisatie benadrukt.

Betekenis en Claims

Het artikel positioneert Cethraian-Shift niet als een architecturale vooruitgang, maar als een procedurele audit van de betrouwbaarheid van modellen. De primaire bijdragen zijn:

1. Ontkoppeling van Dimensies: De studie demonstreert dat discriminatie, kalibratie, label-policy gevoeligheid, cross-seed variatie en verklaring-stabiliteit verschillende technische dimensies zijn die niet samengevat kunnen worden in een enkele metriek.
2. Rigor van het Bevroren Protocol: Door het model, de preprocessing en de evaluatiepolicies vast te leggen vóór het testen, isoleert de studie de effecten van dataset-shift en labeldefinitie van modeltrainingsartefacten.
3. Transparantie in Reproduceerbaarheid: Het werk biedt een volledig auditspoor, inclus_ief seed-specifieke resultaten, deterministische atlasselectie en expliciete rapportage van onbeschikbare datapunten (bijv. de 99 niet gerenderde atlasrecords).
4. Beperkingen van Post-Hoc Verklaringen: De resultaten versterken het idee dat stabiele Grad-CAM++ kaarten geen klinische correctheid of causaal redeneren impliceren.

Bescheiden Conclusies

De auteur stelt expliciet dat deze retrospectieve resultaten geen klinisch nut, causaal redeneren of gereedheid voor implementatie vaststellen. De studie claimt geen superioriteit over andere architecturen of modellen. In plaats daarvan dient het als een technische audit die benadrukt dat:

• Prestaties op de ene dataset niet ongewijzigd kunnen worden verondersteld voor een andere dataset.
• Kalibratiestrategieën die op interne data zijn gefit, kunnen falen of degraderen onder externe verschuivingen.
• Verklaring-stabiliteit varieert per pathologie en seed, en stabiliteit is geen surrogaat voor getrouwheid (faithfulness).

Het werk concludeert dat dergelijke rigoureuze, multidimensionale audits noodzakelijk zijn om het gedrag van medische beeldvormingsmodellen te begrijpen voordat er enige overweging tot klinische inzet kan plaatsvinden.