Who Gets Missed in the Tail? Thresholded Subgroup Underdiagnosis in Long-Tailed Chest X-ray Classification

Technische Samenvatting: Drempelwaarde-gebaseerde Onderdiagnose in Subgroepen bij Long-Tailed Chest X-ray Classificatie

1. Probleemdefinitie

Het artikel behandelt een specifieke eerlijkheidskloof in long-tailed multi-label Chest X-ray (CXR) classificatie: de discrepantie tussen acceptabele rangschikkingsprestaties (bijv. macro-mAP) en de werkelijke uitkomst bij implementatie, waarbij patiënten met zeldzame positieve bevindingen, met name binnen specifieke subgroepen, niet worden gedetecteerd onder de beslissingsdrempel.

Terwijl bestaande long-tail methoden zich richten op klasse-niveau herweging en fairness-methoden vaak aggregeren over groepen, stelt dit werk dat de kritieke foutmodus drempelwaarde-gebaseerde klasse-subgroep onderdiagnose is. Een model kan hoge geaggregeerde metrieken behalen terwijl het systematisch zeldzame bevindingen (de "tail") voor specifieke demografische groepen (bijv. specifieke leeftijd of geslacht combinaties) mist zodra scores worden omgezet in binaire klinische beslissingen. De kernvraag voor de audit is: Nadat een long-tailed model is omgezet van scores naar beslissingen, wie wordt er dan gemist?

2. Methodologie

De auteurs hanteren een "diagnostische ladder"-benadering waarbij modelvarianten worden gebruikt als probes om de bron van onderdiagnose te isoleren. De studie maakt gebruik van twee cohorten: VinDr-CXR (beperkt tot geslacht en leeftijd metadata) en MIMIC-CXR/CXR-LT (rijkere metadata inclusief ras en verzekering). Alle modellen delen een ConvNeXt-Tiny backbone met een dataset-specifieke lineaire kop.

De diagnostische ladder bestaat uit zes modelconfiguraties (M1–M6):

• M1 (Baseline): Binary Cross-Entropy (BCE) loss.
• M2: Asymmetric Loss (ASL).
• M3: ASL met Effective-Number klasse-weging (CB-ASL).
• M4: Group Distributionally Robust Optimization (GroupDRO) als referentie voor geaggregeerde groep-robuustheid.
• M5: ASL vermenigvuldigd met een afgeknipte klasse-subgroep weging gebaseerd op trainingsaantallen (subgroep-bewuste training).
• M6 (Thresholding Probe): Hergebruikt M5 scores maar wijzigt de drempelwaarde-regel. Terwijl head/medium klassen F1-optimale drempels gebruiken, worden tail-klasse drempels ingesteld om de worst-group recall te maximaliseren met een minimale precisievloer ($\tau = 0.05$).

Belangrijk Experimenteel Ontwerp:

• Scheiding van Variabelen: Door M5 en M6 te vergelijken, isoleert de studie het effect van drempelwaarde-selectie van de score-model training, aangezien beide identieke gerangschikte scores, ECE en Brier scores delen.
• Metrieken: De studie gaat verder dan rangschikkingsmetrieken (macro-mAP, tail-mAP) en richt zich op de Thresholded False Negative Rate (FNR), Worst-Group FNR per subgroep-as, en Gemiste Positieven per 100 Ware Positieven.
• Onzekerheidskwantificatie: Vanwege kleine steekproeven in tail-klassen (bijv. 3–19 positieven per klasse in VinDr), rapporteren de auteurs onafhankelijke bootstrap 95% betrouwbaarheidsintervallen en gepaarde bootstrap contrasten om statistische strengheid te waarborgen.

3. Belangrijkste Resultaten

VinDr-CXR Bevindingen:

• Impact van Drempelwaarde: Het overstappen van standaard F1-drempels (M5) naar tail-bewuste drempels (M6) verminderde de tail FNR drastisch van 0.471 naar 0.269.
• Subgroep Verbeteringen: De worst-group FNR voor geslacht daalde van 0.507 naar 0.157, en voor leeftijd van 0.633 naar 0.133.
• Macro Metrieken: Macro-mAP bleef stabiel (0.635 voor zowel M5 als M6), wat bevestigt dat de verbetering werd gedreven door drempelwaarde-selectie, niet door score her-rangschikking.
• Specifieke Ziekte Impact: Verbeteringen werden gedreven door specifieke tail-klassen met voldoende ondersteuning (bijv. Calcificatie, ILD, Consolidatie), terwijl klassen met extreem lage ondersteuning (bijv. Atelectase met $n=3$) instabiele resultaten vertoonden.

MIMIC-CXR/CXR-LT Bevindingen:

• Consistente Richting: Dezelfde drempelwaarde-strategie (M6) verminderde de tail FNR van 0.866 naar 0.741 en verlaagde de worst-group FNR over geslacht, leeftijd, ras en verzekering.
• Residueel Risico: Ondanks de reducties bleven de absolute gemiste-positieveven hoog (bijv. 0.741 tail FNR), wat aangeeft dat drempelwaarde-selectie alleen het tail-probleem niet oplost, maar de worst-case subgroep-missers wel aanzienlijk mitigeert.
• GroupDRO Beperkingen: De GroupDRO baseline (M4) presteerde niet beter dan M6 op de thresholded tail FNR, wat suggereert dat geaggregeerde groep-robuustheid alleen onvoldoende is om zeldzame subgroep-missers in deze setting aan te pakken.

Trade-offs:

• Het verminderen van missers via lagere drempelwaarden verhoogt de "alert burden" (voorspelde tail-positieve labels per 100 studies). Voor VinDr steeg dit van 4.9 (F1 drempel) naar 38.9 (tail-bewuste drempel), wat de klinische beleidsafweging tussen sensitiviteit en workflow-belasting benadrukt.

4. Bijdragen

Het artikel levert vier primaire bijdragen:

1. Definitie van Audit-eenheid: Het definieert thresholded class-subgroup underdiagnosis als de fundamentele eenheid voor het auditen van long-tailed CXR eerlijkheid, waarbij de focus verschuift van zeldzame labels of groepen in isolatie naar de intersectie van bevinding, subgroep en operationele drempelwaarde.
2. Diagnostische Ladder: Het introduceert een methodologie om klasse-niveau verliezen, subgroep-bewuste weging, groep-robuustheid en drempelwaarde-selectie te scheiden om te lokaliseren waar gemiste positieven in de pijplijn terechtkomen.
3. Interpreteerbare Metrieken: Het rapporteert subgroep-geconditioneerde FNR, gemiste positieven per 100 ware positieven en bootstrap contrasten om bewijslast uit kleine cellen interpreteerbaar te maken.
4. Empirisch Bewijs: Het demonstreert over twee cohorten dat rangschikkingsmetrieken en geaggregeerde groep-robuustheid niet bepalen wie er gemist wordt na drempelwaarde-selectie; het operationele punt verandert de geobserveerde tail-schade materieel.

5. Betekenis en Claims

Het artikel positioneert zichzelf als een meetinstrument in plaats van een inzetbare oplossing of een algemeen fairness-middel. De primaire claims zijn bescheiden en methodologisch:

• Drempelwaarde Afhankelijkheid: Rare-label eerlijkheid in CXR hangt gezamenlijk af van de bevinding, de subgroep en de operationele drempelwaarde. Het wordt niet alleen bepaald door labelfrequentie of rangschikkingsmetrieken.
• Beperking van Geaggregeerde Metrieken: Een model kan een acceptabele macro-mAP hebben terwijl het zeldzame positieve gevallen in specifieke subgroepen onder de drempelwaarde laat.
• Observabiliteitsgrenzen: Eerlijkheidsclaims zijn strikt begrensd door de beschikbare metadata (bijv. VinDr mist ras/verzekeringsdata) en de positieve ondersteuning in de testset.
• Klinisch Beleid: De keuze van de drempelwaarde ($\tau$) is een klinische beleidsbeslissing die een afweging inhoudt tussen gemiste positieven en review-belasting, niet een universele parameter.

De studie concludeert dat threshold-aware auditing noodzakelijk is om geobserveerde subgroep-missers te verminderen, maar dat hoge residuele FNR's en metadata-beperkingen betekenen dat deze aanpak moet worden behandeld als een fairness-meetinstrument om beleid te sturen, en niet als een op zichzelf staande, klaar voor implementatie zijnde oplossing.