Loss Design and Architecture Selection for Long-Tailed Multi-Label Chest X-Ray Classification

Probleemstelling

Het paper adresseert de uitdaging van multi-label classificatie van borstfoto's (CXR) in een langstaartverdeling (long-tailed distribution). In klinische datasets komen bepaalde aandoeningen (zoals cardiomegalie) zeer frequent voor, terwijl andere, maar klinisch cruciale aandoeningen (zoals pneumothorax of emfyseem), zeer zeldzaam zijn.

• De kernproblemen:
  1. Class Imbalance: Conventionele verliesfuncties (zoals Binary Cross-Entropy) zijn vooroordeels ten gunste van de "head classes" (veel voorkomende aandoeningen) en falen om zeldzame "tail classes" correct te herkennen.
  2. Multi-label complexiteit: Een enkele patiënt kan meerdere gelijktijdige aandoeningen hebben, wat complexe co-occurrence patronen vereist.
  3. Ontbrekende systematische evaluatie: Er is een gebrek aan onderzoek dat de interactie tussen verliesfuncties, backbone-architecturen en post-training strategieën gezamenlijk evalueert specifiek voor deze langstaart-CXR-taak.

Methodologie

De auteurs hebben een systematische empirische evaluatie uitgevoerd op de CXR-LT 2026 benchmark (afgeleid van het PadChest-dataset), bestaande uit ongeveer 143.000 afbeeldingen met 30 ziekte-labels.

1. Verliesfuncties (Loss Functions):

• LDAM-DRW (Label-Distribution-Aware Margin met Deferred Re-weighting): Dit is de centrale aanpak. LDAM dwingt grotere decision margins af voor minderheidsklassen. DRW start met uniforme gewichten en schakelt pas na een "warm-up" periode over op class-balanced weights. Dit laat het model eerst algemene representaties leren voordat het zich focust op de zeldzame klassen.
• Asymmetric Loss (ASL): Ontworpen voor multi-label, maar presteerde in dit experiment slecht door de extreme onbalans in de dataset.
• Binary Cross-Entropy (BCE): De standaardbaseline, die minder goed presteert voor zeldzame klassen.

2. Architectuurkeuze:
Er werden diverse CNN-backbones getest, variërend van traditionele tot moderne ontwerpen:

• Traditioneel: ResNet-50/101, DenseNet-121/169.
• Efficiënt: EfficientFormerV2-S.
• Modern: ConvNeXt-Base en ConvNeXt-Large (geïnspireerd door Transformers, met grotere kernels en patchified stems).
  Alle modellen werden vooraf getraind op ImageNet en aangepast met een classificatiehoofd voor 30 logit-outputs.

3. Post-training Strategieën:

• Classifier Re-training (cRT): Een twee-staps aanpak waarbij de backbone wordt bevroren en alleen het classificatiehoofd opnieuw wordt getraind met class-balanced sampling. Dit ontkoppelt representatielearning van classifier-optimalisatie.
• Test-Time Augmentation (TTA): Gemiddelde voorspellingen over horizontale flips en kleine rotaties.
• Ensembling: Gewogen gemiddelde van meerdere modellen.

Belangrijkste Resultaten

1. Prestatie van Verliesfuncties:

• LDAM-DRW bleek consistent superieur aan BCE en Asymmetric Loss.
• Bij ResNet-50 leidde de overstap van BCE naar LDAM-DRW tot een relatieve verbetering van meer dan 30% in mAP (van 0.3248 naar 0.4241).
• Asymmetric Loss faalde volledig (mAP 0.0667) vanwege de extreme onbalans die de gradiënten voor zeldzame positieve labels onderdrukte.

2. Architectuur Impact:

• ConvNeXt-Large behaalde de beste prestaties voor een enkel model met een mAP van 0.5220 en een F1-score van 0.3765 op de ontwikkelset.
• Moderne architecturen (zoals ConvNeXt) presteerden aanzienlijk beter dan traditionele backbones (ResNet/DenseNet), wat suggereert dat grotere capaciteit in combinatie met moderne CNN-principes essentieel is voor langstaart-leerproblemen.

3. Effect van Post-training:

• cRT verbeterde rangschikking-metrics (zoals AUC) aanzienlijk, maar verbeterde niet consistent de F1-score en verhoogde vaak de kalibratiefout.
• TTA en Ensembling gaven marginale verbeteringen in AUC, maar verbeterden niet de instance-level nauwkeurigheid (F1) en konden de kalibratie zelfs verslechteren.

4. Competitie Resultaten (CXR-LT 2026):

• De inzending van de auteurs behaalde de 5e plaats onder 68 teams met een mAP van 0.3950.
• Er was een significante performance gap tussen de ontwikkelset (mAP 0.52) en de testset (mAP 0.395).
• De test-F1-score was zeer laag (0.0945), wat wijst op problemen met probability calibration en het kiezen van de juiste drempelwaarden (thresholds), ondanks een goede rangschikking (AUC 0.8591).

Bijdragen en Significantie

Technische Bijdragen:

1. Systematische Vergelijking: Eerste studie die loss-functies, architecturen en post-training strategieën gezamenlijk evalueert voor langstaart multi-label CXR.
2. Validatie van LDAM-DRW: Aantonen dat deze combinatie de meest betrouwbare methode is voor zeldzame klassenherkenning in medische beeldvorming.
3. Architectuur Inzicht: Bewijs dat moderne CNN's (ConvNeXt) superieur zijn aan traditionele modellen voor deze specifieke taak.
4. Analyse van de Gap: Een eerlijke analyse van de discrepantie tussen ontwikkel- en testprestaties, met name de lage F1-score ondanks goede AUC.

Klinische Significantie:

• De studie benadrukt dat voor automatische screeningssystemen in de kliniek het betrouwbaar detecteren van zeldzame pathologieën even belangrijk is als het detecteren van veelvoorkomende aandoeningen.
• De auteurs concluderen dat LDAM-DRW de standaard keuze moet zijn voor klinische langstaart-taken.
• Toekomstperspectief: Om de instance-level detectie te verbeteren (de lage F1 op te lossen), zijn per-class drempeloptimalisatie en betere probabiliteitskalibratie (bijv. temperature scaling) noodzakelijk. Technieken zoals Sharpness Aware Minimisation en grafische methoden voor label-co-occurrence worden voorgesteld als volgende stappen.

Samenvattend biedt dit paper een robuust fundament voor het bouwen van AI-systemen voor borstfoto's die niet alleen goed presteren op veelvoorkomende ziektes, maar ook betrouwbaar zijn voor zeldzame, maar levensbedreigende aandoeningen.