Improving Imbalanced Multi-Label Chest X-Ray Diagnosis via CBAM-Enhanced CNN Backbones

Technische Samenvatting: Verbetering van Ongelijkgewogen Multi-Label Diagnose van Borst-RTG via CBAM-Versterkte CNN-Backbones

Probleemstelling
Borstradiografie is een primaire modaliteit voor het diagnosticeren van thoracale aandoeningen, maar handmatige interpretatie blijft tijdrovend en afhankelijk van deskundige kennis. Hoewel Deep Learning (DL) de extractie van kenmerken heeft geautomatiseerd, blijven twee kritieke uitdagingen bestaan binnen dit domein:

1. Multi-Label Complexiteit: Een enkele radiografie bevat vaak meerdere gelijktijdig optredende pathologieën, waardoor modellen complexe, gelijktijdige classificaties moeten hanteren.
2. Ernstige Class Imbalance: Groot-schalige datasets zoals ChestXray14, MIMIC-CXR en CheXpert worden gedomineerd door frequente aandoeningen en het label "No-Finding" (geen bevinding). Deze onbalans beïnvloedt het leergedrag, wat leidt tot verslechterde prestaties bij zeldzame maar klinisch significante ziekten.
   Bovendien lijden standaard Convolutional Neural Networks (CNN's) onder beperkte receptieve velden, wat de vastlegging van lange-afstandsafhankelijkheden belemmert die cruciaal zijn voor het identificeren van ruimtelijk ver verwijderde maar semantisch correlerende afwijkingen. Hoewel Transformer-gebaseerde architecturen oplossingen bieden, beperken hun hoge reken- en data-eisen vaak de haalbaarheid in real-world klinische scenario's.

Methodologie
De auteurs stellen een praktische integratiestrategie voor die standaard CNN-backbones versterkt met de Convolutional Block Attention Module (CBAM) om multi-label classificatie te verbeteren zonder pixel-level annotaties te vereisen. De methodologie richt zich op drie kerncomponenten:

1. CBAM-Versterkte Architectuur:

   • Het raamwerk integreert CBAM in wijdverspreide backbones, specifiek DenseNet121 en VGG16.
   • CBAM wordt sequentieel toegepast langs kanaal- en ruimtelijke dimensies om attentiekaarten te genereren die fungeren als zachte kenmerkmaskers. Dit versterkt taakrelevante regio's terwijl irrelevante achtergrondinformatie wordt onderdrukt.
   • Strategische Plaatsing: Het artikel introduceert een principieel schema voor moduleplaatsing. Voor DenseNet121 wordt CBAM ingevoegd na het 3e en 4e dense blok. Voor VGG16 wordt het ingevoegd na de blokken 3, 4 en 5. Deze strategie richt zich op diepere semantische lagen waar hoog-niveau abstracties worden gevormd, en balanceert laag-niveau kenmerkextractie met hoog-niveau semantische verfijning.

2. Trainingsparadigma:

   • De studie hanteert een tweestaps leernorm (geïnspireerd door eerdere werken [7]).
   • Stap 1: Het model wordt uitsluitend getraind op abnormale steekproeven om class-specifieke discriminerende patronen te vangen, waarmee de dominantie van de "No-Finding"-klasse wordt gemitigeerd.
   • Stap 2: Het model wordt fine-getuned op de volledige dataset om het leren van globale representaties te versterken.
   • De auteurs onderzoeken verschillende verliesfuncties, waaronder Binary Cross Entropy (BCE) en Focal Loss, en vergelijken single-stage versus two-stage training.

3. Ablatie en Evaluatie:

   • De studie voert ablatiestudies uit om de optimale plaatsing van CBAM-modules en de effectiviteit van verschillende trainingsconfiguraties te bepalen.
   • Evaluatie wordt uitgevoerd op de ChestXray14-dataset (112.120 afbeeldingen, 14 ziektecategorieën) met behulp van een patient-wise splitsing om informatielekken te voorkomen.

Belangrijkste Bijdragen
Het artikel schetst vier primaire bijdragen:

• Raamwerkintegratie: Een CBAM-versterkt CNN-raamwerk dat attentiemechanismen integreert in standaard backbones (DenseNet121, VGG16) om kenmerkrepresentaties te verfijnen voor multi-label classificatie.
• Plaatsingsstrategie: Een principieel schema voor het identificeren van optimale invoegpunten voor CBAM, waarbij wordt aangetoond dat het integreren van attentie in diepere semantische lagen superieure resultaten oplevert in vergelijking met volledige of minimale plaatsing.
• Trainingsanalyse: Een ablatiestudie die de effecten onderzoekt van Focal Loss, single-stage training en een door curriculum geïnspireerde two-stage strategie. De analyse benadrukt hoe trainingsconfiguraties de prestaties beïnvloeden onder ernstige class imbalance.
• Prestatiebenchmarking: Evaluatie op ChestXray14 die een verbeterde detectie toont van ondervertegenwoordigde aandoeningen in vergelijking met state-of-the-art baselines.

Resultaten
De voorgestelde methode behaalt de volgende resultaten op de ChestXray14-dataset:

• Algemene Prestaties: Het CBAM-versterkte VGG16-model behaalde een gemiddelde AUC van 0,8695, en het CBAM-versterkte DenseNet121 behaalde 0,8681. Deze scores overtreffen eerdere benchmarks, waaronder Wang et al. (0,7451), CheXNet (0,841) en SynthEnsemble (0,854).
• Detectie van Zeldzame Pathologieën: De modellen toonden veerkracht tegen class imbalance in zeldzame categorieën:
  • Hernia: CBAM-DenseNet121 behaalde een AUC van 0,9660 (tegenover 0,9172 in eerdere werken).
  • Emfyseem: Behaalde AUC's van 0,9426 (DenseNet) en 0,9422 (VGG16).
  • Pneumonie: CBAM-VGG16 behaalde een AUC van 0,7915.
• Ablatiebevindingen:
  • Plaatsing: Het invoegen van CBAM na het 3e en 4e blok in DenseNet121 en de blokken 3, 4 en 5 in VGG16 leverde de hoogste prestaties op. Het beperken van attentie tot uitsluitend het laatste blok veroorzaakte een significante prestatiedaling.
  • Trainingsstrategie: De two-stage trainingsaanpak presteerde consequent beter dan single-stage training, zelfs wanneer single-stage modellen Focal Loss gebruikten. Bijvoorbeeld, de two-stage DenseNet121 (BCE Loss) bereikte 0,8681, significant hoger dan het beste single-stage resultaat van 0,8400 (Focal Loss). Dit suggereert dat het isoleren van abnormale data in de initiële fase cruciaal is voor het leren van inter-class semantiek in ongelijkgewogen datasets.

Betekenis en Beweringen
Het artikel beweert dat de voorgestelde architectuur een praktische afweging biedt tussen modelcapaciteit en efficiëntie. Door standaard CNN's te versterken met attentiemechanismen, verbetert de methode de detectie van subtiele en laag-prevalente pathologieën zonder de rekenkundige overhead van Transformer-gebaseerde modellen of de noodzaak van dure pixel-level annotaties. De auteurs benadrukken dat het two-stage trainingscurriculum een kritieke factor is in het overwinnen van class imbalance, waardoor het model effectief discriminerende patronen kan leren voordat het generaliseert naar de volledige dataset. Het werk concludeert dat gerichte implementatie van attentiemechanismen, gecombineerd met op maat gemaakte trainingscurricula, essentieel is voor robuuste multi-label diagnose in medische beeldvorming. Voor toekomstig werk wordt voorgesteld om zich te richten op het verbeteren van klinische interpreteerbaarheid en het modelleren van inter-pathologie afhankelijkheden.