Reproducing and Improving CheXNet: Deep Learning for Chest X-ray Disease Classification

In dit artikel wordt het CheXNet-algoritme gereproduceerd en verbeterd op de NIH ChestX-ray14-dataset, waarbij het beste model een gemiddelde AUC-ROC van 0,85 en een F1-score van 0,39 bereikte voor de classificatie van 14 ziekten.

De kern

🩺 De Digitale Arts: Een Nieuwe Versie van een Bekende Hulp

Stel je voor dat je een zeer slimme robotarts hebt die gespecialiseerd is in het lezen van longfoto's (röntgenfoto's). Deze robot heet CheXNet. Hij werd in 2017 bedacht en was een doorbraak: hij kon longontstekingen vaak beter zien dan menselijke artsen. Maar, zoals bij elke oude technologie, is er ruimte voor verbetering.

Dit onderzoek van studenten en een professor van de Boston University is als een werkplaats voor robotartsen. Ze hebben de originele CheXNet-robot niet alleen nagemaakt om te zien of hij nog steeds werkt, maar ze hebben hem ook opgeknapt, getuned en zelfs getest met nieuwe, moderne technieken.

Hier is wat ze hebben gedaan, vertaald in simpele termen:

1. Het Probleem: Een onevenwichtige klas

De robot moet leren 14 verschillende ziektes te herkennen op één foto. Het probleem? De klas is heel onevenwichtig.

• De vergelijking: Stel je een klas voor met 100 leerlingen. 54 van hen zeggen: "Ik ben gezond" (geen ziekte). 8 zeggen: "Ik heb een lichte verkoudheid". Maar slechts 1 of 2 leerlingen hebben een zeldzame ziekte.
• Het gevolg: Als de robot alleen maar "Gezond" zegt, heeft hij het vaak bij het rechte eind. Maar dat helpt de patiënt niet. De echte uitdaging is om die zeldzame ziektes ook te vinden zonder dat de robot in paniek raakt en elke foto als ziek bestempelt.

2. De Oplossing: De "DACNet" Upgrade

De onderzoekers hebben de originele robot (CheXNet) opgefrist en een nieuwe versie gemaakt die DACNet heet. Ze hebben drie belangrijke gereedschappen gebruikt om hem slimmer te maken:

• Focal Loss (De "Oogklep"):
  Stel je voor dat de robot door een wolk van "gezonde" foto's kijkt en de zeldzame ziektes over het hoofd ziet. Focal Loss is als een speciale oogklep die de robot dwingt om extra goed te kijken naar de moeilijke, zeldzame gevallen. Hij leert: "Kijk niet alleen naar wat je vaak ziet, maar focus op wat zeldzaam is."
• AdamW (De "Slimme Trainer"):
  In plaats van de robot op een saaie, vaste manier te trainen, gebruiken ze een slimme trainer (de AdamW-optimizer). Deze trainer past het tempo en de moeilijkheidsgraad voortdurend aan, zodat de robot sneller en efficiënter leert.
• Kleurveranderingen (De "Data Augmentatie"):
  Om de robot niet te laten "leren op de foto's zelf", maar op de ziektes, hebben ze de foto's een beetje veranderd tijdens het trainen. Ze hebben ze iets gedraaid, gekleurd of helder/gemerkt gemaakt. Dit is alsof je iemand leert een hond te herkennen door hem foto's te laten zien van honden in de regen, in de zon, en met een hoed op. Zo wordt de robot niet verward door de omstandigheden, maar focust hij op de ziekte.

3. De Nieuwe Techniek: De "Transformer" (De Visionair)

Ze hebben ook gekeken naar een heel nieuw type robot, gebaseerd op Vision Transformers (ViT).

• De vergelijking: Een traditionele robot (CNN) kijkt naar een foto als een schilder die stukje bij beetje verf op het doek zet. Een Transformer kijkt naar de foto als een detective die eerst naar het hele plaatje kijkt om verbanden te leggen, en dan pas naar de details.
• Het resultaat: Hoewel deze "detective-robot" in andere vakgebieden geweldig is, werkte hij hier niet beter dan de traditionele robot. De reden? De dataset was te klein voor deze complexe detective. Hij had meer foto's nodig om echt te leren.

4. De Resultaten: Een betere, maar nog niet perfecte arts

De nieuwe DACNet robot is een groot succes:

• Hij ziet meer: Hij is veel beter in het vinden van de juiste ziekte dan de oude versie.
• De cijfers: Hij scoort gemiddeld een 8,5 op een schaal van 10 (AUC) om ziektes te onderscheiden van gezonde foto's.
• De valkuil: Hoewel hij de ziekte vaak vindt, is hij soms niet 100% zeker of hij echt aanwezig is.
  • Vergelijking: Hij zegt vaak: "Ik denk dat er een longontsteking is, maar ik ben niet 100% zeker." Hij is goed in het rangen (de ziekte bovenaan de lijst zetten), maar soms wat te voorzichtig in het beslissen (ja/nee).

5. De Toepassing: Een App voor iedereen

De onderzoekers hebben niet alleen de code gepubliceerd, maar ook een gratis web-app gemaakt (te vinden op Hugging Face).

• Hoe het werkt: Je uploadt een longfoto. De app geeft je een lijstje met de meest waarschijnlijke ziektes.
• Het "X-ray" effect: De app toont ook een warmtekaart (Grad-CAM). Dit is als een gloeiende rode vlek op de foto die laat zien waar de robot naar keek om zijn beslissing te nemen. Dit helpt artsen om te begrijpen waarom de robot iets zegt, in plaats van blindelings te vertrouwen.

Conclusie: Waarom is dit belangrijk?

Dit onderzoek is een mooi voorbeeld van reproduceerbaarheid. In de wetenschap is het belangrijk om niet alleen te zeggen "wij hebben iets gevonden", maar ook: "kijk, hier is onze code, probeer het zelf."

Ze hebben bewezen dat je met moderne technieken (zoals Focal Loss en slimme trainers) een oude, bekende robot kunt upgraden tot een veel krachtigere versie. Het is een stap in de richting van een toekomst waarin AI artsen helpt om sneller en accurater diagnoses te stellen, vooral in gebieden waar er te weinig specialisten zijn.

Kortom: Ze hebben een oude robotarts opgefrist, hem een paar nieuwe brillen gegeven, en laten zien dat hij nu beter kan kijken dan ooit tevoren, al moet hij nog wel leren om zijn beslissingen iets zekerder te maken.

Technische samenvatting

Probleemstelling

Het paper adresseert de uitdagingen bij het reproduceren en verbeteren van diepe leermodellen voor de classificatie van borst-Röntgenfoto's (Chest X-rays). Hoewel het baanbrekende CheXNet-model (een 121-laagse DenseNet) een mijlpaal was in het detecteren van longontsteking, zijn er significante obstakels bij het reproduceren van deze resultaten en het verbeteren van de prestaties op de volledige NIH ChestX-ray14 dataset.

De kernproblemen zijn:

• Extreme klasse-imbalance: De dataset bevat meer dan 100.000 afbeeldingen met 14 ziekteklassen, maar de verdeling is sterk scheef. Bijvoorbeeld, "Geen bevindingen" (No Finding) komt voor in 53,84% van de gevallen, terwijl zeldzame aandoeningen minder dan 1% vertegenwoordigen.
• Meerlabel-classificatie: Een afbeelding kan meerdere ziekten tegelijk vertonen, wat leidt tot een theoretische ruimte van $2^{14}$ combinaties, waarbij de meeste zeldzaam zijn.
• Reproduceerbaarheid: Het oorspronkelijke CheXNet-papier rapporteerde F1-scores voor longontsteking op een niet-publieke, door experts gelabelde subset, wat volledige reproduceerbaarheid bemoeilijkt.
• Prestatie-tekortkomingen: Bestaande basismodellen presteren vaak goed op het AUC-ROC-maatstaf (rangschikking), maar hebben lage F1-scores (precisie/recall-balans), vooral bij zeldzame ziekten.

Methodologie

De auteurs hebben een systematische aanpak gevolgd om CheXNet te reproduceren en te verbeteren:

1. Dataset: Gebruik van de openbare NIH ChestX-ray14 dataset. De data is gesplitst op patiëntniveau (patient-wise split) om data-lekkage te voorkomen, in plaats van op afbeeldingsniveau.
2. Architecturale Varianten:
   • Replicate_CheXNet: Een trouwe reproductie van het originele model met DenseNet-121, Binary Cross-Entropy (BCE) loss, Adam-optimizer en standaard augmentaties.
   • DACNet (De voorgestelde verbetering): Een geoptimaliseerd DenseNet-121 model dat de volgende wijzigingen introduceert:
     • Focal Loss: Vervanging van BCE door Focal Loss (met $\gamma=2, \alpha=1$) om het probleem van klasse-imbalance aan te pakken en de focus te leggen op moeilijke voorbeelden.
     • Optimizer: Gebruik van AdamW met gewichtsdecay in plaats van standaard Adam.
     • Augmentatie: Introductie van Color Jitter en RandomResizedCrop om de robuustheid te vergroten.
     • Lerendheidsplanning: Gebruik van een ReduceLROnPlateau scheduler.
     • Per-klasse drempelwaarde: In plaats van een globale drempelwaarde (bijv. 0.5) voor alle ziekten, wordt voor elke ziekte een geoptimaliseerde F1-drempelwaarde bepaald.
   • ViT_Transformer: Een experiment met een Vision Transformer (ViT) om te testen of attention-based modellen CNNs kunnen overtreffen.
3. Evaluatiemetrics: De focus verschuift van alleen longontsteking naar alle 14 ziekten. De belangrijkste metrics zijn AUC-ROC (gebied onder de ROC-curve) en F1-score.
4. Interpreteerbaarheid: Integratie van Grad-CAM om warmtekaarten te genereren die tonen waar het model in de afbeelding kijkt.

Belangrijkste Bijdragen

• Faithful Reproduction: Een reproduceerbare baseline is vastgesteld voor CheXNet, wat de prestaties van het originele paper op de publieke dataset valideert.
• Introductie van DACNet: Een nieuw model dat aanzienlijk betere prestaties levert door moderne technieken (Focal Loss, AdamW, Color Jitter) toe te passen.
• Per-klasse Optimalisatie: Het bewijs dat het aanpassen van drempelwaarden per ziekteklasse essentieel is voor het verbeteren van de F1-score in meerlabel-scenario's.
• Open Source & Transparantie: Alle code, configuraties en evaluatiepipelines zijn openbaar gemaakt op GitHub.
• Toepassing: Ontwikkeling van een Streamlit-webapplicatie (gehost op Hugging Face) die gebruikers toelaat om Röntgenfoto's in te laden, voorspellingen te zien en de Grad-CAM visualisaties te inspecteren.

Resultaten

De resultaten tonen aan dat de geïmplementeerde verbeteringen cruciaal zijn voor de prestaties:

• Algemene Prestaties:

  • DACNet bereikte een gemiddelde AUC-ROC van 0,85 en een gemiddelde F1-score van 0,39.
  • De gerepliceerde CheXNet (baseline) behaalde een AUC van 0,79 en een F1-score van slechts 0,08.
  • Het ViT-model presteerde slechter dan de CNN-architecturen (AUC 0,794, F1 0,11), waarschijnlijk door de beperkte grootte van de dataset voor fine-tuning.

• Per Ziekte (AUC Vergelijking): DACNet overtrof de originele CheXNet in 9 van de 14 ziekten. Bijvoorbeeld:

  • Hernia: 0,997 (DACNet) vs 0,916 (Origineel).
  • Emphysema: 0,963 (DACNet) vs 0,937 (Origineel).
  • Effusion: 0,905 (DACNet) vs 0,864 (Origineel).

• F1-Scores: De F1-scores van DACNet waren over het algemeen aanzienlijk hoger, vooral bij zeldzame klassen waar de baseline vaak faalde (bijv. 0,750 voor Hernia vs 0 voor de baseline bij sommige klassen).

• Observaties: Hoewel DACNet een hoge AUC heeft (goed in het rangschikken van positieve gevallen boven negatieve), blijft de F1-score gematigd. Dit suggereert dat het model goed is in het identificeren van de meest waarschijnlijke ziekte, maar moeite heeft met het maken van scherpe binaire beslissingen (aanwezig/afwezig) voor elke ziekte afzonderlijk, wat typisch is voor onbalans datasets.

Betekenis en Conclusie

Dit onderzoek benadrukt het belang van reproduceerbaarheid in het medische AI-onderzoek. Het toont aan dat het simpelweg kopiëren van een oud model niet voldoende is; moderne trainingstechnieken (zoals Focal Loss en geavanceerde augmentatie) zijn noodzakelijk om de prestaties op onbalans datasets te verbeteren.

De belangrijkste inzichten zijn:

1. Technische Vooruitgang: De combinatie van Focal Loss, AdamW en per-klasse drempeloptimalisatie leidt tot een robuuster model dat beter presteert op zeldzame, klinisch relevante aandoeningen.
2. Klinische Relevantie: De integratie van Grad-CAM en een gebruiksvriendelijke web-app vergroot het vertrouwen van artsen in AI-voorspellingen door het "black box"-probleem te verminderen.
3. Community Bijdrage: Door de volledige codebase openbaar te maken, faciliteren de auteurs verdere ontwikkeling en validatie door anderen, wat essentieel is voor de evolutie van AI in de gezondheidszorg.

Kortom, DACNet vertegenwoordigt een significante stap voorwaarts in het maken van diepe leermodellen voor thoracale ziekten niet alleen reproduceerbaar, maar ook klinisch bruikbaarder en nauwkeuriger dan de oorspronkelijke benchmarks.