Classification of COVID-19 cases from chest CT volumes using hybrid model of 3D CNN and 3D MLP-Mixer

Technische Samenvatting: Classificatie van COVID-19-gevallen uit Borst-CT-volumes met behulp van een Hybride 3D CNN en 3D MLP-Mixer

Probleemstelling
De snelle wereldwijde verspreiding van het nieuwe coronavirusziekte 2019 (COVID-19) heeft gezorgd voor een aanzienlijk tekort aan mankracht in medische instellingen, wat efficiënte diagnostische workflows noodzakelijk maakt. Hoewel Reverse Transcriptase Polymerase Chain Reaction (RT-PCR) de standaard diagnostische tool is, wordt de gevoeligheid ervan gerapporteerd tussen slechts 42% en 71%. In tegenstelling hiermee vertoont diagnose op basis van borst-CT een gerapporteerde sensitiviteit van 97%, wat het een cruciale modaliteit maakt voor het identificeren van virale pneumonie. De handmatige interpretatie van CT-volumes is echter tijdrovend. Bestaande geautomatiseerde Computer-Aided Diagnosis (CAD)-systemen vertrouwen vaak op Convolutionele Neurale Netwerken (CNN's), die beperkt worden door hun receptieve velden en primair lokale beeldkenmerken gebruiken. Omgekeerd overwegen Vision Transformers (ViT) globale kenmerken, maar vereisen zij enorme hoeveelheden trainingsdata om een hoge prestatie te bereiken, wat in de context van medische beeldvorming vaak niet beschikbaar is. De uitdaging ligt in het ontwikkelen van een geautomatiseerde classificatiemethode die effectief zowel lokale als globale kenmerken uit 3D CT-volumes kan benutten, terwijl deze robuust blijft bij beperkte trainingsdata.

Methodologie
De auteurs stellen een geautomatiseerde classificatiemethode voor voor borst-CT-volumes met behulp van een hybride model dat een 3D Convolutioneel Neuraal Netwerk (3D CNN) combineert met een 3D-versie van de MLP-Mixer.

• Pre-processing: De invoer van de borst-CT-volumes ondergaat longsegmentatie om de longregio's te isoleren. Axiale plakken die geen longweefsel bevatten, worden verwijderd, en het resterende subvolume wordt geschaald naar een vaste resolutie van $192 \times 192 \times 128$ voxels.
• 3D CNN Kenmerkextractie: Het geschaalde subvolume wordt verwerkt door een 3D CNN om lokale beeldkenmerken te extraheren. Dit deel maakt gebruik van dense pooling-verbindingen, waarbij een combinatie van max- en average pooling (mixed pooling) wordt gebruikt om informatieverlies te minimaliseren en ruimtelijke informatie over meerdere schalen te vangen. De output is een 3D-kenmerkvolume.
• 3D Patch Generatie: Niet-overlappende 3D-patches van grootte $4 \times 4 \times 4$ voxels worden geëxtraheerd uit het 3D-kenmerkvolume. Elke patch wordt omgevormd tot een 1D-vector met $C=64$ componenten.
• 3D MLP-Mixer Classificatie: De auteurs breiden de oorspronkelijke 2D MLP-Mixer architectuur uit om 3D-volumes te verwerken. De set 3D-patches dient als de input ($X \in \mathbb{R}^{S \times C}$) voor de 3D MLP-Mixer. Het model verwerkt deze inputs door $L$ lagen, waarbij elke laag bestaat uit twee Multi-Layer Perceptron (MLP) blokken:
  1. Token-mixing: Voert cross-patch kenmerk-mixing uit om de globale context te integreren.
  2. Channel-mixing: Voert intra-patch kenmerk-mixing uit.
     De uiteindelijke output wordt door een globale average pooling en volledig verbonden lagen geleid om een binaire classificatie te produceren (Hoge vs. Lage waarschijnlijkheid van COVID-19).

Belangrijkste Bijdragen

1. Hybride Architectuur: Het artikel introduceert een nieuw hybride model dat 3D CNN's integreert voor lokale kenmerkextractie met een 3D MLP-Mixer voor globale kenmerkintegratie. Dit adresseert de beperking van pure CNN's (lokale focus) en pure Transformers/MLP-Mixers (datahonger).
2. 3D MLP-Mixer Adaptatie: De auteurs hebben de MLP-Mixer, oorspronkelijk ontworpen voor 2D-beelden, succesvol aangepast om 3D-volumetrische data te verwerken door de patching- en mixing-mechanismen aan te passen aan de 3D-ruimte.
3. Efficiëntie met Beperkte Data: De hybride benadering is ontworpen om een hoge classificatieprestatie te bereiken, zelfs met een beperkt aantal trainingsmonsters — een veelvoorkomende beperking in de medische beeldvorming — door een 3D CNN te gebruiken om eerst robuuste lokale kenmerken te extraheren voordat de globale mixing plaatsvindt.

Experimentele Resultaten
De voorgestelde methode werd geëvalueerd op een dataset bestaande uit 1.205 borst-CT-volumes (COVID-19 en niet-COVID-19 gevallen) verkregen van meerdere medische instellingen in Japan. De dataset werd gesplitst in 80% voor training en 20% voor testen.

• Prestaties: Het voorgestelde hybride model behaalde een classificatienauwkeurigheid van 79,5%.
• Vergelijking: Een baseline 3D CNN-model (bestaande uit 3D CNN-lagen en eenvoudige MLP-lagen) die op dezelfde dataset werd getraind, behaalde een nauwkeurigheid van 74,8%.
• Conclusie: De verbetering van 4,7% in nauwkeurigheid toont aan dat de 3D MLP-Mixer component effectief bijdraagt aan de classificatieprestaties door gebruik te maken van globale beeldkenmerken.

Betekenis en Claims
Het artikel claimt dat het hybride gebruik van 3D CNN en 3D MLP-Mixer effectief is voor 3D-volumeclassificatie, met name voor virale pneumonie waarbij 'ground glass opacities' en consolidaties over grote gebieden voorkomen, wat zowel lokale als globale kenmerkanalyse vereist. De auteurs benadrukken dat deze hybride structuur een hoge nauwkeurigheid mogelijk maakt zonder de enorme trainingsdatasets die vereist zijn voor pure MLP-Mixer of ViT-modellen.

De auteurs hanteren echter een bescheiden toon met betrekking tot klinische implementatie. Zij stellen dat verdere verbeteringen in classificatienauwkeurigheid vereist zijn voordat het model in een klinische setting kan worden toegepast. Toekomstig werk, zoals geïdentificeerd door de auteurs, omvat het gebruik van data-augmentatie om anatomische en intensiteitsvariaties te versterken, de integratie van internationale datasets en de voortdurende ontwikkeling van een volledig COVID-19 CAD-systeem. Het artikel beweert niet dat het huidige model klaar is voor onmiddellijk klinisch gebruik, maar presenteert het eerder als een veelbelovende stap richting dat doel.