💻 computer science

Classification of COVID-19 cases from chest CT volumes using hybrid model of 3D CNN and 3D MLP-Mixer

Diese Arbeit schlägt ein hybrides 3D-CNN- und 3D-MLP-Mixer-Modell zur automatisierten Klassifizierung von COVID-19 aus Thorax-CT-Volumina vor, das eine Genauigkeit von 79,5 % erreicht, welche konventionelle 3D-CNN-Ansätze durch die effektive Nutzung sowohl lokaler als auch globaler Bildmerkmale übertrifft.

Ursprüngliche Autoren: Masahiro Oda, Tong Zheng, Yuichiro Hayashi, Yoshito Otake, Masahiro Hashimoto, Toshiaki Akashi, Shigeki Aoki, Kensaku Mori

Veröffentlicht 2026-08-03

📖 3 Min. Lesezeit☕ Kaffeepausen-Lektüre

CC BY 4.0

Ursprüngliche Autoren: Masahiro Oda, Tong Zheng, Yuichiro Hayashi, Yoshito Otake, Masahiro Hashimoto, Toshiaki Akashi, Shigeki Aoki, Kensaku Mori

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Stellen Sie sich vor, Sie sind ein Detektiv, der versucht, ein Rätsel in einer riesigen, dreidimensionalen Puzzlebox zu lösen. Dies ist keine Spielzeugkiste, sondern eine digitale Karte eines menschlichen Brustkorbs, die aus tausenden winziger Schichten besteht, die man CT-Scans nennt. Seit Jahren nutzen Ärzte diese Scans, um Probleme aufzuspüren, wie zum Beispiel ein Virus, das in der Lunge lauert. Aber jede einzelne Schicht von Hand zu untersuchen, ist jedoch erschöpfende Arbeit, besonders wenn das „Rätsel“ ein schnell mutierendes Virus ist, das Krankenhäuser überfordert. Um zu helfen, haben Wissenschaftler „Computer-Detektive“ namens Künstliche Intelligenz (KI) erschaffen. Diese KI-Detektive nutzen meist zwei Hauptwerkzeuge: eines, das großartig darin ist, kleine, lokale Hinweise zu entdecken (wie eine Lupe), und ein anderes, das gut darin ist, das gesamte Bild auf einmal zu erfassen (wie eine Drohne, die von oben fliegt). Die große Frage ist: Können wir einen Computer lehren, beide Werkzeuge gleichzeitig zu benutzen, um das Virus schneller und genauer als je zuvor aufzuspüren?

Dieses Paper stellt eine neue Art von Computer-Detektiv vor, der speziell entwickelt wurde, um das Rätsel von COVID-19 in Brust-CT-Scans zu lösen. Die Autoren, ein Forscherteam aus Japan, haben ein „Hybrid-Modell“ gebaut – ein Zusammenspiel zwischen zwei verschiedenen Arten von KI-Gehirnen. Der erste Teil ist ein 3D CNN (Convolutional Neural Network), das wie ein super-fokussiertes Mikroskop wirkt. Es scannt das 3D-Volumen der Lunge, um winzige, lokale Details zu finden, wie zum Beispiel kleine Flecken von Trübung oder „Milchglasoptik“, die oft auftreten, wenn ein Virus angreift. Der zweite Teil ist ein 3D MLP-Mixer, eine neuere Art von KI, die wie ein Meister des Puzzles lösend agiert. Anstatt nur auf einen Punkt zu schauen, nimmt er alle Hinweise, die das Mikroskop gefunden hat, und mischt sie zusammen, um das „große Ganze“ der gesamten Lunge zu verstehen.

Die Forscher testeten dieses neue Hybrid-Team an einem Datensatz von 1.205 Brust-CT-Volumina, die aus verschiedenen Krankenhäusern in Japan gesammelt wurden. Sie teilten die Daten auf, indem sie 80 % für das Training der KI und 20 % für den Test ihrer Fähigkeiten verwendeten. Als das Hybrid-Modell die Prüfung ablegte, identifizierte es korrekt, ob ein Patient eine hohe oder niedrige Wahrscheinlichkeit für COVID-19 hatte, mit einer Genauigkeit von 79,5 %. Um zu sehen, ob dieses neue Team tatsächlich besser war als die alte Arbeitsweise, verglichen die Autoren es mit einem Standardmodell, das nur das „Mikroskop“ (3D CNN) gefolgt von einfachen Schichten verwendete. Dieses ältere Modell erreichte nur eine Genauigkeit von 74,8 %. Die Ergebnisse legen nahe, dass das Hinzufügen des „Puzzle-Lösers“ (der 3D MLP-Mixer) wirklich dabei hilft, die komplexen Muster der viralen Pneumonie besser zu verstehen als die alleinige Verwendung des Mikroskops. Die Autoren merken jedoch an, dass dies zwar eine solide Verbesserung ist, die Genauigkeit aber noch nicht perfekt ist und weitere Arbeit – wie die Verwendung von mehr Daten und anderen Trainingskniffen – nötig ist, bevor dieses Werkzeug routinemäßig in realen Kliniken eingesetzt werden kann.

Technische Zusammenfassung: Klassifizierung von COVID-19-Fällen aus Thorax-CT-Volumina mittels eines hybriden 3D-CNN und 3D-MLP-Mixer

Problemstellung
Die rasche globale Ausbreitung der neuartigen Coronavirus-Erkrankung 2019 (COVID-19) hat in medizinischen Einrichtungen zu einem erheblichen Personalmangel geführt, was effiziente diagnostische Arbeitsabläufe erforderlich macht. Während die Reverse-Transkriptase-Polymerase-Kettenreaktion (RT-PCR) das Standarddiagnoseinstrument ist, wird ihre Sensitivität mit lediglich 42 % bis 71 % angegeben. Im Gegensatz dazu weist die Diagnose mittels Thorax-CT eine berichtete Sensitivität von 97 % auf, was sie zu einem entscheidenden Verfahren für die Identifizierung viraler Pneumonien macht. Die manuelle Interpretation von CT-Volumina ist jedoch zeitaufwendig. Bestehende automatisierte computergestützte Diagnosesysteme (CAD) stützen sich häufig auf Convolutional Neural Networks (CNNs), die durch ihre rezeptiven Felder begrenzt sind und primär lokale Bildmerkmale nutzen. Vision Transformer (ViT) hingegen berücksichtigen globale Merkmale, benötigen jedoch enorme Mengen an Trainingsdaten, um eine hohe Leistungsfähigkeit zu erreichen, was im Kontext der medizinischen Bildgebung oft nicht verfügbar ist. Die Herausforderung besteht darin, eine automatisierte Klassifizierungsmethode zu entwickeln, die sowohl lokale als auch globale Merkmale aus 3D-CT-Volumina effektiv nutzt und gleichzeitig bei begrenzten Trainingsdaten robust bleibt.

Methodik
Die Autoren schlagen eine automatisierte Klassifizierungsmethode für Thorax-CT-Volumina vor, die ein hybrides Modell verwendet, welches ein 3D-Convolutional Neural Network (3D CNN) mit einer 3D-Version des MLP-Mixers kombiniert.

Vorverarbeitung: Die eingehenden Thorax-CT-Volumina werden einer Lungensegmentierung unterzogen, um die Lungenregionen zu isolieren. Axiale Schichten, denen Lungengewebe fehlt, werden entfernt, und das verbleibende Subvolumen wird auf eine feste Auflösung von $192 \times 192 \times 128$ Voxeln skaliert.
3D-CNN-Merkmalsextraktion: Das skalierte Subvolumen wird durch ein 3D-CNN verarbeitet, um lokale Bildmerkmale zu extrahieren. Dieser Abschnitt verwendet dichte Pooling-Verbindungen (dense pooling connections) unter Verwendung einer Kombination aus Max- und Average-Pooling (Mixed Pooling), um Informationsverlust zu reduzieren und räumliche Informationen über mehrere Skalen hinweg zu erfassen. Das Ergebnis ist ein 3D-Merkmalsvolumen.
3D-Patch-Generierung: Nicht überlappende 3D-Patches der Größe $4 \times 4 \times 4$ Voxel werden aus dem 3D-Merkmalsvolumen extrahiert. Jeder Patch wird in einen 1D-Vektor mit $C=64$ Komponenten umgeformt.
3D-MLP-Mixer-Klassifizierung: Die Autoren erweitern die ursprüngliche 2D-MLP-Mixer-Architektur, um 3D-Volumina zu verarbeiten. Der Satz an 3D-Patches dient als Input ( $X \in \mathbb{R}^{S \times C}$ $X \in R^{S \times C}$ ) für den 3D-MLP-Mixer. Das Modell verarbeitet diese Inputs durch $L$ $L$ Schichten, wobei jede Schicht aus zwei Multi-Layer-Perceptron (MLP)-Blöcken besteht:
1. Token-Mixing: Führt ein Cross-Patch-Feature-Mixing durch, um den globalen Kontext zu integrieren.
2. Channel-Mixing: Führt ein Intra-Patch-Feature-Mixing durch.
  Der endgültige Output wird durch Global Average Pooling und Fully Connected Layers geleitet, um eine binäre Klassifizierung (hohe vs. niedrige Wahrscheinlichkeit für COVID-19) zu erzeugen.

Wesentliche Beiträge

Hybride Architektur: Die Arbeit führt ein neuartiges hybrides Modell ein, das 3D-CNNs zur lokalen Merkmalsextraktion mit einem 3D-MLP-Mixer zur globalen Merkmalsintegration kombiniert. Dies adressiert die Einschränkungen reiner CNNs (lokaler Fokus) und reiner Transformer/MLP-Mixer (Datenhunger).
Anpassung des 3D-MLP-Mixer: Die Autoren haben den ursprünglich für 2D-Bilder entwickelten MLP-Mixer erfolgreich modifiziert, um 3D-Volumendaten zu verarbeiten, indem sie das Patching- und Mixing-Verfahren an den 3D-Raum angepasst haben.
Effizienz bei begrenzten Daten: Der hybride Ansatz ist darauf ausgelegt, selbst mit einer begrenzten Anzahl von Trainingsproben – eine häufige Einschränkung in der medizinischen Bildgebung – eine hohe Klassifizierungsleistung zu erzielen, indem er ein 3D-CNN nutzt, um robuste lokale Merkmale vor dem globalen Mixing zu extrahieren.

Experimentelle Ergebnisse
Die vorgeschlagene Methode wurde an einem Datensatz bestehend aus 1.205 Thorax-CT-Volumina (COVID-19- und Nicht-COVID-19-Fälle) evaluiert, die aus mehreren medizinischen Institutionen in Japan stammen. Der Datensatz wurde in 80 % für das Training und 20 % für den Test aufgeteilt.

Leistung: Das vorgeschlagene hybride Modell erreichte eine Klassifizierungsgenauigkeit von 79,5 %.
Vergleich: Ein Baseline-3D-CNN-Modell (bestehend aus 3D-CNN-Schichten und einfachen MLP-Schichten), das auf demselben Datensatz trainiert wurde, erreichte eine Genauigkeit von 74,8 %.
Fazschluss: Die Verbesserung der Genauigkeit um 4,7 % zeigt, dass die 3D-MLP-Mixer-Komponente durch die Nutzung globaler Bildmerkmale effektiv zur Klassifizierungsleistung beiträgt.

Bedeutung und Behauptungen
Die Arbeit behauptet, dass der hybride Einsatz von 3D-CNN und 3D-MLP-Mixer effektiv für die 3D-Volumklassifizierung ist, insbesondere für virale Pneumonien, bei denen Milchglasveränderungen (ground glass opacities) und Konsolidierungen über große Bereiche auftreten und somit sowohl eine lokale als auch eine globale Merkmalsanalyse erfordern. Die Autoren betonen, dass diese hybride Struktur eine hohe Genauigkeit ermöglicht, ohne die massiven Trainingsdatensätze zu benötigen, die für reine MLP-Mixer- oder ViT-Modelle erforderlich sind.

Dennoch wahren die Autoren einen bescheidenen Ton hinsichtlich des klinischen Einsatzes. Sie geben an, dass weitere Verbesserungen der Klassifizierungsgenauigkeit erforderlich sind, bevor das Modell in klinischen Umgebungen eingesetzt werden kann. Als zukünftige Arbeiten identifizieren die Autoren den Einsatz von Datenaugmentation zur Verbesserung anatomischer und intensitätsbedingter Variationen, die Einbeziehung internationaler Datensätze sowie die kontinuierliche Entwicklung eines vollständigen COVID-19-CAD-Systems. Das Paper behauptet nicht, dass das aktuelle Modell bereit für den unmittelbaren klinischen Gebrauch ist, sondern präsentiert es als einen vielversprechenden Schritt in Richtung dieses Ziels.

Technische Zusammenfassung: Klassifizierung von COVID-19-Fällen aus Thorax-CT-Volumina mittels eines hybriden 3D-CNN und 3D-MLP-Mixer

Mehr davon