💻 computer science

Classification of COVID-19 cases from chest CT volumes using hybrid model of 3D CNN and 3D MLP-Mixer

Cet article propose un modèle hybride combinant 3D CNN et 3D MLP-Mixer pour la classification automatisée de la COVID-19 à partir de volumes de scanner thoracique, atteignant une précision de 79,5 % qui surpasse les approches conventionnelles de 3D CNN en exploitant efficacement les caractéristiques d'image locales et globales.

Auteurs originaux : Masahiro Oda, Tong Zheng, Yuichiro Hayashi, Yoshito Otake, Masahiro Hashimoto, Toshiaki Akashi, Shigeki Aoki, Kensaku Mori

Publié 2026-08-03

📖 3 min de lecture☕ Lecture pause café

CC BY 4.0

Auteurs originaux : Masahiro Oda, Tong Zheng, Yuichiro Hayashi, Yoshito Otake, Masahiro Hashimoto, Toshiaki Akashi, Shigeki Aoki, Kensaku Mori

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Imaginez que vous êtes un détective tentant de résoudre un mystère à l'intérieur d'une boîte de puzzle géante en trois dimensions. Il ne s'agit pas d'une boîte de jouets, mais d'une carte numérique du thorax humain, composée de milliers de fines tranches appelées scanners CT. Depuis des années, les médecins utilisent ces scanners pour repérer des problèmes, comme un virus se cachant dans les poumons. Mais examiner chaque tranche à la main est un travail épuisant, surtout quand le « mystère » est un virus à propagation rapide qui submerge les hôpitaux. Pour aider, des scientifiques ont construit des « détectives informatiques » appelés Intelligence Artificielle (IA). Ces détectives IA utilisent généralement deux outils principaux : l'un qui est excellent pour repérer de petits indices locaux (comme une loupe), et un autre qui est bon pour voir l'image globale d'un seul coup (comme un drone volant en hauteur). La grande question est : pouvons-nous apprendre à un ordinateur à utiliser ces deux outils en même temps pour repérer le virus plus rapidement et plus précisément qu'auparavant ?

Ce document présente un nouveau type de détective informatique conçu spécifiquement pour résoudre le mystère de la COVID-19 dans les scanners CT du thorax. Les auteurs, une équipe de chercheurs du Japon, ont construit un modèle « hybride » — une alliance entre deux types différents de cerveaux d'IA. La première partie est un 3D CNN (Réseau de Neurones Convolutifs) qui agit comme un microscope super focalisé. Il scanne le volume 3D du poumon pour trouver de minuscules détails locaux, tels que de petites zones de trouble ou de « verre dépoli » qui apparaissent souvent lorsqu'un virus attaque. La seconde partie est un 3D MLP-Mixer, un nouveau type d'IA qui agit comme un maître solveur de puzzles. Au lieu de simplement regarder un seul endroit, il prend tous les indices que le microscope a trouvés et les mélange pour comprendre la « vue d'ensemble » de l'ensemble du poumon.

Les chercheurs ont testé cette nouvelle équipe hybride sur un ensemble de données de 1 205 volumes de scanner CT thoracique collectés dans divers hôpitaux au Japon. Ils ont divisé les données, utilisant 80 % pour entraîner l'IA et 20 % pour tester ses compétences. Lorsque le modèle hybride a passé le test, il a correctement identifié si un patient avait une probabilité élevée ou faible de COVID-19 avec une précision de 79,5 %. Pour voir si ce nouveau partenariat était réellement meilleur que l'ancienne méthode, les auteurs l'ont comparé à un modèle standard qui n'utilisait que le « microscope » (3D CNN) suivi de couches simples. Ce modèle plus ancien n'a atteint qu'une précision de 74,8 %. Les résultats suggèrent que l'ajout du « solveur de puzzles » (le 3D MLP-Mixer) aide réellement l'ordinateur à mieux comprendre les schémas complexes de la pneumonie virale qu'en utilisant seulement le microscope. Cependant, les auteurs notent que bien qu'il s'agisse d'une amélioration solide, la précision n'est pas encore parfaite, et que davantage de travail — comme l'utilisation de plus de données et de différentes astuces d'entraînement — est nécessaire avant que cet outil puisse être utilisé de routine dans les cliniques du monde réel.

Résumé technique : Classification des cas de COVID-19 à partir de volumes CT thoraciques à l'aide d'un modèle hybride 3D CNN et 3D MLP-Mixer

Énoncé du problème
La propagation mondiale rapide de la maladie à coronavirus 2019 (COVID-19) a créé une pénurie de main-d'œuvre significative dans les institutions médicales, nécessitant des flux de travail de diagnostic efficaces. Bien que le test de réaction en chaîne par polymérase avec transcription inverse (RT-PCR) soit l'outil de diagnostic standard, sa sensibilité n'est rapportée qu'entre 42 % et 71 %. En revanche, le diagnostic basé sur la tomodensitométrie (CT) thoracique présente une sensibilité rapportée de 97 %, ce qui en fait une modalité critique pour identifier la pneumonie virale. Cependant, l'interprétation manuelle des volumes CT est chronophage. Les systèmes de diagnostic assisté par ordinateur (CAD) automatisés existants reposent souvent sur des réseaux de neurones convolutifs (CNN), qui sont limités par leurs champs récepteurs et utilisent principalement des caractéristiques d'image locales. À l'inverse, les Vision Transformers (ViT) considèrent les caractéristiques globales mais nécessitent de vastes quantités de données d'entraînement pour atteindre des performances élevées, ce qui est souvent indisponible dans les contextes d'imagerie médicale. Le défi consiste à développer une méthode de classification automatisée capable d'exploiter efficacement à la fois les caractéristiques locales et globales des volumes CT 3D tout en restant robuste avec des données d'entraînement limitées.

Méthodologie
Les auteurs proposent une méthode de classification automatisée pour les volumes CT thoraciques à l'aide d'un modèle hybride combinant un réseau de neurones convolutifs 3D (3D CNN) et un 3D MLP-Mixer.

Prétraitement : Les volumes CT thoraciques d'entrée subissent une segmentation pulmonaire pour isoler les régions pulmonaires. Les coupes axiales dépourvues de tissu pulmonaire sont supprimées, et le sous-volume restant est mis à l'échelle à une résolution fixe de $192 \times 192 \times 128$ voxels.
Extraction de caractéristiques par 3D CNN : Le sous-volume mis à l'échelle est traité par un 3D CNN pour extraire les caractéristiques d'image locales. Cette section utilise des connexions de pooling dense, utilisant une combinaison de pooling maximal et moyen (mixed pooling) pour réduire la perte d'information et capturer l'information spatiale à travers plusieurs échelles. Le résultat est un volume de caractéristiques 3D.
Génération de patchs 3D : Des patchs 3D non chevauchants de taille $4 \times 4 \times 4$ voxels sont extraits du volume de caractéristiques 3D. Chaque patch est remodelé en un vecteur 1D comportant $C=64$ composantes.
Classification par 3D MLP-Mixer : Les auteurs étendent l'architecture originale du 2D MLP-Mixer pour gérer les volumes 3D. L'ensemble des patchs 3D sert d'entrée ( $X \in \mathbb{R}^{S \times C}$ $X \in R^{S \times C}$ ) au 3D MLP-Mixer. Le modèle traite ces entrées à travers $L$ $L$ couches, où chaque couche est composée de deux blocs de perceptrons multicouches (MLP) :
1. Mélange de tokens (Token-mixing) : Effectue un mélange de caractéristiques entre les patchs pour intégrer le contexte global.
2. Mélange de canaux (Channel-mixing) : Effectue un mélange de caractéristiques intra-patch.
  Le résultat final est passé par un pooling moyen global et des couches entièrement connectées pour produire une classification binaire (probabilité élevée vs faible de COVID-19).

Principales contributions

Architecture hybride : Le document introduit un nouveau modèle hybride qui intègre des 3D CNN pour l'extraction de caractéristiques locales avec un 3D MLP-Mixer pour l'intégration des caractéristiques globales. Cela répond à la limitation des CNN purs (focus local) et des modèles purement Transformer ou MLP-Mixer (soif de données).
Adaptation du 3D MLP-Mixer : Les auteurs ont réussi à modifier l'architecture MLP-Mixer, conçue à l'origine pour les images 2D, pour traiter des données volumétriques 3D en adaptant les mécanismes de partitionnement (patching) et de mélange à l'espace 3D.
Efficacité avec des données limitées : L'approche hybride est conçue pour atteindre une haute performance de classification même avec un nombre limité d'échantillons d'entraînement, une contrainte courante en imagerie médicale, en exploitant le 3D CNN pour pré-extraire des caractéristiques locales robustes avant le mélange global.

Résultats expérimentaux
La méthode proposée a été évaluée sur un ensemble de données comprenant 1 205 volumes CT thoraciques (cas COVID-19 et non-COVID-19) provenant de plusieurs institutions médicales au Japon. L'ensemble de données a été divisé en 80 % pour l'entraînement et 20 % pour le test.

Performance : Le modèle hybride proposé a atteint une précision de classification de 79,5 %.
Comparaison : Un modèle de base 3D CNN (composé de couches 3D CNN et de couches MLP simples) entraîné sur le même ensemble de données a atteint une précision de 74,8 %.
Conclusion : L'amélioration de 4,7 % de la précision démontre que la composante 3D MLP-Mixer contribue efficacement à la performance de classification en utilisant les caractéristiques d'image globales.

Signification et revendications
Le document affirme que l'utilisation hybride du 3D CNN et du 3D MLP-Mixer est efficace pour la classification de volumes 3D, particulièrement pour la pneumonie virale où les opacités en verre dépoli et les consolidations surviennent sur de larges zones, nécessitant une analyse des caractéristiques tant locales que globales. Les auteurs soulignent que cette structure hybride permet d'obtenir une précision élevée sans les ensembles de données d'entraînement massifs requis par les modèles de type pur MLP-Mixer ou ViT.

Cependant, les auteurs maintiennent un ton modeste concernant le déploiement clinique. Ils déclarent que des améliorations supplémentaires de la précision de classification sont nécessaires avant que le modèle ne puisse être appliqué en milieu clinique. Les travaux futurs identifiés par les auteurs incluent l'utilisation de l'augmentation de données pour améliorer les variations anatomiques et d'intensité, l'incorporation de jeux de données internationaux, et le développement continu d'un système complet de CAD pour la COVID-19. Le document ne prétend pas que le modèle actuel est prêt pour une utilisation clinique immédiate, mais le présente plutôt comme une étape prometteuse vers cet objectif.

Résumé technique : Classification des cas de COVID-19 à partir de volumes CT thoraciques à l'aide d'un modèle hybride 3D CNN et 3D MLP-Mixer

Articles similaires