💻 computer science

Classification of COVID-19 cases from chest CT volumes using hybrid model of 3D CNN and 3D MLP-Mixer

Questo articolo propone un modello ibrido 3D CNN e 3D MLP-Mixer per la classificazione automatizzata del COVID-19 da volumi di TC toracica, raggiungendo un'accuratezza del 79,5% che supera i convenzionali approcci 3D CNN sfruttando efficacemente sia le caratteristiche locali che quelle globali dell'immagine.

Autori originali: Masahiro Oda, Tong Zheng, Yuichiro Hayashi, Yoshito Otake, Masahiro Hashimoto, Toshiaki Akashi, Shigeki Aoki, Kensaku Mori

Pubblicato 2026-08-03

📖 3 min di lettura☕ Lettura da pausa caffè

CC BY 4.0

Autori originali: Masahiro Oda, Tong Zheng, Yuichiro Hayashi, Yoshito Otake, Masahiro Hashimoto, Toshiaki Akashi, Shigeki Aoki, Kensaku Mori

Articolo originale sotto licenza CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Questa è una spiegazione generata dall'IA dell'articolo qui sotto. Non è stata scritta né approvata dagli autori. Per precisione tecnica, consulta l'articolo originale. Leggi il disclaimer completo

Immagina di essere un detective che cerca di risolvere un mistero all'interno di una gigantesca scatola puzzle tridimensionale. Questa non è una scatola di giocattoli, ma una mappa digitale del torace umano, composta da migliaia di minuscole fette chiamate scansioni TC. Per anni, i medici hanno usato queste scansioni per individuare problemi, come un virus nascosto nei polmoni. Ma esaminare ogni singola fetta a mano è un lavoro estenuante, specialmente quando il "mistero" è un virus a rapida diffusione che sovraccarica gli ospedali. Per aiutare, gli scienziati hanno costruito dei "detective informatici" chiamati Intelligenza Artificiale (IA). Questi detective IA usano solitamente due strumenti principali: uno che è bravo a individuare piccoli indizi locali (come una lente d'ingrandimento) e un altro che è bravo a vedere l'immagine completa in una volta sola (come un drone che vola dall'alto). La grande domanda è: possiamo insegnare a un computer a usare entrambi gli strumenti contemporaneamente per individuare il virus più velocemente e con maggiore precisione rispetto al passato?

Questo articolo introduce un nuovo tipo di detective informatico progettato specificamente per risolvere il mistero del COVID-19 nelle scansioni TC del torace. Gli autori, un team di ricercatori provenienti dal Giappone, hanno costruito un modello "ibrido" — una collaborazione tra due diversi tipi di cervelli IA. La prima parte è una 3D CNN (Rete Neurale Convoluzionale), che agisce come un microscopio super focalizzato. Scansiona il volume 3D del polmone per trovare piccoli dettagli locali, come piccole chiazze di opacità o "vetro smerigliato" che spesso compaiono quando un virus attacca. La seconda parte è un 3D MLP-Mixer, un nuovo tipo di IA che agisce come un maestro risolutore di puzzle. Invece di guardare solo un punto, prende tutti gli indizi che il microscopio ha trovato e li mescola insieme per comprendere la "visione d'insieme" dell'intero polmone.

I ricercatori hanno testato questo nuovo team ibrido su un dataset di 1.205 volumi TC toracici raccolti da vari ospedali in Giappone. Hanno diviso i dati, usando l'80% per addestrare l'IA e il 20% per testarne le abilità. Quando il modello ibrido ha sostenuto l'esame, ha identificato correttamente se un paziente avesse un'alta o bassa probabilità di COVID-1a con un'accuratezza del 79,5%. Per vedere se questo nuovo team-up fosse effettivamente migliore del vecchio modo di fare le cose, gli autori lo hanno confrontato con un modello standard che utilizzava solo il "microscopio" (3D CNN) seguito da semplici strati. Quel vecchio modello ha raggiunto solo il 74,8% di accuratezza. I risultati suggeriscono che l'aggiunta del "risolutore di puzzle" (il 3D MLP-Mixer) aiuti davvero il computer a comprendere meglio i complessi pattern della polmonite virale rispetto all'uso del solo microscopio. Tuttavia, gli autori osservano che, sebbene questo sia un solido miglioramento, l'accuratezza non è ancora perfetta e sono necessari ulteriori lavori — come l'uso di più dati e diverse tecniche di addestramento — prima che questo strumento possa essere utilizzato regolarmente nelle cliniche del mondo reale.

Riepilogo Tecnico: Classificazione dei casi di COVID-19 da volumi CT del torace mediante un modello ibrido 3D CNN e 3D MLP-Mixer

Definizione del problema
La rapida diffusione globale della malattia da Coronavirus Novel (COVID-19) ha creato una significativa carenza di personale nelle istituzioni mediche, rendendo necessari flussi di lavoro diagnostici efficienti. Sebbene la reazione a catena della polimerasi con trascrittasi inversa (RT-PCR) sia lo strumento diagnostico standard, la sua sensibilità riportata varia solo tra il 42% e il 71%. Al contrario, la diagnosi basata su TC del torace dimostra una sensibilità riportata del 97%, rendendola una modalità critica per l'identificazione della polmonite virale. Tuttavia, l'interpretazione manuale dei volumi TC è dispendiosa in termini di tempo. Gli esistenti sistemi di Diagnosi Assistita al Computer (CAD) automatizzati si affidano spesso alle Reti Neurali Convoluzionali (CNN), che sono limitate dai loro campi recettivi e utilizzano principalmente caratteristiche d'immagine locali. Viceversa, i Vision Transformer (ViT) considerano le caratteristiche globali ma richiedono enormi quantità di dati di addestramento per raggiungere prestazioni elevate, che spesso non sono disponibili nei contesti di imaging medico. La sfida consiste nello sviluppare un metodo di classificazione automatizzato che sfrutti efficacemente sia le caratteristiche locali che quelle globali dai volumi 3D CT, rimanendo al contempo robusto con dati di addestramento limitati.

Metodologia
Gli autori propongono un metodo di classificazione automatizzata per i volumi CT del torace utilizzando un modello ibrido che combina una Rete Neurale Convoluzionale 3D (3D CNN) e una versione 3D dell'MLP-Mixer.

Pre-elaborazione: I volumi CT del torace in input subiscono una segmentazione polmonare per isolare le regioni polmonari. Le fette assiali prive di tessuto polmonare vengono rimosse, e il sub-volume rimanente viene scalato a una risoluzione fissa di $192 \times 192 \times 128$ voxel.
Estrazione delle caratteristiche 3D CNN: Il sub-volume scalato viene elaborato da una 3D CNN per estrarre le caratteristiche d'immagine locali. Questa sezione impiega connessioni di pooling denso, utilizzando una combinazione di max pooling e average pooling (mixed pooling) per ridurre la perdita di informazioni e catturare le informazioni spaziali su più scale. L'output è un volume di caratteristiche 3D.
Generazione di Patch 3D: Patch 3D non sovrapponibili di dimensione $4 \times 4 \times 4$ voxel vengono estratti dal volume di caratteristiche 3D. Ogni patch viene rimodellata in un vettore 1D con $C=64$ componenti.
Classificazione 3D MLP-Mixer: Gli autori estendono l'originale architettura 2D MLP-Mixer per gestire volumi 3D. L'insieme di patch 3D funge da input ( $X \in \mathbb{R}^{S \times C}$ $X \in R^{S \times C}$ ) per il 3D MLP-Mixer. Il modello elabora questi input attraverso $L$ $L$ strati, dove ogni strato consiste in due blocchi Multi-Layer Perceptron (MLP):
1. Token-mixing: Esegue il mixing delle caratteristiche tra le patch per integrare il contesto globale.
2. Channel-mixing: Esegue il mixing delle caratteristiche intra-patch.
  L'output finale viene passato attraverso un global average pooling e strati completamente connessi (fully connected) per produrre una classificazione binaria (Alta vs. Bassa probabilità di COVID-19).

Contributi Chiave

Architettura Ibrida: Il documento introduce un nuovo modello ibrido che integra 3D CNN per l'estrazione di caratteristiche locali con un 3D MLP-Mixer per l'integrazione delle caratteristiche globali. Ciò affronta il limite delle pure CNN (focus locale) e delle pure Transformer/MLP-Mixer (fame di dati).
Adattamento 3D MLP-Mixer: Gli autori hanno modificato con successo l'MLP-Mixer, originariamente progettato per immagini 2D, per elaborare dati volumetrici 3D adattando i meccanismi di patching e mixing allo spazio 3D.
Efficienza con Dati Limitati: L'approccio ibrido è progettato per raggiungere un'elevata prestazione di classificazione anche con un numero limitato di campioni di addestramento, un vincolo comune nell'imaging medico, sfruttando la 3D CNN per pre-estrarre caratteristiche locali robuste prima del mixing globale.

Risultati Sperimentali
Il metodo proposto è stato valutato su un dataset composto da 1.205 volumi CT del torace (casi COVID-19 e non COVID-19) ottenuti da diverse istituzioni mediche in Giappone. Il dataset è stato suddiviso all'80% per l'addestramento e al 20% per il test.

Prestazioni: Il modello ibrido proposto ha raggiunto un'accuratezza di classificazione del 79,5%.
Confronto: Un modello baseline 3D CNN (composto da strati 3D CNN e semplici strati MLP) addestrato sullo stesso dataset ha raggiunto un'accuratezza del 74,8%.
Conclusione: Il miglioramento del 4,7% nell'accuratezza dimostra che la componente 3D MLP-Mixer contribuisce efficacemente alla prestazione di classificazione utilizzando le caratteristiche d'immagine globali.

Significato e Rivendicazioni
Il documento afferma che l'uso ibrido di 3D CNN e 3D MLP-Mixer è efficace per la classificazione di volumi 3D, particolarmente per la polmonite virale dove le opacità a vetro smerigliato e le consolidazioni si verificano su ampie aree, richiedendo l'analisi di caratteristiche sia locali che globali. Gli autori sottolineano che questa struttura ibrida consente un'elevata accuratezza senza i massicci dataset di addestramento richiesti dai modelli pure MLP-Mixer o ViT.

Tuttavia, gli autori mantengono un tono modesto riguardo all'impiego clinico. Essi dichiarano che sono necessari ulteriori miglioramenti nell'accuratezza della classificazione prima che il modello possa essere applicato in contesti clinici. Il lavoro futuro identificato dagli autori include l'uso dell'augmentation dei dati per migliorare le variazioni anatomiche e di intensità, l'incorporazione di dataset internazionali e il continuo sviluppo di un sistema CAD completo per il COVID-19. Il documento non sostiene che l'attuale modello sia pronto per l'uso clinico immediato, ma lo presenta piuttosto come un passo promettente verso tale obiettivo.

Riepilogo Tecnico: Classificazione dei casi di COVID-19 da volumi CT del torace mediante un modello ibrido 3D CNN e 3D MLP-Mixer

Articoli simili