MultiSense-Pneumo: A Multimodal Learning Framework for Pneumonia Screening in Resource-Constrained Settings

Sintesi Tecnica: MultiSense-Pneumo

Enunciato del Problema
La polmonite rimane una delle principali cause di morbilità e mortalità a livello globale, colpendo in modo sproporzionato i bambini sotto i cinque anni, gli anziani e le popolazioni vulnerabili in contesti a risorse limitate. La valutazione clinica della polmonite è intrinsecamente multimodale, basandosi su una sintesi di storia dei sintomi, pattern respiratori, osservazioni verbali ed evidenze radiografiche. Tuttavia, gli approcci computazionali esistenti sono prevalentemente unimodali, concentrandosi quasi esclusivamente sulle radiografie del torace. Questa limitazione è critica in ambienti con risorse vincolate, dove l'imaging potrebbe non essere disponibile, ritardato o difficile da interpretare, e dove gli operatori sanitari di prima linea spesso mancano di formazione specialistica. Inoltre, le decisioni di screening nel mondo reale avvengono frequentemente in condizioni di informazione parziale, rendendo necessari sistemi in grado di aggregare evidenze eterogenee (sintomi, audio, parlato e immagini) mantenendo al contempo interpretabilità e possibilità di deployment su hardware modesto.

Metodologia
Gli autori propongono MultiSense-Pneumo, un framework di apprendimento modulare e multimodale progettato per lo screening della polmonite e il supporto alla triage. Il sistema integra quattro percorsi di evidenza distinti, ciascuno dei quali trasforma l'input grezzo in un segnale di rischio scalare normalizzato ($\in [0, 1]$), che vengono successivamente aggregati tramite un operatore di fusione interpretabile.

1. Triage Sintomatico Strutturato: Un sottomodulo deterministico mappa le risposte al questionario (es. tosse, febbre, affanno, rientramento toracico) in un punteggio di rischio basato su logica ispirata alle linee guida. Regole specifiche "rigide" (es. grave affanno o rientramento toracico nei bambini) attivano una classificazione immediata "URGENTE", bypassando la valutazione additiva per garantire la sicurezza.
2. Classificazione Acustica della Tosse: Le registrazioni della tosse (tratte dal dataset Coswara) vengono preelaborate in forme d'onda monofoniche e segmentate. Le caratteristiche includono coefficienti cepstrali a frequenza Mel (MFCC) riassunti da statistiche temporali, insieme a descrittori di basso livello (energia RMS, tasso di attraversamento dello zero, centroide spettrale, ecc.). Un classificatore LightGBM con gradient boosting stima la probabilità di pattern respiratori anomali.
3. Trascrizione del Parlato: L'input vocale viene trascritto utilizzando un modello ASR preaddestrato (OpenAI Whisper Small). Il testo risultante viene analizzato tramite un vocabolario fisso di parole chiave clinicamente rilevanti per derivare un segnale semantico secondario, che funge da input ausiliario.
4. Classificazione delle Radiografie del Torace: Le radiografie del torace vengono elaborate utilizzando un backbone ResNet-18 potenziato con un addestramento tramite Rete Neurale Avversaria di Dominio (DANN). Questo approccio impiega un livello di inversione del gradiente per apprendere rappresentazioni di caratteristiche che sono discriminative per la polmonite ma invarianti rispetto a spostamenti di dominio sintetici (sfocatura gaussiana, rumore, scalatura del contrasto), migliorando così la robustezza rispetto alla variabilità di acquisizione.
5. Fusione Multimodale: Il sistema adotta una strategia di fusione tardiva, combinando i quattro segnali specifici delle modalità ($\hat{s}_{img}, \hat{s}_{sym}, \hat{s}_{cgh}, \hat{s}_{sp}$) tramite una somma lineare ponderata. All'imaging è assegnato il peso più alto ($w_{img}=0.40$), mentre sintomi, tosse e parlato si dividono il resto ($0.20$ ciascuno). Questo design gestisce le modalità mancanti ed evita la necessità di dataset multimodali completamente appaiati.
6. Generazione del Referto: Un modello linguistico medico locale e quantizzato (MedGemma) sintetizza i segnali aggregati e gli output intermedi in un referto clinico strutturato e leggibile dall'uomo, che può essere tradotto in più lingue utilizzando modelli OPUS-MT.

Contributi Chiave

• Integrazione Multimodale: Il framework colma il divario tra i modelli di imaging unimodali e la realtà multimodale del ragionamento clinico di prima linea, integrando sintomi strutturati, audio della tosse, parlato e radiografie.
• Interpretabilità e Modularità: A differenza dei modelli black-box end-to-end, MultiSense-Pneumo espone segnali di rischio intermedi per ciascuna modalità, consentendo studi di ablazione e un'ispezione trasparente di come l'evidenza contribuisca alla decisione finale.
• Robustezza allo Spostamento di Dominio: Il percorso delle radiografie utilizza un addestramento avversario di dominio per mitigare la sensibilità agli artefatti di acquisizione delle immagini e alle variazioni degli scanner.
• Deployment in Contesti a Risorse Limitate: Il sistema è progettato per operare completamente offline su hardware standard di classe laptop, rendendolo adatto per gli operatori sanitari comunitari e le cliniche rurali senza connettività internet.

Risultati Quantitativi

• Percorso delle Radiografie: Il classificatore ResNet-18 con approccio avversario di dominio ha dimostrato prestazioni solide, raggiungendo un'accuratezza di 0,9733 e un AUROC di 0,9919 sul set di validazione. Le prestazioni sono rimaste robuste attraverso perturbazioni di dominio sintetiche (sfocatura, rumore, contrasto), con un degrado moderato solo sul set di test (Accuratezza: 0,9255, AUROC: 0,9752), indicando un apprendimento efficace di caratteristiche rilevanti per la patologia invarianti rispetto ad artefatti di basso livello.
• Percorso Acustico della Tosse: Il classificatore LightGBM ha mostrato limitazioni significative, raggiungendo un punteggio F1 macro-medio di 0,64. Crucialmente, la recall per la classe positiva per la polmonite è stata bassa (0,39), indicando un alto tasso di casi mancati. Gli autori attribuiscono ciò alla piccola dimensione e allo squilibrio delle classi del dataset pubblico Coswara, nonché alla debolezza intrinseca dell'acustica della tosse come segnale diagnostico autonomo rispetto all'imaging.
• Implicazioni della Fusione: La disparità tra il percorso di imaging ad alte prestazioni e il percorso acustico debole sottolinea la necessità dell'approccio multimodale. Il framework sfrutta l'evidenza strutturale ad alta confidenza dell'imaging per compensare i limiti di altre modalità, utilizzando sintomi e parlato per fornire indicatori contestuali quando l'imaging non è disponibile.

Significato e Affermazioni
Gli autori posizionano MultiSense-Pneumo rigorosamente come prototipo di ricerca per il supporto allo screening e alla triage, affermando esplicitamente che non è un sistema diagnostico clinicamente validato. Il suo significato risiede nel fornire una descrizione tecnicamente fondata di un'architettura multimodale che affronta i vincoli pratici dei contesti a risorse limitate. Il lavoro dimostra che un framework modulare e interpretabile può aggregare efficacemente evidenze eterogenee per supportare la valutazione precoce e la prioritizzazione delle risorse. Il documento evidenzia che, sebbene le singole modalità (come l'audio della tosse) possano soffrire di scarsità di dati e forza del segnale debole, un approccio di fusione strutturato può mitigare queste modalità di fallimento. Il sistema è destinato ad assistere gli operatori sanitari comunitari nell'identificare gli individui che necessitano di ulteriori valutazioni, piuttosto che sostituire il giudizio medico professionale.