Multi-objective optimization determines when, which and how to fuse deep networks: an application to predict COVID-19 outcomes

Il paper presenta un approccio innovativo basato sull'ottimizzazione multi-obiettivo Pareto per determinare dinamicamente quando, quali e come fondere reti neurali unimodali (immagini radiografiche e dati clinici) al fine di prevedere gli esiti del COVID-19, ottenendo risultati all'avanguardia e interpretabili sul dataset AIforCOVID.

L'essenziale

Immagina di dover diagnosticare la gravità di un paziente affetto da COVID-19. Fino a poco tempo fa, i medici e le intelligenze artificiali guardavano il paziente in due modi separati:

1. Gli occhi del radiologo: Guardavano le radiografie del torace (CXR) per vedere come erano i polmoni.
2. La mente del clinico: Leggevano i dati clinici (come l'età, la febbre, la saturazione di ossigeno) per capire le condizioni generali.

Il problema è che le Intelligenze Artificiali (AI) tradizionali erano come due specialisti che lavorano in stanze diverse e non si parlano mai. Uno guarda solo la foto, l'altro solo il foglio con i numeri. Spesso, però, la verità sta nel mettere insieme le due cose.

Questo articolo presenta un nuovo metodo per far collaborare queste due "anime" dell'AI in modo intelligente. Ecco come funziona, spiegato con parole semplici e analogie.

1. Il Problema: "Chi, Quando e Come?"

Gli scienziati sapevano che unire i dati era la strada giusta, ma si trovavano di fronte a tre domande difficili, come se dovessero organizzare un'orchestra senza spartito:

• QUANDO unire le informazioni? (All'inizio, alla fine o durante il processo?)
• CHI scegliere? (Quale tipo di "cervello" AI è meglio per le foto e quale per i numeri?)
• COME farli lavorare insieme? (Come farli comunicare senza creare confusione?)

Fino ad ora, la gente provava a indovinare o a usare metodi "fatti a mano", che spesso non erano i migliori.

2. La Soluzione: Il "Direttore d'Orchestra" Automatico

Gli autori di questo studio hanno creato un sistema di ottimizzazione multi-obiettivo. Immaginalo come un direttore d'orchestra super-intelligente che deve scegliere i musicisti migliori per suonare un brano specifico.

Ecco cosa fa il direttore:

• Prova molti musicisti: Prende 30 diversi tipi di "cervelli" AI per le radiografie (come VGG, ResNet, GoogLeNet) e 4 tipi per i dati clinici.
• Cerca l'armonia (Diversità): Non vuole musicisti che suonano tutti la stessa nota. Cerca musicisti che pensano in modo diverso tra loro. Se un modello sbaglia, l'altro potrebbe avere ragione. Questa "diversità" è fondamentale per non commettere errori di gruppo.
• Massimizza la vittoria (Prestazioni): Cerca la combinazione che vince più spesso.

Il sistema usa una tecnica matematica chiamata Ottimizzazione Pareto. In parole povere, è come cercare il "punto dolce" perfetto dove si ha sia la massima precisione che la massima diversità, senza sacrificare l'uno per l'altro.

3. Il Risultato: La "Fusione Tardiva Intelligente"

Una volta scelti i musicisti migliori (nel loro caso: tre modelli per le foto e uno per i dati clinici), il sistema li fa lavorare insieme.
Invece di mischiare le materie prime (i pixel e i numeri) subito, lascia che ogni modello "pensi" da solo e arrivi a una sua conclusione parziale. Poi, queste conclusioni vengono passate a un capo finale (un piccolo neurone artificiale) che le unisce per dare la risposta definitiva.

È come se tre esperti radiologi e un esperto clinico dessero ciascuno il loro parere, e poi un medico capo prendesse tutti quei pareri, li pesasse e dicesse: "Ok, basandomi su tutto questo, il paziente è in pericolo grave".

4. Perché è speciale? (I Risultati)

• Vince sempre: Il loro metodo ha battuto tutti i record precedenti (stato dell'arte) sulla base di dati pubblici.
• Resistente: Funziona bene anche quando viene testato su dati di ospedali che non ha mai visto prima (come se un medico fosse bravo anche in un ospedale diverso dal suo).
• Trasparente (XAI): Questo è il punto più bello. Spesso l'AI è una "scatola nera" (non sai perché prende una decisione). Qui, grazie a tecniche speciali, il sistema ci dice: "Ho deciso che il paziente è grave perché il modello A ha visto una macchia scura nella radiografia, e il modello B ha notato che l'ossigeno è basso". Ci permette di vedere quanto ha pesato ogni modello nella decisione finale.

In sintesi

Immagina di dover risolvere un enigma complesso. Invece di affidarti a un solo detective, hai creato un team di detective specializzati in cose diverse. Il metodo di questo studio è il capo squadra che:

1. Sceglie i detective migliori tra centinaia di candidati.
2. Si assicura che pensino in modo diverso per coprire tutti gli angoli dell'enigma.
3. Unisce le loro intuizioni per dare la risposta giusta.
4. Spiega esattamente perché ha scelto quella risposta, guadagnandosi la fiducia dei medici.

Grazie a questo approccio, possiamo prevedere chi rischia di peggiorare con il COVID-19 in modo più preciso e sicuro, salvando potenzialmente molte vite.

Sommario tecnico

Ecco un riassunto tecnico dettagliato del paper in italiano, strutturato secondo le sezioni richieste.

Titolo: Ottimizzazione multi-obiettivo per determinare quando, quale e come fondere le reti profonde: un'applicazione alla previsione degli esiti del COVID-19

Autori: Valerio Guarrasi e Paolo Soda (Università Campus Bio-Medico di Roma e Sapienza Università di Roma).

---

1. Il Problema

La pandemia di COVID-19 ha spinto la comunità scientifica a sviluppare metodi di intelligenza artificiale (AI) non solo per il rilevamento della malattia, ma soprattutto per prevedere la progressione e la gravità degli esiti (stratificazione dei pazienti in gruppi lievi o gravi).
Questo compito è intrinsecamente multimodale, richiedendo l'integrazione di dati clinici (es. sintomi, parametri vitali) e immagini mediche (in questo studio, radiografie del torace o CXR).
Tuttavia, l'approccio attuale al Multimodal Deep Learning (MDL) presenta tre sfide aperte fondamentali:

1. Quando fondere le modalità (early, late o intermediate fusion)?
2. Quali architetture di rete scegliere per ciascuna modalità?
3. Come fondere le rappresentazioni estratte?

La maggior parte dei lavori esistenti utilizza approcci "artigianali" (handcrafted), selezionando manualmente le migliori reti per singola modalità e fondendole in modo euristico. Questo spesso porta a ensemble subottimali che non sfruttano appieno le interazioni tra modelli e modalità, ignorando la diversità dei learner e la complessità delle interazioni multimodali.

2. Metodologia

Gli autori propongono un nuovo approccio end-to-end basato sull'ottimizzazione multi-obiettivo di Pareto per determinare automaticamente la configurazione ottimale di un modello multimodale. Il metodo si articola in quattro fasi principali:

A. Apprendimento Unimodale e Spazio di Ricerca

Vengono addestrati inizialmente diversi modelli unimodali su dataset separati:

• Immagini (CXR): 30 diverse architetture CNN (tra cui AlexNet, VGG, ResNet, DenseNet, GoogLeNet, ecc.).
• Dati Clinici: 4 diverse architetture MLP (Multi-Layer Perceptron) con profondità variabile.
  Viene definita una matrice di applicazione $\Theta$ che mappa quali modelli processano quali modalità.

B. Ottimizzazione Multi-Obiettivo (Selezione del $\Gamma^*$)

Invece di scegliere manualmente i modelli, l'algoritmo cerca il sottoinsieme ottimale di modelli ($\Gamma^*$) da combinare massimizzando due metriche simultaneamente su un set di validazione:

1. Prestazioni di classificazione ($eval$): Misura l'accuratezza (o una metrica derivata dalla matrice di confusione).
2. Diversità ($div$): Misura la diversità tra i modelli unimodali (calcolata tramite il coefficiente di correlazione tra le loro previsioni).
   L'obiettivo è trovare un punto di ottimo di Pareto che bilancia alta accuratezza e bassa correlazione degli errori (diversità), garantendo che i modelli combinati offrano informazioni complementari. Se una modalità non è utile, i modelli associati vengono scartati automaticamente.

C. Fusione Joint-Late (JLF)

Una volta identificato il set ottimale $\Gamma^*$, i modelli vengono fusi tramite una strategia innovativa chiamata Joint-Late Fusion:

• I vettori di classificazione (probabilità di classe) di ogni modello selezionato vengono concatenati.
• Questa rappresentazione condivisa (che può essere "soft" - probabilità continue, o "crisp" - vettori binari) viene passata a un ultimo strato Fully Connected (FC) per la classificazione finale.
• L'intero sistema viene addestrato end-to-end tramite backpropagation, permettendo al layer di fusione di imparare a pesare le contribuzioni dei vari modelli.

D. Spiegabilità (XAI)

Il framework è progettato per essere interpretabile. Utilizzando algoritmi XAI (come Integrated Gradients per i dati tabulari e Grad-CAM per le immagini) combinati con i pesi appresi dallo strato di fusione, è possibile:

• Determinare l'importanza relativa di ogni modalità (clinica vs immagine).
• Stabilire una gerarchia tra i modelli all'interno della stessa modalità.
• Visualizzare le feature specifiche (pixel o variabili cliniche) che guidano la decisione.

3. Contributi Chiave

• Automazione della selezione dell'architettura: Risolve il problema "quale" modello usare per ogni modalità attraverso un'ottimizzazione matematica basata su Pareto, superando l'approccio euristico manuale.
• Strategia di fusione Joint-Late: Propone un metodo ibrido che unisce i vantaggi della fusione tardiva (separazione delle feature) e di quella congiunta (addestramento end-to-end), dimostrando superiorità rispetto alle fusioni puramente tardive o congiunte tradizionali.
• Interpretabilità Multimodale: Introduce un metodo di "XAI pesato" che combina le spiegazioni dei singoli modelli con i pesi appresi dalla fusione, fornendo una visione gerarchica chiara del contributo di ogni dato alla previsione.
• Validazione Rigorosa: Il metodo è stato testato non solo con cross-validation interna, ma anche con validazione esterna su dati provenienti da centri ospedalieri non visti durante l'addestramento (LOCO e External Validation).

4. Risultati

Il metodo è stato testato sul dataset pubblico AIforCOVID, contenente 820 CXR e dati clinici, con un set di validazione esterno di 283 pazienti.

• Prestazioni: Il modello proposto (in particolare la configurazione JLF-C-1) ha raggiunto risultati State-of-the-Art, superando significativamente le baseline precedenti (approcci HC, HYB ed ETE di Soda et al., 2021) in termini di accuratezza, sensibilità e specificità.
  • Accuratezza CV: ~79.75%
  • Accuratezza LOCO (Leave-One-Center-Out): ~77.86%
  • Accuratezza EV (Validazione Esterna): ~77.61%
• Robustezza: Il modello ha dimostrato una minore perdita di prestazioni nei dati esterni rispetto ai competitor, indicando una buona capacità di generalizzazione.
• Selezione del Modello: L'ottimizzazione ha selezionato un ensemble composto da 3 CNN (GoogLeNet, VGG13-BN, ResNeXt50) e 1 MLP (MLP-2), confermando che l'approccio automatico trova combinazioni non ovvie ma efficaci.
• Analisi XAI:
  • Le immagini (CXR) hanno mostrato un'importanza relativa maggiore (59%) rispetto ai dati clinici (41%).
  • Tra le feature cliniche, la "difficoltà respiratoria" e la "saturazione di ossigeno" sono risultate le più critiche.
  • Le mappe di attivazione hanno evidenziato le aree polmonari rilevanti per la diagnosi.

5. Significato e Impatto

Questo lavoro rappresenta un avanzamento significativo nel campo del Deep Learning multimodale applicato alla medicina.

• Scientifico: Dimostra che l'ottimizzazione multi-obiettivo può automatizzare la progettazione di architetture complesse, risolvendo il dilemma "quando, quale e come" fondere i dati.
• Clinico: Fornisce uno strumento di supporto decisionale non solo più accurato, ma anche trasparente. La capacità di spiegare perché un paziente è stato classificato come grave (tramite feature cliniche e aree dell'immagine) è cruciale per l'adozione clinica dell'AI, aumentando la fiducia dei medici nelle previsioni del modello.
• Futuro: L'approccio è scalabile e può essere esteso ad altri dataset multimodali o implementato in contesti di Federated Learning, permettendo di addestrare modelli su dati distribuiti tra diversi ospedali senza condividere i dati grezzi.