Riepilogo Tecnico: LARGO (Iperrete a Rango Basso per la Gestione di Modalità Mancanti)

Enunciato del Problema

Nell'analisi di immagini multimodali, in particolare nella diagnostica per immagini medica (ad esempio, segmentazione di tumori cerebrali, rilevamento di lesioni da ictus), l'acquisizione di tutte le modalità disponibili è spesso non fattibile a causa di vincoli strumentali, limiti di tempo di scansione o condizioni del paziente. Ciò comporta insiemi di modalità incompleti durante l'inferenza. I modelli di deep learning standard faticano a gestire tali input mancanti senza una progettazione architetturale esplicita.

Gli approcci esistenti affrontano un compromesso fondamentale tra specializzazione e scalabilità:

• I metodi a singolo modello (ad esempio, imputazione a zero, encoder condivisi) costringono una singola rete a gestire tutte le $2^N - 1$ combinazioni di modalità, compromettendo spesso le prestazioni su configurazioni specifiche.
• I modelli dedicati (addestrare un modello separato per ogni combinazione) massimizzano la specializzazione ma scalano esponenzialmente in termini di costi di archiviazione e computazionali.
• I metodi generativi e di distillazione rischiano di generare (hallucinate) caratteristiche clinicamente pericolose o richiedono complesse fasi di addestramento multi-stadio.

La maggior parte delle soluzioni attuali opera nello spazio delle caratteristiche (feature space), ingegnerizzando rappresentazioni robuste per gestire input mancanti. Questo documento propone di operare nello spazio dei pesi per affrontare la ridondanza intrinseca nell'addestramento di modelli separati per diversi sottoinsiemi di modalità.

Metodologia: LARGO

Gli autori propongono LARGO (Low-rAnk hypeRnetwork for missinG mOdalities), un framework di iperrete che comprime la famiglia di $2^N - 1$ modelli dedicati per modalità mancanti in un'unica rete.

Architettura Principale

1. Formulazione dell'Iperrete: Invece di apprendere $M = 2^N - 1$ insiemi separati di pesi, LARGO costruisce un'unica iperrete $H_\phi$ che contiene implicitamente tutti i modelli dedicati $\{F_{\theta(m)}\}_{m=1}^M$.
2. Decomposizione Tensoriale (CPD): Il metodo sfrutta l'osservazione secondo cui i modelli che condividono l'accesso alle stesse modalità apprendono pattern simili, implicando una ridondanza dei parametri. LARGO impila i pesi convoluzionali di tutti i $M$ modelli dedicati lungo una nuova "dimensione del modello" e applica la decomposizione tensoriale Canonica Poliadica (CP).
   • Il tensore dei pesi $W \in \mathbb{R}^{M \times C_{in} \times C_{out} \times K}$ viene decomposto in matrici fattoriali $A, B, C, D$.
   • La matrice fattoriale $A$ indicizza le combinazioni di modalità, mentre $B, C, D$ rappresentano rispettivamente i canali di ingresso, i canali di uscita e le dimensioni del kernel.
3. Riparametrizzazione a Rango Basso:
   • Livelli Interni: I livelli convoluzionali vengono riparametrizzati utilizzando la decomposizione CP. Il rango $R$ è selezionato per mantenere un budget di parametri equivalente a un singolo modello dedicato (raggiungendo un rapporto di compressione di $1/M$).
   • Livelli Stem e Head: Questi livelli rimangono non compressi per preservare la flessibilità di ingresso/uscita, sebbene il loro contributo in termini di parametri sia trascurabile rispetto ai livelli interni.
4. Inferenza: Durante l'inferenza, per una specifica combinazione di modalità $m$, l'iperrete ricostruisce i pesi convoluzionali dedicati $W^{(m)}$ contraendo le matrici fattoriali (selezionando specificamente la $m$-esima riga della matrice fattoriale $A$). Questo evita il calcolo di parametri inutilizzati per altri sottoinsiemi di modalità.

Procedura di Addestramento

• Funzione di Perdita: Il modello è addestrato utilizzando una perdita di segmentazione standard ($L_{Dice} + L_{CE}$).
• Strategia: L'addestramento impiega il dropout casuale delle modalità combinato con la guida a modalità completa. Ad ogni iterazione, viene campionata un sottoinsieme $m$ per minimizzare la perdita per quello specifico scenario di modalità mancante, mentre un termine che utilizza l'input a modalità completa garantisce che la rete sia guidata da dati completi durante tutto l'addestramento.
• Inizializzazione: Le matrici fattoriali $B, C, D$ sono inizializzate tramite normale di Kaiming; la matrice $A$ è inizializzata con unità. I pesi sono addestrati da zero piuttosto che derivati da pesi pre-addestrati.

Contributi Chiave

1. Nuova Formulazione di Iperrete: LARGO è il primo metodo a riparametrizzare congiuntamente i pesi dei kernel di un'intera famiglia di $2^N - 1$ modelli dedicati per modalità mancanti in una singola rappresentazione efficiente in termini di parametri, utilizzando la decomposizione CP.
2. Operazione nello Spazio dei Pesi: A differenza dei metodi nello spazio delle caratteristiche, LARGO opera direttamente nello spazio dei pesi, comprimendo la famiglia esponenziale di modelli in un unico manifold di pesi compresso senza perdite ausiliarie, reti insegnanti o addestramento multi-stadio.
3. Prestazioni allo Stato dell'Arte: Il metodo ottiene risultati superiori sui benchmark di imaging medico mantenendo un conteggio di parametri comparabile a un singolo modello dedicato.

Risultati Sperimentali

Dataset e Scenari

• BraTS 2018: 4 modalità (FLAIR, T1, T1c, T2), 15 scenari di modalità mancanti. Compito: Segmentazione del tumore cerebrale (WT, TC, ET).
• ISLES 2022: 3 modalità (DWI, ADC, FLAIR), 7 scenari di modalità mancanti. Compito: Segmentazione delle lesioni da ictus.
• avMNIST: 2 modalità (Immagine, Audio), 3 scenari. Compito: Classificazione (Prova di concetto per modalità non mediche ed eterogenee).

Prestazioni Quantitative

• BraTS 2018: LARGO si è classificato primo in 15/15 scenari per il Tumore Intero (WT), 11/15 per il Nucleo del Tumore (TC) e 14/15 per il Tumore in Enhancement (ET).
  • Miglioramenti medi del Dice rispetto alle baseline (mmFormer, M³AE, ShaSpec, SimMLM): +0,68% (WT), +2,53% (TC) e guadagni significativi in ET.
  • LARGO ha raggiunto un Dice medio di 87,05% (WT), 79,35% (TC) e 62,83% (ET).
• ISLES 2022: LARGO si è classificato primo in tutti i 7 scenari.
  • Dice medio: 62,67%, superando il secondo miglior risultato (M³AE al 60,14%).
  • Guadagni notevoli nei casi difficili a modalità singola (ad esempio, solo ADC: 42,49% contro 40,03%).
• avMNIST: LARGO ha raggiunto la massima accuratezza media (97,00%), un miglioramento di +0,44% rispetto al concorrente più vicino, dimostrando l'applicabilità a modalità non mediche eterogenee.

Efficienza e Complessità

• Efficienza dei Parametri: LARGO mantiene un conteggio di parametri simile a un singolo modello dedicato (ad esempio, 22,6M su BraTS 2018) pur rappresentando implicitamente tutti i 15 modelli dedicati. Ciò è significativamente più efficiente di ShaSpec (187,7M parametri) e comparabile ad altre baseline.
• Sovraccarico Computazionale: La ricostruzione dinamica dei pesi introduce un aumento del 24,6% in GFLOPs e un aumento del 25,1% nella VRAM di picco rispetto a un singolo backbone nnU-Net. Gli autori notano che ciò è accettabile poiché i modelli per modalità mancanti introducono comunque operazioni aggiuntive.
• Scalabilità: Il metodo è pratico per $N \lesssim 10$ modalità, poiché i livelli stem/head non compressi (che crescono esponenzialmente) rimangono una frazione trascurabile del totale dei parametri.

Significato e Affermazioni

Il documento afferma che LARGO colma il divario tra la specializzazione dei modelli dedicati e la scalabilità degli approcci a singolo modello. Sfruttando le similarità strutturali nei kernel convoluzionali tra modelli specifici per modalità tramite decomposizione tensoriale, LARGO elimina la necessità di una scalatura esponenziale di archiviazione e calcolo.

Gli autori posizionano LARGO come un framework di iperrete principiato che:

1. Evita i rischi di "allucinazione" dell'imputazione generativa.
2. Evita i compromessi nelle prestazioni delle architetture con encoder condiviso.
3. Raggiunge risultati allo stato dell'arte senza pipeline di addestramento complesse (ad esempio, distillazione della conoscenza).

La prova di concetto su avMNIST suggerisce che il potenziale del metodo si estende oltre l'imaging medico a qualsiasi compito che coinvolga modalità eterogenee con dati mancanti. Gli autori concludono che i lavori futuri esploreranno formulazioni di iperreti non lineari più espressive e estensioni ad architetture basate su transformer.