Sintesi Tecnica: RePercENT

Problematica

L'apprendimento automatico multimodale mira a sintetizzare e ragionare su informazioni provenienti da fonti diverse (ad es. immagini, testo, audio). Sebbene gli attuali approcci allo stato dell'arte si concentrino sull'allineamento e sulla fusione cross-modale, questi metodi spesso portano a rappresentazioni intrecciate dove le informazioni condivise e quelle specifiche della modalità risultano mescolate. Ciò limita l'interpretabza e la capacità di identificare quali modalità contribuiscano con informazioni uniche rispetto a quelle ridondanti.

Un collo di bottiglia critico nell'apprendimento di rappresentazioni disgiunte (disentangled representation learning) esistente è la scalabilità. La maggior parte del lavoro precedente è confinata al regime a due modalità. Man mano che il numero di modalità ($M$) aumenta, il numero di fattori condivisi e unici possibili cresce esponenzialmente ($O(2^M)$), rendendoli difficili da modellare. Inoltre, gli obiettivi di ottimizzazione trattabili che caratterizzano esplicitamente tutte le interazioni cross-modali oltre le due modalità sono limitati. I dati del mondo reale presentano spesso un compromesso tra la minimizzazione della ridondanza e la preservazione delle informazioni rilevanti, e catturare solo l'Informazione Minima Necessaria (MNI) è cruciale per evitare il collasso rappresentativo.

Metodologia: RePercENT

Gli autori propongono RePercENT (Reduced-complexity Perceiver-based disENTanglement), un framework auto-supervisionato progettato per scalare l'apprendimento di rappresentazioni disgiunte oltre le due modalità.

Architettura Core

RePercENT opera direttamente su embedding pre-estratti da modelli di fondazione (FM), eliminando la necessità di un esteso pre-addestramento congiunto e rendendo l'approccio agnostico rispetto alla modalità.

1. Decomposizione a Coppie: Inveve di modellare tutti i $2^M$ fattori atomici, RePercENT modella le interazioni a coppie. Per ogni coppia di modalità $(i, j)$, deriva:
   • Componenti uniche ($u_{ij}$): Informazioni uniche per la modalità $i$ rispetto a $j$.
   • Componenti condivise ($s_{ij}$): Informazioni condivise tra $i$ e $j$.
     Questo riduce la complessità dei componenti da $O(2^M)$ a $O(M^2)$.
2. Modulo di Disentanglement ($D_i$): La rappresentazione composita di ogni modalità $Z_i$ è elaborata da un modulo dedicato. Questo modulo utilizza un array latente apprendibile $H_i$ con $N = 2(M-1)$ slot.
3. Meccanismi di Routing:
   • Codifica Semantica: Ogni slot latente è aumentato da codifiche di coppia apprendibili (che identificano la coppia di modalità) e codifiche di tipo (che identificano "unico" o "condiviso").
   • Group Slot Attention: Un meccanismo di routing strutturale in cui gli slot corrispondenti a una specifica coppia $(u_{ij}, s_{ij})$ competono sugli stessi embedding di input. Ciò impone la specializzazione all'interno della coppia pur mantenendo l'indipendenza tra coppie diverse.
4. Scalabilità: Il framework richiede un solo encoder per modalità, raggiungendo una scalabilità lineare $O(M)$ in termini di complessità strutturale, rispetto alla complessità $O(M^2)$ dei metodi che utilizzano encoder separati per ogni rappresentazione.

Obiettivo di Ottimizzazione

Il framework impiega un obiettivo di ottimizzazione congiunta per derivare simultaneamente i componenti condivisi e unici, piuttosto che una decomposizione sequenziale. Per ogni coppia $(i, j)$, l'obiettivo massimizza:
$$J(\theta_{ij}) = \alpha(L_{si} + L_{sj}) + L_{ui} + L_{uj}$$
Dove:

• Perdita Condivisa ($L_{si}, L_{sj}$): Incoraggia le rappresentazioni condivise a catturare la rilevanza cross-modale ($I(s_{ij}; X_j)$) minimizzando al contempo l'informazione spiegabile solo dalla modalità sorgente ($I(s_{ij}; X_i | X_j)$).
• Perdita Unica ($L_{ui}, L_{uj}$): Preserva l'informazione della modalità sorgente ($I(u_{ij}, s_{ji}; X_i)$) penalizzando al contempo la sovrapposizione tra i componenti unici e quelli condivisi tra le modalità ($I(u_{ij}; s_{ji})$).

I termini informativi sono approssimati utilizzando perdite surrogate trattabili: InfoNCE per l'informazione mutua, divergenza KL per l'informazione mutua condizionale e una penalità di covarianza incrociata per la ridondanza.

Garanzie Teoriche

Il documento fornisce garanzie formali di ottimalità:

1. Ottimalità Esatta: Sotto la condizione che l'Informazione Minima Necessaria (MNI) sia raggiungibile e che il parametro di ponderazione $\alpha > \lambda$, l'obiettivo congiunto ammette lo stesso ottimo globale dell'ottimizzatore ideale passo dopo passo.
2. Near-Ottimalità: Quando la MNI non è raggiungibile (uno scenario comune nel mondo reale), l'obiettivo congiunto è dimostrato essere vicino all'ottimo, con una soluzione limitata da una costante trattabile relativa al gap informativo.

Risultati Sperimentali

Gli autori hanno valutato RePercENT attraverso tre domini: dati sintetici, comprensione del linguaggio figurato (IRFL) e oncologia multimodale (TCGA).

1. Scalabilità e Recupero dei Componenti (Sintetico):

   • RePercENT ha dimostrato una scalabilità lineare nel numero di parametri all'aumentare delle modalità ($M=2$ a $5$), mentre i baseline (MLP, GRU, gMLP) richiedevano aumenti esponenziali o soffrivano di collasso dei componenti.
   • RePercENT ha mantenuto prestazioni di disentanglement competitive (alta predizione intra-componente, bassa fuga cross-componente) in tutti i conteggi di modalità, mentre i baseline come GRU e MLP non riuscivano a recuperare i componenti unici all'aumentare di $M$.
   • Ha raggiunto prestazioni comparabili a gMLP con significativamente meno parametri (circa il 47% in meno a $M=3$) e FLOPs.

2. Linguaggio Figurato (IRFL):

   • Nel compito di abbinare il testo figurato (idiomi, metafore, similitudini) alle immagini, RePercENT ha superato le varianti di CLIP sottoposte a fine-tuning e altri baseline di disentanglement.
   • Il metodo ha mostrato una forza particolare nel gestire compiti astratti e dipendenti dal contesto (idiomi e metafore) dove isolare i componenti condivisi si è rivelato vantaggioso.
   • Gli studi di ablazione hanno confermato che sia la codifica semantica che la group slot attention sono critiche per le prestazioni.

3. Oncologia Multimodale (TCGA):

   • Utilizzando gli embedding da dati Clinici, Patologici, WSI e Molecolari, RePercENT ha migliorato l'accuratezza della classificazione del tipo di cancro rispetto agli embedding originali di HONeYBEE per la maggior parte dei tipi di cancro.
   • In particolare, per i tipi di cancro in cui gli embedding molecolari grezzi erano poco informativi (es. KIRC, LGG), le rappresentazioni condivise decomposte hanno recuperato una struttura predittiva significativa.
   • Robustezza ai Modalità Mancanti: Negli esperimenti in cui i dati WSI venivano progressivamente rimossi, RePercamente ha mantenuto alti punteggi Macro-F1, mentre i baseline di fusione (inclusi quelli addestrati con dropout) degradavano drasticamente. Ciò è attribuito alla struttura di inferenza in cui i componenti sono derivati esclusivamente dalla modalità disponibile.

Significato e Rivendicazioni

Il documento afferma che RePercENT fornisce un framework principato che unisce le fondamenta dell'informazione teorica con un'implementazione pratica e scalabile. I suoi principali contributi sono:

• Scalabilità: Supera con successo il collo di bottiglia della scalabilità esponenziale del disentanglement multimodale, consentendo l'estrazione di fattori unici e condivisi per più di due modalità con complessità lineare.
• Design Plug-and-Play: Operando su embedding pre-estratti, è agnostico rispetto ai tipi di modalità e alle architetture di backbone, facilitando l'integrazione in pipeline esistenti.
• Fondamento Teorico: Offre garanzie formali di ottimalità (sia esatta che near-ottimale) per il suo approccio di ottimizzazione congiunta, garantendo l'integrità teorica insieme al successo empirico.
• Robustezza: L'architettura gestisce intrinsecamente le modalità mancanti senza complessa imputazione, rendendola adatta ad ambienti clinici e scientifici reali dove la completezza dei dati non è garantita.

Gli autori concludono che RePercENT apre la strada a rappresentazioni multimodali più affidabili, interpretabili e meccanicamente fondate, andando oltre il semplice allineamento verso una comprensione granulare di come le diverse modalità interagiscono.