Sintesi Tecnica: MultiLoReFT

1. Definizione del Problema

L'apprendimento multimodale affronta due ostacoli primari nelle applicazioni del mondo reale, in particolare in domini con scarsità di dati come l'assistenza sanitaria:

1. Scarsità di Dati: La raccolta di dataset multimodali accoppiati su larga scala e ben allineati è spesso impraticabile o proibitivamente costosa, rendendo difficile l'addestramento end-to-end di modelli multimodali.
2. Entanglement (Groviglio): mostrare Le rappresentazioni multimodali esistenti spesso confondono le informazioni condivise tra le modalità con le informazioni specifiche di ogni modalità. Questo entanglement ostacola l'interpretabza e il controllo, rendendo difficile comprendere come specifiche modalità contribuiscano a una decisione o gestire la mancanza di modalità in modo robusto.

Sebbene i metodi di fine-tuning efficienti in termini di parametri come la Low-Rank Adaptation (LoRA) e la Low-Rank Representation Fine-Tuning (LoReFT) offrano alternative efficienti al fine-tuning completo per modelli unimodali, non sono stati esplicitamente estesi per disaggregare le informazioni condivise e quelle uniche in contesti multimodali.

2. Metodologia: MultiLoReFT

Gli autori propongono MultiLoReFT, un framework di low-rank representation fine-tuning progettato per adattare encoder unimodali pre-addestrati per l'apprendimento multimodale. Il metodo opera sopra encoder unimodali pre-addestrati congelati, richiedendo solo un piccolo numero di parametri aggiuntivi.

Architettura Core

Dati due encoder unimodali pre-addestrati ($E_1, E_2$) che producono rappresentazioni $h_1, h_2 \in \mathbb{R}^d$, MultiLoReFT apprende rappresentazioni fine-tuned $\Phi_1, \Phi_2$ che scindono l'informazione in:

• Sottospazio Condiviso ($R_s$): Cattura le informazioni comuni tra le modalità.
• Sottospazi Specifici della Modalità ($R_{m1}, R_{m2}$): Catturano segnali unici specifici per ogni modalità.

Il framework applica interventi a basso rango strutturati direttamente sulle rappresentazioni pre-addestrate. La rappresentazione fine-tuned $\Phi_i$ per la modalità $i$ è calcolata come:
$$\Phi_i = h_i + R_s^\top(f_{si}(h_i) - R_s h_i) + R_{mi}^\top(f_{mi}(h_i) - R_{mi} h_i)$$
dove $R_s, R_{mi} \in \mathbb{R}^{r \times d}$ sono matrici di proiezione a basso rango, e $f_{si}, f_{mi}$ sono trasformazioni non lineari leggere apprese nei sottospazi a basso rango. I termini $(f(h) - Rh)$ rappresentano le modifiche applicate nello spazio a basso rango prima di proiettarle nuovamente nella dimensione originale.

Obiettivo di Apprendimento

A differenza del fine-tuning supervisionato, MultiLoReFT è addestrato utilizzando un obiettivo composito auto-supervisionato che impone vincoli strutturali sullo spazio di rappresentazione:
$$\mathcal{L} = \lambda_1 \mathcal{L}_{indep} + \lambda_2 \mathcal{L}_{orth} + \lambda_3 \mathcal{L}_{MI}$$

1. Perdita di Indipendenza ($\mathcal{L}_{indep}$): Minimizza la dipendenza statistica tra le componenti condivise e quelle specifiche della modalità (e tra le due componenti specifiche della modalità) utilizzando il criterio di indipendenza di Hilbert-Schmidt (HSIC). Ciò evita la fuga di informazioni.
2. Perdita di Ortogonalità ($\mathcal{L}_{orth}$): Impone la disgiunzione geometrica tra i sottospazi minimizzando la norma di Frobenius dei prodotti scalari a coppie delle matrici di proiezione ($R_s, R_{m1}, R_{m2}$).
3. Perdita di Informazione Mutua Cross-Modale ($\mathcal{L}_{MI}$): Utilizza una perdita contrastiva di tipo InfoNCE per garantire che le proiezioni disaggregate mantengano sufficienti informazioni dalle originali rappresentazioni unimodali e per imporre la coerenza delle componenti condivise tra le modalità.

Pruning Adattivo del Rango

Per affrontare la sfida di determinare la dimensionalità ottimale dei sottospazi, MultiLoReFT impiega un meccanismo di pruning adattivo. Durante l'addestramento, viene calcolata la decomposizione ai valori singolari (SVD) delle matrici di proiezione. Le direzioni con valori singolari inferiori a una soglia $\epsilon$ vengono rimosse (pruned), e le matrici vengono aggiornate con una base compressa. Questo meccanismo regola dinamicamente il rango in base al contenuto informativo, riducendo la ridondanza ed eliminando la necessità di una regolazione manuale del rango.

3. Contributi Chiave

• Estensione del Framework: Estende la Low-Rank Representation Fine-Tuning (LoReFT) al contesto multimodale, consentendo l'efficace fusione di modelli unimodali pre-addestrati.
• Disentanglement (Disaggregazione): Introduce un metodo per apprendere esplicitamente sottospazi condivisi e specifici della modalità ortogonali, migliorando l'interpretabilità rivelando i contributi relativi di ciascuna modalità.
• Efficienza Adattiva: Propone un meccanismo di pruning del rango adattivo che seleziona automaticamente le dimensioni efficaci dei sottospazi, ottenendo una parametrizzazione compatta senza degradazione delle prestazioni.
• Robustezza: Dimostra che il sottospazio condiviso appreso migliora la robustezza alla mancanza di modalità durante l'inferenza.

4. Risultati Sperimentali

Gli autori hanno valutato MultiLoReFT su dataset sintetici (Simulazione I & II) e benchmark del mondo reale (Flickr30K-Multi, Crema-D, UR-FUNNY).

• Disaccoppiamento dell'Informazione: Su dati sintetici con fattori generativi di verità fondamentale (ground-truth) noti, MultiLoReFT ha raggiunto la massima accuratezza nella predizione di etichette condivise e specifiche della modalità utilizzando rispettivamente le proprie componenti. Ha mostrato gap di prestazione ($\Delta$) significativamente più ampi tra la componente corretta e le altre rispetto ai baseline (DRIM-U, APOLLO), indicando una separazione superiore e una minore fuga di informazioni. Sui dataset reali, ha concentrato efficacementamente l'informazione linguistica nel sottospazio specifico del testo e i dettagli visivi nel sottospazio specifico dell'immagine.
• Prestazioni sui Task a Valle (Downstream): Quando le rappresentazioni fine-tuned ($\Phi$) sono state concatenate e fornite a un regressore logistico leggero, MultiLoReFT ha costantemente superato o eguagliato i baseline allo stato dell'arte, inclusi late fusion, cross-attention e altri metodi di disentanglement.
• Robustezza alla Mancanza di Modalità: In scenari in cui una modalità era mancante, le rappresentazioni fine-tuned ($\Phi$) hanno fornito segnali predittivi più forti rispetto alle originali rappresentazioni pre-addestrate ($h$), dimostrando che il sottospazio condiviso ha catturato con successo informazioni predittive cross-modali.
• Efficienza dei Parametri: Il meccanismo di pruning adattivo ha ridotto il rango effettivo delle proiezioni, confermando la capacità del metodo di apprendere rappresentazioni compatte.

5. Significato e Rivendicazioni

L'articolo afferma che MultiLoReFT offre un approccio leggero, interpretabile e scalabile all'apprendimento multimodale in contesti con scarsità di dati. La sua importanza risiede in:

• Sfruttamento dei Punti di Forza Unimodali: Permette alla comunità di utilizzare potenti modelli unimodali pre-addestrati per task multimodali senza la necessità di enormi dataset accoppiati.
• Interpretabilità: Disaccoppiando l'informazione condivisa e quella specifica, il framework fornisce intuizioni su come le diverse modalità contribuiscano alla decisione di un modello, il che è critico per domini ad alto rischio come l'assistenza sanitaria.
• Praticità: Il metodo è agnostico rispetto al modello ed è efficiente in termini di parametri, rendendolo adatto alla distribuzione dove le risorse computazionali e la disponibilità di dati sono limitate.

Gli autori osservano che, sebbene lo studio attuale si concentri su dati bimodali, il framework può essere esteso a più modalità, sebbene ciò introduca sfide nell'interpretare i fattori parzialmente condivisi. Riconoscono inoltre che le prestazioni del metodo sono in ultima analisi limitate dalla qualità degli encoder unimodali pre-addestrati sottostanti.