CoLA: Cross-Modal Low-rank Adaptation for Multimodal Downstream Tasks

1. Il Problema

I modelli fondazione (Foundation Models) hanno rivoluzionato l'IA, ma la loro adattamento efficiente per compiti multimodali rimane una sfida significativa, specialmente nelle architetture dual-stream (a due flussi) composte da encoder unimodali separati (es. DINO per la visione e BERT per il linguaggio).

• Limitazione attuale: I metodi di Parameter-Efficient Fine-Tuning (PEFT) esistenti, come LoRA (Low-Rank Adaptation), permettono un adattamento leggero aggiornando solo una frazione dei parametri. Tuttavia, LoRA opera in isolamento all'interno di ogni modalità (adattamento intra-modale), senza catturare le interazioni cross-modali.
• Conseguenza: Questo approccio limita la capacità del modello di sfruttare le informazioni complementari tra le diverse modalità (es. visione e linguaggio, o audio e video), rendendo l'adattamento per compiti multimodali meno efficace rispetto all'uso di modelli multimodali pre-addestrati monolitici, che però possono perdere informazioni specifiche della modalità.

2. Metodologia: CoLA (Cross-Modal Low-rank Adaptation)

Gli autori propongono CoLA, un nuovo framework PEFT che estende LoRA introducendo un percorso di adattamento dedicato alle interazioni tra modalità, affiancato al percorso standard intra-modale.

Architettura Principale

CoLA modifica i componenti lineari (proiezioni Q, K, V, W_o, e FFN) all'interno degli encoder trasformatori aggiungendo due percorsi distinti:

1. Percorso Intra-Modale ($\Delta W_L$): Identico a LoRA standard, adatta i pesi utilizzando le caratteristiche della stessa modalità.
2. Percorso Inter-Modale ($\Delta W_C$): Un nuovo percorso di fusione che introduce consapevolezza cross-modale.

Meccanismo di Fusione Cross-Modale

• Decomposizione: Il peso di adattamento cross-modale $\Delta W_C$ è decomposto in matrici a basso rango ($B_C, A_C$) e una matrice di trasformazione intermedia quadrata $\Phi$.
• Iper-Rete (Hypernetwork): La matrice $\Phi$ non è fissa, ma viene generata dinamicamente da una iper-rete che prende in input le caratteristiche globali della modalità accoppiata (es. features visive per l'encoder audio e viceversa).
• Propagazione Progressiva: Le caratteristiche cross-modali vengono propagate progressivamente attraverso i livelli dell'encoder. In ogni strato, le features aggiornate di una modalità vengono utilizzate per generare i pesi di adattamento per l'altra modalità, permettendo uno scambio di informazioni simmetrico e continuo.
• Fattori di Scala Dinamici: Viene introdotto un parametro scalabile $\lambda$ (appreso durante il training) che controlla il contributo del percorso inter-modale rispetto a quello intra-modale, permettendo al modello di decidere quanto pesare l'interazione cross-modale in base al livello del transformer e al componente specifico.

3. Contributi Chiave

1. Framework PEFT Multi-Task: CoLA è il primo framework PEFT in grado di gestire compiti di visual grounding multi-task (comprensione e segmentazione) utilizzando encoder unimodali separati con adattamento cross-modale.
2. Separazione dei Percorsi: Dimostra che separare i percorsi di adattamento intra-modale e inter-modale è cruciale per apprendere proiezioni specializzate senza interferenze, superando le limitazioni di metodi che fondono le informazioni a livello di modulo.
3. Efficienza e Prestazioni: Offre un adattamento efficiente senza sovraccarico computazionale durante l'inferenza per il percorso intra-modale (che può essere fuso con i pesi originali), mantenendo solo il percorso inter-modale dinamico.

4. Risultati Sperimentali

Gli autori hanno valutato CoLA su benchmark per Vision-Language (RefCOCO, RefCOCO+, RefCOCOg) e Audio-Visual (AVE, AVS).

• Confronto con LoRA: CoLA supera costantemente LoRA in tutte le configurazioni.
  • Vision-Language: Guadagno relativo di circa 3% rispetto a LoRA (rank-matched) e 2% rispetto a configurazioni con parametri totali equivalenti.
  • Audio-Visual: Guadagno relativo di circa 2% su AVE e AVS.
  • Nota: I miglioramenti sono attribuiti all'architettura cross-modale e non all'aumento del numero di parametri.
• Confronto con Metodi Esistenti:
  • Su compiti di Referring Expression Comprehension (REC) e Segmentation (RES), CoLA ottiene le migliori prestazioni tra i metodi PEFT e supera anche approcci con Full Fine-Tuning (FT) su alcuni dataset, pur aggiornando solo il 17.2% dei parametri totali.
  • Su compiti audio-visivi, CoLA raggiunge prestazioni competitive con metodi specializzati come STG-CMA e DG-SCT, pur utilizzando un design di integrazione cross-modale più semplice e encoder unimodali separati.

5. Significato e Impatto

• Democratizzazione dell'IA Multimodale: CoLA riduce drasticamente i requisiti computazionali per l'adattamento di modelli fondazione multimodali, rendendo accessibili compiti avanzati a ricercatori e organizzazioni con risorse limitate.
• Flessibilità Architetturale: Permette di combinare qualsiasi coppia di encoder unimodali pre-addestrati (es. DINO + BERT, o modelli audio/video separati) per compiti multimodali, superando i limiti dei modelli multimodali pre-addestrati che potrebbero non essere ottimizzati per compiti specifici.
• Nuova Direzioni di Ricerca: Il lavoro apre la strada all'integrazione di meccanismi cross-modali all'interno del paradigma LoRA, suggerendo future applicazioni su LLM multimodali.

In sintesi, CoLA risolve il problema della mancanza di interazione tra modalità nei metodi PEFT attuali, introducendo un meccanismo di fusione dinamica e progressiva che migliora significativamente le prestazioni su compiti multimodali complessi mantenendo l'efficienza parametrica.