Selective LoRA for Visual Tokens and Attention Heads

Enunciato del Problema

La Standard Low-Rank Adaptation (LoRA) è un metodo ampiamente utilizzato per il fine-tuning efficiente dei parametri (PEFT) di modelli di grandi dimensioni. Tuttavia, quando applicata ai Modelli Linguaggio-Visivo (VLM), la LoRA standard impone un prior strutturale debole: applica lo stesso aggiornamento a basso rango a tutte le posizioni dei token (testo di sistema, testo utente, token visivi e token di output) e a tutte le testine di attenzione.

Gli autori sostengono che questo approccio "tutti i token, tutte le testine" sia inefficiente e potenzialmente dannoso per i VLM perché:

1. Eterogeneità: Gli input dei VLM mescolano modalità distinte. Lavori precedenti suggeriscono che solo specifiche testine di attenzione sono cruciali per compiti visivi (grounding, pointing), mentre altre gestiscono il linguaggio.
2. Perturbazione Inutile: Adattare tutti i token, incluso il testo puro, può perturbare inutilmente le forti capacità di ragionamento linguistico ereditate dal backbone linguistico congelato, anche quando vengono utilizzati dati multimodali.
3. Inefficienza: Applicare aggiornamenti al testo del prompt e ai token di risposta (che non contengono informazioni visive) spreca risorse computazionali (FLOPs) e parametri durante l'addestramento.

Metodologia: Image-LoRA

Gli autori propongono Image-LoRA, una ricetta PEFT orientata alla visione che tratta LoRA come un aggiornamento residuo a livello di token ($Y = XW + X\Delta W$) e limita tale aggiornamento basandosi su tre forme di selettività:

1. Selettività dei Token (Solo Visiva)
Invece di applicare l'adattatore all'intera sequenza, Image-LoRA inietta l'aggiornamento residuo solo sullo span dei token visivi ($I_v$).

• Per input di solo testo ($I_v = \emptyset$), l'adattatore è inattivo e il modello segue esattamente la rete base congelata.
• Questo preserva le capacità di ragionamento in solo testo del modello e riduce i FLOPs di addestramento saltando il calcolo per i token del prompt e di risposta.

2. Selettività delle Testine (Sottoinsieme di Testine di Attenzione)
Image-LoRA aggiorna solo un sottoinsieme compatto di testine di attenzione invece di tutte le testine. La selezione è determinata da una stima dell'influenza in un singolo passaggio:

• Una sonda leggera di rango 1 (solo token visivi) è attaccata a ogni testina.
• Il sistema esegue un singolo passaggio forward-backward su un set di sonde per calcolare la sensibilità della perdita rispetto all'aggiornamento di ogni testina (punteggio di influenza).
• Le testine sono classificate in base a questo punteggio. Per garantire la diversità, viene applicata una selezione "cosine farthest-first" su caratteristiche di diversità derivate dai gradienti.
• Un budget globale ($K_{sel}$) è distribuito tra i livelli basandosi su un parametro di temperatura ($\tau$) che controlla quanto strettamente il budget segue l'importanza aggregata di ogni livello.

3. Selettività della Proiezione (Solo Valore)
All'interno delle testine selezionate, l'adattamento è limitato esclusivamente alla proiezione del Valore (V).

• Razionale: Dal punto di vista di un token di testo, le chiavi visive determinano dove attendere, mentre i valori visivi determinano quale contenuto viene recuperato. Aggiornare i valori visivi modifica l'evidenza visiva consumata dal modello linguistico senza modificare direttamente le rappresentazioni dei token non visivi nel sito di iniezione.
• Studi di ablazione mostrano che questo design "solo V" supera l'adattamento delle proiezioni Q, K o O, o delle loro combinazioni, specialmente in regimi ricchi di immagini.

Meccanismi Aggiuntivi:

• Condivisione dei Parametri: La matrice $A$ nella decomposizione LoRA ($\Delta W = AB$) è condivisa tra tutte le testine selezionate all'interno di un livello, mentre $B$ rimane specifica per la testina. Questo riduce significativamente i parametri addestrabili.
• Normalizzazione della Dimensione di Selezione: Poiché il numero di testine selezionate varia per livello, viene applicato un fattore di normalizzazione $\nu(N_{chosen}) = 1/\sqrt{N_{chosen}}$ al fattore di scala. Questo stabilizza la magnitudine degli aggiornamenti a livello di livello, impedendo che l'incremento sommato cresca con il numero di testine scelte.

Contributi Chiave

• Framework Image-LoRA: Un nuovo metodo PEFT che limita l'adattamento ai token visivi, a un sottoinsieme selezionato di testine di attenzione e al percorso del valore.
• Efficienza: Il metodo riduce significativamente i parametri addestrabili e i FLOPs di solo adattatore rispetto alla LoRA standard.
• Preservazione del Ragionamento Testuale: Escludendo i token di testo dall'adattamento, il metodo garantisce che le capacità di ragionamento in solo testo (ad es. su GSM8K) siano preservate dopo il fine-tuning su compiti visivi.
• Collo di Bottiglia dell'Informazione: Gli autori ipotizzano che i vincoli strutturali più stretti agiscano come un collo di bottiglia dell'informazione benefico, costringendo il modello a fare affidamento sull'evidenza visiva piuttosto che su indizi testuali superficiali.

Risultati Sperimentali

Gli autori hanno valutato Image-LoRA su Qwen2.5-VL (7B e 72B), LLaVA-NeXT-7B e InternVL3-8B attraverso diversi benchmark:

• Localizzazione Visiva (ScreenSpot-Pro, RefCOCO):
  • Image-LoRA corrisponde o si avvicina strettamente all'accuratezza della LoRA standard (che adatta le proiezioni Q e V su tutti i token/testine).
  • In regimi ricchi di token visivi (ad es. rapporto testo:immagine 1:5), Image-LoRA mostra compromessi favorevoli, raggiungendo un'accuratezza comparabile con parametri e FLOPs sostanzialmente inferiori.
  • Per Qwen2.5-VL-7B su ScreenSpot-Pro, Image-LoRA utilizza circa 1/4 dei parametri e significativamente meno FLOPs rispetto alla LoRA standard.
• Generalizzazione (TextVQA, VideoQA):
  • Il metodo si generalizza alla QA di immagini ricche di testo e alla QA video, mantenendo prestazioni comparabili alla LoRA standard.
• Preservazione in Solo Testo (GSM8K):
  • Dopo il fine-tuning su compiti visivi, i modelli Image-LoRA mantengono le loro prestazioni originali su GSM8K (ragionamento matematico), mentre i modelli LoRA standard mostrano un leggero degrado.
• Collo di Bottiglia dell'Informazione (ViLP):
  • Sul benchmark ViLP (progettato per testare l'affidamento su prior linguistici rispetto all'evidenza visiva), Image-LoRA ha superato la LoRA standard del 7,67%, suggerendo che il metodo riduce con successo il "bypass" tramite prior linguistici.

Significato e Affermazioni

Il paper afferma che Image-LoRA offre una strategia di adattamento più mirata ed efficiente per i VLM. Riconoscendo la natura eterogenea degli input dei VLM, il metodo:

1. Migliora l'Efficienza: Riduce drasticamente il costo computazionale del fine-tuning (FLOPs di solo adattatore) e il numero di parametri addestrabili senza sacrificare le prestazioni sui compiti visivi.
2. Protegge le Capacità Linguistiche: Previene il degrado delle capacità di ragionamento in solo testo spesso osservato quando si adattano tutti i token.
3. Migliora il Grounding Visivo: Il collo di bottiglia dell'informazione più stretto aiuta il modello a fare maggiore affidamento sull'evidenza visiva, migliorando le prestazioni su compiti dove i prior linguistici potrebbero essere fuorvianti.

Gli autori notano limitazioni, inclusa la necessità di ottimizzazioni a livello di kernel efficienti per gestire il routing dinamico dei token visivi durante l'inferenza e l'attuale affidamento su un euristica specifica di selezione delle testine che potrebbe essere ulteriormente esplorata.