Mitigating Visual Degradation in MLLMs via Spatial-Spectral Visual Anchor Learning

Sintesi Tecnica: Mitigazione della Degradazione Visiva nei MLLM tramite l'Apprendimento di Ancore Visive Spazio-Spettrali

Problematica
Nonostante i significativi progressi nei Modelli Linguistici Multimodali (MLLM) attraverso il fine-tuning delle istruzioni visive, questi modelli mostrano carenze persistenti nella percezione visiva. Gli autori identificano un fenomeno critico e sott esplorato: la deviazione della rappresentazione visiva. Dopo il fine-tuning delle istruzioni visive, le rappresentazioni visive interne all'interno dei livelli del Large Language Model (LLM) deviano progressivamente dai loro stati semantici originali durante l'inferenza. Ciò porta a una grave degradazione delle informazioni nei livelli più profondi, causando la perdita di dettagli spaziali fini e di fedeltà semantica.

Il documento mette in discussione l'intuizione prevalente secondo cui l'allineamento diretto delle rappresentazioni intermedie dell'LLM con modelli visivi di base (VFM) esterni risolva questo problema. Sebbene tale allineamento diretto (ad esempio, VIRAL) migliori la qualità delle caratteristiche visive, gli autori dimostrano che non riesce a mitigare la deviazione stessa; le rappresentazioni divergono comunque a un ritmo simile attraverso i livelli. Il problema fondamentale non è solo ciò che le rappresentazioni codificano, ma come esse siano mantenute stabilmente durante la propagazione attraverso la rete.

Metodologia: Spatial-Spectral Visual Anchor Learning (SSVAL)
Per affrontare la deviazione della rappresentazione senza incorrere in sovraccarichi di inferenza, gli autori propongono SSVAL, un framework centrato sulla Visual Anchor Prompt Injection (VAPI) e sull'ausiliaria Spatial-Spectral Representation Alignment (SSRA).

1. Visual Anchor Prompt Injection (VAPI):

   • Meccanismo: L'innovazione principale è un set di prompt visivi apprendibili che agiscono come "vasi di conoscenza". Durante l'addestramento, questi prompt assorbono ricca conoscenza visiva da un VFM esterno (ad esempio, DINOv2, CLIP) tramite un meccanismo di cross-attention multi-testa a porta (gated).
   • Funzione: I prompt sono inizializzati casualmente e ottimizzati per catturare le caratteristiche del VFM. Durante l'inferenza, il VFM esterno viene scartato. I prompt appresi funzionano come ancore visive stabili, fornendo punti di riferimento coerenti per ogni livello dell'LLM per arrestare la deriva delle rappresentazioni visive.
   • Architettura: Le caratteristiche visive fungono da query, mentre i prompt combinati (prompt originali + caratteristiche VFM proiettate) fungono da chiavi (keys) e valori (values) in un modulo di cross-attention, seguito da una connessione residua a porta (gated).

2. Spatial-Spectral Representation Alignment (SSRA):
   Per fornire una supervisione complementare specifica per la visione ai livelli intermedi dell'LLM (che la normale formazione basata sul testo non possiede), SSVAL introduce due funzioni di perdita ausiliarie:

   • Spatial Representation Alignment (SpaRA): Allinea le caratteristiche dello studente (LLM) e del docente (VFM) da una prospettiva spaziale multi-scala (fattori di pooling 1x1, 2x2, 4x4). Massimizza la similarità del coseno per l'allineamento a livello di caratteristica e vincola le relazioni spaziali a coppie per l'allineamento a livello di relazione.
   • Spectral Representation Alignment (SpeRA): Opera nel dominio della frequenza. Decompone le caratteristiche in componenti a Bassa Frequenza (LF) e Alta Fenza (HF) utilizzando la Trasformata Rapida di Fourier (FFT) 2D. Le componenti LF catturano la struttura globale, mentre le componenti HF catturano bordi e dettagli locali. La perdita applica l'Errore Quadratico Medio (MSE) alla LF e una compressione logaritmica alla HF per evitare il predominio del rumore.

3. Obiettivo di Addestramento:
   La perdita totale combina la standard perdita di predizione del next-token con le perdite di allineamento SpaRA e SpeRA pesate. Questa ottimizzazione congiunta assicura che i prompt assorbano la conoscenza del VFM mentre le perdite di allineamento rinforzano l'integrità visiva nei livelli intermedi.

Contributi Chiave

• Identificazione della Deviazione: Il documento quantifica la deviazione della rappresentazione visiva nei MLLM, mostrando che la similarità del coseno tra l'input e le rappresentazioni intermedie cala drasticamente con la profondità del livello. Rivela che l'allineamento diretto del VFM non riesce a fermare questa deriva.
• Visual Anchor Prompt Injection (VAPI): Un meccanismo innovativo che utilizza i prompt come ancore persistenti che assorbono la conoscenza del VFM durante l'addestramento e stabilizzano le rappresentazioni durante l'inferenza, mitigando efficacemente la deviazione senza modelli esterni al tempo di test.
• Supervisione Spazio-Spettrale: L'introduzione di SpaRA e SpeRA fornisce una supervisione complementare multi-scala spaziale e nel dominio della frequenza, affrontando la mancanza di guida visiva esplicita nei livelli intermedi.
• Efficienza: Il metodo introduce un sovraccarico di inferenza trascurabile (solo +1,55% di parametri e +0,04% di FLOPs), poiché il VFM e le perdite di allineamento sono componenti utilizzate solo durante l'addestramento.

Risultati Sperimentali
Esperimenti estesi sono stati condotti su sei benchmark multimodali (CV-Bench2D, MMVP, MMStar, MME, POPE, MM-Bench) utilizzando diversi encoder visivi (CLIP, SigLIP) e scale di LLM (Qwen2.5-3B, Qwen2.5-7B).

• Performance: SSVAL supera significativamente sia il Baseline standard (Visual Instruction Tuning) che il metodo di allineamento diretto (VIRAL). I miglioramenti notevoli includono +6,47% su CV-Bench2D e +7,86% su MMVP con il backbone Qwen2.5-7B.
• Robustezza: A differenza di VIRAL, che ha mostrato cali di performance su determinati benchmark (ad esempio, -5,34% su MMVP con SigLIP), SSVAL ha dimostrato guadagni costanti, suggerendo che il suo meccanismo di ancora è più robusto rispetto alle diverse qualità iniziali della rappresentazione visiva.
• Studi di Ablazione:
  • VAPI è stato identificato come il driver primario dei guadagni di performance.
  • SpaRA e SpeRA hanno fornito benefici complementari, con l'allineamento spaziale multi-scala e la combinazione di componenti LF/HF della frequenza che hanno prodotto i risultati migliori.
  • Quantità di Prompt: Quattro prompt sono risultati ottimali per le configurazioni testate.
  • Fonte VFM: L'uso di DINOv2-B come fonte di conoscenza ha prodotto il miglior equilibrio complessivo, sebbene DINOv2-L abbia performato meglio su specifici benchmark di ragionamento.

Analisi Qualitativa
I risultati qualitativi mostrano che SSVAL produce embedding con confini di clustering più chiari e un'organizzazione strutturale più forte rispetto ai baseline. Le mappe di attenzione indicano che SSVAL mantiene un'attenzione focalizzata sugli oggetti rilevanti, mentre i baseline presentano pattern di attenzione dispersi. È stato osservato che i prompt appresi hanno sviluppato ruoli specializzati: un prompt sopprime il rumore di fondo e altri ereditano l'oggetto in primo piano dal VFM, colmando efficacemente il divario tra le diverse capacità dei VFM.

Significato
Il documento sostiene che SSVAL offre un cambiamento fondamentale nel modo di affrontare la degradazione visiva: invece di iniettare semplicemente caratteristiche più forti, stabilisce un meccanismo di ancora persistente che stabilizza le rappresentazioni attraverso la rete. Separando l'assorbimento della conoscenza (addestramento) dall'efficienza di inferenza, SSVAL ottiene miglioramenti sostanziali nelle performance di percezione fine e ragionamento spaziale con un costo computazionale minimo, validando l'ipotesi che le ancore visive siano essenziali per mantenere l'integrità della rappresentazione nei deep MLLM.