Latent Denoising Improves Visual Alignment in Large Multimodal Models

1. Il Problema

I Large Multimodal Models (LMM), come LLaVA, sono tipicamente addestrati con un obiettivo di modellazione linguistica autoregressiva. Questo approccio fornisce una supervisione visiva solo indiretta ai token visivi, basandosi esclusivamente sulla generazione del testo finale. Di conseguenza, si osservano diverse criticità:

• Rappresentazioni visive interne deboli: I token visivi all'interno del modello LLM non sono sufficientemente allineati con le caratteristiche visive reali.
• Comportamento fragile: I modelli tendono a fidarsi eccessivamente degli input testuali a discapito delle evidenze visive (allucinazioni, fallimenti nel ragionamento composizionale).
• Mancanza di robustezza: Le prestazioni degradano significativamente quando le immagini di input sono corrotte da rumore, sfocatura o condizioni meteorologiche (corruzioni comuni non avversarie).
• Limitazioni delle soluzioni esistenti: Gli approcci attuali si concentrano sul raffinamento del backbone visivo, sull'allineamento delle feature o sulla ricostruzione generativa, ma spesso mancano di un meccanismo unificato ed efficiente per migliorare le rappresentazioni visive interne durante l'addestramento per istruzioni.

2. Metodologia: Latent Denoising per LMM

Gli autori propongono un framework di denoising latente applicato durante la fase di instruction tuning. L'idea centrale è trattare la supervisione visiva come un problema di "corruzione e recupero" (corruption-and-recovery) nello spazio latente dei token visivi.

A. Corruzione dei Token (Latent Corruption)

Invece di usare solo i token visivi puliti, il metodo corrompe una parte dei token visivi proiettati ($\tilde{Z}$) prima che entrino nell'LLM:

1. Mascheramento (Masking): Sostituzione di alcuni token con un embedding di mascheramento apprendibile ($e_{mask}$).
2. Rumore Gaussiano: Aggiunta di rumore gaussiano a un sottoinsieme di token, con una forza di corruzione variabile.
3. Selezione Guidata dalla Saliency: La scelta di quali token corrompere non è casuale. Si utilizza una mappa di saliency derivata dal vision encoder congelato:
   • Le patch visivamente salienti (importanti) subiscono un rumore gaussiano (corruzione "soft").
   • Le patch meno salienti subiscono il masking (corruzione "hard").
   • Questo approccio bilancia il compito di recupero, rendendolo sfidante ma fattibile senza rompere la struttura causale dell'LLM.

B. Recupero e Supervisione (Recovery & Supervision)

Il modello LMM processa la sequenza mista (token corrotti + testo). Per recuperare le informazioni perse, il framework estrae gli stati nascosti da un layer intermedio dell'LLM (dove il segnale visivo è spesso più forte rispetto al layer finale) e utilizza un decoder leggero per prevedere le feature "pulite" di un Teacher (lo stesso vision encoder congelato usato come backbone).

C. Funzione di Perdita (Training Objective)

L'obiettivo di addestramento combina la perdita linguistica standard con tre termini di supervisione visiva calcolati solo sui token corrotti:

1. Perdita di Ricostruzione ($\mathcal{L}_{rec}$): Allineamento punto-punto tra le feature decodificate e quelle del teacher (normalizzate).
2. Perdita Relazionale ($\mathcal{L}_{rel}$): Preserva la geometria globale della similarità tra le patch (distinzione KL tra le distribuzioni di similarità del student e del teacher).
3. Perdita Contrastiva ($\mathcal{L}_{con}$): Previene il collasso delle rappresentazioni, incoraggiando la distinzione tra patch diverse all'interno della stessa immagine.

Nota Importante: Tutte le corruzioni e i decoder ausiliari sono utilizzati solo durante l'addestramento. Durante l'inferenza, il modello funziona esattamente come un LMM standard, senza alcun overhead computazionale aggiuntivo.

3. Contributi Chiave

1. Framework di Latent Denoising: Introduzione di un metodo unificato che utilizza mascheramento e rumore gaussiano guidati dalla saliency per raffinare le rappresentazioni visive interne durante l'addestramento per istruzioni.
2. Protocollo di Valutazione sulla Robustezza: Sviluppo di un protocollo deterministico basato su ImageNet-C per valutare gli LMM sotto corruzioni non avversarie (rumore, sfocatura, meteo, digitali) applicate direttamente alle immagini di test dei benchmark.
3. Validazione Empirica: Dimostrazione che il denoising latente migliora sistematicamente la comprensione visiva, il ragionamento e la robustezza su diverse architetture (LLaVA-CLIP, LLaVA-SigLIP, Qwen-2.5-VL) senza costi inferenziali.

4. Risultati Sperimentali

Il metodo è stato valutato su 18 benchmark multimodali e su un protocollo di corruzione strutturato.

• Miglioramenti Generali: Il metodo ha ottenuto miglioramenti costanti sulla maggior parte dei benchmark (15/18 su LLaVA+CLIP, 18/18 su LLaVA+SigLIP, 17/18 su Qwen).
• Ragionamento Visivo: I guadagni più significativi si sono osservati su compiti che richiedono ragionamento spaziale e composizionale (es. GQA +1.6/+2.2/+4.4, MMStar +3.1/+1.9/+1.2, NaturalBench +2.4/+0.9/+2.2).
• Robustezza alle Corruzioni: Sotto corruzioni di severità 5 (rumore, sfocatura, ecc.), i modelli addestrati con denoising latente hanno mostrato una degradazione delle prestazioni molto inferiore rispetto ai baseline. In alcuni casi (es. MMStar su Qwen), la performance su immagini corrotte del modello proposto supera la performance "pulita" del baseline.
• Analisi delle Feature Interne:
  • CKA (Centered Kernel Alignment): Le rappresentazioni interne degli LMM addestrati con denoising mostrano un allineamento superiore con i modelli vision foundation (CLIP e DINOv2), specialmente negli strati finali.
  • Classificazione k-NN: Le feature visive sono più discriminative (migliore accuratezza k-NN) e mostrano un rank effettivo più alto, indicando una maggiore ricchezza informativa.
  • Attenzione: Le mappe di attenzione cross-attention sono più focalizzate sulle regioni rilevanti della domanda, riducendo il fenomeno dei "visual attention sinks".

5. Significato e Impatto

Questo lavoro è significativo perché:

• Colma il divario tra Generazione e Comprensione: Dimostra che i principi di denoising, spesso usati per la generazione di immagini (diffusion), sono efficaci anche per migliorare la comprensione visiva negli LMM.
• Efficienza: Offre un miglioramento delle capacità visive senza modificare l'architettura di inferenza o aggiungere overhead computazionale a runtime.
• Robustezza Reale: Fornisce una soluzione pratica per rendere gli LMM più resilienti alle imperfezioni del mondo reale (immagini rumorose, sfocate), un aspetto critico per le applicazioni pratiche.
• Unificazione: Propone una visione unificata della supervisione visiva che combina allineamento diretto, ricostruzione e contrasto in un unico obiettivo di denoising.

In sintesi, il paper dimostra che forzare il modello a "ripulire" le rappresentazioni visive corrotte durante l'addestramento porta a una comprensione visiva interna più solida, allineata e robusta, migliorando le prestazioni su compiti complessi di ragionamento multimodale.