CLEAR: Unlocking Generative Potential for Degraded Image Understanding in Unified Multimodal Models

1. Il Problema: La Vulnerabilità alla Degradazione delle Immagini

Le immagini reali provenienti da scenari come guida autonoma, sorveglianza o fotografia mobile sono spesso soggette a degradazioni (sfocatura, rumore, compressione, scarsa illuminazione). Queste alterazioni danneggiano i segnali visivi a basso livello su cui i modelli multimodali (MLM) basano il riconoscimento e il ragionamento.

Il paper identifica un paradosso critico nei Modelli Multimodali Unificati (che integrano comprensione e generazione in un'unica architettura):

• Sebbene questi modelli possiedano capacità generative intrinseche (in grado di ricostruire dettagli visivi), non le attivano spontaneamente quando devono rispondere a domande su immagini degradate.
• Esiste un disallineamento funzionale: la capacità di comprensione e quella di generazione coesistono ma rimangono scollegate.
• Cause del disallineamento:
  1. Comportamentale: I modelli non sono mai stati addestrati a invocare la generazione come parte del processo di ragionamento per compiti di comprensione.
  2. Strutturale: Il percorso standard per collegare la generazione alla comprensione richiede di decodificare i latenti generati in pixel e poi ricalcolarli (re-encode) tramite un encoder visivo congelato. Questo "detour" interrompe il grafo computazionale, impedendo ai gradienti derivanti dalla correttezza della risposta finale di influenzare i parametri della generazione.

2. Metodologia: Il Framework CLEAR

CLEAR (Comprehension via Latent Enhancement and Adaptive Reasoning) è un framework che colma questo divario attraverso tre fasi progressive:

A. Inizializzazione Comportamentale (SFT)

Viene creato un dataset di addestramento consapevole della degradazione (derivato da LLaVA-OneVision).

• Logica: Per immagini con degradazione lieve, il modello riceve supervisione per rispondere direttamente. Per immagini con degradazione severa, il modello deve prima generare uno stato visivo intermedio (una "ricostruzione") prima di rispondere.
• Obiettivo: Insegnare al modello il pattern di ragionamento "genera poi rispondi" (generate-then-answer) e quando attivare questo meccanismo.

B. Ponte di Rappresentazione Latente (Latent Representation Bridge)

Questa è l'innovazione strutturale chiave.

• Problema risolto: Elimina il percorso di decodifica/ricodifica in spazio pixel che blocca il flusso dei gradienti.
• Soluzione: I token latenti generati dal VAE (Variational Autoencoder) vengono iniettati direttamente nel contesto di ragionamento del modello linguistico, insieme alle feature originali dell'immagine degradata.
• Vantaggio: Crea un collegamento differenziabile diretto tra la generazione e il ragionamento, permettendo alla supervisione basata sulla risposta finale di guidare il processo di generazione.

C. Interleaved GRPO (Reinforcement Learning)

Viene applicato un metodo di Reinforcement Learning basato su GRPO (Group Relative Policy Optimization) e Flow-GRPO.

• Ottimizzazione Congiunta: Il modello ottimizza simultaneamente il ragionamento testuale e la generazione visiva in un singolo passaggio in avanti (forward pass).
• Ricompensa: Il segnale di ricompensa si basa esclusivamente sulla correttezza della risposta finale (answer-correctness), non sulla qualità percettiva dell'immagine generata.
• Strategia Adattiva: Il modello impara a valutare la qualità dell'input durante la fase di analisi e a invocare la generazione solo quando necessario, evitando costi computazionali inutili su immagini pulite.

3. Contributi Chiave

1. Identificazione del Disallineamento: Dimostrazione che nei modelli unificati attuali, la generazione non supporta la comprensione su input degradati a causa di limiti comportamentali e strutturali.
2. Dataset e Benchmark (MMD-Bench): Costruzione di un nuovo benchmark che applica 16 tipi di corruzione a 6 standard multimodali a tre livelli di severità, permettendo una valutazione granulare della robustezza.
3. Allineamento Naturale tra Qualità e Compito: Una scoperta controintuitiva: rimuovendo la supervisione esplicita per la ricostruzione a livello di pixel (MSE) e affidandosi solo alla ricompensa sulla correttezza della risposta, la qualità percettiva delle immagini generate migliora. Questo suggerisce che l'ottimizzazione guidata dal compito è naturalmente allineata con la qualità visiva, rendendo la supervisione di ricostruzione un vincolo piuttosto che un requisito.
4. Ponte Latente: Un'architettura che permette la retropropagazione diretta dei gradienti dalla decisione finale ai parametri di generazione.

4. Risultati Sperimentali

Gli esperimenti sono stati condotti su MMD-Bench e R-Bench:

• Robustezza: CLEAR supera significativamente i modelli di base (come Bagel-7B) e altri modelli unificati (Janus-Pro, Emu3) su input degradati, riducendo il calo di prestazioni (drop) da 7.29 punti (Bagel) a 5.31 punti (CLEAR-RL) su degradazioni severe.
• Prestazioni su Immagini Pulite: Il modello mantiene alte prestazioni anche su immagini non degradate, dimostrando che l'addestramento non ha causato un "catastrophic forgetting".
• Confronto con Pipeline Esterne: CLEAR supera l'approccio di usare un modello di restauro esterno seguito da un modello VLM (es. Bagel), poiché CLEAR genera stati visivi ottimizzati specificamente per il compito di ragionamento, non solo per la fedeltà pixel.
• Efficienza: Grazie alla strategia adattiva, il modello genera solo quando necessario (es. ~36% di trigger su degradazioni severe, ~5% su quelle lievi), mantenendo i tempi di inferenza gestibili.

5. Significato e Impatto

Il lavoro di CLEAR rappresenta un passo fondamentale verso la robustezza reale dei sistemi multimodali.

• Paradigma Shift: Sposta l'attenzione dalla semplice "ricostruzione dell'immagine" all'uso della generazione come strumento cognitivo per il ragionamento.
• Efficienza Computazionale: Dimostra che è possibile ottenere robustezza senza penalizzare le prestazioni su dati puliti o senza aggiungere moduli esterni pesanti.
• Ottimizzazione End-to-End: Conferma che i modelli unificati possono essere ottimizzati in modo congiunto per compiti di comprensione e generazione, sfruttando i gradienti del compito finale per migliorare la qualità visiva intermedia, superando i limiti delle tecniche di addestramento tradizionali basate sulla ricostruzione MSE.

In sintesi, CLEAR trasforma la capacità generativa da una funzione separata a un meccanismo integrato di "auto-correzione" che permette ai modelli multimodali di comprendere il mondo visivo anche in condizioni di scarsa qualità.