Riepilogo Tecnico: Sfruttamento di Modelli Linguistici Multimodali di Grande Dimensione per il Ripristino Immagini All-in-One tramite una Miscela di Esperti in Frequenza

Enunciato del Problema

Il ripristino immagini all-in-one mira a recuperare immagini pulite da input affetti da degradazioni diverse e sconosciute utilizzando un framework unificato. Sebbene i metodi recenti abbiano migliorato le prestazioni identificando le caratteristiche delle degradazioni, spesso trattano le degradazioni come categorie discrete. Questo approccio fallisce nel modellare la struttura relazionale continua intrinseca nelle degradazioni composite (ad esempio, un'immagine con simultanea scarsa illuminazione, foschia e pioggia, dove una degradazione è dominante). Le rappresentazioni sensibili alle degradazioni esistenti, spesso apprese tramite obiettivi contrastivi, tendono a partizionare i tipi di degradazione in cluster isolati, trascurando lo spettro continuo delle degradazioni miste. Inoltre, gli approcci attuali che sfruttano i Modelli Linguistici Multimodali di Grande Dimensione (MLLM) si affidano frequentemente esclusivamente a rappresentazioni testuali di alto livello, sottoutilizzando la ricca conoscenza visiva interna codificata all'interno di questi modelli, il che crea un divario di rappresentazione per la ricostruzione fine-granulare a livello di pixel.

Metodologia

Gli autori propongono MMFE-IR, un framework che integra un Modello Linguistico Multimodale di Grande Dimensione pre-addestrato (specificamente Qwen2.5-VL) con una rete di ripristino immagini a basso livello. L'architettura è composta da tre componenti principali:

1. Blocco di Fusione Guidato da MLLM (MGFB)

Per colmare il divario tra la conoscenza semantica di alto livello e il ripristino a basso livello, il framework inietta le caratteristiche derivate dall'MLLM in un backbone encoder-decoder (basato su Restormer). Il MGFB utilizza un meccanismo di cross-attenzione per assegnare specifici embedding MLLM a diverse fasi della rete:

• Encoder: Riceve $E_{Image}$, un embedding contestualizzato derivato dalla visione e aggregato dai token immagine dell'MLLM. Questo rafforza l'estrazione delle caratteristiche strutturali.
• Decoder: Riceve $E_{Joint}$, embedding condizionati da visione e linguaggio aggregati da tutti i token. Questo facilita la ricostruzione consapevole delle degradazioni incorporando il contesto semantico.
  La fusione è ottenuta tramite una connessione residua in cui la mappa delle caratteristiche visive funge da query e gli embedding MLLM fungono da chiavi e valori.

2. Miscela di Esperti in Frequenza (MoFE)

Riconoscendo che diverse degradazioni presentano caratteristiche di frequenza distinte, gli autori introducono un modulo MoFE che opera nel dominio della frequenza piuttosto che in quello spaziale.

• Decomposizione in Frequenza: L'immagine degradata originale viene decomposta utilizzando la Trasformata Discreta a Onde (DWT) in sottobande. La componente a bassa frequenza ($LL$) è esclusa, poiché è intrinsecamente catturata dai meccanismi di self-attention nei Transformer. Le restanti sottobande ad alta frequenza ($LH, HL, HH$) vengono elaborate.
• Instradamento degli Esperti: Un insieme di esperti convoluzionali leggeri ($N=8$) elabora queste componenti ad alta frequenza. Un instradatore, guidato dall'embedding testuale di alto livello dell'MLLM ($E_{Answer}$), prevede i pesi di miscela per questi esperti. Ciò consente una composizione dinamica per gestire degradazioni diverse.
• Fusione: Le caratteristiche di frequenza aggregate vengono fuse nuovamente nelle caratteristiche spaziali utilizzando l'Attenzione Trasposta a Teste Multiple con Dconv (MDTA), permettendo alle caratteristiche spaziali di interrogare adattivamente i dettagli ad alta frequenza necessari.

3. Ottimizzazione dell'Instradatore Guidato da MLLM

Per garantire che l'instradatore preservi le relazioni semantiche continue delle degradazioni catturate dall'MLLM, viene introdotta una specifica funzione di perdita.

• Perdita di Allineamento Relazionale ($\mathcal{L}_{MGL}$): Questa perdita calcola la similarità del coseno pairwise degli embedding di alto livello dell'MLLM e la allinea con la similarità pairwise dei pesi di output dell'instradatore. Ciò incoraggia l'instradatore ad assegnare combinazioni di esperti simili a degradazioni semanticamente simili e combinazioni distinte a degradazioni diverse, mantenendo la struttura continua dello spazio degli embedding.
• Strategia di Addestramento: Il modello adotta una strategia di addestramento progressivo multi-risoluzione, aumentando gradualmente la risoluzione di input per stabilizzare l'ottimizzazione dell'instradatore e migliorare la robustezza attraverso dimensioni di immagine variabili.

Contributi Chiave

1. Modellazione Continua delle Degradazioni: Il framework sfrutta gli embedding continui delle degradazioni dei MLLM pre-addestrati per superare i limiti della discretizzazione rigida dei prompt, consentendo una cattura più accurata delle strutture di degradazione complesse.
2. Integrazione MGFB: Viene introdotto un blocco di fusione guidato da MLLM per colmare il divario di rappresentazione integrando sia gli embedding visivi MLLM che gli embedding condizionati da visione e linguaggio direttamente nell'encoder e nel decoder della rete di ripristino.
3. Instradamento di Esperti nel Dominio della Frequenza: Viene proposto un modulo Miscela di Esperti in Frequenza (MoFE), che utilizza un instradatore guidato da MLLM addestrato con una perdita di allineamento relazionale. Ciò permette al modello di apprendere relazioni di degradazione distribuite e combinare adattivamente esperti in frequenza per degradazioni diverse e composite.

Risultati Sperimentali

Il metodo è stato valutato su molteplici benchmark, incluso il dataset CDD11, impegnativo per le degradazioni composite, e impostazioni standard all-in-one per degradazioni singole.

• Degradazione Composita (CDD11): Il metodo proposto ha raggiunto prestazioni all'avanguardia, superando i metodi precedenti fino a 1.35 dB sul dataset CDD11. Ha dimostrato una robustezza superiore negli scenari di degradazione doppia (ad esempio, scarsa illuminazione + foschia) e tripla (ad esempio, scarsa illuminazione + foschia + pioggia), raggiungendo un PSNR medio di 30.40 dB e un SSIM di 0.889.
• Benchmark All-in-One: Il metodo ha raggiunto il PSNR medio più alto (31.44 dB) nell'impostazione a cinque degradazioni e 32.94 dB nell'impostazione a tre degradazioni. Ha mostrato una forza particolare sia nei compiti a bassa frequenza (rimozione foschia) che in quelli ad alta frequenza (rimozione sfocatura).
• Studi di Ablazione: Gli esperimenti hanno confermato che:
  • L'uso di $E_{Image}$ per l'encoder e $E_{Joint}$ per il decoder produce prestazioni ottimali.
  • Il modulo MoFE aumenta significativamente le prestazioni (+1.02 dB rispetto alla baseline) con un aumento minimo dei parametri.
  • La perdita guidata da MLLM e l'addestramento progressivo multi-risoluzione sono critici per i guadagni di prestazioni.
  • Il MoE nel dominio della frequenza supera il MoE nel dominio spaziale.
  • Il framework rimane robusto anche utilizzando MLLM più piccoli (ad esempio, FastVLM-0.5B), sebbene l'MLLM più grande (Qwen2.5-VL-3B) offra il miglior equilibrio tra qualità e latenza.

Significato e Affermazioni

Il documento afferma che MMFE-IR stabilisce un nuovo stato dell'arte nel ripristino immagini all-in-one, in particolare per degradazioni complesse e composite. Il significato del lavoro risiede nella sua estensione riuscita della guida MLLM oltre le mere rappresentazioni testuali per includere caratteristiche visive interne e instradamento di esperti nel dominio della frequenza. Preservando le relazioni semantiche continue delle degradazioni attraverso l'instradatore e la perdita guidati da MLLM, il framework mitiga efficacemente il divario di rappresentazione spesso riscontrato nei compiti di visione a basso livello. Gli autori affermano che questo approccio permette al modello di gestire la coesistenza e l'interazione di multiple degradazioni con maggiore accuratezza rispetto ai metodi che trattano le degradazioni come categorie discrete e isolate.