UniSER: A Foundation Model for Unified Soft Effects Removal

1. Il Problema

Le immagini digitali catturate in ambienti reali sono spesso degradate da effetti "soft" (morbidi) come:

• Abbagliamento (Lens Flare)
• Foschia e Nebbia (Haze/Fog)
• Ombre (Shadows)
• Riflessi (Reflections)

Questi fenomeni corrompono la radianza della scena in modo additivo o moltiplicativo, riducendo il contrasto, la fedeltà cromatica e i dettagli fini. Sebbene i pixel sottostanti siano parzialmente visibili, il recupero dell'immagine è un problema mal posto (ill-posed), specialmente quando le aree sono completamente occluse o sovraesposte.

Limitazioni degli approcci attuali:

• Modelli Specialistici: I metodi esistenti trattano ogni degradazione separatamente (es. un modello solo per la rimozione della foschia, un altro per le ombre). Questi modelli mancano di scalabilità e non sfruttano le essenze comuni tra i diversi problemi di restauro.
• Modelli Generalisti (Foundation Models): Modelli recenti basati su LLM multimodali (es. GPT-4o, Flux, Nano Banana) offrono editing guidato dal testo, ma falliscono in compiti a grana fine come la rimozione di effetti soft. Spesso alterano l'identità degli oggetti, mancano di controllo pixel-per-pixel e richiedono prompt testuali estremamente dettagliati per risultati stabili.

2. Metodologia

Il paper introduce UniSER, un modello fondazionale versatile progettato per unificare la rimozione di tutti questi effetti degradanti in un singolo framework.

A. Curazione del Dataset (Data-Centric Approach)

La robustezza di UniSER deriva da un dataset massiccio e bilanciato di circa 3,8 milioni di coppie di immagini (input degradato / ground truth pulito).

• Integrazione: Unisce dataset open-source esistenti per quattro task principali (flare, ombre, foschia, riflessi).
• Espansione dei Dati: Per colmare le lacune (es. scarsità di dati reali per i flare o diversità nella foschia), gli autori hanno creato dati sintetici e reali:
  • HALO Dataset: 70.000 coppie di immagini renderizzate in 3D (Blender) con effetti di flare fisicamente plausibili e geometricamente consistenti.
  • LR-SRD: 26.000 coppie per la rimozione delle ombre, create fondendo oggetti reali senza ombre su sfondi puliti.
  • Foschia Fisica: Un pipeline di rendering atmosferico basato sull'equazione del trasferimento radiativo (RTE) per generare foschia, nebbia e fumo non omogenei e realistici, controllando parametri come visibilità, colore dell'aria e spessore ottico.

B. Architettura del Modello

UniSER è basato su un Diffusion Transformer (DiT) all'interno di uno spazio latente (VAE).

• Input: L'immagine degradata viene codificata in uno spazio latente.
• Condizionamento: Il modello riceve:
  1. Prompt testuale: Istruzioni di alto livello (es. "rimuovi la foschia" o "rimuovi effetti").
  2. Maschera di controllo: Definisce la regione spaziale da modificare.
  3. Controllo della forza (Strength): Un valore scalare $\alpha \in [0, 1]$ che modula l'intensità della rimozione.
• Strategia di Mascheramento Randomizzato: Durante l'addestramento, poiché le maschere reali degli effetti sono spesso assenti, il modello viene addestrato con maschere binarie casuali (combinazione di forme geometriche e tratti liberi). L'obiettivo di supervisione ($I_{target}$) è generato interpolando linearmente tra l'immagine pulita ($I_{gt}$) e quella degradata ($I_{input}$) in base alla maschera e alla forza $\alpha$:
  $$I_{target} = \alpha M_{blur} \cdot I_{gt} + (1 - \alpha M_{blur}) \cdot I_{input}$$
  Questo insegna al modello a rimuovere l'effetto solo dove richiesto e con l'intensità desiderata, preservando il resto dell'immagine.

C. Generalizzazione Zero-Shot

Per gestire effetti non visti durante l'addestramento (es. pioggia, macchie), il modello viene addestrato anche con un prompt generico "remove effects" e su immagini pulite con degradazioni sintetiche casuali, costringendolo a imparare il concetto astratto di "rimozione di occlusioni semi-trasparenti" piuttosto che memorizzare categorie specifiche.

3. Contributi Chiave

1. Dataset su Larga Scala: Creazione di un dataset di 3,8M di coppie bilanciate e di alta qualità, fondamentale per la generalizzazione su dati "in-the-wild".
2. Modello Unificato (UniSER): Un singolo modello fondazionale che supera sia i modelli specialistici che i grandi modelli generativi nella rimozione di molteplici effetti soft, mantenendo l'identità della scena.
3. Controllo Granulare: Introduzione di interfacce utente precise per il controllo spaziale (maschere) e dell'intensità (forza di rimozione), permettendo un editing fine e controllabile.
4. Versatilità Creativa: Il framework supporta non solo la rimozione, ma anche l'aggiunta o l'enhancement realistico di effetti su immagini pulite.

4. Risultati Sperimentali

• Performance su Benchmark Standard: UniSER ottiene risultati State-of-the-Art (SOTA) su tutti i benchmark pubblici per flare (Flare7K), ombre (SRD, ISTD+, WSRD+), foschia (RESIDE) e riflessi (SIR2), superando o eguagliando i modelli specialistici in termini di PSNR e SSIM.
• Generalizzazione "In-the-Wild": Su un set di 39 immagini reali senza ground truth, UniSER supera significativamente i modelli generalisti (GPT-4o, Nano Banana, Flux) e specialistici.
  • Metriche: Ottiene i punteggi più alti in LIQE (qualità percepita), guadagno di contrasto residuo e QwenQA (valutazione basata su VLM).
  • Qualità Visiva: A differenza dei modelli generalisti che spesso alterano il contenuto o l'identità degli oggetti, UniSER rimuove gli effetti preservando fedelmente la scena sottostante.
• Ablation Study: L'apprendimento congiunto (Joint-Task Learning) su tutti i task dimostra prestazioni superiori rispetto all'addestramento separato per singolo task (Single-Task Learning), confermando che gli effetti soft condividono un'essenza comune che il modello riesce a sfruttare.

5. Significato e Impatto

UniSER rappresenta un passo significativo verso una soluzione universale e controllabile per il restauro di immagini ad alta fedeltà.

• Superamento dei Silos: Dimostra che problemi di restauro tradizionalmente separati possono essere risolti in un unico framework fondazionale, riducendo la complessità e migliorando la scalabilità.
• Affidabilità Professionale: Risolve il problema della perdita di identità e della mancanza di controllo dei modelli generativi attuali, rendendo lo strumento adatto per l'editing fotografico professionale e pipeline di visione artificiale critiche.
• Flessibilità: La capacità di gestire effetti indefiniti (zero-shot) e di controllare l'intensità della rimozione apre nuove possibilità per l'editing creativo e l'aumento dei dati.

In sintesi, UniSER combina la potenza dei modelli fondazionali con una curazione dati rigorosa e controlli utente precisi, stabilendo un nuovo standard per la rimozione di degradazioni soft nelle immagini reali.