Sintesi Tecnica: NamedCurves+ per il Miglioramento delle Immagini

Definizione del Problema

Il miglioramento delle immagini rimane una sfida persistente nella visione artificiale, in particolare nel bilanciare il miglioramento qualitativo automatizzato con l'interpretabza e il controllo dell'utente. Sebbene i metodi di deep learning che utilizzano dataset accoppiati (immagini grezze e ritocchi esperti) abbiano ottenuto prestazioni elevate, essi soffrono di due critiche limitazioni:

1. Mancanza di Interpretabilità: Le architetture end-to-end (ad es., U-Net) o i complessi meccanismi di ponderazione (ad es., 3D Look-Up Tables) funzionano come scatole nere, rendendo difficile comprendere come vengano applicate le specifiche modifiche.
2. Interattività Limitata: I modelli esistenti spesso mancano di una parametrizzazione adatta alle regolazioni dell'utente. Gli utenti non possono facilmente modificare l'output per adattarlo alle proprie preferenze o per correggere i singoli gusti estetici senza riaddestrare il modello.

Inoltre, esiste un divario tra il controllo manuale offerto dai software professionali (che spesso si affidano a nomi di colori familiari come "rosso", "verde" o "blu") e gli output rigidi degli attuali sistemi automatizzati.

Metodologia: NamedCurves+

Il documento propone NamedCurves+, un framework basato sull'apprendimento che integra il concetto di Color Naming (denominazione dei colori) con le Tone Curves (curve di tono) e un meccanismo di fusione basato su Transformer. L'architettura è composta da quattro componenti primari:

1. Backbone di Standardizzazione

Per affrontare la variabilità nell'illuminazione e nelle impostazioni della fotocamera, l'immagine di input $x$ viene prima elaborata da un backbone di tipo UNet (ispirato a LPIENet). Questo modulo standardizza l'input in uno spazio latente canonico ($\hat{y}_b$), garantendo una decomposizione della denominazione del colore coerente indipendentemente dalle condizioni di cattura originali. Il backbone utilizza strati MobileNet, moduli di attenzione CBAM e connessioni skip a multiresoluzione.

2. Decomposizione del Color Naming

Invece di elaborare l'immagine nel suo insieme, il metodo la decompone in mappe di probabilità basate su nomi di colori universali.

• Decomposizione: Utilizzando un modello basato su Van de Weijer et al., l'immagine viene mappata in 11 categorie di colore (rosso, blu, verde, giallo, rosa, viola, arancione, marrone, bianco, grigio, nero).
• Raggruppamento: Per gestire le variazioni di intensità dove l'essenza cromatica rimane simile (ad es., arancione vs marrone, o rosa vs viola), le 11 mappe sono raggruppate in 6 canali distinti: Arancione-Marrone-Giallo, Rosa-Viola, Rosso, Verde, Blu e Acromatico (Bianco-Grigio-Nero).

3. Stima della Bezier Tone Curve

Per ciascuno dei 6 gruppi di colori e per ogni canale RGB, la rete stima una curva di tono globale.

• Parametrizzazione: Le curve sono definite utilizzando curve di Bezier con $M$ punti di controllo. Il primo punto è fissato in $(0,0)$ e l'ultimo in $(1,1)$.
• Apprendimento: La rete predice gli incrementi ($\Delta P$) per i punti di controllo rispetto al punto precedente, garantendo la monotonicità. Questi incrementi vengono normalizzati e accumulati per formare i punti di controllo finali.
• Applicazione: Queste curve vengono applicate come Look-Up Table 1D alle corrispondenti mappe di probabilità del colore, generando sei immagini intermedie regolate globalmente. Questo passaggio fornisce interpretabilità, poiché ogni curva rappresenta esplicitamente come un colore specifico viene manipolato.

4. Fusione delle Immagini Basata su Transformer

Per affrontare le variazioni locali e prevenire artefatti (come gli aloni ai bordi dei colori) derivanti da una semplice media ponderata, le sei immagini regolate globalmente vengono fuse utilizzando un blocco Transformer.

• Meccanismo: Il blocco impiega l'Attenzione Trasposta (Transposed Attention), che calcola la covarianza incrociata tra i canali piuttosto che tra le posizioni spaziali. Ciò riduce la complessità computazionale da quadratica a lineare rispetto alla dimensione dell'immagine.
• Processo: L'input a 18 canali (6 immagini $\times$ 3 canali) viene concatenato, elaborato attraverso un estrattore di caratteristiche convoluzionale e raffinato da un modulo di Multi-Head Transposed Attention seguito da una Rete Feed-Forward (FFN).
• Output: L'ultimo strato produce l'immagine sRGB migliorata $\hat{y}$. Questo passaggio cattura le dipendenze spaziali e le modifiche contestuali che le curve globali da sole non potrebbero raggiungere.

Funzione di Perdita (Loss Function)

L'obiettivo di addestramento combina tre termini:

1. Perdita L2 tra l'immagine standardizzata $\hat{y}_b$ e la verità fondamentale (ground truth) $y$ (pesata con $\alpha=0.5$).
2. Perdita L2 tra l'output finale $\hat{y}$ e $y$.
3. Perdita SSIM tra $\hat{y}$ e $y$.

Contributi Chiave

Gli autori identificano tre contributi principali in questo lavoro esteso:

1. Architettura di Fusione Efficiente: Il redesign della componente di fusione dell'immagine tramite un blocco Transformer efficiente (Transposed Attention) migliora la qualità dell'immagine, riduce gli artefatti di alone ai bordi dei colori e mantiene velocità di inferenza elevate.
2. Generalizzazione a Molteplici Task: Il framework è esteso oltre il ritocco delle immagini per includere il tone mapping e la correzione dell'esposizione, raggiungendo risultati allo stato dell'arte sui benchmark standard.
3. Interattività e Interpretabilità Potenziate: Decoppiando i pesi del modello dalle curve di tono, il metodo consente agli utenti di manipolare direttamente le curve di Bezier associate a specifici nomi di colore durante l'inferenza. Ciò consente aggiustamenti personalizzati senza riaddestramento, offrendo un livello di controllo precedentemente non disponibile nei sistemi automatizzati.

Risultati Sperimentali

Il metodo è stato valutato su quattro dataset: MIT-Adobe-5K, PPR10K, MSEC e SICE.

• Prestazioni Quantitative: NamedCurves+ supera i metodi allo stato dell'arte (inclusi 3DLUT, AdaInt, RSFNet e il precedente NamedCurves degli autori) in termini di PSNR, SSIM, LPIPS e metriche di differenza cromatica ($\Delta E_{00}$, $\Delta E_{ab}$).
  • Su MIT-Adobe-5K, ha raggiunto un PSNR di 25.75 e un SSIM di 0.940.
  • Su MSEC (correzione dell'esposizione), ha raggiunto un PSNR di 23.15 e un SSIM di 0.878.
• Studi di Ablazione:
  • La rimozione del backbone ha causato il calo di prestazioni più significativo, confermando la necessità della standardizzazione.
  • La rimozione della decomposizione del color naming ha ridotto significativamente le prestazioni, validando la guida semantica.
  • La rimozione del modulo Transformer ha degradato i risultati, evidenziando la necessità della modellazione del contesto locale.
  • L'uso di 6 nomi di colore raggruppati ha prodotto risultati migliori rispetto all'uso di 11 nomi individuali o strategie di partizione casuali.
• Efficienza: Nonostante l'aggiunta di un blocco Transformer, il nuovo meccanismo di fusione ha ridotto il tempo di inferenza del 27% (da 26ms a 19ms) e i FLOPs del 6% rispetto all'approccio precedente, grazie all'efficienza dell'attenzione trasposta.
• Studio Utente: Uno studio 2AFC (Two-Alternative Forced Choice) con 15 osservatori ha mostrato che NamedCurves+ è statisticamente preferito rispetto sia a BGLUT che al precedente metodo NamedCurves.

Significato e Rivendicazioni

Il documento sostiene che NamedCurves+ riesce a colmare il divario tra il miglioramento automatico delle immagini e il controllo dell'utente. Il suo significato risiede in:

• Spiegabilità: L'uso di curve di tono con nomi di colore rende trasparente il processo di miglioramento; l'utente può vedere esattamente come vengono regolate le regioni "Rosse" o "Verdi".
• Interattività: Permette una personalizzazione post-hoc flessibile. Gli utenti possono raffinare l'immagine ritoccata modificando le curve specifiche per adattarle alle preferenze personali, una funzione assente nella maggior parte dei modelli di deep learning end-to-end.
• Robustezza: La combinazione di curve cromatiche globali e fusione tramite Transformer gestisce efficacementamente sia i problemi globali di esposizione/contrasto che i confini cromatici locali, mitigando gli artefatti di alone comuni nei precedenti metodi di decomposizione del colore.

Gli autori concludono che, sebbene il metodo sia limitato dall'espressività delle curve di tono per editi semantici altamente localizzati, esso rappresenta un passo avanti significativo nella creazione di sistemi di miglioramento delle immagini interpretabili, interattivi e di alta qualità.