On the Global Photometric Alignment for Low-Level Vision

1. Il Problema: Incoerenza Fotometrica per Coppia

Il lavoro identifica un problema fondamentale nei modelli di visione a basso livello (low-level vision) supervisionati, come il restauro di immagini, l'enhancement e la rimozione di artefatti. Questi modelli si basano tipicamente su funzioni di perdita pixel-wise (es. MSE) confrontando l'output della rete con un'immagine di riferimento ("ground truth").

Tuttavia, i dataset di addestramento accoppiati soffrono di incoerenza fotometrica per coppia (per-pair photometric inconsistency). Ciò significa che le differenze globali di luminosità, colore o bilanciamento del bianco tra un input degradato e il suo target variano da coppia a coppia all'interno dello stesso dataset.
Le cause principali sono due:

1. Intrinseche al compito: In task come l'enhancement in condizioni di scarsa illuminazione (Low-Light) o sott'acqua, il target ha intenzionalmente colori e luminosità diversi dall'input. Tuttavia, la mappatura fotometrica necessaria varia a seconda delle condizioni di acquisizione e dell'intento del fotografo.
2. Indotte dall'acquisizione: In task di restauro (es. rimozione di nebbia o pioggia), il target ideale non dovrebbe differire fotometricamente dal contenuto originale. Tuttavia, l'acquisizione dei dati introdurre spesso variazioni non intenzionali di esposizione o temperatura del colore tra le coppie.

Conseguenza: Le funzioni di perdita standard allocano la maggior parte del "budget del gradiente" per risolvere queste grandi discrepanze fotometriche globali, che sono spazialmente dense (coinvolgono tutti i pixel). Di conseguenza, il segnale di gradiente per il contenuto strutturale (texture, bordi), che è spazialmente sparso, viene soffocato. Questo porta a un'ottimizzazione patologica dove la rete impara a essere un "mappatore di colori" invece che un restauratore di contenuti.

2. Metodologia: Photometric Alignment Loss (PAL)

Gli autori propongono PAL (Photometric Alignment Loss), un obiettivo di supervisione flessibile che risolve il problema allineando fotometricamente la previsione al target prima di calcolare l'errore di ricostruzione.

Fondamenti Teorici:

• Decomposizione Ortogonale: Il paper dimostra che, sotto una decomposizione ai minimi quadrati, il residuo tra previsione e target può essere separato in una componente fotometrica (globale) e una strutturale (locale). Queste due componenti sono ortogonali.
• Dominanza del Gradiente: Viene provato che la componente fotometrica, essendo densa su tutti i pixel, domina l'energia del gradiente totale, rendendo inefficace l'apprendimento della struttura.

Il Modello PAL:
PAL modella la discrepanza fotometrica come una trasformazione affine globale dei colori (12 parametri: una matrice $3\times3$ per i guadagni incrociati tra canali e un vettore di bias $3\times1$).
La funzione di perdita viene calcolata sul residuo dopo l'allineamento:

1. Si calcola la trasformazione affine ottimale $(C^*, b^*)$ che minimizza l'errore tra la previsione $\hat{I}$ e il target $I_{gt}$ tramite regressione lineare ai minimi quadrati regolarizzata (Ridge Regression) per garantire stabilità numerica, specialmente in regioni monocromatiche.
   $$C^* = \text{Cov}(I_{gt}, \hat{I}) (\text{Cov}(\hat{I}, \hat{I}) + \epsilon E)^{-1}$$
   $$b^* = \mu_{gt} - C^* \mu_{\hat{I}}$$
2. Si allinea la previsione: $\hat{I}_{aligned} = C^* \hat{I} + b^*$.
3. Si calcola la perdita di ricostruzione su $\hat{I}_{aligned}$ rispetto a $I_{gt}$.

Vantaggi:

• Closed-form: Non richiede apprendimento aggiuntivo; i parametri sono calcolati in forma chiusa.
• Basso overhead computazionale: Richiede solo statistiche di covarianza e l'inversione di una matrice $3\times3$, con un costo trascurabile (circa 0.01% del costo della rete backbone).
• Generalità: Funziona sia per task di enhancement che di restauro. Può essere esteso con maschere per casi ibridi (es. rimozione ombre).

3. Contributi Chiave

1. Identificazione del problema: Dimostrazione che l'incoerenza fotometrica per coppia è una fonte unificata di distorsione nell'ottimizzazione per task di visione a basso livello, derivante sia da fattori intrinseci che dall'acquisizione.
2. Proposta di PAL: Introduzione di una loss di allineamento dei colori in forma chiusa che "sconta" la discrepanza fotometrica dal segnale di gradiente, preservando la supervisione per il contenuto strutturale.
3. Validazione Estensiva: Sperimentazione su 6 task diversi, 16 dataset e 16 architetture diverse, dimostrando miglioramenti consistenti.

4. Risultati Sperimentali

Il paper presenta risultati quantitativi e qualitativi su una vasta gamma di scenari:

• Enhancement (Task Intrinseci): Su Low-Light Image Enhancement (LOLv1, LOLv2) e Underwater Image Enhancement (EUVP), PAL ha migliorato costantemente tutte le metriche (PSNR, SSIM, LPIPS, IQA, IAA) su diverse architetture (MIRNet, Uformer, Retinexformer, CIDNet). Ad esempio, su Retinexformer con LOLv1, il guadagno è stato di +1.13 dB in PSNR.
• Restauro (Task Indotti): Su Dehazing (RESIDE-SOTS), Nighttime Dehazing (NHR) e All-in-One restoration (Snow, Rain, Haze), PAL ha ridotto le aberrazioni cromatiche residue e migliorato la fedeltà strutturale.
• Casi Ibridi: Nella rimozione di ombre (Shadow Removal), dove coesistono correzione fotometrica intrinseca (zone d'ombra) e incoerenza di acquisizione (zone non ombreggiate), l'uso di una versione mascherata di PAL ha migliorato le prestazioni.
• Generalizzazione: I modelli addestrati con PAL mostrano una migliore generalizzazione su dataset non visti (unpaired), ottenendo punteggi superiori in IQA e IAA, indicando una riduzione dell'overfitting sul profilo fotometrico specifico del dataset di training.

5. Significato e Impatto

Questo lavoro è significativo perché sfida l'assunto implicito che ogni differenza pixel-wise tra previsione e target sia ugualmente importante da minimizzare.

• Cambiamento di Paradigma: Sposta l'attenzione dal semplice "fitting" dei pixel alla comprensione della natura del residuo, separando il rumore fotometrico globale dal segnale strutturale.
• Efficienza: Offre una soluzione a costo computazionale quasi nullo che può essere integrata in qualsiasi pipeline di supervisione accoppiata esistente senza modificare l'architettura della rete.
• Robustezza: Migliora la capacità dei modelli di generalizzare su dati reali e condizioni di acquisizione variabili, un problema critico per le applicazioni pratiche di visione artificiale.

In sintesi, PAL fornisce un meccanismo elegante ed efficiente per "ripulire" il segnale di supervisione, permettendo alle reti neurali di concentrarsi sul compito principale: il restauro del contenuto visivo, piuttosto che sulla risoluzione di conflitti fotometrici globali.