Causal Disentanglement for Full-Reference Image Quality Assessment

1. Il Problema

La valutazione della qualità dell'immagine a riferimento completo (FR-IQA) mira a prevedere la qualità percepita confrontando un'immagine distorta con la sua versione originale (riferimento). Sebbene i modelli basati su reti neurali profonde abbiano ottenuto risultati significativi, esistono due limiti principali:

• Dipendenza dai dati etichettati: I metodi supervisionati richiedono grandi quantità di dati con punteggi di opinione media (MOS) ottenuti da esseri umani, un processo costoso e soggettivo, specialmente in domini di nicchia (es. immagini mediche, sottomarine, a raggi neutronici).
• Scarsa adattabilità dei metodi "training-free": I metodi che non richiedono addestramento (spesso basati su modelli pre-addestrati su ImageNet) soffrono di un forte domain shift quando applicati a domini non standard, portando a un calo drastico delle prestazioni.
• Mancanza di modellazione dell'effetto di mascheramento visivo: I modelli esistenti spesso confrontano semplicemente le differenze di feature tra le immagini, ignorando il fatto che la visibilità di una distorsione dipende dal contenuto dell'immagine (effetto di mascheramento visivo dell'HVS).

2. Metodologia Proposta

Gli autori propongono un nuovo paradigma FR-IQA basato sull'inferenza causale e sull'apprendimento di rappresentazioni disaccoppiate (decoupled representation learning). L'approccio si articola in tre fasi principali:

A. Formulazione del Problema e Modello Causale

Il processo di generazione di un'immagine distorta è modellato come un Modello Causale Strutturale (SCM):

• Un'immagine distorta ($I_d$) è generata da due fattori: il contenuto dell'immagine ($C$) e la degradazione ($D$).
• In FR-IQA, l'immagine di riferimento ($I_r$) fornisce il contenuto puro $C$.
• Il modello riconosce che la degradazione percepita non è isolata, ma è modulata dal contenuto attraverso l'effetto di mascheramento visivo (Visual Masking Effect - VME). Pertanto, si introduce una relazione causale diretta $C \rightarrow D$, dove il contenuto influenza la visibilità della degradazione.

B. Apprendimento di Rappresentazioni Disaccoppiate (Decoupling)

Per estrarre le feature di degradazione influenzate dal contenuto, il metodo utilizza un processo di intervento (intervention) guidato:

1. Intervento sul Latente: Utilizzando un autoencoder, si estrae una rappresentazione latente $Z$ dall'immagine distorta.
2. Sostituzione del Contenuto: Si sostituisce la parte di $Z$ relativa al contenuto con il contenuto estratto dall'immagine di riferimento ($C$). Questo crea una rappresentazione intervenuta $(C, Z_{degrad})$.
3. Ricostruzione: Il decoder ricostruisce l'immagine distorta usando il contenuto originale $C$ e le feature residue. Minimizzando l'errore di ricostruzione, si forza la parte residua ($Z_{degrad}$) a catturare esclusivamente le informazioni di degradazione.

C. Strato Causale (Causal Layer)

Per modellare esplicitamente l'effetto di mascheramento:

• Si utilizza uno strato causale che prende le feature di contenuto ($C$) e le feature di degradazione disaccoppiate ($D$).
• Attraverso una funzione di modulazione non lineare, il contenuto genera una "maschera" che modula le feature di degradazione, producendo una rappresentazione finale $\dot{D}$ (degradazione influenzata dal contenuto). Questo passo simula come l'HVS percepisce la distorsione in base al contesto.

D. Predizione del Punteggio (Score Prediction)

Il metodo offre tre modalità di predizione a seconda della disponibilità di dati etichettati:

1. Regressione Supervisionata: Se sono disponibili dati MOS, si usa un layer di regressione per mappare $\dot{D}$ al punteggio assoluto.
2. Riduzione della Dimensionalità (Zero-shot/Label-free): In assenza di etichette, si assume che le feature di degradazione rilevanti per la qualità giacciano su una varietà (manifold) unidimensionale. Si utilizza UMAP (Uniform Manifold Approximation and Projection) per proiettare le feature ad alta dimensionalità in una coordinata 1D. Questa coordinata preserva l'ordine relativo delle qualità, permettendo il ranking delle immagini senza bisogno di punteggi assoluti.

3. Contributi Chiave

• Nuovo Paradigma Causale: Spostamento dal confronto diretto delle feature alla disentanglement causale, guidato dall'intervento sul contenuto e dall'effetto di mascheramento visivo.
• Adattabilità Senza Etichette: Capacità di adattarsi a domini specifici (es. immagini mediche, a infrarossi) tramite pre-addestramento su dati sintetici specifici del dominio, senza richiedere annotazioni MOS costose.
• Robustezza Cross-Dominio: Il metodo supera i modelli "training-free" esistenti (spesso basati su ImageNet) in scenari non standard grazie alla capacità di apprendere le statistiche specifiche del dominio durante il pre-addestramento.
• Validazione Estensiva: Dimostrazione di prestazioni competitive in setting fully-supervised, few-shot e zero-shot su 10 dataset diversi, inclusi domini non convenzionali.

4. Risultati Sperimentali

• Benchmark Standard: Il metodo ha ottenuto prestazioni altamente competitive su dataset standard come LIVE, TID2013, CSIQ, KADID e PIPAL, superando o eguagliando lo stato dell'arte (SOTA) sia nei metodi supervisionati che in quelli training-free.
• Domini Non Standard: Su dataset specifici (immagini a infrarossi, neutroni, schermi, mediche), il metodo proposto ha raggiunto prestazioni SOTA, mentre i metodi basati su pre-addestramento ImageNet hanno mostrato un calo significativo.
• Few-Shot Learning: Con solo il 2-5% di dati etichettati, il modello mantiene prestazioni elevate, dimostrando che le feature estratte sono già ben allineate alla percezione umana.
• Ablation Study: Ha confermato che la combinazione di loss (MSE + Perceptual + Adversarial) e la presenza dello strato causale ($C \rightarrow D$) sono fondamentali per le prestazioni. L'uso di UMAP si è rivelato superiore ad altre tecniche di riduzione dimensionale (PCA, t-SNE) per la predizione zero-shot.

5. Significato e Impatto

Questo lavoro rappresenta un passo avanti significativo nell'IQA perché:

1. Riduce la dipendenza dai dati etichettati: Offre una soluzione pratica per domini dove la raccolta di dati MOS è impossibile o proibitiva (es. imaging medico o industriale).
2. Integra la teoria della visione umana: Incorpora formalmente l'effetto di mascheramento visivo attraverso l'inferenza causale, rendendo il modello più allineato alla percezione soggettiva rispetto ai semplici metodi di differenza di feature.
3. Abilita l'adattamento rapido: Permette di creare valutatori di qualità specifici per un dominio (es. radiografie) semplicemente pre-addestrando su dati sintetici di quel dominio, senza bisogno di raccogliere migliaia di immagini etichettate.

In sintesi, il paper propone un framework robusto e flessibile che combina l'apprendimento causale con l'adattabilità ai dati, risolvendo il collo di bottiglia della scarsità di dati etichettati nell'analisi della qualità delle immagini.