Scale Contrastive Learning with Selective Attentions for Blind Image Quality Assessment

1. Il Problema: Limiti degli Approcci Multi-Scala Esistenti

L'articolo affronta una sfida fondamentale spesso trascurata nella Valutazione della Qualità dell'Immagine Senza Riferimento (BIQA - Blind Image Quality Assessment): la variazione drammatica della percezione della qualità tra diverse scale della stessa immagine.

Gli autori identificano due limiti critici negli attuali metodi multi-scala:

• Il problema delle "Illusioni Visive" (Visual Illusions): I metodi tradizionali assumono erroneamente che la qualità di una regione sia costante indipendentemente dalla scala. In realtà, ciò che appare degradato in un primo piano (es. artefatti di compressione) può essere impercettibile da lontano, mentre distorsioni globali (es. sovraesposizione) possono dominare solo a scale ridotte. La fusione ingenua di queste feature porta a rappresentazioni fuorvianti che neutralizzano i segnali di qualità, creando un'illusione di uniformità dove non esiste.
• Il problema della "Diluizione dell'Informazione" (Information Dilution): A differenza della visione umana, che filtra selettivamente le informazioni irrilevanti, i metodi attuali processano indiscriminatamente tutte le informazioni cross-scala. Questo introduce ridondanza semantica che oscura le feature critiche per la qualità (come sottili artefatti), riducendo la sensibilità del modello.

2. Metodologia: Il Framework CSFIQA

Per superare questi limiti, gli autori propongono CSFIQA (Contrast-Constrained Scale-Focused Image Quality Assessment), un framework che integra tre moduli principali basati su un'architettura Transformer:

A. Apprendimento Contrastivo di Scala (Scale Contrastive Learning - SCL)

Questo modulo affronta direttamente il problema delle "illusioni visive".

• Apprendimento Intra- ed Inter-Scala: Il modello impara a distinguere le variazioni di qualità sia tra scale diverse (inter-scala) che all'interno della stessa scala (intra-scala).
• Campionamento Adattivo: Utilizza i punteggi MOS (Mean Opinion Score) per costruire coppie positive (qualità simile) e negative (qualità diversa) basandosi sulla distanza Manhattan dei punteggi, permettendo al modello di allineare le rappresentazioni delle feature con la percezione umana reale.

B. Adattamento del Campionamento Rumoroso (Noise Sample Matching - NSM)

Questo è un meccanismo innovativo specifico per gestire l'incoerenza della qualità all'interno della stessa immagine.

• Identificazione delle Discrepanze: Il NSM identifica le regioni all'interno della stessa immagine che mostrano informazioni di qualità incoerenti tra scale diverse (es. una zona nitida a scala grande ma distorta a scala piccola).
• Funzione: Tratta queste regioni come campioni negativi per l'apprendimento contrastivo, forzando il modello a massimizzare la distanza tra le loro rappresentazioni. Questo impedisce al modello di mediare erroneamente le qualità diverse, risolvendo l'effetto "illusione visiva".

C. Attenzione Selettiva (Selective Focus Attention - SFA)

Questo modulo risolve il problema della "diluizione dell'informazione".

• Adaptive Filtering Selector (AFS): Sostituisce l'attenzione standard con una strategia di filtraggio "top-k" adattiva. Utilizza un operatore di mascheramento apprendibile per selezionare solo le $k$ coppie chiave-valore più rilevanti, scartando le informazioni ridondanti. Il valore $k$ non è fisso ma deriva da un intervallo apprendibile $[\alpha, \beta]$.
• Information Concentrator Module (ICM): Dopo il filtraggio, le feature selezionate vengono passate attraverso un modulo che utilizza un LLM (Large Language Model) congelato (Llama-7B). Questo agisce come un amplificatore di informazioni, sfruttando la conoscenza pre-addestrata del LLM per focalizzarsi ulteriormente sui contenuti visivi essenziali per la qualità, riducendo ulteriormente il rumore.

3. Contributi Chiave

1. Riconoscimento della Percezione Multi-Scala: Dimostrazione empirica e teorica che la qualità percepita varia significativamente con la scala, e che ignorare questa variabilità porta a errori sistematici.
2. Meccanismo NSM: Una nuova strategia per identificare e penalizzare le incoerenze di qualità all'interno della stessa immagine tra scale diverse, prevenendo la mediazione errata delle feature.
3. Architettura Ibrida SFA: L'integrazione di un selettore di attenzione adattivo con un LLM congelato per filtrare la ridondanza semantica e concentrarsi sulle feature di qualità critiche, mimando l'attenzione visiva umana.
4. Prestazioni Superiori: Validazione su dataset reali complessi dove i metodi precedenti falliscono nel gestire distorsioni autentiche.

4. Risultati Sperimentali

Il modello è stato valutato su 7 dataset di benchmark (inclusi LIVEC, KonIQ, LIVEFB, SPAQ, ecc.), confrontandosi con 16 metodi SOTA (State-of-the-Art).

• Prestazioni Generali: CSFIQA ha ottenuto i migliori risultati in termini di SRCC (Coefficiente di Correlazione di Ranghi di Spearman) e PLCC su 6 dei 7 dataset.
• Miglioramenti Significativi:
  • Su LIVEFB (dataset con distorsioni reali complesse), ha registrato un miglioramento del 8.8% in SRCC rispetto ai metodi precedenti.
  • Su LIVEC, un miglioramento del 1.6% in SRCC.
• Generalizzazione: Nei test di validazione cross-dataset (addestramento su un dataset, test su un altro senza fine-tuning), CSFIQA ha mostrato una capacità di generalizzazione superiore rispetto a modelli come DEIQT, LoDa e TReS.
• Analisi Qualitativa: Le mappe di attivazione Grad-CAM mostrano che CSFIQA si focalizza correttamente sulle regioni distorte, mentre i modelli baseline tendono a distrarsi da contenuti irrilevanti (confermando l'effetto "illusione visiva" nei modelli precedenti).
• Efficienza: Nonostante l'uso di un LLM congelato (che aumenta il numero totale di parametri), il numero di parametri addestrabili è basso (31M su 233M totali). Inoltre, il modulo di filtraggio AFS riduce drasticamente il tempo di addestramento rispetto a un'architettura senza filtraggio (riduzione di circa 3 volte).

5. Significato e Impatto

Questo lavoro è significativo perché sposta il paradigma della BIQA multi-scala: invece di trattare le diverse scale come semplici ridondanze o livelli gerarchici da fondere, riconosce che la qualità è una proprietà contestuale e dipendente dalla scala.

Introducendo meccanismi espliciti per gestire le incoerenze di qualità (NSM) e per filtrare la ridondanza semantica (SFA), CSFIQA colma il divario tra la valutazione algoritmica e la percezione umana. Questo è cruciale per applicazioni reali come la compressione, il restauro e la generazione di contenuti, dove la qualità percepita a diverse risoluzioni è fondamentale per l'esperienza utente. L'uso innovativo di un LLM congelato come concentratore di informazioni apre anche nuove direzioni per l'integrazione di modelli linguistici nella visione artificiale per compiti di valutazione fine.