Evaluating quality metrics through the lenses of psychophysical measurements of low-level vision

Questo articolo introduce un nuovo set di test basati su misurazioni psicofisiche della visione di basso livello per valutare la capacità delle metriche di qualità immagine e video di catturare fenomeni percettivi fondamentali, rivelando limiti e comportamenti specifici di 34 metriche esistenti.

L'essenziale

Immagina di avere un giudice dell'arte molto speciale. Questo giudice non è una persona, ma un algoritmo informatico chiamato "metrica di qualità". Il suo lavoro è guardare un'immagine o un video e dirti: "Ehi, questa foto è bella!" oppure "Questa è piena di difetti!".

Fino a oggi, per capire se questi giudici robotici erano bravi, li facevamo guardare a migliaia di foto reali e chiedevamo a persone vere di votare: "Quanto è bella questa foto?". Se il voto del robot coincideva con quello delle persone, pensavamo che il robot fosse un genio.

Ma gli autori di questo articolo (un team di Cambridge e Netflix) hanno detto: "Aspetta un attimo. Sappiamo che il nostro occhio umano funziona in modi molto specifici e strani. Perché non testiamo questi robot direttamente su come funziona la nostra vista, invece di fidarci solo dei voti delle persone?"

Ecco come hanno fatto, spiegato con delle analogie semplici:

1. Il Laboratorio di Visione (I Test)

Invece di mostrare foto reali, hanno creato dei "giochi" visivi molto semplici, basati su come il nostro cervello vede il mondo. Hanno messo alla prova 34 diversi giudici robotici con tre tipi di sfide:

• La sfida del "Cecchino" (Contrasto e Frequenza):
  Immagina di dover trovare un piccolo punto grigio su uno sfondo grigio.

  • Se il punto è al centro del tuo campo visivo, lo vedi facilmente.
  • Se è molto piccolo o molto grande, o se è grigio su grigio, diventa difficile.
  • Il problema: Molti robot (come il famoso SSIM) sono come persone che hanno gli occhiali sbagliati: vedono benissimo i dettagli minuscoli (i bordi netti) ma ignorano le sfumature medie, che invece sono quelle che noi umani notiamo di più. Altri robot, invece, sono troppo lenti e vedono tutto sfocato.
  • Chi ha vinto? I robot più recenti basati sull'intelligenza artificiale (come LPIPS) e quelli creati apposta per Netflix (ColorVideoVDP) hanno capito meglio come funziona il nostro "occhio".

• La sfida del "Camuffamento" (Mascheramento):
  Immagina di cercare un insetto su un muro di mattoni. È difficile, vero? Il muro "nasconde" l'insetto. Questo si chiama masking.

  • Se l'insetto è su un muro bianco e liscio, lo vedi subito.
  • Se è su un muro di mattoni, devi che l'insetto sia molto grande o colorato per vederlo.
  • La scoperta: Molti robot vecchi (come PSNR) non capiscono questo concetto. Pensano che un difetto sia sempre ugualmente brutto, sia su un muro bianco che su uno di mattoni. I robot moderni, invece, hanno imparato (senza che nessuno glielo insegnasse esplicitamente!) che i difetti si "nascondono" meglio nelle immagini complesse.

• La sfida del "Trucco" (Corrispondenza dei Colori):
  Immagina di dover dire se due colori diversi (uno rosso-verde e uno giallo-viola) hanno la stessa "intensità" di colore.

  • Noi umani percepiamo i colori in modo diverso: notiamo di più le variazioni di luminosità che quelle di colore.
  • Il risultato: Molti robot si confondono. Alcuni pensano che il grigio sia più importante del colore, altri esagerano con i colori. Solo pochi, come il ColorVideoVDP, riescono a dire: "Sì, questi due colori hanno la stessa forza percepita".

2. Cosa hanno scoperto? (Le Sorprese)

• I "Vecchi Sapienti" hanno i limiti: Metriche famose e usate da decenni (come SSIM o PSNR) sono un po' come vecchi motori: funzionano, ma non capiscono le sfumature della visione umana. SSIM, ad esempio, è ossessionato dai dettagli fini e ignora le cose importanti.
• L'Intelligenza Artificiale ha un "senso comune" visivo: I robot basati sull'AI (come LPIPS) non sono stati programmati con le regole della fisica della luce. Eppure, guardando milioni di immagini, hanno imparato da soli a comportarsi quasi come un occhio umano quando si tratta di nascondere i difetti nelle immagini complesse. È come se avessero sviluppato un "istinto" visivo.
• Il video è più difficile: Misurare la qualità di un video (che cambia nel tempo) è ancora più complicato. Molti robot guardano solo due fotogrammi alla volta e non capiscono se un'immagine "sfarfalla" o cambia troppo velocemente. Solo pochi robot specializzati riescono a vedere il "movimento" come lo vediamo noi.

3. Perché è importante?

Fino a oggi, per migliorare questi robot, si basavano solo sui voti delle persone (che possono essere lenti, costosi e variabili).
Questo articolo ci dice: "Non basta guardare i voti. Dobbiamo capire se il robot sta usando le stesse 'regole' del nostro cervello."

È come se invece di chiedere a un cuoco: "Il tuo piatto è buono?", gli chiedessimo: "Hai usato il sale giusto? Hai cotto la carne alla temperatura giusta?".
Se un robot di qualità capisce perché vediamo le cose in un certo modo (grazie a questi test), potremo creare video e immagini che sembrano perfetti ai nostri occhi, senza sprecare dati per dettagli che nessuno noterebbe mai.

In sintesi: Gli autori hanno creato una "palestra" per gli occhi dei computer. Hanno scoperto che i nuovi robot basati sull'AI sono diventati molto bravi a imitare la visione umana, mentre i vecchi metodi sono un po' obsoleti. Ora, invece di fidarsi ciecamente dei punteggi, possiamo guardare come pensano questi robot e capire se sono davvero intelligenti o solo bravi a memorizzare risposte.

Sommario tecnico

Ecco una sintesi tecnica dettagliata del paper "Evaluating quality metrics through the lenses of psychophysical measurements of low-level vision", tradotta e adattata in italiano.

Titolo

Valutazione delle metriche di qualità attraverso le lenti delle misurazioni psicofisiche della visione di basso livello.

1. Il Problema

Le metriche oggettive di qualità per immagini e video (come PSNR, SSIM, LPIPS, VMAF) sono fondamentali per la ricerca sull'esperienza utente (QoE), l'ottimizzazione della compressione e la standardizzazione. Sebbene queste metriche siano progettate per prevedere la qualità visiva percepita e spesso validate tramite correlazione con punteggi soggettivi (MOS, JND), presentano limiti significativi:

• Mancanza di modelli percettivi espliciti: La maggior parte si basa su formule "hand-crafted" o su addestramento data-driven per approssimare l'allineamento percettivo, senza incorporare esplicitamente i principi della visione umana.
• Limiti della validazione basata sulla correlazione: I metodi tradizionali di valutazione (correlazione con MOS) sono influenzati da variabilità dell'osservatore, rumore sperimentale e differenze nei dataset. Forniscono una misura aggregata delle prestazioni ma offrono pochi approfondimenti sul perché una metrica si comporta in un certo modo o quali caratteristiche della visione umana sta catturando.
• Opacità delle metriche moderne: Le metriche basate sul deep learning hanno rappresentazioni interne difficili da interpretare, rendendo necessario un modo per sondare sistematicamente il loro comportamento rispetto alle proprietà note della visione umana.

2. Metodologia Proposta

Gli autori introducono un framework di valutazione che utilizza stimoli psicofisici controllati per caratterizzare il comportamento delle metriche di qualità, imitando gli esperimenti classici sulla visione di basso livello. Il framework si divide in due categorie principali di test:

A. Test di Rilevamento (Detection Tests)

Simulano la capacità dell'occhio di rilevare pattern a contrasto vicino alla soglia.

• Rilevamento del Contrasto: Confronto tra un'immagine di riferimento (campo uniforme) e un'immagine di test contenente una patch di Gabor a diverse frequenze spaziali e livelli di contrasto. L'obiettivo è verificare se la metrica riproduce la Funzione di Sensibilità al Contrasto (CSF) umana.
• Mascheramento del Contrasto (Contrast Masking): Valutazione della visibilità di un pattern di test in presenza di un "mascherante" (es. griglia sinusoidale o rumore a banda larga). Si testano sia il mascheramento in fase coerente (che può facilitare il rilevamento) che incoerente.
• Rilevamento del Flicker: Test temporali su video per valutare la sensibilità alle variazioni rapide di contrasto/luminanza nel tempo, confrontando i risultati con la Sensibilità al Contrasto Temporale (TCSF).

B. Test di Adattamento del Contrasto (Contrast Matching Tests)

Valutano come le metriche percepiscono l'uguaglianza del contrasto in condizioni diverse.

• Adattamento attraverso le Frequenze Spaziali: Si verifica se una metrica può identificare il livello di contrasto necessario per far apparire un pattern a una certa frequenza spaziale uguale a un riferimento. Questo testa il fenomeno della constanza del contrasto supra-soglia (dove la percezione del contrasto diventa indipendente dalla frequenza spaziale ad alti livelli di contrasto).
• Adattamento attraverso le Direzioni di Colore: Confronto del contrasto percepito lungo diverse direzioni nello spazio colore (acromatico, rosso-verde, giallo-viola) per valutare la coerenza percettiva delle metriche cromatiche.

Impostazioni Tecniche:

• Gli stimoli sono generati in spazi colore lineari (luminanza o LMS) e convertiti in sRGB.
• Si assume una risoluzione di circa 60 pixel per grado visivo (ppd) e una luminanza di picco di 100 cd/m².
• Vengono confrontati 34 metriche esistenti (tradizionali, basate su differenze di colore, deep learning e predittori di differenze visive).

3. Contributi Chiave

1. Framework di Valutazione Strutturato: Introduzione di un set di test standardizzati basati su dati psicofisici consolidati (CSF, mascheramento, constanza del contrasto) per analizzare le metriche di qualità oltre la semplice correlazione con i punteggi soggettivi.
2. Analisi Comparativa Estesa: Valutazione sistematica di 34 metriche, inclusi modelli tradizionali, basati su deep learning (CNN e Transformer) e predittori visivi avanzati.
3. Rilevamento di Comportamenti Nascosti: Dimostrazione che questi test rivelano proprietà delle metriche (come la risposta alle frequenze o la gestione del mascheramento) che non emergono chiaramente con i protocolli di valutazione standard.
4. Rilascio Open Source: Promessa di rilasciare un framework di valutazione open-source per facilitare la ricerca futura.

4. Risultati Principali

L'analisi ha rivelato pattern significativi nel comportamento delle metriche:

• Rilevamento del Contrasto (CSF):

  • Metriche semplici come PSNR e CIEDE2000 mostrano una risposta piatta, ignorando la frequenza spaziale.
  • SSIM mostra una risposta prevalentemente high-pass, sovrasottolineando le distorsioni ad alta frequenza, il che è incoerente con la CSF umana.
  • MS-SSIM mitiga questo problema grazie alla sua formulazione multi-scala, avvicinandosi a una risposta band-pass.
  • ColorVideoVDP ottiene il miglior allineamento con la CSF umana, poiché è costruito esplicitamente su modelli psicofisici (castleCSF).
  • Le metriche deep learning (es. LPIPS, DISTS) mostrano caratteristiche band-pass, ma i picchi di sensibilità spesso non corrispondono a quelli previsti dalla CSF.

• Mascheramento del Contrasto:

  • Molte metriche (PSNR, SSIM, FLIP) mostrano scarsa sensibilità al mascheramento.
  • Le metriche basate su deep learning (in particolare LPIPS e DISTS basati su VGG/AlexNet) eccellono nel catturare il mascheramento, mostrando un "dip" (facilitazione) nei contorni di mascheramento in fase coerente e una forte performance in fase incoerente, suggerendo che le rappresentazioni di feature profonde generalizzano bene su questo aspetto.
  • VMAF, nonostante l'alta popolarità, modella il mascheramento solo per contrasti supra-soglia, ignorando gli effetti di facilitazione vicino alla soglia.

• Rilevamento del Flicker (Temporale):

  • La maggior parte delle metriche video non riesce a prevedere la sensibilità al flicker (picco a 8 Hz).
  • Solo FovVideoVDP e ColorVideoVDP riescono a modellare correttamente la TCSF, probabilmente perché considerano finestre temporali più ampie rispetto alle metriche standard che analizzano poche frame.

• Costanza del Contrasto (Supra-soglia):

  • Nessuna delle metriche testate è riuscita a modellare correttamente la costanza del contrasto (il fenomeno per cui a contrasti elevati la percezione diventa indipendente dalla frequenza spaziale).
  • Le metriche che usano filtri CSF (es. ColorVideoVDP, FLIP) mantengono linee di adattamento parallele senza appiattirsi ad alti contrasti, fallendo nel replicare il comportamento umano.

• Adattamento Cromatico:

  • Le metriche basate su formule di differenza di colore (CIEDE2000) tendono a sottostimare le differenze cromatiche a contrasti elevati (sono calibrate per differenze near-threshold).
  • Le metriche deep learning tendono a sovrastimare le differenze cromatiche.
  • ColorVideoVDP e FSIMc mostrano i risultati più bilanciati.

5. Significato e Implicazioni

Questo lavoro dimostra che la semplice correlazione con i punteggi soggettivi (MOS) è insufficiente per comprendere le capacità e i limiti intrinseci delle metriche di qualità.

• Diagnosi dei Modelli: Il framework permette di identificare se una metrica sta catturando correttamente i principi di basso livello della visione (come il mascheramento o la sensibilità temporale) o se sta semplicemente imparando a correlarsi con i dati di addestramento senza una vera comprensione percettiva.
• Sviluppo Futuro: Fornisce una guida per lo sviluppo di nuove metriche, indicando che le architetture basate su deep learning hanno un potenziale intrinseco per modellare il mascheramento, ma devono essere migliorate per gestire la costanza del contrasto supra-soglia e la risposta temporale.
• Validazione Robusta: Offre un metodo complementare e più interpretabile rispetto ai test soggettivi, fondamentale per la standardizzazione e l'ottimizzazione dei sistemi di compressione video e streaming.

In sintesi, il paper sposta il focus dalla domanda "Quanto bene questa metrica si correla con l'opinione umana?" a "Questa metrica modella correttamente i meccanismi fisiologici della visione umana?", fornendo strumenti critici per la prossima generazione di valutatori di qualità.