Vision-Language Models vs Human: Perceptual Image Quality Assessment

Titolo

Modelli Vision-Language vs Umano: Valutazione Percettiva della Qualità dell'Immagine

1. Problema e Contesto

La valutazione della qualità percettiva delle immagini (IQA - Image Quality Assessment) rimane una sfida centrale nell'imaging computazionale. Sebbene siano stati sviluppati numerosi metriche automatiche, la loro correlazione con la percezione umana è spesso dipendente dal contenuto della scena e fallisce in contesti complessi. Di conseguenza, gli esperimenti psicofisici con osservatori umani rimangono il metodo più affidabile, ma sono costosi, lenti e difficili da scalare.
Con l'avvento dei Modelli Vision-Language (VLM), sorge la domanda se queste tecnologie possano approssimare i giudizi percettivi umani, accelerando lo sviluppo algoritmico attraverso screening rapidi. Tuttavia, l'uso dei VLM per la valutazione della qualità percettiva (che coinvolge attributi soggettivi come contrasto e vivacità dei colori) è ancora poco esplorato e richiede una validazione rigorosa contro dati psicofisici.

2. Metodologia

Gli autori hanno condotto un benchmark sistematico confrontando sei VLM (quattro proprietari e due open-weight) con dati psicofisici umani.

• Dataset: I dati sono basati su un esperimento psicofisico precedente che valutava 70 immagini (10 scene HDR renderizzate con 7 diversi operatori di tone mapping). Le immagini sono state valutate su tre scale percettive: Contrasto, Vivacità dei Colori (Colorfulness) e Preferenza Generale.
• Protocollo Sperimentale:
  • Umani: 20 osservatori hanno effettuato confronti a coppie (pairwise comparison) in un ambiente controllato, selezionando l'immagine migliore per ciascun attributo. I dati sono stati convertiti in punteggi z standardizzati utilizzando la legge del giudizio comparativo di Thurstone.
  • VLM: Sei modelli (Claude Opus 4.6, Gemini 3.1 Pro, GPT-5.2, Grok-4.1, InternVL-3.5, Qwen3-VL-32B) sono stati interrogati con un prompt strutturato che richiedeva un confronto forzato (forced-choice) tra le stesse coppie di immagini, chiedendo di selezionare l'immagine migliore per contrasto, colore e qualità generale, fornendo anche una motivazione.
• Analisi: I risultati sono stati analizzati lungo tre assi:
  1. Coerenza Intramodale: Variabilità delle risposte dello stesso modello su valutazioni ripetute.
  2. Accordo Intermodale: Coerenza tra diversi VLM.
  3. Allineamento Umano-VLM: Correlazione di Spearman tra i punteggi dei VLM e i dati psicofisici umani.

3. Contributi Chiave

1. Primo Benchmark Sistematico: Confronto diretto di sei VLM moderni contro dati psicofisici umani consolidati per la valutazione della qualità delle immagini.
2. Analisi della Variabilità Dipendente dall'Attributo: Dimostrazione che le prestazioni dei VLM variano drasticamente a seconda dell'attributo valutato (es. un modello eccellente nel colore può essere scarso nel contrasto).
3. Identificazione di Trade-off e Limiti: Rilevamento di una rottura specifica nel dataset per la "Preferenza Generale" e l'identificazione di un trade-off controintuitivo tra coerenza interna del modello e allineamento umano.

4. Risultati Principali

A. Variabilità Intramodale e Coerenza

• Claude mostra la massima coerenza interna (bassa variabilità, <2%), ma questo non garantisce un allineamento perfetto con l'uomo.
• Intern mostra la variabilità più alta, indicando un processo decisionale più stocastico.
• La variabilità tende ad aumentare per giudizi olistici (Preferenza Generale) rispetto agli attributi specifici.

B. Allineamento con l'Umano (Correlazione di Spearman - $\rho$)

I risultati rivelano una forte dipendenza dall'attributo:

• Vivacità dei Colori (Colorfulness): Claude e Qwen eccellono con una correlazione molto alta ($\rho = 0.93$), seguiti da Intern ($\rho = 0.92$).
• Contrasto: Qwen ($\rho = 0.86$) e Gemini ($\rho = 0.79$) sono i migliori. Intern fallisce completamente su questo attributo ($\rho = 0.18$).
• Preferenza Generale: GPT ottiene il miglior allineamento complessivo ($\rho = 0.86$), identificando correttamente il modello di rendering migliore. Claude e Grok mostrano correlazioni moderate ($\rho \approx 0.54-0.57$).

C. Trade-off Coerenza vs. Allineamento Umano

Un risultato controintuitivo è che i modelli più coerenti internamente (come Claude) non sono necessariamente quelli più allineati all'uomo. Al contrario, modelli con una variabilità moderata (come GPT) sembrano catturare meglio la dipendenza dal contesto dei giudizi umani. Questo suggerisce che una certa variabilità nelle risposte del modello potrebbe riflettere la sensibilità ai segnali percettivi dipendenti dalla scena.

D. Ponderazione degli Attributi

L'analisi di regressione lineare mostra che, come gli umani, la maggior parte dei VLM assegna un peso maggiore alla vivacità dei colori rispetto al contrasto quando valuta la qualità generale. Tuttavia, GPT tende a bilanciare di più il contrasto, mentre Grok si affida eccessivamente al contrasto ignorando i colori.

E. Separabilità Percettiva

L'accordo tra VLM e umani aumenta significativamente quando la separabilità percettiva è alta (cioè quando le differenze tra le immagini sono chiare). Quando le differenze sono sottili o ambigue, l'affidabilità dei VLM crolla, con alcuni modelli che mostrano correlazioni negative.

5. Significato e Implicazioni

• Screening Rapido: I VLM sono strumenti promettenti per lo screening rapido e il test di ipotesi nella valutazione della qualità delle immagini, specialmente quando le differenze tra le immagini sono marcate.
• Non Sostituzione Totale: Attualmente, i VLM non possono sostituire gli esperimenti psicofisici per valutazioni rigorose, specialmente per differenze sottili o per la previsione del "Top-1" in scenari complessi.
• Valutazione Multi-Attributo: È fondamentale non basarsi su un punteggio aggregato unico, poiché le prestazioni variano notevolmente tra contrasto, colore e preferenza generale.
• Dipendenza dal Contesto: L'affidabilità del modello è strettamente legata alla chiarezza delle differenze percettive nella scena.

In conclusione, mentre i VLM offrono nuove opportunità per automatizzare parti del flusso di lavoro IQA, la loro adozione richiede una comprensione profonda delle loro limitazioni specifiche per attributo e del loro comportamento in scenari di ambiguità percettiva.