Riepilogo Tecnico: Fusione di Punteggi IQA Non Supervisionata tramite Stima MAP Profonda

Enunciato del Problema

I modelli di Valutazione della Qualità dell'Immagine (IQA) hanno fatto progressi significativi nella previsione della qualità percettiva, tuttavia i singoli modelli spesso mostrano bias verso specifici contenuti delle immagini o tipi di distorsione a causa delle loro filosofie di progettazione distinte. Sebbene la fusione di più modelli IQA sia una strategia intuitiva per sfruttare i punti di forza e mitigare le debolezze, gli approcci esistenti presentano limitazioni:

• Metodi empirici si basano su formule manuali con pesi predeterminati, limitando l'adattabilità a nuovi modelli.
• Metodi di fusione di ranghi operano in spazi discreti, portando a una perdita di informazioni e a una dipendenza dalla diversità del dataset.
• Fusione basata su apprendimento supervisionato si basa sui Punteggi di Opinione Media (MOS) come verità fondamentale. Gli autori sostengono che ciò mina fondamentalmente l'obiettivo della generalizzabilità, poiché il MOS è intrinsecamente legato a dataset specifici e tipi di distorsione, reintroducendo i stessi bias che la fusione mira a evitare.

La sfida principale affrontata è la fusione di punteggi IQA non supervisionata: come combinare più punteggi IQA in una previsione superiore senza utilizzare i MOS come obiettivo di addestramento, stimando accuratamente l'incertezza della previsione di ciascun modello a un livello granulare.

Metodologia

Il documento propone un framework generale per la fusione di punteggi non supervisionata basata sulla stima Massima a Posteriori (MAP) Profonda. L'approccio modella la relazione tra la qualità percettiva latente (MOS, indicata come $z$) e i punteggi generati da $M$ diversi modelli IQA ($x^j$).

1. Modello di Osservazione

Il framework assume che un punteggio IQA $x^j_i$ per l'immagine $i$ sia generato da una funzione deterministica della qualità latente $z_i$ più due componenti di rumore indipendenti:
$$x^j_i = f^j(z_i) + n^j_i + \hat{n}^j$$

• $f^j(z_i)$: Una funzione parametrica (implementata come funzione esponenziale) che simula la mappatura dalla qualità latente al punteggio del modello specifico.
• $\hat{n}^j$: Rumore dipendente dal modello che segue una distribuzione normale a media zero.
• $n^j_i$: Rumore dipendente dal punteggio che segue una distribuzione Normale Asimmetrica ($SN$). Questa è un'innovazione critica, poiché le osservazioni empiriche mostrano che i modelli IQA esibiscono una varianza più elevata e distribuzioni di errore asimmetriche (spostate verso punteggi più bassi) quando valutano immagini di qualità inferiore. Il parametro di scala di questo rumore è stimato da una funzione $g^j(z_i)$, consentendo una stima dell'incertezza granulare e a livello di punteggio.

2. Formulazione MAP e Ottimizzazione

L'obiettivo è trovare la qualità latente $z$ e i parametri del modello che massimizzano la probabilità a posteriori $p(z|X)$. La funzione di verosimiglianza $p(x^j_i|z_i)$ è derivata come una distribuzione Normale Asimmetrica. Il problema di ottimizzazione è formulato come:
$$\arg \max_{z, \alpha, \sigma, \theta_f, \theta_g} \sum_{j=1}^M \sum_{i=1}^N \left( \log p(x^j_i|z_i; \dots) + \log p(z_i) \right)$$

• Prior $p(z)$: Definito come una distribuzione uniforme $U(0,1)$ per regolarizzare l'intervallo di output senza imporre bias specifici del dataset, garantendo la generalizzabilità.
• Inferenza Ammortizzata: Per evitare un'ottimizzazione iterativa per ogni nuova immagine (che è lenta e richiede molti dati), viene introdotto un encoder (una rete Fully Connected). Questo encoder mappa i punteggi di input direttamente alla qualità latente $z_i$, consentendo un'inferenza rapida e end-to-end.

3. Integrazione della Fusione di Ranghi

Il framework incorpora senza soluzione di continuità la fusione di ranghi normalizzando i ranghi discreti nello spazio continuo. Ciò permette ai metodi basati sui ranghi di essere trattati come un'istanza speciale del framework MAP generale, ottimizzando in uno spazio continuo piuttosto che in uno discreto computazionalmente intensivo.

Contributi Chiave

1. Prima Fusione Basata su Apprendimento Non Supervisionato: A conoscenza degli autori, questo è il primo approccio a fondere punteggi IQA utilizzando l'apprendimento non supervisionato, evitando la dipendenza dai MOS per l'addestramento.
2. Modello di Osservazione Formalizzato: Il documento formalizza il primo modello di osservazione per la fusione IQA, utilizzando la stima MAP con distribuzioni Normali Asimmetriche per catturare il rumore asimmetrico e dipendente dal punteggio.
3. Stima dell'Incertezza Granulare: A differenza dei metodi precedenti che stimano l'incertezza solo a livello di modello, questo framework stima l'incertezza a livello di punteggio. Ciò permette al modello di pesare dinamicamente l'affidabilità di previsioni specifiche in base alla qualità prevista.
4. Robustezza ai Modelli "Cattivi": Il framework dimostra una capacità intrinseca di identificare e soppesare modelli IQA "cattivi" o casuali durante il processo di fusione senza conoscenze preliminari.
5. Framework Unificato: Fornisce una struttura generale in grado di integrare sia metodi di fusione basati su punteggi che basati su ranghi.

Risultati Sperimentali

Il modello proposto è stato valutato su dieci dataset IQA valutati soggettivamente e diversificati (inclusi scenari a distorsione singola e multipla) utilizzando 16 metriche IQA individuali (sia Full Reference che No Reference).

• Prestazioni: Tre varianti del modello proposto (SF-ms, RF-ms, SF-m) hanno costantemente superato i metodi di fusione empirici esistenti, i metodi di fusione di ranghi (RRF, RRFW) e tutti i singoli modelli IQA in termini di Coefficiente di Correlazione di Rango di Spearman medio (SRCC) e Coefficiente di Correlazione Lineare di Pearson (PLCC).
• Studio di Ablazione: La rimozione della stima dell'incertezza a livello di punteggio (risultando nel modello SF-m) ha portato a un calo delle prestazioni, confermando l'importanza della modellazione dell'incertezza granulare.
• Test di Robustezza: Quando due metriche "cattive" (generatori di rumore casuale) sono state aggiunte alla lista di fusione:
  • I metodi non supervisionati esistenti (RRF, RRFW) hanno subito un degrado significativo delle prestazioni.
  • Il metodo proposto ha mantenuto prestazioni competitive. Il modulo di stima dell'incertezza ha identificato correttamente l'alta varianza (parametro di scala) delle metriche "cattive", causando l'assegnazione di pesi trascurabili da parte dell'encoder.

Significato e Affermazioni

Il documento afferma che, allontanandosi dall'apprendimento supervisionato (che è limitato dai bias specifici dei MOS del dataset di addestramento) e adottando un framework probabilistico non supervisionato MAP, si ottiene una generalizzabilità superiore ai dati non visti. Il significato chiave risiede nella capacità di:

• Fondere modelli IQA diversi senza richiedere valutazioni soggettive di verità fondamentale per l'addestramento.
• Adattarsi dinamicamente all'affidabilità di ciascun modello su base per-punteggio, rifiutando efficacemente previsioni o modelli scadenti.
• Fornire un framework unificato e spiegabile in cui i pesi dell'encoder possono essere ispezionati per comprendere come i diversi modelli contribuiscono alla previsione finale.

Gli autori collocano questo lavoro come un passo fondamentale verso un sistema IQA più robusto e universale che sfrutta l'intelligenza collettiva dei modelli esistenti, mitigando al contempo le loro debolezze individuali attraverso una rigorosa quantificazione dell'incertezza.