Technische Samenvatting: Ongesuperviseerde IQA-scorefusie via Diepe MAP-schatting

Probleemstelling

Modellen voor Beeldkwaliteitbeoordeling (IQA) hebben aanzienlijke vooruitgang geboekt in het voorspellen van perceptuele kwaliteit, maar individuele modellen vertonen vaak vooroordelen ten opzichte van specifieke beeldinhouden of vervormingstypen als gevolg van hun onderscheidende ontwerpphilosophieën. Hoewel het fuseren van meerdere IQA-modellen een intuïtieve strategie is om sterke punten te benutten en zwakke punten te mitigeren, lopen bestaande aanpakpen tegen beperkingen aan:

• Empirische methoden vertrouwen op handgemaakte formules met vooraf bepaalde gewichten, wat de aanpasbaarheid aan nieuwe modellen beperkt.
• Rank-fusiemethoden opereren in discrete ruimtes, wat leidt tot informatieverlies en afhankelijkheid van de diversiteit van het dataset.
• Fusie op basis van supervised learning vertrouwt op Mean Opinion Scores (MOS) als grondwaarheid. De auteurs betogen dat dit fundamenteel het doel van generaliseerbaarheid ondermijnt, aangezien MOS inherent verbonden is aan specifieke datasets en vervormingstypen, waardoor de zeer vooroordelen die fusie wil vermijden, opnieuw worden geïntroduceerd.

De kernuitdaging die wordt aangepakt is ongesuperviseerde IQA-scorefusie: hoe meerdere IQA-scores te combineren tot een superieure voorspelling zonder MOS als trainingsdoel te gebruiken, terwijl de onzekerheid van de voorspelling van elk model nauwkeurig wordt geschat op een fijnmazig niveau.

Methodologie

Het artikel stelt een algemeen raamwerk voor voor ongesuperviseerde scorefusie gebaseerd op Diepe Maximum a Posteriori (MAP)-schatting. De aanpak modelleert de relatie tussen de latente perceptuele kwaliteit (MOS, aangeduid als $z$) en de scores gegenereerd door $M$ verschillende IQA-modellen ($x^j$).

1. Observatiemodel

Het raamwerk gaat ervan uit dat een IQA-score $x^j_i$ voor afbeelding $i$ wordt gegenereerd door een deterministische functie van de latente kwaliteit $z_i$ plus twee onafhankelijke ruiscomponenten:
$$x^j_i = f^j(z_i) + n^j_i + \hat{n}^j$$

• $f^j(z_i)$: Een parametrische functie (geïmplementeerd als een exponentiële functie) die de mapping van latente kwaliteit naar de score van het specifieke model simuleert.
• $\hat{n}^j$: Modelafhankelijke ruis die een normale verdeling met gemiddelde nul volgt.
• $n^j_i$: Scoreafhankelijke ruis die een Scheve Normale verdeling ($SN$) volgt. Dit is een kritieke innovatie, aangezien empirische waarnemingen aantonen dat IQA-modellen een hogere variantie en asymmetrische foutverdelingen vertonen (geschoven naar lagere scores) bij het evalueren van afbeeldingen van lagere kwaliteit. De schaalparameter van deze ruis wordt geschat door een functie $g^j(z_i)$, wat fijnmazige, scoreniveau-onzekerheidsschatting mogelijk maakt.

2. MAP-formulering en Optimalisatie

Het doel is om de latente kwaliteit $z$ en modelparameters te vinden die de posterior-kans $p(z|X)$ maximaliseren. De likelihood-functie $p(x^j_i|z_i)$ wordt afgeleid als een Scheve Normale verdeling. Het optimalisatieprobleem wordt geformuleerd als:
$$\arg \max_{z, \alpha, \sigma, \theta_f, \theta_g} \sum_{j=1}^M \sum_{i=1}^N \left( \log p(x^j_i|z_i; \dots) + \log p(z_i) \right)$$

• Prior $p(z)$: Gedefinieerd als een uniforme verdeling $U(0,1)$ om het outputbereik te regulariseren zonder dataset-specifieke vooroordelen op te leggen, waardoor generaliseerbaarheid wordt gewaarborgd.
• Amortized Inference: Om iteratieve optimalisatie voor elke nieuwe afbeelding te vermijden (wat traag en data-hongerig is), wordt een encoder (een Fully Connected Network) geïntroduceerd. Deze encoder mapt de invoerscores direct naar de latente kwaliteit $z_i$, wat snelle, end-to-end inferentie mogelijk maakt.

3. Integratie van Rank Fusie

Het raamwerk integreert naadloos rank fusie door discrete rangen te normaliseren naar de continue ruimte. Dit maakt het mogelijk om op rang gebaseerde methoden te behandelen als een speciaal geval van het algemene MAP-raamwerk, waarbij wordt geoptimaliseerd in een continue ruimte in plaats van in een computatie-intensieve discrete ruimte.

Belangrijkste Bijdragen

1. Eerste op ongesuperviseerde learning gebaseerde fusie: Naar weten van de auteurs is dit de eerste aanpak om IQA-scores te fuseren met behulp van ongesuperviseerde learning, waarbij reliance op MOS voor training wordt vermeden.
2. Geformaliseerd Observatiemodel: Het artikel formaliseert het eerste observatiemodel voor IQA-fusie, waarbij gebruik wordt gemaakt van MAP-schatting met Scheve Normale verdelingen om asymmetrische en scoreafhankelijke ruis te vangen.
3. Fijnmazige Onzekerheidsschatting: In tegenstelling tot eerdere methoden die onzekerheid alleen op modelniveau schatten, schat dit raamwerk onzekerheid op scoreniveau. Dit stelt het model in staat om dynamisch de betrouwbaarheid van specifieke voorspellingen te wegen op basis van de voorspelde kwaliteit.
4. Robuustheid tegen "slechte" modellen: Het raamwerk demonstreert een inherente capaciteit om "slechte" of willekeurige IQA-modellen te identificeren en af te wegen tijdens het fusieproces zonder voorafgaande kennis.
5. Gefuseerd Raamwerk: Het biedt een algemene structuur die zowel op scores gebaseerde als op rangen gebaseerde fusiemethoden kan integreren.

Experimentele Resultaten

Het voorgestelde model werd geëvalueerd op tien diverse subjectief beoordeelde IQA-datasets (inclusief scenario's met enkele en meervoudige vervormingen) met behulp van 16 individuele IQA-metrics (zowel Full Reference als No Reference).

• Prestatie: Drie varianten van het voorgestelde model (SF-ms, RF-ms, SF-m) presteerden consistent beter dan bestaande empirische fusiemethoden, rank-fusiemethoden (RRF, RRFW) en alle individuele IQA-modellen, gemeten aan de hand van de gemiddelde Spearman's Rank Correlation Coefficient (SRCC) en Pearson Linear Correlation Coefficient (PLCC).
• Ablatiestudie: Het verwijderen van scoreniveau-onzekerheidsschatting (wat leidde tot het SF-m model) resulteerde in een prestatiedaling, wat het belang van fijnmazige onzekerheidsmodellering bevestigt.
• Robuustheidstest: Wanneer twee "slechte" metrics (willekeurige ruisgeneratoren) aan de fusielijst werden toegevoegd:
  • Bestaande ongesuperviseerde methoden (RRF, RRFW) leden onder significante prestatiedegradatie.
  • De voorgestelde methode behield concurrerende prestaties. De onzekerheidsschatmodule identificeerde correct de hoge variantie (schaalparameter) van de "slechte" metrics, waardoor de encoder hen verwaarloosbare gewichten toekende.

Betekenis en Claims

Het artikel claimt dat door afstand te nemen van supervised learning (dat beperkt is door de specifieke vooroordelen van de MOS van het trainingsdataset) en een probabilistisch, ongesuperviseerd MAP-raamwerk te adopteren, superieure generaliseerbaarheid naar ongezette data wordt bereikt. De belangrijkste betekenis ligt in het vermogen om:

• Divers IQA-modellen te fuseren zonder grondwaarheid subjectieve ratings voor training te vereisen.
• Dynamisch aan te passen aan de betrouwbaarheid van elk model op basis van per-score, effectief "afwijzend" slechte voorspellingen of modellen.
• Een unifyend, verklaarbaar raamwerk te bieden waarbij de gewichten van de encoder kunnen worden geïnspecteerd om te begrijpen hoe verschillende modellen bijdragen aan de uiteindelijke voorspelling.

De auteurs positioneren dit werk als een fundamentele stap naar een robuuster, universeel IQA-systeem dat het collectieve inzicht van bestaande modellen benut terwijl het hun individuele zwaktes mitigeert door middel van rigoureuze onzekerheidskwantificering.