Technische Samenvatting: MR-IQA

Probleemstelling

Blind Image Quality Assessment (BIQA) streeft ernaar menselijke perceptuele kwaliteitsoordelen te modelleren zonder referentiebeelden. Huidige benaderingen vertrouwen primair op twee leerparadigma's: regressie, die absolute kwaliteitsscores kalibreert, en ranking, die kwaliteitsstructuren herstelt uit ordinale relaties. Hoewel recente werken, met name die gebruikmaken van Multimodale Large Language Models (MLLM's), vaak gezamenlijke regressie- en ranking-supervisie toepassen om de prestaties te verbeteren, blijft de theoretische relatie tussen deze twee paradigma's grotendeels empirisch. Bestaande methoden balanceren deze doelstellingen doorgaans via heuristische verliesgewichten of beloningsontwerpen in plaats van via een gedeeld optimalisatieprincipe. Bovendien zijn regressiegebaseerde methoden vaak gevoelig voor dataset-specifieke score-ankers, terwijl rankinggebaseerde methoden mogelijk falen in het vastleggen van de continue relatieve afstand tussen afbeeldingen, omdat ze zich enkel richten op de voorkeursrichting.

Methodologie: MR-IQA

De auteurs stellen MR-IQA voor, een verenigd framework dat zowel regressie als ranking herinterpreteert vanuit het perspectief van kwaliteitsmarges (quality margins).

1. Theoretische Fundering: Het Verenigde Margen-perspectief

Het artikel leidt af dat zowel regressie als ranking fundamenteel paargewijze relationele afstanden (kwaliteitsmarges) optimaliseren, gedefinieerd als $\Delta\mu_{ij} = \mu_i - \mu_j$, waarbij $\mu$ de Mean Opinion Score (MOS) vertegenwoordigt.

• Regressieperspectief: Er wordt aangetoond dat puntgewijze regressie margefouten ($\delta_{ij} = \Delta s_{ij} - \Delta\mu_{ij}$) optimaliseert, gekoppeld aan een dataset-ankerterm ($\bar{s} - \bar{\mu}$). De globale voorspellingsverschuiving in regressie fungeert als een restrictief anker dat de generalisatie naar andere datasets kan hinderen.
• Rankingperspectief: Thurstone-stijl ranking, die voorkeurskansen $P_{ij}$ modelleert, is wiskundig equivalent aan het fitten van getransformeerde marges. De optimalisatierichting van de fidelity-gebaseerde ranking-loss convergeert naar het matchen van voorspelde marges ($\Delta s_{ij}$) met menselijke marges ($\Delta\mu_{ij}$).
• De Brug: Het artikel bewijst dat de standaard BIQA-metriek, de Pearson Lineaire Correlatiecoëfficiënt (PLCC), theoretisch equivalent is aan de cosinusgelijkenis tussen de vector van voorspelde marges en de vector van menselijke marges. Dit vestigt margenfitting als het gedeelde optimalisatietarget voor beide paradigma's.

2. Algoritme: Reinforcement Learning met Margenbeloningen

MR-IQA implementeert deze theorie als een Reinforcement Learning (RL) algoritme met behulp van Group Relative Policy Optimization (GRPO).

• Sampling: Voor een groep van $N$ afbeeldingen samplet het policy-model $K$ kwaliteits-score completions per afbeelding.
• Margenberekening: Voor elke gesamplede completion $s^{(k)}_i$ berekent het model de voorspelde marge ten opzichte van elke andere afbeelding in de groep: $\Delta s^{(k)}_{ij} = s^{(k)}_i - \bar{s}_j$.
• Beloningsontwerp: Het model berekent een schaalgecontroleerde margefout $z^{(k)}_{ij}$ die de voorspelde marge vergelijkt met de grondwaarheid MOS-marge ($\Delta\mu_{ij}$). Twee schaalopties worden verkend:
  • Raw: $\tau_{ij} = 1$ (absolute mismatch).
  • Onzekerheid-genormaliseerd: $\tau_{ij} = \sqrt{\sigma_i^2 + \sigma_j^2}$ (relatief aan de inter-rater variantie).
• Conversie naar Beloning: De fout wordt omgezet in een Gaussische of Laplace beloning ($r_{margin}$). De uiteindelijke afbeelding-niveau beloning aggregeert paargewijze beloningen over de groep, genormaliseerd door het gemiddelde en de standaarddeviatie van de groep om het voordeel (advantage) voor policy-updates te berekenen.
• Training: Het framework wordt getraind op de KonIQ-10k dataset met behulp van Qwen-familie MLLM's als backbone, waarbij direct wordt geoptimaliseerd voor marge-alignement zonder expliciete puntgewijze score-regressie of discrete ranking-labels.

Belangrijkste Bijdragen

1. Theoretische Unificatie: Het artikel overbrugt regressie en ranking door de kwaliteitsmarge te identificeren als hun gemeenschappelijke onderliggende grootheid. Het biedt een theoretische afleiding die laat zien dat beide paradigma's essentieel marge-georiënteerde optimalisaties zijn, waarbij regressie een extra dataset-ankerterm bevat.
2. MR-IQA Framework: De auteurs implementeren dit inzicht in MR-IQA, een schaalgecontroleerd RL-algoritme. In tegenstelling tot eerdere methoden die regressie- en ranking-losses combineren, optimaliseert MR-IQA direct de paargewijze margefouten als policy-beloningen, waarbij de continue relationele kwaliteitsstructuur expliciet wordt gemodelleerd.
3. Empirische Validatie: Door middel van gecontroleerde experimenten over zes BIQA-benchmarks (inclusclusief in-distributie en out-of-distribution datasets), demonstreert MR-IQA een concurrerende algemene prestatie. Het bereikt de sterkste gemiddelde PLCC en SRCC onder RL-gebaseerde methoden, waarmee het zowel pure regressie als pure ranking baselines overtreft in overeengestelde settings.

Experimentele Resultaten

• Prestaties: Op zes benchmarks (KonIQ-10k, SPAQ, LIVE-Challenge, AGIQA-3K, KADID-10k, CSIQ) behaalt MR-IQA een gemiddelde PLCC van 0,831 en een SRCC van 0,810. Dit is vergelijkbaar met het sterke SFT-gebaseerde model DeQA (0,838/0,813) en presteert significant beter dan andere RL-gebaseerde methoden zoals Q-Insight (regressie) en VQ-R1 (ranking).
• Ablatiestudies:
  • Beloningsfunctie: De L2-estimator met de ruwe margenschaal ($\tau_{ij}=1$) leverde de beste resultaten op. Verrassend genoeg leidde normalisatie door menselijke inter-rater variantie niet consistent tot verbeterde prestaties, wat suggereert dat menselijke variantie niet altijd een betrouwbare schaal is voor trainingstijd.
  • Backbone Stabiliteit: De prestatiewinst van MR-IQA ten opzichte van regressie- en ranking-baselines was consistent over verschillende MLLM-backbones (Qwen3-VL-2B/4B en Qwen2.5-VL-7B), wat aangeeft dat de methode's robuustheid niet gebonden is aan een specifieke modelschaal.
• Casestudies: Kwalitatieve analyse laat zien dat MR-IQA visueel bewijs robuuster afstemt op de MOS-marges over verschillende distributies vergeleken met baselines, die vaak last hebben van perceptuele overfitting of er niet in slagen de relatieve afstanden nauwkeurig vast te leggen.

Betekenis en Claims

Het artikel claimt dat MR-IQA een nieuw theoretisch inzicht biedt voor het verenigen van regressie en ranking, waarbij men verder gaat dan empirische combinaties naar een gedeeld optimalisatieprincipe gebaseerd op kwaliteitsstructuur.

• Theoretische Basis: Het biedt een fundament voor het begrijpen van BIQA door te tonen dat scorekalibratie en ordinale vergelijking verenigd zijn via de relationele kwaliteitsstructuur (marges).
• Ontwerpprincipe: Het werk transformeert de empirische complementariteit tussen scorekalibratie en ordinale vergelijking naar een expliciet optimalisatieprincipe.
• Generaliseerbaarheid: De auteurs suggereren dat dit marge-gebaseerde perspectief verder reikt dan BIQA naar andere kwaliteit en ranking taken, zoals esthetische beoordeling, video-kwaliteitsbeoordeling en learning-to-rank.
• Beperkingen: De auteurs merken bescheiden op dat normalisatie van de inter-rater variantie niet consistent hielp, en dat de methode voldoende paar-dekking vereist, wat op kleine datasets ruisgevoelig kan zijn. Ze merken ook op dat de huidige experimenten zich richten op Qwen-familie MLLM's.