Vision-Language Models vs Human: Perceptual Image Quality Assessment

Probleemstelling

De perceptuele beoordeling van beeldkwaliteit (Image Quality Assessment - IQA) blijft een centrale uitdaging in computationele beeldvorming. Hoewel er talloze algoritmische metrieken zijn ontwikkeld, hangt hun correlatie met menselijke waarneming sterk af van de inhoud van de scène, vooral bij complexe scènes. De meest betrouwbare methode blijft psychofysisch onderzoek met menselijke waarnemers, maar deze is kostbaar, tijdrovend en moeilijk schaalbaar.

De vraag die deze studie onderzoekt, is of Vision-Language Models (VLMs) – die recentelijk grote vooruitgang hebben geboekt in het begrijpen van visuele inhoud – menselijke perceptuele oordelen kunnen benaderen. Als VLMs betrouwbaar zijn, kunnen ze de ontwikkeling van algoritmen versnellen door snelle screening en hypothese-toetsing mogelijk te maken voordat dure menselijke studies worden uitgevoerd. Echter, de capaciteit van VLMs om subtiele perceptuele cues (zoals contrast en kleurrijkheid) te vangen en hun faalcondities in deze context is nog grotendeels onontgonnen terrein.

Methodologie

De auteurs hebben een systematische benchmark uitgevoerd waarbij zes VLMs (vier propriëtaire en twee open-weight modellen) werden vergeleken met bestaande psychofysische data.

1. Dataset:

   • Gebaseerd op een experiment van Mehmood et al. [15] met 70 afbeeldingen (10 HDR-scènes gerenderd via 7 verschillende Tone Mapping Operators).
   • Drie perceptuele schalen werden geëvalueerd: Contrast, Kleurrijkheid (Colorfulness) en Algemene Voorkeur (Overall Preference).

2. Psychofysisch Experiment (Referentie):

   • 20 waarnemers voerden gepaarde vergelijkingen uit in een gecontroleerde omgeving.
   • De data werden omgezet naar gestandaardiseerde z-scores volgens de wet van Thurstone.

3. VLM Evaluatie:

   • Modellen: Claude Opus 4.6, Gemini 3.1 Pro, GPT-5.2, Grok-4.1, InternVL-3.5-38B en Qwen3-VL-32B-Instruct.
   • Protocol: Dezelfde gepaarde vergelijkingen als bij de mensen werden aan de VLMs gepresenteerd via een gestructureerde prompt (forced-choice paradigm).
   • Consistentie: Elke afbeeldingspaar werd drie keer geëvalueerd per model om response-variabiliteit te meten.
   • Analyse: De resultaten werden geanalyseerd langs drie assen:
     1. Interne consistentie (intra-model variabiliteit).
     2. Overeenstemming tussen verschillende modellen (inter-model consistentie).
     3. Uitlijning met menselijke perceptuele rangschikkingen.

Belangrijkste Bijdragen

1. Eerste Systematische Benchmark: Het biedt de eerste uitgebreide vergelijking van zes state-of-the-art VLMs tegen gevestigde psychofysische IQ-data.
2. Afhankelijkheid van Attributen: Het demonstreert sterke variabiliteit afhankelijk van het te beoordelen attribuut; modellen die goed presteren op kleurrijkheid, presteren vaak slechter op contrast en vice versa.
3. Identificatie van Risico's: Het onthult een dataset-specifiek falen in de beoordeling van algemene beeldkwaliteit, wat risico's blootlegt bij het evalueren van perceptueel geoptimaliseerde algoritmen.

Resultaten

1. Interne Consistentie vs. Menselijke Uitlijning (De Trade-off)

• Claude toonde de hoogste interne consistentie (zeer lage variabiliteit, <2%), maar had slechts een gemiddelde correlatie met menselijke oordelen over contrast ($\rho = 0.54$).
• GPT vertoonde hogere interne variabiliteit (4-9%), maar bereikte de sterkste uitlijning met mensen, vooral bij algemene voorkeur ($\rho = 0.86$).
• Conclusie: Hoogst stabiele modellen zijn niet per se het meest menselijk; een zekere mate van response-variabiliteit lijkt nodig om de contextafhankelijkheid van menselijke perceptie te vangen.

2. Attribuut-specifieke Prestaties

• Kleurrijkheid: Claude en Qwen presteerden uitstekend ($\rho \approx 0.93$), terwijl Gemini en Grok zwak presteerden.
• Contrast: Qwen ($\rho = 0.86$) en Gemini ($\rho = 0.79$) waren het meest nauwkeurig. InternVL presteerde zeer slecht ($\rho = 0.18$).
• Algemene Voorkeur: GPT was de beste met $\rho = 0.86$.
• Gewichtsanalyse: Net als mensen neigen de meeste VLMs om meer gewicht te geven aan kleurrijkheid dan aan contrast bij het bepalen van algemene voorkeur. GPT en Grok gaven echter meer gewicht aan contrast.

3. Perceptuele Scheidbaarheid

• De overeenstemming tussen mens en VLM nam toe naarmate de perceptuele scheidbaarheid van de scènes groter was (d.w.z. wanneer de verschillen tussen afbeeldingen duidelijker waren).
• Bij subtiele verschillen (lage scheidbaarheid) daalde de betrouwbaarheid van de VLMs aanzienlijk, wat aangeeft dat ze minder geschikt zijn voor fijnmazige perceptuele onderscheidingen.

4. Inter-model Overeenstemming

• Er was aanzienlijke onenigheid tussen modellen, vooral bij de beoordeling van contrast. Open-weight modellen (zoals Intern) vertoonden vaak grotere afwijkingen van de propriëtaire modellen dan onderling.

Betekenis en Conclusie

De studie concludeert dat VLMs waardevolle hulpmiddelen zijn voor snelle screening en exploratieve evaluatie in workflows voor beeldkwaliteit, vooral wanneer de verschillen tussen afbeeldingen groot zijn. Ze kunnen helpen bij het filteren van hypotheses voordat kostbare psychofysische tests worden uitgevoerd.

Echter, VLMs kunnen psychofysische experimenten nog niet vervangen voor rigoureuze perceptuele evaluatie. Geen enkel huidig model dekt uniform alle perceptuele dimensies. De auteurs waarschuwen dat:

• Evaluaties attribuut-specifiek moeten zijn (geen enkele aggregate score is voldoende).
• De context van de scène cruciaal is voor de betrouwbaarheid.
• Modellen met hoge interne consistentie systematisch kunnen afwijken van menselijke perceptie.

Toekomstig werk zou moeten onderzoeken of ensemble-methoden of fine-tuning op psychofysische data de kloof met menselijke oordelen kunnen dichten.