Understanding Pure Textual Reasoning for Blind Image Quality Assessment

Probleemstelling

Blind Image Quality Assessment (BIQA) is het proces van het beoordelen van de kwaliteit van een afbeelding zonder toegang tot een referentie-afbeelding. Traditionele methoden vertrouwen op visuele kenmerken en hebben beperkte interpretatievermogen. Met de opkomst van Multimodale Large Language Models (MLLMs) zijn recente benaderingen begonnen tekstuele redenering (zoals beschrijvingen of "captions") te integreren om BIQA interpreteerbaarder te maken.

Echter, er bestaat onduidelijkheid over twee cruciale aspecten:

1. Hoeveel dragen de gegenereerde tekstuele beschrijvingen daadwerkelijk bij aan de voorspelling van de kwaliteitscore?
2. Gebruiken deze modellen tekstuele redenering echt, of genereren ze slechts oppervlakkige uitleggen terwijl ze de score direct uit visuele kenmerken voorspellen?

Eerdere studies (zoals Q-Align) suggereren dat modellen de tekstuele stap kunnen omzeilen en toch state-of-the-art resultaten behalen. Dit paper onderzoekt de "Image-Text Gap": de prestatieverschillen tussen scores die op basis van de afbeelding worden voorspeld versus scores die puur op basis van de gegenereerde tekst worden voorspeld.

Methodologie

De auteurs analyseren de informatiestroom tussen afbeelding ($I$), tekst/redenering ($R$) en score ($S$) door drie verschillende trainingsparadigma's te vergelijken, allemaal gebaseerd op een MLLM-backbone (Qwen-VL-2.5-7B):

1. Chain-of-Thought (CoT):

   • Stroom: $I \rightarrow R \rightarrow S$.
   • Het model genereert eerst $N$ tekstuele redeneringen (captions) op basis van de afbeelding. Vervolgens worden voor elke caption $M$ scores voorspeld.
   • Doel: Aannemen dat de tekst de beeldkwaliteit volledig kan vertegenwoordigen.
   • Methode: Reinforcement learning met een beloningssysteem gebaseerd op de afwijking van de ground-truth score.

2. Self-Consistency:

   • Stroom: Twee fasen. Eerst $I \rightarrow (R, S)$, daarna puur $R \rightarrow S$.
   • Het model leert eerst een caption en een score te genereren vanuit de afbeelding. In de tweede fase wordt de score voorspeld uitsluitend op basis van de gegenereerde caption.
   • Doel: De model dwingen om een interne redeneringspad te ontwikkelen dat consistent is met de visuele input, maar ook zelfstandig voorspellend is.
   • Methode: De beloning wordt toegepast op zowel de visueel-geconditioneerde als de tekst-geconditioneerde voorspellingen om consistentie te bevorderen.

3. Autoencoder-achtig Paradigma:

   • Stroom: $(I, S^*) \rightarrow R \rightarrow S$.
   • In de trainingsfase krijgt het model de ground-truth score ($S^*$) en de afbeelding om een verklarende tekst ($R$) te genereren. In de inferentiefase wordt de score voorspeld puur op basis van deze tekst.
   • Doel: Het model dwingen om kwaliteitsgerelateerde semantiek expliciet in de tekst te coderen, zodat de tekst de score kan "decoderen".

Training: Alle modellen worden getraind met Group-Relative Policy Optimization (GRPO), een zelftoezichtende versterkingsleerstrategie die menselijke annotaties voor redenering vermijdt en gebruikmaakt van de prestatie van het model zelf als signaal.

Belangrijkste Resultaten

De experimenten zijn uitgevoerd op zes datasets (waaronder KonIQ, SPAQ, LIVE-W) met als belangrijkste bevindingen:

• Prestatie van Pure Tekst: Wanneer bestaande modellen alleen tekst gebruiken voor voorspelling, daalt de prestatie aanzienlijk. Dit bevestigt dat veel huidige modellen de tekst als een "bijproduct" behandelen en de score direct uit de afbeelding halen.
• Chain-of-Thought (CoT): Dit paradigma levert nauwelijks verbetering op in de BIQA-prestaties en sluit de kloof tussen beeld- en tekstvoorspelling niet. Het model blijft afhankelijk van visuele cues.
• Self-Consistency: Dit is de meest effectieve methode om de kloof te dichten.
  • Het verkleint het verschil in PLCC/SRCC tussen beeld- en tekstvoorspelling tot slechts 0.02/0.03.
  • Het model bereikt in tekst-only modus prestaties die vergelijkbaar zijn met traditionele deep-learning BIQA-modellen.
  • Token-analyse: Dit model richt zijn aandacht specifiek op score-gerelateerde woorden zoals "good", "moderate" en "average".
• Autoencoder-achtig: Dit paradigma is minder effectief in het dichten van de kloof dan Self-Consistency, maar het dwingt het model om meer natuurlijke kwaliteitscues (zoals "blurry", "focus", "composition") in de tekst te integreren.
• Robuustheid: Zelfs wanneer expliciete score-woorden (zoals "good", "poor") uit de tekst worden verwijderd, blijft de prestatie van de Self-Consistency-modellen hoog. Dit bewijst dat het model echte redeneercapaciteiten heeft ontwikkeld en niet alleen afhankelijk is van oppervlakkige sleutelwoorden.

Bijdragen

1. Systematische Evaluatie: De auteurs bieden een gestructureerde analyse van drie trainingsparadigma's voor het leren van tekstuele representaties van beeldkwaliteit, wat een nieuwe basis legt voor het bestuderen van tekstuele redenering in BIQA.
2. Inzicht in Informatiestroom: Het paper onthult hoe verschillende trainingsstrategieën de interne aandacht van het model beïnvloeden (bijv. verschuiving van visuele tokens naar tekstuele tokens die relevant zijn voor de score).
3. Algemene Toepasbaarheid: Het voorgestelde framework is generiek en toepasbaar op andere downstream-taken die geen tussenliggende redeneringsannotaties hebben, waardoor het mogelijk is om interpreteerbare, taakspecifieke tekstuele uitleggen te induceren.

Significantie

Deze studie is cruciaal voor de ontwikkeling van betrouwbare en interpreteerbare multimodale systemen. Het weerlegt de aanname dat tekstuele redenering in MLLMs voor BIQA automatisch effectief is. In plaats daarvan toont het aan dat specifieke trainingsstrategieën (zoals Self-Consistency) nodig zijn om de tekstuele output echt "informatief" te maken voor de taak.

Dit heeft implicaties voor:

• Interpreteerbaarheid: Het garandeert dat de gegenereerde uitleg daadwerkelijk de basis vormt voor de beslissing van het model, en niet slechts een decoratie is.
• Toekomstige Ontwikkeling: Het biedt een blauwdruk voor het ontwerpen van systemen die visuele waarneming en tekstuele redenering op een coherente manier integreren, wat essentieel is voor hogere visuele taken.