Reasoning as Representation: Rethinking Visual Reinforcement Learning in Image Quality Assessment

Probleemstelling

Image Quality Assessment (IQA) is een fundamentele taak in de computer vision, cruciaal voor toepassingen zoals fotoselectie en het trainen van generatieve AI-modellen (via RLHF). Recentelijk hebben Multi-Modale Grootte Taalmodellen (MLLM's) die zijn getraind met Reinforcement Learning (RL), zoals Q-Insight, een opvallende generalisatievermogen getoond. Ze genereren eerst een "redenering" (reasoning text) over de beeldkwaliteit voordat ze een score uitbrengen.

Echter, deze benadering kent twee ernstige beperkingen:

1. Onbekende Mechanismen: Het is niet duidelijk waarom RL-based modellen zo goed generaliseren. Bestaande theorieën over RL-generalisatie uit andere domeinen zijn niet direct toepasbaar op de subjectiviteit en complexiteit van IQA.
2. Efficiëntie: Deze modellen vereisen enorme rekenkracht, hoge latentie en veel energie omdat ze stapsgewijze redenering genereren en een groot LLM moeten laden tijdens inferentie. Dit maakt ze ongeschikt voor real-time of mobiele toepassingen.

De kernvragen zijn: Wat is de relatie tussen redenering en generalisatie in IQA, en is de redeneringsstap zelf noodzakelijk voor de prestaties?

Methodologie

De auteurs analyseren eerst de onderliggende mechanismen van RL-based IQA-modellen en ontwikkelen vervolgens twee nieuwe frameworks: RACT (Reasoning-Aligned Cross-domain Training) en RALI (Reasoning-Aligned Lightweight IQA).

1. Analyse: Redenering als Representatie

Door experimenten met modellen zoals Q-Insight en Qwen-VL concluderen de auteurs dat de generalisatie niet voortkomt uit het proces van redeneren zelf, maar uit de compressie van visuele informatie naar een compacte tekstuele representatie.

• Visuele Tokens vs. Tekst Tokens: Traditionele modellen gebruiken duizenden visuele tokens (>1000) om een score te voorspellen, wat vatbaar is voor overfitting. RL-modellen comprimeren de visuele input eerst naar een beknopte tekstuele redenering (<100 tokens).
• Domeinoverbrugging: Deze tekstuele representaties blijken domein-agnostisch te zijn. Ze mitigëren de "domain gap" tussen verschillende datasets (bijv. KonIQ vs. SPAQ) veel effectiever dan visuele features. De redenering fungeert als een universele, gecomprimeerde representatie van beeldkwaliteit.

2. Framework 1: RACT (Reasoning-Aligned Cross-Domain Training)

Om de generalisatie van RL-modellen te verbeteren bij het trainen op meerdere datasets (waarbij dataset-distributies vaak conflicteren), stellen de auteurs RACT voor:

• Stap 1: Onafhankelijke RL-training op individuele datasets om redeneringstekst te genereren.
• Stap 2: Label-uitlijning. De gegenereerde redeneringstekst wordt gebruikt als een uniek, cross-dataset label (Image-Text pairs).
• Stap 3: Cross-domein SFT (Supervised Fine-Tuning). Het model wordt gefinetuned met deze uitgelijnde image-text paren om de visuele encoder aan te passen aan diverse domeinen, zonder de problemen van directe score-combinatie van verschillende datasets.

3. Framework 2: RALI (Reasoning-Aligned Lightweight IQA)

De belangrijkste innovatie is RALI, een framework dat de generalisatie van RL-modellen nabootst zonder het gebruik van een LLM of het genereren van redeneringstijd. Het vervangt het dure redeneringsproces door directe uitlijning.

• Contrastive Alignment: Een CLIP-achtige visuele encoder wordt gefinetuned met contrastive learning om direct uit te lijnen met de "kwaliteitsredeneringstekst" die door een RL-model is gegenereerd. Hierdoor leert de visuele encoder de compacte tekstuele representatie direct te begrijpen.
• Feature Compression: De hoge-dimensionale visuele embeddings worden gecomprimeerd via PCA (Principal Component Analysis) en vervolgens geclusterd met "Bucketed K-Means". Dit creëert een compacte ruimte van basisvectoren die de volledige scoreverdeling (1-5) efficiënt dekken.
• Scoring: Tijdens inferentie wordt de input-afbeelding direct afgebeeld op deze gecomprimeerde tekstuele ruimte. De uiteindelijke score wordt berekend als een gewogen som van de scores van de dichtstbijzijnde basisvectoren (via cosine similarity), zonder enige tekstgeneratie of LLM-inferentie.

Kernbijdragen

1. Inzicht in Generalisatie: Het paper bewijst dat de superieure generalisatie van RL-based IQA-modellen voortkomt uit de compressie van visuele data naar domein-neutrale tekstuele representaties, en niet noodzakelijk uit het redeneringsproces zelf.
2. RALI Framework: Een nieuw, extreem lichtgewicht framework dat de prestaties van RL-based MLLMs evenaart, maar zonder het gebruik van een LLM tijdens inferentie.
3. Efficiëntie: RALI elimineert de noodzaak van stapsgewijze redenering en het laden van grote modellen, wat leidt tot een drastische reductie in rekentijd en geheugengebruik.
4. Cross-Domein Training: De RACT-methode biedt een oplossing voor het trainen op gemengde datasets met verschillende distributies door gebruik te maken van tekstuele redenering als brug.

Resultaten

De experimenten tonen overtuigende resultaten aan op diverse IQA-datasets (KonIQ, SPAQ, KADID, PIPAL, LiveW, AGIQA, CSIQ):

• Prestaties: RALI bereikt generalisatieprestaties die vergelijkbaar zijn met state-of-the-art RL-based modellen (zoals Q-Insight) en overtreft alle andere niet-MLLM-methoden (zoals CLIP-IQA+ en MUSIQ).
• Efficiëntie:
  • Parameters: RALI gebruikt slechts ~4% van de parameters van Q-Insight (ongeveer 0.3B vs 7B).
  • Inferentie: De inferentietijd is >95% sneller (bijv. 0.02s vs 0.29s per afbeelding).
  • Geheugen: Het geheugengebruik is >85% lager.
• Generalisatie: Bij cross-domein testen (trainen op KonIQ, testen op andere datasets) presteert RALI consistent beter dan SFT-based methoden en komt het dicht in de buurt van RL-based methoden, maar dan met een fractie van de kosten.

Significantie

Dit paper heeft een fundamentele impact op het veld van Image Quality Assessment en het gebruik van MLLMs:

• Paradigmaverschuiving: Het daagt de veronderstelling uit dat complexe redenering (Chain-of-Thought) noodzakelijk is voor hoge prestaties. Het toont aan dat de representatie (de tekstuele compressie) de sleutel is, en dat deze representatie efficiënter kan worden geleerd via contrastive learning.
• Praktische Toepasbaarheid: Door de afhankelijkheid van grote LLM's te verwijderen, maakt RALI geavanceerde IQA-toepassingen haalbaar voor real-time systemen, mobiele apparaten en schaalbare cloud-infrastructuur.
• Toekomstige Richting: Het biedt een blauwdruk voor het "ontkoppelen" van reasoning-based evaluatoren van hun dure inferentie-architectuur, wat relevant is voor andere vision-language taken waar generalisatie en efficiëntie cruciaal zijn.

Kortom, het paper bewijst dat "Reasoning as Representation" een krachtig concept is dat kan worden geïmplementeerd in een extreem efficiënt, reasoning-vrij model zonder in te leveren op kwaliteit of generalisatie.