Revisiting Vision Language Foundations for No-Reference Image Quality Assessment

Probleemstelling

No-reference image quality assessment (NR-IQA) is de taak om de perceptuele kwaliteit van een afbeelding te schatten zonder toegang tot een onbeschadigde referentieafbeelding. Dit is cruciaal voor toepassingen zoals consumentenfotografie, videostreaming en de beoordeling van AI-generatie afbeeldingen.
Bestaande methoden kampen met verschillende uitdagingen:

• Afhankelijkheid van handgemaakte features: Vroege methoden waren beperkt in hun generalisatievermogen.
• Enkele backbone-afhankelijkheid: Recent werk gebruikt vaak slechts één specifieke Vision-Language (VL) foundation model (meestal CLIP) als basis, zonder systematisch te onderzoeken welke architectuur het beste werkt.
• Onderbenutte componenten: De keuze van de activatiefunctie in de voorspellende kop (prediction head) wordt zelden onderzocht; de meeste studies gebruiken standaard ReLU of GELU zonder onderbouwing.
• Kosten: State-of-the-art methoden die gebruikmaken van diffusion-modellen (zoals LGDM of DP-IQA) zijn vaak rekenkundig zeer intensief.

Methodologie

De auteurs voeren een systematische, eerlijke vergelijking uit van zes prominente vooraf getrainde foundation modellen voor de taak van NR-IQA.

1. Vergelijking van Foundation Modellen:
   Ze evalueren zes verschillende backbones: CLIP, SigLIP2, DINOv2, DINOv3, Perception en ResNet. Elk model wordt gefinetuned met een identieke, lichtgewicht MLP-head (drie lagen) en Low-Rank Adaptation (LoRA) adapters (rank 4) om de parameters efficiënt aan te passen.

2. Analyse van Activatiefuncties:
   Een centrale ontdekking is de impact van de activatiefunctie in de MLP-head. De auteurs testen verschillende combinaties (ReLU, GELU, Tanh, Sigmoid). Ze stellen vast dat een Sigmoid-activatie in de eerste laag van de MLP aanzienlijk beter presteert dan de gebruikelijke ReLU-varianten, vooral in scenario's met weinig data.

   • Hypothese: Sigmoid onderdrukt zeer sterke responsen (die vaak corresponderen met hoge-level semantiek zoals objecten) en dwingt het model om te vertrouwen op middelmatige responsen die subtiele artefacten en textuurdetails vastleggen, wat essentieel is voor kwaliteitsbeoordeling.

3. Learnable Activation Selection (Gated Activation):
   Om de beperkingen van Sigmoid (zoals het verdwijnende gradiëntprobleem bij grote datasets) en ReLU (overfitting op sterke semantische features) te overwinnen, introduceren ze een adaptieve gated activation mechanism.

   • Dit mechanisme combineert per kanaal een Sigmoid-branch en een LeakyReLU-branch.
   • Een leerbaar "gate"-gewicht ($w = \sigma(g)$) bepaalt adaptief hoeveel het model vertrouwt op de saturerende Sigmoid versus de lineaire LeakyReLU.
   • Dit elimineert de behoefte aan handmatige keuze van de activatiefunctie en optimaliseert de prestaties over zowel kleine als grote datasets.

4. Trainingssetup:

   • Datasets: Experimenten worden uitgevoerd op zeven benchmarks: CLIVE, KonIQ10K, KADID10K, FLIVE, SPAQ, AGIQA1K en AGIQA3K.
   • Verliesfunctie: Een combinatie van Mean Squared Error (MSE) en een paarwijze rangorde-verlies (margin ranking loss) om zowel nauwkeurigheid als ordinaal consistentie te waarborgen.

Belangrijkste Bijdragen

1. Eerste systematische vergelijking: De eerste uitgebreide "head-to-head" evaluatie van zes heterogene VL-foundation modellen voor NR-IQA onder identieke trainingsvoorwaarden.
2. Ontdekking van SigLIP2: Het bewijs dat SigLIP2-SO400M consistent de beste prestaties levert, beter dan CLIP, DINOv2 en ResNet, vanwege de rijkere semantische representaties door contrastieve pre-training.
3. Rol van Activatiefuncties: Het kwantificeren van het effect van activatiefuncties, waarbij wordt aangetoond dat Sigmoid de generalisatievermogen verbetert, vooral bij natuurlijke (in-the-wild) vervormingen.
4. Nieuwe SOTA Methode: De introductie van een leerbare activatie-selectie (Gated Activation) die state-of-the-art resultaten bereikt zonder de hoge inferentiekosten van diffusion-modellen.

Resultaten

• Backbone Prestaties: SigLIP2 overtreft alle andere backbones op de meeste datasets. Bijvoorbeeld, op CLIVE bereikt SigLIP2 een SRCC (Spearman Rank Correlation Coefficient) van 0.875 (baseline), wat aanzienlijk hoger is dan CLIP (0.841) en DINOv2 (0.688).
• Impact van Sigmoid: Het vervangen van de eerste LeakyReLU door Sigmoid leidt tot een gemiddelde stijging van ongeveer 3 SRCC-punten op kleine datasets.
• Gated Activation: De voorgestelde Gated Activation behoudt de voordelen van Sigmoid op kleine datasets (bijv. CLIVE: 0.909 SRCC) en presteert even goed of beter dan LeakyReLU op grote datasets (bijv. KonIQ10K: 0.953 SRCC).
• Vergelijking met SOTA: De methode overtreft bestaande non-diffusion methoden (zoals LoDA, HyperIQA) en komt dicht in de buurt van of overtreft diffusion-based methoden (zoals LGDM) op cross-dataset generalisatie, terwijl het veel minder rekenkracht vereist (geen iteratieve diffusion-steps).
• Cross-Dataset Generalisatie: Het model toont sterke generalisatie wanneer getraind op één dataset en getest op een andere (bijv. trainen op KonIQ10K, testen op CLIVE), wat aantoont dat het robuust is tegen domeinverschuivingen.

Significantie en Conclusie

Dit werk herdefinieert de basis voor No-Reference Image Quality Assessment door aan te tonen dat de keuze van de foundation model (SigLIP2) en de activatiefunctie in de kop even belangrijk zijn als de architectuur zelf.

• Efficiëntie: Het biedt een resource-efficiënt alternatief voor zware diffusion-modellen, wat essentieel is voor real-time toepassingen.
• Semantisch vs. Perceptueel: De studie benadrukt dat NR-IQA niet alleen een laag-niveau perceptuele regressie is, maar een taak waarbij semantisch begrip en het detecteren van subtiele, niet-semantische artefacten (via middelmatige feature-responsen) cruciaal zijn.
• Toekomst: De voorgestelde "learnable activation" biedt een nieuwe richting voor het ontwerpen van robuuste perceptuele modellen die zich automatisch aanpassen aan de data-distributie, zonder handmatige tuning.

Kortom, de auteurs hebben een sterke, schaalbare baseline gevestigd die nieuwe state-of-the-art resultaten bereikt op de belangrijkste IQA-benchmarks, voornamelijk door de juiste combinatie van SigLIP2 en een adaptieve, leerbare activatiestrategie.