ELIQ: A Label-Free Framework for Quality Assessment of Evolving AI-Generated Images

1. Probleemstelling

De snelle evolutie van text-to-image (T2I) generatieve modellen heeft een "perceptuele drift" gecreëerd, waarbij het kwaliteitsplafond van AI-gegenereerde content (AIGC) continu verschuift. Traditionele Image Quality Assessment (IQA) methoden vertrouwen op Mean Opinion Scores (MOS) die zijn afgeleid van menselijke annotaties. Deze aanpak kent echter twee kritieke beperkingen in de context van evoluerende AIGC:

• Veroudering: MOS-labels verzameld voor oudere modellen (bijv. pre-2023) worden onbetrouwbaar voor nieuwere generaties (bijv. 2025), omdat artefacten veranderen en perceptuele standaarden verschuiven.
• Schaalbaarheid: Het handhaven van geldige supervisie vereist frequente, massale herannotatie (miljoenen beoordelingen), wat kostbaar en onhoudbaar is.

Bestaande onbegeleide of label-vrije methoden vertrouwen vaak op lage-niveau statistieken of natural scene statistics (NSS), en slagen er niet in om AIGC-specifieke faalmodi (bijv. prompt-afbeelding misalignement, semantische hallucinaties) en de complexe wisselwerking tussen visuele fideliteit en prompt-gevolgzaamheid vast te leggen.

2. Methodologie: Het ELIQ Framework

ELIQ (Evolutionary Label-free IQA) stelt een framework voor dat kwaliteitsbeoordeling ontkoppelt van vaste MOS-schalen door gebruik te maken van automatisch geconstrueerde relatieve supervisie. Het framework werkt in twee hoofdfasen:

A. Constructie van Label-vrije Supervisie

In plaats van menselijke beoordelingen genereert ELIQ zijn eigen trainingsdata door positieve en aspect-specifieke negatieve paren te creëren:

1. Prompt Selectie: 400 diverse prompts zijn gecureerd over 7 semantische categorieën (bijv. Stedelijk, Natuurlijk, Mensen).
2. Generatie van Positieve Steekproeven: Hoogwaardige afbeeldingen ($I^+$) worden gegenereerd met drie state-of-the-art T2I-modellen (Qwen-Image, FLUX.1-dev, Stable Diffusion 3.5).
3. Generatie van Negatieve Steekproeven: Diverse negatieven worden gesynthetiseerd om zowel conventionele vervormingen als AIGC-specifieke faalmodi te dekken over drie dimensies:
   • Technische Kwaliteit ($I^-_{tec}$): Gesimuleerd via JPEG-compressie, Gaussisch ruis of voortijdige diffusie-decoding.
   • Esthetische Kwaliteit ($I^-_{aes}$): Gegenereerd via gecontroleerde image-to-image editing (compositie/kleurdegradatie) of T2I-modellen van lage kwaliteit.
   • Alignement Kwaliteit ($p^-_{ali}$): Gecreëerd door afbeelding-prompt paren te schudden of prompts te modificeren om semantische mismatches te induceren.

B. Model Trainingspipeline

ELIQ past een vooraf getraind Multimodaal Groot Taalmodel (MLLM) aan tot een kwaliteitsbewuste criticus via een tweestapsproces:

1. Kwaliteitsbewuste Instructie Tuning:

   • Het MLLM wordt fine-getuned om te fungeren als een aspect-bewuste backbone.
   • Het ontvangt specifieke instructies (bijv. "Evalueer Technische Kwaliteit") en geeft discrete labels ("Hoog" of "Laag") uit op basis van de geconstrueerde positieve/negatieve paren.
   • Deze stap creëert een bevroren backbone ($MLLM_{\theta^*}$) die in staat is te redeneren over technische, esthetische en alignement aspecten zonder menselijke scores.

2. Lightweight Scoring Module (QQT):

   • Gated Visual-Alignment Representatie: Het systeem haalt embeddings op voor technische ($z_{tec}$) en esthetische ($z_{aes}$) kwaliteiten. Deze worden gefuseerd met gated mechanismen (leerbare gates moduleren de bijdrage van elke tak) om een uniforme visuele embedding ($z_{vis}$) te creëren.
   • Quality Query Transformer (QQT): Een lightweight Transformer encoder neemt de samengevoegde visuele en alignement embeddings ($z_{va}$) samen met twee leerbare query tokens ($q_{vis}, q_{ali}$).
   • Trainingsdoel: Het model wordt getraind met pairwise ranking losses (marge-gebaseerd) om ervoor te zorgen dat de positieve steekproef een hogere score krijgt dan de bijbehorende negatieven. Er wordt tijdens het trainen geen regressie uitgevoerd naar absolute MOS-waarden.

3. Belangrijkste Bijdragen

• Label-vrij Framework: ELIQ is het eerste framework dat absolute MOS-supervisie vervangt door automatisch geconstrueerde, aspect-specifieke relatieve vergelijkingen, waardoor schaalbare beoordeling voor evoluerende modellen mogelijk wordt.
• Dual-Dimension Modeling: Het modelleert gezamenlijk Visuele Kwaliteit (technisch + esthetisch) en Prompt-Afbeelding Alignement, en adresseert hiermee de unieke faalmodi van AIGC die traditionele IQA mist.
• Generalisatie: Het framework generaliseert naadloos van AIGC naar User-Generated Content (UGC) zonder architecturale wijzigingen, wat de robuustheid bewijst over verschillende data-distributies.
• Efficiëntie: Door gebruik te maken van instructie tuning en een lightweight scoring head, vermijdt het de noodzaak voor massale menselijke annotatiedatasets, terwijl het toch presteert boven bestaande label-vrije methoden.

4. Experimentele Resultaten

De auteurs evalueerden ELIQ op drie AIGC benchmarks (AGIQA-3K, AIGCIQA2023, AIGIQA-20K) en twee UGC benchmarks (KonIQ-10k, SPAQ).

• Prestaties Visuele Kwaliteit:
  • Label-vrije Setting: ELIQ presteerde significant beter dan alle bestaande label-vrije baselines (bijv. NIQE, CLIP-IQA, QualiCLIP). Bijvoorbeeld, op AGIQA-3K behaalde het een SRCC van 0.801 vergeleken met de volgende beste label-vrije methode (DUBMA) met 0.684.
  • Zwak-supervisie Setting: Wanneer fine-getuned met slechts 20-30% van de MOS-data, behaalde ELIQ state-of-the-art prestaties, gelijkend aan of overtreffend volledig gesuperviseerde baselines (bijv. SRCC 0.876 op AGIQA-3K versus 0.893 voor MA-AGIQA).
• Prestaties Alignement Kwaliteit:
  • In de label-vrije setting behaalde ELIQ een SRCC van 0.717 op AGIQA-3K, wat aanzienlijk beter presteerde dan andere label-vrije alignement-metrics (bijv. CLIP-IQA+ met 0.501).
• Ablatie Studies:
  • Bevestigde dat het combineren van Conventionele en AI-specifieke degradaties de beste resultaten oplevert.
  • Toonde aan dat het modelleren van alle drie de aspecten (Technisch, Esthetisch, Alignement) noodzakelijk is; het gebruik van slechts één aspect verslechtert de prestaties in andere dimensies.

5. Betekenis

ELIQ adresseert een kritieke bottleneck in het generatieve AI-ecosysteem: het onvermogen om kwaliteit te evalueren naarmate modellen evolueren. Door te verschuiven van statische, mens-geankerde supervisie naar dynamische, model-gedreven relatieve supervisie, biedt ELIQ een duurzame weg voor kwaliteitsbeoordeling.

• Schaalbaarheid: Het elimineert de noodzaak voor continue, dure menselijke herannotatie naarmate nieuwe modellen worden uitgebracht.
• Aanpasbaarheid: Het framework kan periodiek worden ververst door positieve/negatieve paren te regenereren met nieuwe modellen, waardoor de evaluatiemeter relevant blijft.
• Praktijktoepasbaarheid: Het biedt een betrouwbare, goedkope alternatief voor ontwikkelaars en onderzoekers om nieuwe generatieve modellen te benchmarken en kwaliteitsdrift in real-world toepassingen te monitoren.