QPT V2: Masked Image Modeling Advances Visual Scoring

Probleemstelling

Kwaliteitsbeoordeling (Image/Video Quality Assessment - IQA/VQA) en esthetische beoordeling (Image Aesthetics Assessment - IAA), gezamenlijk aangeduid als Visual Scoring (VS), zijn cruciaal voor toepassingen zoals videoverbetering en transcodering. Bestaande leermethoden hebben echter te kampen met twee fundamentele beperkingen:

1. Schaarste aan gelabelde data: Het verzamelen van menselijke beoordelingen (Mean Opinion Scores) is duur en tijdrovend, waardoor VS-datasets vaak slechts een fractie zijn van datasets voor andere visuele taken (zoals classificatie).
2. Suboptimale generalisatie: Bestaande self-supervised learning (SSL) methoden, die vaak gebaseerd zijn op contrastief leren (sample-level onderscheid), zijn niet voldoende om lokale vervormingen en fijne visuele attributen (pixel-level) te vangen die essentieel zijn voor kwaliteits- en esthetische beoordeling.

Hoewel Masked Image Modeling (MIM) succesvol is gebleken in het begrijpen van semantiek en textuur, is er tot nu toe weinig onderzoek gedaan naar de toepasbaarheid ervan op Visual Scoring-taken.

Methodologie: QPT V2

De auteurs stellen QPT V2 voor, het eerste pre-training framework gebaseerd op MIM dat een uniforme oplossing biedt voor Visual Scoring. Het framework verbetert het standaard MIM-protocol door drie kritieke componenten specifiek te optimaliseren voor kwaliteits- en esthetische waarneming:

1. Gegevenscuratie (Data)

In plaats van standaard datasets zoals ImageNet te gebruiken, hebben de auteurs een dataset samengesteld op basis van twee criteria:

• Hoge Resolutie (HR): Om rijke texturen en lokale structuren te kunnen reconstrueren.
• Hoge Voorgronddekking (HFC): Om de focus te leggen op semantisch en textuurrijke voorgrondobjecten in plaats van achtergronden.
• Bron: Ze gebruiken een gefilterde subset van SA-1B (Segment Anything 1 Billion), waarbij alleen afbeeldingen met een hoge resolutie en veel objecten (voorgrond) worden geselecteerd. Dit resulteert in een dataset van 1,28 miljoen afbeeldingen.

2. Degradatiestrategie (Degradation)

Om het model te leren om realistische vervormingen te herkennen, wordt een specifieke degradatiestrategie toegepast op de reconstructiedoelen:

• Type: Er wordt een breed scala aan degradaties gebruikt, waaronder geometrische (resizing), frequentie-gerelateerde (onscherpte, scherpte, ruis) en kleur-gerelateerde (kleurtrilling, kleerruimte-transformatie/CST).
• Vindt: De auteurs ontdekten dat Kleerruimte-transformatie (CST) de meest effectieve degradatie is voor esthetische en kwaliteitsbeoordeling, omdat verschillende kleerruimtes complementaire informatie bevatten.
• Compositie: In tegenstelling tot eerdere studies, bleek dat complexe opeenvolgende degradaties (sequential composition) geen voordeel opleveren voor MIM in deze context; eenvoudige, maar diverse degradaties werken beter.

3. Modelarchitectuur (Model)

Om zowel grove als fijne details te vangen (zoals het menselijk visuele systeem), wordt de modelstructuur aangepast:

• Encoder: Er wordt een hiërarchische backbone (HiViT) gebruikt in plaats van een standaard ViT, omdat deze beter in staat is om multi-scale features te leren.
• Multi-scale Feature Fusion: Tijdens de pre-training worden features uit verschillende lagen van de encoder adaptief samengevoegd (gefuseerd) voordat ze naar de decoder gaan. Dit helpt het model om zowel lage-niveau vervormingen als hoge-niveau semantiek te integreren. Deze fusie gebeurt alleen tijdens pre-training en niet tijdens fine-tuning.

Belangrijkste Bijdragen

1. Eerste MIM-framework voor Visual Scoring: QPT V2 is de eerste die de kracht van pixel-level reconstructie (MIM) succesvol toepast op de unificatie van IQA, VQA en IAA.
2. Gedetailleerde Analyse van MIM-componenten: Het paper breekt MIM af in data, degradatie en model, en toont aan hoe elk onderdeel specifiek moet worden aangepast voor kwaliteitsbeoordeling.
3. Unificatie van Taken: Het biedt een enkele pre-trained oplossing die werkt voor zowel afbeeldingen als video's, en voor zowel technische kwaliteit als esthetische waarde.

Resultaten

QPT V2 werd getest op 11 benchmarks (3 synthetische en 3 real-world IQA datasets, 3 VQA datasets, en 1 IAA dataset).

• State-of-the-Art (SOTA) Prestaties: QPT V2 behaalde de beste resultaten op alle 11 benchmarks, vaak met een aanzienlijke marge ten opzichte van bestaande methoden (zowel traditionele als deep learning-based).
  • Op de AVA dataset (esthetiek) behaalde het een SRCC van 0.865 en PLCC van 0.875, wat een verbetering is van +4.3% en +5.8% ten opzichte van de vorige SOTA.
  • Het presteerde beter dan methoden die gebruikmaken van grote multimodale modellen (LMMs) zoals Q-Align, maar met een veel kleiner model en minder rekenkracht.
• Generalisatie: Het model toonde uitstekende generalisatievermogen bij cross-dataset evaluaties (bijv. getraind op LSVQ, getest op LIVE-VQC).
• Efficiëntie: Zelfs met slechts 60% van de fine-tuning data behaalde QPT V2 resultaten die vergelijkbaar waren met SOTA-methoden, wat wijst op een zeer efficiënte overdracht van kennis.
• Ablatie Studies: De studies bevestigden dat HR & HFC data essentieel zijn, dat CST-degradatie cruciaal is, en dat multi-scale feature fusion de prestaties aanzienlijk verbetert.

Betekenis en Impact

Dit werk markeert een verschuiving in de visuele beoordelingsgemeenschap. Het toont aan dat Masked Image Modeling een superieure pre-training strategie is voor Visual Scoring in vergelijking met contrastief leren, omdat het beter in staat is om zowel globale semantiek als lokale pixel-vervormingen te leren.

De belangrijkste implicaties zijn:

• Het lost het probleem van schaarste aan gelabelde data op door effectieve self-supervised learning.
• Het biedt een schaalbare, uniforme aanpak voor diverse visuele scoring-taken (IQA, VQA, IAA).
• Het demonstreert dat specifieke aanpassingen in data-curatie en degradatiestrategieën net zo belangrijk zijn als de modelarchitectuur zelf voor deze specifieke domeinen.

Kortom, QPT V2 zet een nieuwe standaard voor hoe visuele kwaliteit en esthetiek kunnen worden gemodelleerd, met potentieel grote impact voor industrie-applicaties zoals content-moderatie, videoplatforms en beeldverwerking.