Unleashing Vision Transformer Potential In Image Quality Assessment via Global-Local Adaptive Interaction

Technische Samenvatting: Het Potentieel van Vision Transformers Vrijmaken voor Beeldkwaliteitsbeoordeling via Adaptieve Globaal-Lokale Interactie

Probleemstelling
Op het gebied van Blinde Beeldkwaliteitsbeoordeling (BIQA) blijft het nauwkeurig voorspellen van de perceptuele kwaliteit van authentiek vervormde beelden een uitdaging, vanwege de diversiteit en complexiteit van vervormingen in natuurlijke omgevingen. Hoewel bestaande deep learning-methoden opmerkelijke nauwkeurigheid bereiken, staan ze voor twee primaire beperkingen:

1. Data-tekort en Kosten: Hoogpresterende modellen zijn doorgaans afhankelijk van grote hoeveelheden handmatig geannoteerde subjectieve scores, wat leidt tot hoge kosten voor dataverwerving en beperkte datasetgroottes die de training van grote modellen beperken.
2. Inefficiëntie van Voortrainde Modellen: Hoewel grootschalig voortrainde Vision Transformers (ViT) en modellen zoals CLIP krachtige semantische priors bieden, wordt hun directe toepassing op IQA belemmerd door aanzienlijke rekenkundige eisen voor volledige fine-tuning en parameterredundantie. Bovendien slagen bestaande adaptatiemethoden er vaak niet in om voortrainde priors volledig te benutten of compromissen te sluiten met cruciale globale semantische en lokale detailkenmerken door vaste invoeroplossingsbeperkingen (bijvoorbeeld herhaaldelijk bijsnijden of herschalen).

Methodologie: GLIANet en GLIA
Om deze beperkingen aan te pakken, stellen de auteurs GLIANet voor, een raamwerk dat centraal staat om een nieuwe Global-Local Interaction Adapter (GLIA). De architectuur maakt gebruik van een dubbelstroom kenmerkextractiemechanisme gekoppeld aan een interactieve fusiemodule om voortrainde ViTs efficiënt te benutten.

• Dubbelstroom Kenmerkextractie:
  • Semantische Stroom: Het invoerbeeld wordt herschaald en verwerkt via een bevroren voortrainde ViT-encoder om globale semantische tokens ($F_s$) te extraheren. Deze worden geprojecteerd naar een compacte latente ruimte ($F_{sd}$).
  • Detailstroom: Om fijne lokale details die vaak verloren gaan bij herschaling te behouden, wordt het invoerbeeld opgedeeld in een rooster. Patches worden geëxtraheerd en lokaal vergroot, waarna ze worden gecodeerd door bevroren ViT-blokken om detailkenmerken ($F_d$) te produceren.
• Global-Local Interaction Adapter (GLIA):
  De twee stromen worden binnen de latente ruimte samengevoegd via een trainbare adapter die uit twee componenten bestaat:
  1. Local-Global Fusion Module (LGF): Het lokale detailkenmerk ($F_d$) fungeert als query, terwijl het globale semantische kenmerk ($F_{sd}$) als leidraad dient. Ze worden samengevoegd via een Multi-head Cross-Attention Mechanism (MHCA) om globale semantische priors in lokale details te injecteren.
  2. Global-Local Refined Module (GLR): Omgekeerd wordt het globale semantische kenmerk bijgewerkt door interactie met de lokale detailkenmerken via MHCA. Dit stelt de globale prior in staat om te worden verfijnd door lokale perceptuele details, waardoor de kwaliteitsperceptiecapaciteiten van het model worden versterkt.
• Trainings-efficiëntie: Alleen de GLIA-modules, projectielaagjes en een lichtgewicht regressiehoofd zijn trainbaar. De ViT-ruggengraat blijft bevroren, wat het aantal trainbare parameters aanzienlijk reduceert.

Belangrijkste Bijdragen

1. Dubbelstroom Extractie: Een nieuwe methode die globale semantische informatie combineert met lokale details, waardoor perceptuele kenmerkverlies veroorzaakt door resolutieadaptatie wordt gemitigeerd.
2. Interactieve Fusie-adapter: Het ontwerp van het GLIA-blok, dat interactie mogelijk maakt tussen globale informatie en lokale detailkenmerken in de latente ruimte, waardoor het potentieel voor kwaliteitsperceptie van voortrainde ViTs wordt vrijgegeven zonder volledige fine-tuning.
3. Prestaties met Efficiëntie: De methode bereikt superieure voorspellingsnauwkeurigheid en robuustheid over meerdere benchmarks, terwijl er aanzienlijk minder trainbare parameters nodig zijn in vergelijking met bestaande benaderingen.

Experimentele Resultaten
De auteurs evalueerden GLIANet op acht klassieke IQA-datasets, waaronder synthetische (LIVE, CSIQ, TID2013, KADID-10k) en authentieke (LIVEC, KonIQ-10k, SPAQ, FLIVE) datasets.

• State-of-the-Art Prestaties: GLIANet presteerde beter dan traditionele methoden (bijvoorbeeld ILNIQE) en op leren gebaseerde methoden (bijvoorbeeld Tres, HyperIQA). Het overtrof ook modellen die gebruikmaken van grootschalige voortrainde visueel-taalmiddelen (bijvoorbeeld LIQE) en andere data-efficiënte methoden (bijvoorbeeld LoDa, DEIQT) op zowel synthetische als authentieke datasets.
• Generalisatie: Bij cross-dataset evaluaties behaalde GLIANet consistent de beste mediaan Spearman Rank-Order Correlation Coefficient (SRCC)-resultaten, wat sterke generalisatie zonder fine-tuning aantoont.
• Robuustheid (gMAD): In gMAD-wedstrijden tegen DEIQT identificeerde GLIANet correct significante kwaliteitsverschillen en perceptuele gelijkenissen die het concurrerende model verkeerd classificeerde, wat beter overeenkomt met menselijke subjectieve waarneming.
• Data-efficiëntie: Experimenten met slechts 20%, 40% en 60% van de trainingsdata toonden aan dat GLIANet concurrenten zelfs onder data-beperkte scenario's overtrof.
• Ablatiestudies: Resultaten bevestigden dat het gebruik van semantische kenmerken als leidraad voor lokale details de beste prestaties oplevert. Bovendien presteerde de volledige GLIA-architectuur (combinatie van LGF en GLR) beter dan individuele modules en andere fine-tuning-strategieën (Linear Probe, Full Fine-tune, LoRA, VPT).

Betekenis en Beweringen
Het artikel beweert dat GLIANet een praktische weg biedt voor schaalbare Beeldkwaliteitsbeoordeling in real-world toepassingen. Door voortrainde Vision Transformers effectief te benutten via een dubbelstroommechanisme en interactieve globaal-lokale fusie, overwint de methode de afweging tussen rekenkosten, data-eisen en het behoud van zowel semantische als detailkenmerken. De auteurs stellen dat hun aanpak niet alleen superieure nauwkeurigheid levert, maar ook het aantal trainbare parameters aanzienlijk reduceert, waardoor hoogwaardige BIQA toegankelijker en efficiënter wordt.