Technische Samenvatting: VIGIL – Visuele Distortie Detectie in UGC-afbeeldingen met behulp van Large Multimodal Models

Probleemstelling

Beeldkwaliteitsbeoordeling (IQA) heeft traditioneel zich gericht op globale perceptuele kwaliteitsbeoordeling, vaak afgestemd op Mean Opinion Scores (MOS). Echter, voor User-Generated Content (UGC) afbeeldingen is er een kritieke behoefte aan lokale distortie detectie om specifieke ruimtelijke artefacten te identificeren die worden veroorzaakt door hardwarebeperkingen of opnamecondities. Bestaande benaderingen die gebruikmaken van Large Multimodal Models (LMMs) vertrouwen primair op tekstgestuurde Supervised Fine-Tuning (SFT), waarbij modellen tekstuele beschrijvingen of bounding box-coördinaten genereren. Dit paradigma kampt met twee significante beperkingen:

1. Beperkte Detectieprecisie: Tekstgeneratie mist de rigoureuze matching- en classificatieprocessen die vereist zijn voor precieze coördinatenregressie, wat leidt tot ambigue scheiding tussen voorgrond en achtergrond (FG-BG).
2. Synthetic-to-Authentic (S2A) Generalisatiekloof: Trainingsdata bestaat vaak uit synthetisch vervormde afbeeldingen met regelmatige vormen en uniforme intensiteit. Deze verschillen aanzienlijk van authentieke distorties in echte UGC, waardoor modellen falen wanneer ze worden ingezet in out-of-domain (OOD) scenario's.

Methodologie: Het VIGIL-framework

De auteurs stellen VIGIL voor, een LMM-gebaseerd framework ontworpen om visuele distorties te detecteren en te lokaliseren zonder te vertrouwen op tekstgeneratie SFT. In plaats daarvan past het de LMM-architectuur aan voor een klassiek objectdetectieparadigma.

1. Dataset Constructie: VIGIL-140K

Om datarelief en diversiteit aan te pakken, hebben de auteurs de VIGIL-140K dataset geconstrueerd:

• Bronpool: Een kandidaatpool van meer dan 1,03 miljoen afbeeldingen uit COCO, CLIP pretraining data, online videoscreenshots en Unsplash.
• Kwaliteitsfiltering: Rigoureuze filtering met behulp van zes no-reference IQA-modellen (bijv. TOPIQ, TReS, LIQE) om hoogwaardige bronafbeeldingen (scores > 85/100) te garanderen vóór de injectie van distorties.
• Distortie Injectie: Een combinatiestrategie die 8 belangrijke distortiecategorieën toepast (afgeleid van 10 typen zoals onscherpte, ruis, compressie, belichting, verzadiging en verscherping) met 31 subtypen en twee ernstgraden.
• Schaal: De uiteindelijke trainingsset bevat meer dan 140K gedistorteerde afbeeldingen met meer dan 205K gelabelde distortiegebieden.

2. Modelarchitectuur

VIGIL hergebruikt de InternVL-3-8B (gebaseerd op Qwen2.5-7B) LMM als een krachtige encoder-decoder voor detectie:

• Multi-Detector Synchronisatie: In tegen tegenstelling tot standaarddetectoren die een enkele decoderlaag gebruiken, maakt VIGIL gebruik van meerdere lagen ($M$) van de LLM-decoder als parallelle, onafhankelijke detectoren. Dit maakt gebruik van hiërarchische kenmerken, waarbij vroege lagen lage-niveau cues vastleggen die cruciaal zijn voor distortiedetectie.
• Synchrone Detectie: Elke laag is uitgerust met leerbare area query tokens en lineaire heads voor classificatie (9 klassen, inclusief "niet-distortie") en box-regressie.
• Trainingsdoel: Het model gebruikt Hungarian Matching onafhankelijk voor elke detector om voorspellingen te matchen met de ground truth, waarbij een gecombineerde loss van classificatievertrouwen en box-regressie (GIoU en L1) wordt geoptimaliseerd.

3. S2A Generalisatiestrategie

Om de kloof tussen synthetische training en authentieke testen te overbruggen:

• Retentie van Niet-Distortie Voorspellingen: Het model behoudt voorspellingen die aanvankelijk als "niet-distortie" (achtergrond) zijn geclassificeerd. Als een box wordt voorspeld als achtergrond maar een hoge waarschijnlijkheid heeft voor een distortieklasse (tweede hoogste waarschijnlijkheid), wordt deze behandeld als een geldige kandidaat. Dit mitigeert de FG-BG ononderscheidbaarheid die gebruikelijk is bij authentieke, onregelmatige distorties.
• Post-processing: Een twee-fasen filterproces bestaande uit class-wise Non-Maximum Suppression (NMS) en waarschijnlijkheidsdrempelwaarde ($T_{Prob}$) verfijnt de uiteindelijke output, waarbij een balans wordt gevonden tussen de agressieve informatiewinning van de S2A-truc en ruisonderdrukking.

Belangrijkste Bijdragen

1. VIGIL-140K Dataset: Een grootschalige, rigoureus gefilterde trainingsset met meer dan 200K gelabelde distortiegebieden die diverse UGC-scenario's en 8 belangrijke distortiecategorieën beslaat.
2. VIGIL-8B Model: Een LMM-gebaseerde detector die multi-layer synchrone detectie en een nieuwe S2A generalisatietruc (het hergebruiken van achtergrond-cues) gebruikt om de lokalisatienauwkeurigheid te verbeteren.
3. State-of-the-Art Prestaties: Het model behaalt superieure resultaten in zowel in-domain synthetische distortiedetectie als OOD authentieke distortielokalisatie vergeleken met sterke baselines.

Experimentele Resultaten

De auteurs evalueerden VIGIL-8B tegen algemene LMMs (bijv. InternVL, Qwen-VL, GPT-4o/5, Gemini) en toegewijde objectdetectiemodellen (bijv. YOLO, Grounding-DINO, DETR).

• In-Domain (Synthetische) Detectie: VIGIL-8B bereikte een mAP van 0,736 en een AP50 van 0,879, waarmee het andere LMMs (die vertrouwen op tekstgeneratie) aanzienlijk verslaat en concurreert met gespecialiseerde detectiemodellen zoals YOLO-V11 (mAP 0,708) en Grounding-DINO (mAP 0,687).
• Out-of-Domain (Authentieke) Detectie: In de S2A-taak toonde VIGIL-8B een duidelijk voordeel met een mAP van 0,482 en een AP50 van 0,502. Dit presteerde aanzienlijk beter dan het op één na beste model (Grounding-DINO met mAP 0,362) en algemene LMMs (die een score behaalden van onder de 0,24 mAP), wat de effectiviteit van de S2A-generalisatietruc valideert.
• Ablatie-studies:
  • Tekst vs. Detectie Paradigma: Het vervangen van de detectie-head door tekstgeneratie SFT resulteerde in een significante prestatiedaling (mAP daalde van 0,736 naar 0,457 in synthetische taken), wat de superioriteit van directe regressie boven token-generatie voor lokalisatie bevestigt.
  • Multi-Detector: Het gebruik van meerdere decoderlagen verbeterde de S2A-prestaties vergeleken met het gebruik van alleen de laatste laag.
  • S2A Truc: Het verwijderen van de retentie van niet-distortie voorspellingen verminderde de authentieke mAP van 0,482 naar 0,407.

Betekenis en Claims

Het artikel claimt dat VIGIL een overtuigende oplossing biedt voor de fijnmazige karakterisering van visuele kwaliteitsperceptie. Door af te stappen van tekstgestuurde SFT en gebruik te maken van de hiërarchische representatiecapaciteiten van LMMs via een multi-layer objectdetectieparadigma, adresseert het model succesvol de precisie- en generalisatieuitdagingen die inherent zijn aan UGC-distortieanalyse.

De auteurs benadrukken dat hun aanpak het mogelijk maakt om de functionaliteit van LMMs uit te breiden naar distortiedetectie zonder de oorspronkelijke tekstgeneratiecapaciteiten in gevaar te brengen, wat een pad biedt naar meer veelzijdige visuele kwaliteitsbeoordelingsmodellen. Het werk onderstreept dat hoewel synthetische data essentieel is voor schaalvergroting, specifieke architecturale strategieën (zoals multi-layer detectie en het behoud van achtergrond-cues) noodzakelijk zijn om ervoor te zorgen dat deze modellen effectief generaliseren naar real-world, authentieke scenario's.