Technische Samenvatting: Doorbreken van Annotatiebarrières via Rangschikking-gebaseerde Zelftoezicht

1. Probleemstelling

Video Kwaliteitsbeoordeling (VQA) is cruciaal voor het optimaliseren van de Kwaliteit van Ervaring (QoE) in moderne videoverwerkingsworkflows. Hoewel toezicht-gebaseerde deep learning-modellen aanzienlijke vooruitgang hebben geboekt, lijden ze onder een fundamentele beperking: generalisatie. Huidige state-of-the-art (SOTA) modellen zijn sterk afhankelijk van handmatig geannoteerde datasets, die arbeidsintensief, kostbaar en moeilijk schaalbaar zijn. Bijgevolg vertonen deze modellen vaak slechte prestaties op out-of-distribution (OOD) data, waarbij ze falen in het generaliseren naar ongezien videomateriaal, vervormingen of mediavormaten (bijvoorbeeld gamingvideo's, content met hoge beeldfrequentie of AI-genereren content).

Bestaande zelftoezicht-gebaseerde benaderingen proberen annotatiekosten te beperken, maar blijven doorgaans achter bij toezicht-gebaseerde methoden. Ze vertrouwen vaak op contrastief leren met synthetische proxy-taken (bijvoorbeeld classificatie van vervormingen) die complexe perceptuele kenmerken of echte patronen van vervorming in de echte wereld niet adequaat vastleggen.

2. Methodologie

De auteurs stellen LMM-PVQA voor, een zelftoezicht-gebaseerd leerframework dat VQA herformuleert als een paarsgewijze rangschikkingsprobleem in plaats van absolute regressie. De kerncomponenten van de methodologie zijn:

A. Groot-schaal Paarsgewijs Gelabelde Dataset (PLVD)

De auteurs hebben een enorme dataset samengesteld bestaande uit 700.000 videoparen, afkomstig van 3 miljoen bronvideo's over vier grote sociale mediaplatforms (TikTok, YouTube, Youku, Bilibili). De dataset omvat meer dan 20 contentcategorieën en diverse vervormingsscenario's.

• Steekproefstrategie: Een mixed-integer programming-aanpak werd gebruikt om 438k video's te selecteren, waarbij werd gegarandeerd dat de verdeling van negen laag-niveau metrieken (blokachtigheid, onscherpte, contrast, ruis, flikkering, kleurrijkheid, luminantie, ruimtelijke informatie en temporale informatie) overeenkomt met gangbare UGC-benchmarks.
• Annotatiestrategieën: Twee methoden werden ingezet om relatieve kwaliteitslabels te genereren zonder menselijke tussenkomst:
  1. Pseudo-labeling via VQA-modellen: Vijf SOTA VQA-modellen (Minimalistic-VQA, FAST-VQA, DOVER, Q-Align) fungeren als "rechters" om videoparen te scoren. Een ensemble-benadering bepaalt de relatieve kwaliteit. Labels worden gecategoriseerd in Harde Rangschikking (beter/slechter) en Zachte Rangschikking (superieur/beter/soortgelijk/slechter/inferieur) op basis van statistische significantie van scoresverschillen.
  2. Synthetische Vervormingssimulaties: Een subset van de data (PLVD-DS) wordt gegenereerd door gecontroleerde vervormingen toe te passen (ruimtelijk: onscherpte, ruis, herschaling; temporale: jitter, hapering; streaming: H.264/H.265 compressie) op variërende ernstniveaus. De ernstniveaus dienen als ground truth voor relatieve rangschikking.

B. Modelarchitectuur (LMM-PVQA)

Het model is gebaseerd op een Large Multimodal Model (LMM), specifiek Qwen-2, geïntegreerd met een dual-branch visuele feature-extractor:

• Ruimtelijke Branch: Gebruikt een vooraf getrainde image-encoder (SigLIP) om sleutelframes te verwerken.
• Temporale Branch: Gebruikt een vooraf getrainde motion-encoder (SlowFast) om frame-sequenties te analyseren op bewegingsgerelateerde vervormingen.
• Fusie: Visuele features worden geprojecteerd naar de taalruimte en geconcateneerd met tekstprompts. Het model wordt getraind via Supervised Fine-Tuning (SFT) om een tekstuele beoordeling te genereren (bijvoorbeeld "De tweede video is beter dan de eerste").

C. Iteratieve Zelfverbeteringsstrategie

Er wordt een nieuw trainingsproces geïntroduceerd waarbij het model zijn eigen trainingsdata iteratief verfijnt:

1. Fase 1: Train een basismodel op de initiële 500k paren (PLVD-Part1).
2. Fase 2: Gebruik het getrainde Fase 1-model als een verbeterde "rechter" om de volgende 100k paren (PLVD-Part2) opnieuw te annoteren, combineer deze met de oorspronkelijke data om Fase 2 te trainen.
3. Fase 3: Herhaal het proces voor de laatste 100k paren (PLVD-Part3).
   Deze strategie stelt het model in staat kennis progressief te distilleren en de kwaliteit van zijn eigen annotaties te verbeteren, waardoor generalisatie wordt versterkt.

D. Inference-mechanisme

Aangezien het model relatieve rangschikkingen voorspelt, wordt een adaptieve zachte vergelijking methode gebruikt om absolute scores af te leiden. De testvideo wordt vergeleken met een set van vijf anker-video's (die verschillende kwaliteitsintervallen vertegenwoordigen). De resulterende waarschijnlijkheidsverdeling wordt omgezet in een gekalibreerde kwaliteitscore met behulp van Maximum A Posteriori (MAP) schatting onder Thurstone's Case V-model.

3. Belangrijkste Bijdragen

1. Groot-schaal Dataset: Constructie van PLVD, een dataset met 700k videoparen met zowel authentieke als synthetische vervormingen, automatisch geannoteerd via ensemble VQA-modellen en vervormingssimulaties.
2. Zelftoezicht-gebaseerd Framework: Een nieuw framework dat kwaliteitsbeoordeling leert via paarsgewijze vergelijkingen, waardoor de noodzaak van menselijk gelabelde regressiedoelen tijdens pre-training wordt geëlimineerd.
3. Iteratieve Zelfverbetering: Een trainingsstrategie waarbij het model fungeert als een verbeterde annotator voor daaropvolgende iteraties, waardoor de prestaties continu worden verfijnd.
4. State-of-the-art Prestaties: Het model bereikt sterke zero-shot prestaties over diverse benchmarks en zet nieuwe records wanneer het wordt fine-gefinetuned op menselijk gelabelde data.

4. Experimentele Resultaten

Het model werd geëvalueerd op tien benchmarks, gecategoriseerd in in-domain (UGC-video's) en out-of-distribution (OOD) datasets (gaming, hoge beeldfrequentie, 4K-compressie).

• Zero-Shot Prestaties: LMM-PVQA bereikt zero-shot prestaties die vergelijkbaar zijn met of die bestaande toezicht-gebaseerde SOTA-modellen (bijvoorbeeld Minimalistic-VQA, FAST-VQA, DOVER) op in-domain benchmarks overtreffen.
• Out-of-Distribution Generalisatie: Het model toont superieure generalisatie op OOD-datasets, met een verbetering van 24,7% in SRCC vergeleken met concurrerende benaderingen. Opmerkelijke winsten werden waargenomen op uitdagende datasets zoals LIVE-YT-HFR (hoge beeldfrequentie), Waterloo-IVC-4K (4K-compressie) en KVQ (geavanceerde UGC).
• Supervised Fine-Tuning: Wanneer het model wordt fine-gefinetuned op menselijk gelabelde datasets, presteert het beter dan alle concurrerende toezicht-gebaseerde baselines met 3,5% in SRCC.
• Ablatiestudies:
  • Zachte Rangschikking: Presteert beter dan harde rangschikking door informatie over "kwaliteitsafstand" op te nemen.
  • Iteratieve Strategie: Bevestigde dat prestatiewinst voortkomt uit de zelfverbeteringslus, en niet alleen uit een toename van datavolume.
  • Motion Encoder: Essentieel voor temporale vervormingen, wat resulteert in een 33,5% SRCC-verbetering op de benchmark voor hoge beeldfrequentie (LIVE-YT-HFR).

5. Betekenis en Claims

Het artikel beweert dat door de afhankelijkheid van dure menselijke annotaties te doorbreken en gebruik te maken van groot-schaal, automatisch gelabelde videoparen, het mogelijk is om VQA-modellen te trainen met superieure generalisatiecapaciteiten.

• Schaalbaarheid: De aanpak adresseert het probleem van "gemakkelijke datasets" en de verbodsdrempel van subjectieve experimenten, waardoor het gebruik van miljoenen ongelabelde webvideo's voor training mogelijk wordt.
• Robuustheid: De iteratieve zelfverbeteringsstrategie en de opname van synthetische vervormingen stellen het model in staat zich aan te passen aan ongezien vervormingstypes (bijvoorbeeld specifieke compressie-artefacten of inconsistenties in beeldfrequentie) die traditionele toezicht-gebaseerde modellen niet aankan.
• Fundament voor Toekomstig Onderzoek: De auteurs stellen dat dit framework een nieuwe standaard zet voor gegeneraliseerde VQA, en een pad biedt naar modellen die kwaliteit kunnen beoordelen in diverse, real-world scenario's zonder domeinspecifiek hertrainen.

De auteurs erkennen een beperking: het inferentieproces vereist het vergelijken van een video met meerdere ankers, wat de inferentietijd vergroot in vergelijking met directe regressiemodellen. Toekomstig werk beoogt meer geautomatiseerde annotatiestrategieën te verkennen en het framework uit te breiden naar multi-modale kwaliteitsbeoordeling (met inbegrip van audio en tekst).