Pioneering Perceptual Video Fluency Assessment: A Novel Task with Benchmark Dataset and Baseline

Probleemstelling

Video is een dominante mediaformaat, maar de huidige methoden voor het automatisch beoordelen van videokwaliteit (Video Quality Assessment - VQA) hebben een fundamenteel tekortkoming: ze zijn te sterk gericht op ruimtelijke vervormingen (zoals ruis, kleur en compositie) en verwaarlozen de temporale kwaliteit, oftewel de fluïditeit (fluency) van de video.

• Huidige situatie: Bestaande VQA-modellen leveren een holistische score die ruimte en tijd door elkaar haalt. Dit betekent dat ze goed zijn in het detecteren van beeldkwaliteitsproblemen, maar slecht in het voorspellen van subjectieve ervaringen zoals bewegingsconsistentie, framecontinuïteit en stuttering (stotteren).
• Gevolg: Deze beperking maakt het onmogelijk om VQA-scores betrouwbaar te gebruiken voor tijdsgerelateerde downstream-taken, zoals adaptieve frame-rate encoding, frame-interpolatie of videostabilisatie.
• Definitie: De auteurs definiëren "fluïditeit" als de waargenomen temporale kwaliteit van een video, specifiek gericht op de continuïteit van beweging en frames.

Methodologie

Om dit probleem aan te pakken, stellen de auteurs een nieuwe perceptuele taak voor: Video Fluency Assessment (VFA). Hun aanpak bestaat uit drie pijlers:

1. Het FluVid Dataset (Benchmark)

Omdat er geen bestaande dataset was die specifiek gericht was op fluïditeit, hebben de auteurs FluVid ontwikkeld.

• Omvang: Bevat 4.606 "in-the-wild" video's met een gebalanceerde verdeling van fluïditeitsniveaus.
• Constructie: De dataset is opgebouwd volgens twee principes om selectiebias te voorkomen:
  1. Component-diversiteit: Video's zijn gecategoriseerd op basis van wat de fluïditeit beïnvloedt: voorgrondbeweging, achtergrondveranderingen en cameratrajecten.
  2. Parameter-diversiteit: Variatie in inhoud, resolutie, duur en opnameapparatuur.
• Annotatie: Er is een uitgebreide menselijke studie uitgevoerd met 20 experts. Ze gebruikten een vijftraps Absolute Category Rating (ACR)-systeem (van "Bad" tot "Excellent"), strikt gebaseerd op ITU-richtlijnen, om Mean Opinion Scores (MOS) te genereren.

2. De Baseline: FluNet

De auteurs stellen FluNet voor, een model dat specifiek is ontworpen om temporale relaties te begrijpen.

• Architectuur: Gebaseerd op een Video Swin Transformer-structuur.
• Kerninnovatie (T-PSA): Het introduceert Temporal Permuted Self-Attention (T-PSA).
  • In plaats van alleen de tijd-ruimte-vensters te vergroten (wat rekenkracht kost), comprimeert T-PSA de kanalen van de Key (K) en Value (V) matrices.
  • Vervolgens worden de temporale tokens gepermuteerd naar de kanaal-dimensie.
  • Voordeel: Dit stelt het model in staat om veel meer inputframes (bijv. 128) en grotere temporale vensters te verwerken voor lange-afstandsinteracties, terwijl de rekenkosten (GFLOPs) laag blijven.
• Training Strategie (Self-Supervised Learning):
  • Omdat menselijke annotaties duur zijn, gebruiken ze een self-supervised ranking-strategie.
  • Ze synthetiseren gestotterde video's door frames willekeurig te verwijderen of te dupliceren van hoogwaardige "anchor" video's.
  • Het model leert eerst om de relatieve volgorde van fluïditeit te voorspellen (Ranking Loss) op deze synthetische data, en wordt daarna fijn afgestemd (fine-tuned) op de beperkte FluVid-dataset met echte MOS-scores.

Belangrijkste Bijdragen

1. Nieuwe Taakparadigma: Het introduceren van VFA als een aparte, zelfstandige perceptuele taak, losgekoppeld van algemene VQA, met het inzicht dat huidige VQA-modellen temporale kwaliteit ondervertegenwoordigen.
2. FluVid Dataset: De eerste grote dataset met menselijke scores specifiek voor video-fluïditeit, inclusief een gestandaardiseerd beoordelingskader en een gebalanceerde verdeling van video-componenten.
3. Uitgebreide Benchmark: Een evaluatie van 23 bestaande methoden (6 VQA-modellen en 17 Large Multimodal Models - LMMs), wat aantoont dat zelfs de state-of-the-art modellen tekortschieten in het begrijpen van fluïditeit.
4. FluNet Baseline: Een efficiënt model met T-PSA en een ranking-gebaseerde training die de huidige staat van de kunst aanzienlijk overtreft.

Resultaten

De experimenten tonen overtuigende resultaten:

• Benchmark Resultaten: Bestaande VQA-modellen (zoals Fast-VQA, DOVER) en LMMs (zoals Video-LLaVA, Qwen 2.5-VL) presteren matig op FluVid. Hun correlatie met menselijke beoordelingen (SRCC/PLCC) is aanzienlijk lager dan voor algemene kwaliteit. Dit bevestigt dat ze niet goed zijn in het isoleren van temporale defecten.
• FluNet Prestaties: FluNet bereikt state-of-the-art prestaties met een SRCC van 0.774 en PLCC van 0.770.
• Verbetering: FluNet++ (FluNet voorgetraind op LSVQ voor algemene kwaliteit) bereikt zelfs 0.816 (SRCC) en 0.821 (PLCC).
• Efficiëntie: Ondanks het gebruik van 128 frames en grote temporale vensters, blijft FluNet computatie-efficiënt dankzij de T-PSA-compressie, met een parameteraantal vergelijkbaar met bestaande modellen.

Significantie

Dit werk is een mijlpaal in de perceptuele videobeoordeling:

• Roadmap voor de Community: Het biedt een duidelijke weg voor onderzoekers om zich te richten op temporale kwaliteitsmeting, een gebied dat lang verwaarloosd is.
• Praktische Toepassingen: De resultaten kunnen direct worden toegepast om videostreaming te optimaliseren (bijv. adaptieve bitrate encoding gebaseerd op fluïditeit), videostabilisatie te verbeteren en de kwaliteit van gegenereerde video's (text-to-video) te beoordelen.
• Inzicht in HVS: Het benadrukt dat het menselijk visuele systeem (HVS) gevoeliger is voor temporale storingen dan voor ruimtelijke, en dat AI-modellen dit specifiek moeten leren in plaats van te vertrouwen op algemene kwaliteitscores.

Kortom, dit artikel legt de basis voor een nieuw domein in videobeoordeling door een specifiek dataset, een nieuwe taakdefinitie en een gespecialiseerd model te introduceren dat eindelijk de "vloeiendheid" van video's kan meten zoals mensen dat doen.