VGA-Bench: A Unified Benchmark and Multi-Model Framework for Video Aesthetics and Generation Quality Evaluation

Probleemstelling

De snelle vooruitgang in AI-generatie van video (AIGC), gedreven door modellen zoals Diffusion en Transformers, heeft de noodzaak benadrukt voor uitgebreide evaluatieframeworks. Huidige benchmarks (zoals V-Bench) richten zich voornamelijk op technische trouw (bijv. temporale consistentie, prompt-uitlijning) en gebruiken vaak externe, generieke modellen voor scoring.

Er is echter een aanzienlijke kloof in de holistische beoordeling, met name op het gebied van:

1. Esthetische kwaliteit: Bestaande methoden behandelen esthetiek vaak als één enkel, grof getal, zonder in te gaan op subtielere aspecten zoals compositie, belichting of kleurenharmonie.
2. Gebrek aan granulariteit: Er is geen systematische taxonomie voor het evalueren van artistieke expressie en visuele formaliteiten (tags) in gegenereerde video's.
3. Bias en afhankelijkheid: Veel huidige metrics zijn afhankelijk van externe image/video-encoders die niet specifiek zijn getraind op de nuances van AIGC-video's, wat leidt tot bias en gebrek aan controleerbaarheid.

Methodologie

De auteurs introduceren VGA-Bench, een unificerend benchmark en multi-model framework dat bestaat uit drie pijlers: een gestructureerde taxonomie, een groot dataset en gespecialiseerde neurale assessors.

1. Drie-laags Taxonomie

Het evaluatiekader is opgebouwd uit drie hoofddimensies, die verder worden opgesplitst in 52 sub-dimensies:

• Esthetische Kwaliteit (Aesthetic Quality): 10 dimensies (bijv. Compositie, Shot Size, Belichting, Kleur, Dieptewerking, Expressie). Deze zijn afgeleid van het VADB-dataset en gericht op perceptuele aantrekkelijkheid.
• Esthetische Tagging (Aesthetic Tagging): 11 gestructureerde tags (bijv. Type compositie, Aantal lichtbronnen, Lichtkwaliteit, Saturatie, Contrast). Dit vertaalt subjectieve schoonheid naar objectieve, kwantificeerbare labels.
• Generatiekwaliteit (Generation Quality): 31 sub-dimensies onderverdeeld in:
  • Video-Text Consistency: Semantische uitlijning (bijv. actie, objecten, camera-beweging).
  • Realism & Plausibility: Fysieke haalbaarheid (bijv. vloeistofbeweging, botsingen, licht en schaduw).
  • Basic Quality: Technische stabiliteit (bijv. ruis, scherpte, vervorming).

2. Dataset Constructie

• Prompt Suite: Er zijn 1.016 diverse prompts ontworpen die specifiek zijn afgestemd op de bovenstaande dimensies. De prompts zijn zo geformuleerd dat ze de modelcapaciteiten voor specifieke esthetische of generatieve kenmerken testen.
• Video Generatie: Met behulp van 12 state-of-the-art video-generatiemodellen (waaronder Sora2, HunyuanVideo, Mochi, Latte) is een dataset van meer dan 60.000 video's gegenereerd.
• Human Annotation: Een subset van de data is handmatig gelabeld door experts en een crowdsourced team, volgens strikte richtlijnen (inclusief "majority voting" voor consistentie).

3. Multi-Task Neural Assessors

Om schaalbare en geautomatiseerde evaluatie mogelijk te maken, hebben de auteurs drie gespecialiseerde neurale netwerken ontwikkeld:

• VAQA-Net: Voorspelt de esthetische kwaliteitsscore (0-10 schaal, gediscretiseerd naar 5 klassen).
• VTag-Net: Voert automatische classificatie uit op de 11 esthetische tags.
• VGQA-Net: Evalueert de generatiekwaliteit en technische attributen.
• Architectuur: VAQA-Net en VTag-Net zijn geïnitieerd met pre-trained encoders van het VADB-dataset (voor esthetisch inzicht) en vervolgens fine-tuned op gegenereerde video's. VGQA-Net is volledig getraind op gegenereerde video's en gebruikt een CLIP-branch voor tekst-uitlijning.

Belangrijkste Bijdragen

1. Gedetailleerd Evaluatiekader: De eerste systematische taxonomie die generatiekwaliteit, esthetische kwaliteit en visuele tags integreert in één framework met 52 sub-dimensies.
2. Grootste Geïntegreerde Testplatform: Een dataset van 60.000+ video's gegenereerd door 12 modellen, gebaseerd op 1.016 zorgvuldig ontworpen prompts.
3. Gespecialiseerde Evaluatiemodellen: De ontwikkeling van VAQA-Net, VTag-Net en VGQA-Net, die afhankelijkheid van externe, generieke scoringsmodellen elimineren en end-to-end evaluatie mogelijk maken.
4. Open Source Commitment: Het volledig openbaar maken van de benchmark-suite, de API's en de dataset om reproduceerbaarheid en bredere toegang voor de onderzoeksgemeenschap te garanderen.

Resultaten

• Modelprestaties: De auteurs hebben 12 topmodellen geëvalueerd. Sora2 en HunyuanVideo scoorden over het algemeen het hoogst op esthetische kwaliteit en generatiekwaliteit, terwijl oudere modellen (zoals SVD) vaak tekortschoten op esthetische nuances.
• Nauwkeurigheid van Assessors:
  • VAQA-Net bereikte een nauwkeurigheid van 76,9% op de algehele esthetische score.
  • VTag-Net toonde hoge nauwkeurigheid op specifieke tags (bijv. 90% voor Contrast, 89% voor Saturatie).
  • VGQA-Net toonde sterke generalisatie tussen verschillende modellen (testen op modellen die niet in de training zaten).
• User Study: Een vergelijking tussen menselijke beoordelingen en de modelvoorspellingen toonde een hoge correlatie aan (Recall@5 van 0,80 voor esthetiek en 0,83 voor generatiekwaliteit), wat aantoont dat de modellen menselijke oordelen betrouwbaar nabootsen.

Betekenis en Impact

VGA-Bench markeert een paradigmaverschuiving in de evaluatie van video-AI: van de vraag "hoe realistisch is het?" naar "hoe mooi en artistiek is het?".

• Voor Onderzoek: Het biedt een gestandaardiseerde, fijne-granulariteit basis om de vooruitgang van generatieve modellen te meten, niet alleen op technische fouten, maar op artistieke expressie.
• Voor Toepassingen: Het framework kan worden gebruikt voor content moderatie, model debugging (het identificeren van specifieke zwaktes zoals slechte belichting of vervormde beweging) en het optimaliseren van generatieve modellen om beter te aligneren met menselijke esthetische voorkeuren.
• Toekomst: Het legt de basis voor de volgende generatie video-generatiesystemen met verbeterde "esthetische intelligentie" en artistieke controleerbaarheid.