VABench: A Comprehensive Benchmark for Audio-Video Generation

Titel: VABench: Een Uitgebreide Benchmark voor Audio-Video Generatie

1. Het Probleem

Hoewel er recente doorbraken zijn geboekt in videogeneratie (zoals Sora, Veo, Wan), waarbij modellen visueel overtuigende video's met gesynchroniseerde audio kunnen produceren, ontbreekt er een robuust evaluatiesysteem voor deze multimodale taken. Bestaande benchmarks (zoals VBench) focussen voornamelijk op visuele kwaliteit en missen cruciale aspecten van audio-video synchronisatie.
De huidige uitdagingen zijn:

• Gebrek aan multimodale evaluatie: Bestaande methoden testen vaak alleen video-naar-audio (V2A) of vereisen grondwaarheid (ground truth) audio/video, wat niet werkt voor tekst-naar-audio-video (T2AV) generatie.
• Onderschatting van complexe koppelingen: Fenomenen zoals het Dopplereffect, emotionele synchronisatie tussen geluid en beeld, en de coördinatie tussen achtergrondmuziek en visueel ritme worden zelden gemeten.
• Ruimtelijke audio: De meeste benchmarks negeren de evaluatie van stereofone (twee-kanaals) audio, ondanks dat moderne modellen stereo-uitvoer genereren.

2. Methodologie: VABench Framework

VABench is een uitgebreid, multidimensionaal benchmarkkader dat is ontworpen om de prestaties van synchrone audio-video generatiemodellen systematisch te evalueren.

A. Taken en Data:
Het framework dekt drie hoofdtaken:

1. T2AV (Text-to-Audio-Video): Generatie van video en audio op basis van tekstprompts.
2. I2AV (Image-to-Audio-Video): Generatie van beweging en audio op basis van een statische afbeelding.
3. Stereo Audio-Video Generatie: Evaluatie van de ruimtelijke akoestische eigenschappen (links/rechts kanaal).

Het dataset bevat 778 T2AV en 521 I2AV samples, verdeeld over zeven inhoudscategorieën die zijn gebaseerd op menselijke auditieve perceptie:

• Dieren, Menselijke geluiden, Muziek, Omgevingsgeluiden, Synchrone fysieke geluiden, Complexe scènes, en Virtuele werelden.
  De data is gefilterd en gevalideerd door zowel menselijke werknemers als Large Language Models (LLMs) om semantische nauwkeurigheid te garanderen.

B. Evaluatiemetrics (15 Dimensies):
VABench gebruikt een hybride evaluatiebenadering met twee tracks:

1. Expert Model-based Evaluation (8 metrics):
   • Uni-modale kwaliteit: Spraakhelderheid (DNSMOS), spraakkwaliteit & natuurlijkheid (NISQAv2), en audio-aesthetiek.
   • Cross-modale semantische uitlijning: Uitlijning van tekst-video (ViCLIP), tekst-audio (CLAP), en audio-video (ImageBind).
   • Temporale synchronisatie: Desynchronisatie (Synchformer) en lip-sync (LatentSync).
2. MLLM-based Evaluation (7 metrics):
   • Gebruik van Multimodale Large Language Models (zoals Qwen2.5 Omni) voor menselijke oordelen.
   • Macro-niveau: Beoordeling van uitlijning, kunstzinnigheid, expressiviteit, en realisme (audio en video).
   • Micro-niveau: Gedetailleerde Vraag-Antwoord (QA) paren die specifiek ingaan op fysieke eigenschappen van geluid en visuele details.

C. Stereo-evaluatie:
Een uniek aspect is de evaluatie van stereofone audio via negen akoestische metrics, waaronder ruimtelijke beeldkwaliteit (stereo-breedte, imaging stabiliteit) en signaalintegriteit (fasecoherentie, mono-compatibiliteit).

3. Belangrijkste Resultaten

De auteurs hebben VABench gebruikt om toonaangevende modellen te evalueren, waaronder geïntegreerde AV-modellen (Sora 2, Veo 3, Wan 2.5) en decoupled V+A-combinaties (bijv. Kling + MMAudio).

• Geïntegreerde vs. Decoupled Modellen: Geïntegreerde end-to-end modellen (zoals Veo 3 en Sora 2) presteren over het algemeen beter dan decoupled benaderingen (video-generator + audio-generator). End-to-end training zorgt voor een betere semantische uitlijning en natuurlijkere synchronisatie.
• Sterke en Zwakke Punten:
  • Veo 3 toont de beste algehele prestaties, vooral in audio-kwaliteit en cross-modale uitlijning.
  • Sora 2 excelleert in realisme maar heeft soms moeite met audio-aesthetiek.
  • Wan 2.5 presteert uitstekend in lip-sync en audio-video synchronisatie.
  • Menselijke Geluiden: Dit is een algemene zwakke plek voor alle modellen; het genereren van realistische menselijke spraak en emoties blijft een grote uitdaging.
  • Stereo Audio: Geen enkel model genereert consistent semantisch correcte stereo-audio (bijv. geluiden die specifiek links of rechts komen). Veo 3 toont echter enige ruimtelijke cues, terwijl andere modellen vaak mono-achtige output produceren in een stereo-container.
• Koppeling van Video en Audio: Modellen die de beste video genereren (zoals Kling) kunnen de prestaties van audio-modellen verbeteren wanneer ze worden gecombineerd, maar de geïntegreerde modellen blijven superieur in complexe scenario's.

4. Bijdragen

De belangrijkste bijdragen van dit werk zijn:

1. VABench Framework: De introductie van de eerste uitgebreide benchmark specifiek voor synchrone audio-video generatie, die T2AV, I2AV en stereo-taken dekt.
2. Uitgebreide Metrics: Een suite van 15 fijnmazige metrics die verder gaan dan perceptuele coherentie en fysieke logica, emotionele context en ruimtelijke audio omvatten.
3. Stereo-evaluatie: De integratie van een dedicated evaluatie voor ruimtelijke audio-rendering, wat een nieuwe standaard zet voor de beoordeling van 3D-geluid in gegenereerde video's.
4. Data en Analyse: Een zorgvuldig samengestelde dataset over zeven categorieën en een diepgaande analyse van bestaande state-of-the-art modellen, waardoor inzicht wordt gegeven in de huidige beperkingen van het veld.

5. Betekenis en Toekomstperspectief

VABench stelt een nieuwe standaard voor het evalueren van multimodale generatiemodellen. Het benadrukt dat de volgende stap in videogeneratie niet alleen gaat over visuele resolutie, maar over het creëren van een unified audio-visual space waar geluid en beeld fysiek en emotioneel consistent zijn.

De resultaten tonen aan dat end-to-end training essentieel is voor hoge kwaliteit, maar dat er nog significante ruimte is voor verbetering, vooral op het gebied van menselijke spraak, complexe fysieke interacties en semantisch correcte stereofone audio. VABench biedt onderzoekers een robuust hulpmiddel om deze uitdagingen aan te pakken en de ontwikkeling van realistischere, perceptueel onderbouwde generatieve modellen te sturen.