UniVBench: Towards Unified Evaluation for Video Foundation Models

Dit paper introduceert UniVBench, een nieuw benchmark en evaluatiesysteem dat is ontworpen om de geïntegreerde capaciteiten van video-fundatiemodellen op het gebied van begrip, generatie, bewerking en reconstructie te beoordelen aan de hand van complexe, mensgemaakte video's en gestandaardiseerde instructies.

De kern

Stel je voor dat video-AI's de nieuwe regisseurs van de toekomst zijn. Sommige zijn gespecialiseerd in het kijken en begrijpen van films (wat gebeurt er? wie is dat?), terwijl anderen gespecialiseerd zijn in het maken van films (schrijf een script en ik maak de beelden).

De grote droom is nu een "Universele Regisseur": één AI die zowel kan kijken, begrijpen, schrijven, maken én bewerken. Maar hoe testen we of zo'n AI écht goed is in alles?

Hier komt UniVBench om de hoek kijken. Het is als een nieuwe, super-uitgebreide rijbewijstest voor video-AI's.

Het Probleem: De "Gespecialiseerde" Tests

Tot nu toe waren de tests voor video-AI's als volgt:

• Je had een test alleen voor het herkennen van auto's (maar niet voor het maken van een auto).
• Je had een test alleen voor het maken van een zonsondergang (maar niet voor het begrijpen van de sfeer).
• De films die ze gebruikten waren vaak kort, simpel, of zelfs gestolen (auteursrechtproblemen).

Het was alsof je een auto testte door alleen te kijken of de wielen ronddraaien, zonder te testen of hij ook kan remmen, sturen of over een heuvel kan rijden. Je kreeg geen echt beeld van de totale prestatie.

De Oplossing: UniVBench (De "Masterclass" voor AI)

De onderzoekers hebben UniVBench bedacht. Dit is de eerste test die een AI op vier belangrijke vaardigheden meet, allemaal in één keer:

1. Begrijpen: De AI kijkt naar een video en vertelt je wat er gebeurt.
2. Maken: De AI krijgt een tekst en maakt een video.
3. Bewerken: De AI krijgt een bestaande video en een opdracht (bijv. "verander de kleding van de man in een jas") en past het toe.
4. Opbouwen (De nieuwe uitdaging): Dit is de meest interessante test. De AI moet eerst een video kijken, het verhaal eruit halen, en die video daarna opnieuw maken op basis van wat ze hebben onthouden. Als de AI de video niet goed begrijpt, zal de nieuwe versie er raar uitzien. Het is als een spelletje "verpest de tekening": teken iets, leg het weg, laat iemand anders het beschrijven, en laat een derde persoon het tekenen op basis van die beschrijving. Hoe meer het lijkt op het origineel, hoe beter de AI is.

Waarom is dit zo speciaal?

Stel je voor dat je een filmregisseur wilt testen. De oude tests keken alleen of de acteurs goed stonden (kwaliteit van één shot). UniVBench kijkt naar de hele film:

• Meerdere scènes: De video's in deze test bestaan uit meerdere shots (scènes) die naadloos in elkaar overlopen, net als een echte film.
• Geen gestolen materiaal: Alle video's zijn speciaal gemaakt voor deze test door mensen. Geen auteursrechtproblemen, geen "geleende" beelden.
• Cinema-gevoel: Ze testen niet alleen of er een hond in beeld is, maar ook: Is het licht warm of koud? Is de camera laag of hoog? Is de sfeer spannend of rustig? Ze kijken naar 8 grote categorieën (zoals licht, kleur, camera-beweging) en 21 kleine details.

De "Rechter" (UniV-Eval)

Hoe beoordel je of een video goed is? Vroeger keken ze alleen naar cijfers (bijv. "80% gelijkheid"). Dat zegt je niet waarom het fout ging.

UniVBench gebruikt een slimme AI-Rechter (genaamd UniV-Eval).

• Deze kijkt niet alleen naar het eindresultaat, maar maakt een gedetailleerde checklist.
• Hij zegt niet alleen: "Fout". Hij zegt: "De kleding van de vrouw klopt, maar het licht is te fel, en de camera beweegt te snel."
• Dit helpt ontwikkelaars om precies te zien waar hun AI nog moet oefenen.

Wat leerden we uit de test?

Toen ze de huidige top-AI's op deze test zetten, bleek het volgende:

• Er is nog geen enkele AI die in alles even goed is.
• AI's die goed zijn in het maken van video's, zijn vaak slecht in het begrijpen van complexe acties (bijv. "de kat springt op de tafel en landt op zijn kop").
• De "Opbouwen"-test (Video -> Tekst -> Video) was het moeilijkst. Veel AI's verloren belangrijke details onderweg. Het is alsof je een verhaal hoort, het doorgeeft aan iemand anders, en die het weer doorgeeft: aan het eind is het verhaal vaak verdraaid.

Conclusie

UniVBench is als een nieuwe, eerlijke olympische wedstrijd voor video-AI's. Het stopt met het testen van losse onderdelen en begint de AI te testen op zijn totale vermogen om een film te begrijpen, te maken en te verbeteren. Dit helpt ontwikkelaars om de volgende generatie "Universele Regisseurs" te bouwen die echt kunnen doen wat we van hen verwachten.

Technische samenvatting

Probleemstelling

Video-fundatiemodellen (Video Foundation Models) hebben als doel om videobegrip, -generatie, -bewerking en instructie-opvolging te integreren binnen één enkel kader. Ondanks architecturale vooruitgang blijven de huidige evaluatiemethoden echter gefragmenteerd en beperkt:

1. Taak-specifiek: Bestaande benchmarks richten zich op één taak (bijv. alleen begrip of alleen generatie) en missen een geïntegreerde evaluatie voor modellen die meerdere taken moeten uitvoeren.
2. Beperkte complexiteit: Veel benchmarks gebruiken korte, simpele videoclips of slechts één shot, terwijl realistische video's vaak multi-shot (meerdere scènes) en narratief complex zijn.
3. Auteursrecht en data-vervuiling: Veel datasets gebruiken web-gescrapte content, wat leidt tot auteursrechtproblemen en het risico dat modellen hun eigen trainingsdata "zien" tijdens de evaluatie (data contamination).
4. Gefragmenteerde metrieken: Er is geen uniforme manier om cinematiche kwaliteiten (zoals belichting, camera-werk, stijl) over verschillende taken heen te meten. Bestaande metrics (zoals BLEU of FVD) zijn vaak te grof of niet toepasbaar op alle taken.

Methodologie

De auteurs introduceren UniVBench, een unificerend benchmark-framework dat bestaat uit twee hoofdcomponenten: een nieuw dataset en een geavanceerd evaluatiesysteem.

1. Het Dataset (UniVBench)

• Inhoud: De dataset bevat 200 hoogwaardige, door mensen gemaakte video's. Deze zijn vrij van auteursrechten en specifiek ontworpen voor evaluatie.
• Complexiteit: De video's omvatten zowel single-shot als multi-shot video's (gemiddeld 3,72 shots per video) met narratieve coherentie.
• Annotaties: Elke video is rijk geannoteerd met:
  • Gedetailleerde captions (beschrijvingen).
  • Multi-formaat bewerkingsinstructies.
  • Referentieafbeeldingen.
• Cinematografische Dimensies: De evaluatie is gebaseerd op 8 fundamentele dimensies die zijn opgesplitst in 21 sub-dimensies:
  • Stijl, Onderwerp, Actie, Achtergrond, Camera (focust, shotgrootte, beweging, perspectief, etc.), Belichting, Kleur en Ruimtelijke relaties.

2. Het Evaluatiesysteem (UniV-Eval)

Om de complexiteit van video-evaluatie aan te pakken, hebben de auteurs UniV-Eval ontwikkeld, een "agentic" (agent-gebaseerd) evaluatiesysteem.

• Dynamische Decompositie: Het systeem breekt lange video's op in shots en analyseert deze individueel. Het koppelt referentieafbeeldingen en instructies specifiek aan de juiste shots.
• Multi-dimensionale Scoring: In plaats van één enkel cijfer, gebruikt het systeem een checklist-benadering. Het beoordeelt de output van het model op basis van de 8 dimensies en 21 sub-dimensies.
• Fouttoewijzing: Het systeem kan onderscheid maken tussen fouten in het begrip (perceptie) en fouten in de generatie. Bijvoorbeeld, als een model een verkeerde beschrijving maakt, is het een perceptiefout; als de beschrijving goed is maar de video er anders uitziet, is het een generatiefout.
• Taken: Het systeem evalueert zes geünificeerde taken:
  1. Video-naar-tekst (V2T)
  2. Tekst-naar-video (T2V)
  3. Referentie-afbeelding-naar-video (R2V)
  4. Tekst-instructie-video-bewerking (TV2V)
  5. Referentie-afbeelding-video-bewerking (RV2V)
  6. Video-reconstructie (V2V): Een nieuwe taak waarbij het model een video moet begrijpen, een tekst moet genereren en vervolgens die tekst moet gebruiken om de video opnieuw te genereren. Dit test de koppeling tussen begrip en generatie direct.

Belangrijkste Bijdragen

1. Eerste Multi-shot Dataset: UniVBench is de eerste dataset die specifiek is ontworpen voor de geünificeerde evaluatie van video-modellen, volledig vrij van auteursrechtproblemen en data-vervuiling.
2. Unificerend Agentic Systeem: UniV-Eval biedt een gestandaardiseerde, interpreteerbare en schaalbare manier om prestaties te meten over begrip, generatie, bewerking en reconstructie heen.
3. Principiële Framework voor Foutanalyse: Het biedt een methode om modelcapaciteiten en falen toe te schrijven aan specifieke componenten (perceptie vs. generatie), wat cruciaal is voor gerichte modelverbetering.

Resultaten

De auteurs hebben diverse state-of-the-art modellen (zowel commerciële als open-source) geëvalueerd op UniVBench. De belangrijkste bevindingen zijn:

• Specialisatie vs. Unificatie: Er is een duidelijke kloof tussen modellen die op één taak zijn gespecialiseerd en die voor geünificeerde taken zijn ontworpen.
  • Voorbeeld: Gemini 2.5 Pro scoort uitstekend op videobegrip (V2T), maar presteert slecht op generatie.
  • Voorbeeld: Seedance-1.0-Pro is een leider in tekst-naar-video generatie (T2V), maar heeft moeite met begrip.
• De "Unificatie Gap": Geen enkel bestaand model excelleert momenteel over het volledige spectrum van begrip, generatie en bewerking. Geünificeerde modellen (zoals Showo-2) scoren vaak lager op specifieke taken dan gespecialiseerde modellen.
• Uitdagingen bij Actie: De dimensie "Actie" (temporele dynamiek) krijgt over het algemeen de laagste scores, wat aangeeft dat het nauwkeurig interpreteren en synthetiseren van complexe bewegingen nog een grote uitdaging is.
• Kwaliteit van Reconstructie: De V2V-taak (reconstructie) blootlegt waar informatie verloren gaat tijdens de pipeline van begrip naar generatie. Modellen die goede captions genereren maar slechte video's maken (of vice versa) worden hierdoor duidelijk geïdentificeerd.
• Menselijke Validatie: UniV-Eval toonde een hoge overeenstemming (ongeveer 85%) met menselijke beoordelingen, wat de betrouwbaarheid van het geautomatiseerde systeem bevestigt.

Betekenis

UniVBench stelt een nieuwe standaard voor de evaluatie van video-fundatiemodellen. Door de fragmentatie in de huidige benchmarks weg te nemen, biedt het:

• Een eerlijke vergelijking tussen modellen die verschillende taken uitvoeren.
• Actionable feedback voor onderzoekers door gedetailleerde, shot-level foutanalyses in plaats van alleen een globaal cijfer.
• Een fundament voor de ontwikkeling van echt geünificeerde, instructie-volgende video-intelligentie die zowel kan zien, begrijpen als creëren.

Het paper markeert een verschuiving van het evalueren van losse componenten naar het beoordelen van het complete vermogen van next-generation multimodale systemen.