OmniVideoBench: Towards Audio-Visual Understanding Evaluation for Omni MLLMs

Dit paper introduceert OmniVideoBench, een uitgebreid benchmark met 1000 zorgvuldig gecontroleerde vraag-antwoordparen en redeneersporen uit 628 video's, dat is ontworpen om de synergetische audio-visuele redeneervermogens van multimodale grote taalmodellen te evalueren en een aanzienlijke prestatiekloof tussen menselijk en machine redeneren blootlegt.

De kern

De "OmniVideoBench": Een Grote Test voor Slimme Videobots

Stel je voor dat je een nieuwe, superintelligente robot hebt die naar video's kan kijken en naar het geluid kan luisteren. Je wilt weten of deze robot echt begrijpt wat er gebeurt, of dat hij gewoon raadt. Dat is precies wat het team achter OmniVideoBench heeft gedaan. Ze hebben een enorme, zeer moeilijke test gemaakt om te zien hoe goed deze robots (die "Multimodale Large Language Models" of MLLMs heten) echt zijn in het combineren van beeld en geluid.

Hier is een simpele uitleg van wat ze hebben gedaan, met een paar leuke vergelijkingen:

1. Het Probleem: De "Blinde" en de "Dove"

Vroeger waren slimme computers vooral goed in het kijken naar plaatjes (zoals een blindeman die een tekening beschrijft) of het lezen van tekst. Later konden ze ook naar video's kijken. Maar er was een groot gat: ze waren vaak slecht in het samen gebruiken van beeld én geluid.

• De Analogie: Stel je voor dat je een film kijkt met de geluidsdempers aan. Je ziet iemand rennen, maar je hoort niet of hij bang is of dat hij een race wint. Of je hoort een schreeuw, maar je ziet niet wie er schreeuwt.
• De huidige robots: Veel bestaande tests voor robots kijken alleen naar het beeld of behandelen geluid als een "optioneel extraatje". Dat is alsof je een kok test door alleen te kijken of hij een mes vasthoudt, zonder te kijken of hij ook echt kan koken. Ze missen de echte magie van het samen werken van zintuigen.

2. De Oplossing: De Ultieme Videotest

Het team (van de NJU-LINK) heeft OmniVideoBench gebouwd. Dit is geen simpele quiz, maar een enorme, zorgvuldig samengestelde uitdaging.

• De Ingrediënten: Ze hebben 628 echte video's verzameld, variërend van korte clips tot films van 30 minuten. Denk aan nieuws, sport, dagboeken (vlogs) en documentaires.
• De Vragen: Ze hebben 1.000 vragen bedacht die je alleen kunt beantwoorden als je beide zintuigen gebruikt.
  • Voorbeeld: "Waar hangt de poster 'NO ONE FIGHT ALONE'?" Je moet het geluid horen van iemand die zegt: "Ik heb die poster daar gehangen," én dan in het beeld zoeken waar die persoon staat. Als je alleen kijkt of alleen luistert, mis je het antwoord.
• De "Cheat-proof" Regel: Ze hebben erop toegezien dat de vragen niet te makkelijk waren. Als een robot het antwoord al wist door alleen te lezen of alleen te kijken, werd de vraag verwijderd. Het moet echt een samenwerking zijn tussen oog en oor.

3. De Resultaten: De Robots Struikelen

Toen ze deze test lieten doen door de slimste robots ter wereld (zowel de gratis open-source modellen als de dure, gesloten modellen van grote tech-bedrijven), was het resultaat schokkend:

• Geen enkele robot haalde een voldoende. De beste robot (Gemini-2.0-Pro) haalde maar net 58,9%. Dat is net onder het niveau van een "voldoende" (60%).
• De open-source robots deden het bijna net zo goed als raden. Ze haalden rond de 30%, wat betekent dat ze grotendeels op het toeval leken te vertrouwen.
• Muziek is een nachtmerrie. Robots zijn heel goed in het begrijpen van mensen die praten, maar als er muziek te horen is, zakken ze in elkaar. Muziek is abstract (het vertelt een gevoel, geen feiten), en dat vinden robots heel lastig te koppelen aan beelden.
• Lange video's zijn zwaar. Hoe langer de video, hoe meer de robots de draad kwijtraken. Het is alsof je een heel boek moet samenvatten, maar je vergeet de eerste pagina's zodra je bij de laatste bent.

4. Waarom is dit belangrijk?

Dit onderzoek is als een spiegel voor de kunstmatige intelligentie. Het laat zien dat we nog ver verwijderd zijn van een echt "all-round" slimme robot die net zo goed begrijpt wat er in een film gebeurt als een mens.

• Mensen vs. Robots: Mensen haalden 82,69% op deze test. Dat bewijst dat er nog een enorme kloof is tussen wat een robot nu kan en wat een mens kan.
• De Toekomst: Door deze test openbaar te maken, hopen de onderzoekers dat andere wetenschappers en bedrijven hun robots gaan trainen om beter te worden in het "samenwerken" van zien en horen.

Kortom: OmniVideoBench is de "olympiade" voor videobots. Het laat zien dat de huidige robots nog te vaak "blind" zijn voor geluid of "doof" voor beelden, en dat ze nog veel moeten leren om echt slim te worden in een wereld vol video's en geluid.

Technische samenvatting

Titel: OmniVideoBench: Naar Audiovisueel Begrip voor Omni-MLLM's

1. Het Probleem

Multimodale Large Language Models (MLLM's) hebben aanzienlijke vooruitgang geboekt in het begrijpen van video's, maar bestaande benchmarks zijn ontoereikend voor het evalueren van synergetisch redeneren tussen audio en visuele modaliteiten.

• Tekortkomingen in huidige benchmarks: Veel bestaande datasets focussen op korte videoclips (wat lange-termijn temporele afhankelijkheden negeert) of behandelen audio slechts als een optionele of secundaire toevoeging aan visuele informatie.
• Logische inconsistentie: Bestaande evaluaties integreren audio en visie vaak niet op een logisch samenhangende manier, waardoor ze niet de echte uitdagingen van audiovisueel begrip vastleggen. Modellen kunnen vaak het antwoord vinden zonder beide modaliteiten echt te combineren.
• Gevolg: Er is geen robuust instrument om te meten of modellen werkelijk kunnen redeneren door audio en visie complementair te gebruiken voor complexe inferenties.

2. Methodologie

De auteurs introduceren OmniVideoBench, een grootschalig en strikt ontworpen benchmark specifiek voor het evalueren van synergetisch audiovisueel begrip.

• Dataverzameling:
  • Bronnen: 628 diverse video's afkomstig van YouTube en Bilibili.
  • Diversiteit: De video's variëren in duur van enkele seconden tot 30 minuten en vallen onder 8 hoofdcategorieën (bijv. Vlogs, Nieuws, Documentaires, Sport) en 68 subcategorieën.
  • Selectiecriteria: Video's moeten rijke audiovisuele inhoud hebben waarbij audio en visie complementair zijn (geen redundantie). Video's met ingebouwde ondertitels of statische beelden zijn uitgesloten om "cheaten" te voorkomen.
• Data-annotatie en Kwaliteitsborging:
  • Aantal: Er zijn 1.000 hoogwaardige vraag-antwoordparen (QA) gegenereerd.
  • Redeneringsketens: Elk paar is handmatig geannoteerd met stap-voor-stap redeneringstraces. Deze traces specificeren per stap welke modaliteit (audio of visie) wordt gebruikt, welk bewijs eruit wordt gehaald en welke inferentie wordt gemaakt.
  • Filtering: Een geavanceerde pipeline (inclusief menselijke controle en filtering via sterke MLLM's zoals Gemini 2.0 Flash en DeepSeek-V3.1) zorgt ervoor dat:
    1. Vragen niet met slechts één modaliteit kunnen worden beantwoord.
    2. Antwoorden uniek en correct zijn.
    3. Distractors (onjuiste opties) relevant zijn en geen onbedoelde tekstuele hints bevatten.
  • Taaktypes: De dataset omvat 13 zorgvuldig ontworpen vraagtypes, waaronder temporeel redeneren, ruimtelijke lokalisatie, tellen, causale inferentie, samenvatting en sentimentanalyse.

3. Belangrijkste Bijdragen

• OmniVideoBench Dataset: Een unieke dataset met 1.000 QA-paren, elk voorzien van gedetailleerde, stap-voor-stap redeneringstraces die expliciet de rol van audio en visie in het redeneerproces aangeven.
• Uitgebreide Evaluatie: Een uitgebreide evaluatie van zowel gesloten (bijv. Gemini-serie) als open-source MLLM's (bijv. Qwen3-Omni, Baichuan-Omni).
• Nieuwe inzichten: Het paper onthult significante gaten in de huidige staat van de kunst, met name in het vermogen om audio en visie logisch te integreren, en biedt een basis voor toekomstige verbeteringen.

4. Resultaten

De evaluatie op OmniVideoBench toont aan dat huidige modellen nog ver achterlopen bij menselijk redeneren:

• Algemene prestaties: Geen enkel model behaalt een "slagingscijfer" (<60%). Het best presterende model, Gemini-2.0-Pro, bereikt slechts 58,90% nauwkeurigheid. Open-source modellen presteren vaak dicht bij willekeurig gokken.
• Open-source vs. Gesloten: Er is een groot verschil tussen gesloten bronmodellen (zoals Gemini) en open-source modellen, waarbij laatstgenoemden significant achterblijven.
• Invloed van Audio:
  • Modellen presteren slechter op video's met muziek (Gemini-2.5-Pro: 38,46%) vergeleken met spraak (61,66%) of geluidseffecten (57,72%). Dit suggereert moeite met het vertalen van abstracte emotionele cues in muziek naar redenering.
  • Het gebruik van ASR-transcripten (tekst van spraak) in plaats van ruwe audio helpt modellen, maar vervangt niet het vermogen om niet-spraakgeluiden (muziek, omgevingsgeluid) te begrijpen.
• Lange Video's: Hoewel sommige modellen (zoals Gemini-2.5-Pro) redelijk presteren op lange video's, worstelen de meeste modellen met temporele afhankelijkheden over lange duur.
• Taakverschillen: Modellen doen het beter op relationeel redeneren en samenvatting (>80%), maar slecht op achtergrond- en muziekbegrip (<50%).
• Menselijke prestatie: Menselijke annotatoren behalen 82,69% nauwkeurigheid, wat aantoont dat er nog een aanzienlijke kloof is tussen AI en menselijk vermogen.

5. Betekenis en Impact

OmniVideoBench is een cruciale stap voorwaarts in de ontwikkeling van "Omni-Modal" AI:

• Standaardisatie: Het biedt een rigoureuze standaard om te testen of modellen echt audio en visie integreren, in plaats van zich te baseren op één modaliteit of tekstuele hints.
• Richting voor Onderzoek: De resultaten wijzen op specifieke gebieden waar onderzoek nodig is: het verbeteren van cross-modale redenering, het begrijpen van abstracte audio-cues (zoals muziekstijl), en het verwerken van lange temporele contexten.
• Toekomst: Door de dataset en de evaluatieprotocollen openbaar te maken, hopen de auteurs de ontwikkeling van robuustere en generaliseerbaardere multimodale redeneersystemen te stimuleren die dichter bij menselijk begrip komen.

Kortom, OmniVideoBench benadrukt dat echte audiovisuele intelligentie meer vereist dan alleen het verwerken van beelden en tekst; het vereist een diepgaande, logische synthese van geluid en beeld om complexe scenario's te begrijpen.