LVOmniBench: Pioneering Long Audio-Video Understanding Evaluation for Omnimodal LLMs

Dit paper introduceert LVOmniBench, een nieuw benchmark voor het evalueren van de vaardigheden van omnimodale grote taalmodellen in het begrijpen van langdurige audio-video-inhoud, waarbij wordt aangetoond dat bestaande modellen nog aanzienlijke uitdagingen ondervinden bij het verwerken van extensieve multimodale input.

De kern

Stel je voor dat je een super-intelligente robot hebt die niet alleen kan lezen, maar ook naar video's kan kijken en naar audio kan luisteren. Deze robot, een "OmniLLM", is zo slim dat hij een gesprek met je kan voeren terwijl hij naar een film kijkt.

Maar tot nu toe was er een groot probleem: we testten deze robots alleen met korte filmpjes, zoals een TikTok van 10 seconden of een nieuwsbericht van 2 minuten. Dat is als het testen van een marathonloper door te kijken hoe snel hij de eerste 100 meter loopt. Het zegt je niets over zijn uithoudingsvermogen.

In de echte wereld zijn video's vaak lang: een documentaire van een uur, een tutorial over koken, of een vlog van een reis. Hierin gebeuren er veel dingen achter elkaar, en de geluiden en beelden hangen nauw met elkaar samen.

De auteurs van dit paper hebben een nieuwe test ontwikkeld, genaamd LVOmniBench. Hier is hoe het werkt, vertaald naar simpele taal:

1. De "Marathon" voor Robots

In plaats van korte filmpjes, hebben de onderzoekers 275 lange video's verzameld. Sommige duren 10 minuten, andere zelfs 90 minuten.

• De Analogie: Stel je voor dat je eerder alleen korte sprintjes liet rennen. Nu hebben ze een hele marathon voor ze neergelegd. De video's gaan over van alles: van koken en reizen tot films en documentaires.

2. De Vragen: Niet zomaar "Wat zie je?"

Ze hebben 1.014 vragen bedacht die je niet kunt beantwoorden als je alleen kijkt of alleen luistert. Je moet allebei doen.

• Voorbeeld: Stel, in een video loopt een man door een tuin. Hij zegt: "Kijk, daar is Toby!" (een hond). Later zegt hij: "Oh, Toby is weer hier."
• De Vraag: "Hoe vaak heeft de man Toby in de tuin ontmoet?"
• Het Probleem: De robot moet niet alleen de hond zien, maar ook de stem horen en onthouden hoeveel keer dat gebeurde in die lange video. Als de robot alleen kijkt, mist hij de naam. Als hij alleen luistert, ziet hij niet of het dezelfde hond is.

3. De Testresultaten: Een flinke teleurstelling

Toen ze de beste robots (zowel de dure, gesloten modellen van Google als de gratis, open-source modellen) deze test lieten doen, was het resultaat schokkend:

• De "Topper" (Gemini 3 Pro): Deze slimste robot haalde ongeveer 65% goed. Dat klinkt goed, maar voor een slimme robot die zo'n dure video's moet analyseren, is dat eigenlijk nog een flinke fout.
• De "Gratis Robots": De open-source modellen haalden vaak minder dan 35%. Dat is bijna net zo goed als raden (25%).
• De Conclusie: De robots zijn nog niet klaar voor lange video's. Ze raken de draad kwijt, vergeten wat er 20 minuten geleden gebeurde, of verwarren geluiden met beelden.

4. Waarom lukt het ze niet? (De "Gaten" in de kennis)

De onderzoekers keken waar de robots precies vastliepen:

• Het geheugen: Ze vergeten snel wat er eerder in de video gebeurde.
• De synchronisatie: Ze kunnen niet goed koppelen wanneer iets gebeurt. Bijvoorbeeld: "Hoor ik die geluiden nu, of was dat 5 minuten geleden?"
• De "Blindheid" voor geluid: Soms kijken ze alleen naar het beeld en negeren ze wat er gezegd wordt, of andersom. Ze kunnen de twee werelden niet goed samenvoegen.
• Muziek en emotie: Ze zijn heel slecht in het begrijpen van muziek of de toon van een stem (is iemand boos of blij?).

5. Wat betekent dit voor de toekomst?

Dit paper is een wake-up call. Het zegt: "We denken dat onze robots slim zijn, maar in de lange, echte wereld zijn ze nog niet zo slim als we denken."

Deze nieuwe test (LVOmniBench) is als een nieuwe rijbewijstest voor robots. Tot nu toe konden ze alleen in een parkeergarage rijden (korte video's). Nu moeten ze de snelweg op (lange video's). De resultaten tonen aan dat er nog veel werk aan de winkel is voordat robots echt kunnen "meedenken" met lange films of documentaires.

Kort samengevat:
De onderzoekers hebben een moeilijke proef gemaakt voor slimme AI's met lange video's. De robots zakten er zwaar voor door. Het bewijst dat we nog veel moeten leren over hoe computers lange verhalen kunnen begrijpen waarbij geluid en beeld perfect samenspel moeten zijn.

Technische samenvatting

Probleemstelling

Recente vooruitgangen in Omnimodal Large Language Models (OmniLLMs) hebben de capaciteit om audio- en video-invoer te begrijpen aanzienlijk verbeterd. Echter, de huidige evaluatiemethoden lijden onder een kritiek tekort: ze richten zich bijna uitsluitend op korte audio- en videoclips (van 10 seconden tot 5 minuten). Dit weerspiegelt niet de realiteit van toepassingen in de echte wereld, waar video's vaak tientallen minuten duren en complexe, verweven audio-visuele stromen bevatten.

De bestaande benchmarks missen de noodzakelijke tijdsdimensie om de uitdagingen van langdurig (long-form) gezamenlijk audio-visueel redeneren te testen. Hierdoor blijft het onduidelijk hoe goed deze modellen presteren bij taken die langdurig geheugen, tijdslocalisatie en fijnmazig begrip vereisen over uitgebreide contexten.

Methodologie: LVOmniBench

Om deze kloof te dichten, stellen de auteurs LVOmniBench voor, het eerste benchmark dat specifiek is ontworpen voor de rigorieuze evaluatie van OmniLLMs op lange audio-visuele inhoud. De constructie van het dataset volgt een strikt proces:

1. Dataverzameling en Selectie:

   • Er zijn video's verzameld van YouTube onder strikte Creative Commons-licenties om auteursrechtproblemen te voorkomen.
   • De video's zijn gefilterd op dynamische inhoud en rijke audio-visuele informatie.
   • Het eindresultaat bestaat uit 275 hoogwaardige video's met een duur van 10 tot 90 minuten (gemiddeld ~34 minuten en 29 seconden). Dit is 6 tot 20 keer langer dan bestaande benchmarks.
   • De video's dekken vijf hoofdcategorieën: entertainment, lifestyle, DIY & koken, documentaires en film & TV (21 subcategorieën).

2. Annotatie en Vraaggeneratie:

   • Er zijn 1.014 meerkeuzevragen (QA-paren) handmatig gegenereerd door experts.
   • Strenge richtlijnen: Vragen vereisen gezamenlijk redeneren over audio en video. Vragen die met slechts één modality (alleen beeld of alleen tekst) kunnen worden beantwoord, zijn verwijderd. Ook zijn vragen gebaseerd op algemene kennis of met expliciete tijdstippen verwijderd om "snelle shortcuts" te voorkomen.
   • Taxonomie: De vragen zijn ingedeeld in vier cognitieve niveaus:
     • Perceptie: Objecteigenschappen, tellingen, muziekperceptie.
     • Begrip: Identificatie van entiteiten, acties en context.
     • Inferentie: Ruimtelijke, temporele en geluidsgerelateerde redenering.
     • Logica: Complexe causale ketens en multi-stap redenering.
   • Elke vraag is ook getoetst op moeilijkheidsgraad (Laag, Middel, Hoog).

Belangrijkste Bijdragen

1. Eerste Benchmark voor Lange Audio-Video: LVOmniBench is het eerste dataset dat specifiek de uitdagingen van langdurige (tot 90 minuten) en gezamenlijke audio-visuele verwerking test.
2. Handmatige Kwaliteitsborging: In tegenstelling tot veel benchmarks die gebruikmaken van LLM's voor automatische generatie (wat vaak hallucinaties veroorzaakt), zijn alle video's en vragen handmatig geselecteerd en geannoteerd door mensen.
3. Uitgebreide Evaluatie: Het benchmark biedt een hiërarchische evaluatie op basis van moeilijkheidsgraad en vraagtype, wat dieper inzicht geeft dan alleen een gemiddelde score.
4. Empirische Bevindingen: Het paper levert een uitgebreide analyse van de huidige staat van de kunst, inclusief een vergelijking tussen gesloten (proprietary) en open-source modellen.

Resultaten

De auteurs hebben diverse state-of-the-art (SOTA) modellen getest, waaronder gesloten modellen (Gemini 3 Pro/Flash) en open-source modellen (Qwen3-Omni, MiniCPM-o, Ming-Omni, etc.).

• Algemene Prestaties:
  • Proprietary Modellen: De beste prestaties werden geleverd door Gemini 3 Pro, met een piekaccuraatheid van ongeveer 65,8%. Dit is een aanzienlijke verbetering ten opzichte van eerdere versies (Gemini 2.0 Flash: ~42,9%).
  • Open-Source Modellen: Open-source modellen presteren aanzienlijk slechter, met accuraten onder de 35%. Modellen zoals Qwen3-Omni en MiniCPM-o 4.5 scoren rond de 34-35%, wat slechts marginaal beter is dan willekeurig gokken op de moeilijkste vragen.
• Uitdagingen:
  • Tijdsredenering: Modellen hebben grote moeite met het lokaliseren van gebeurtenissen in lange video's.
  • Muziekperceptie: Het begrijpen van niet-talige audio (zoals muziek en emotie) is een zwak punt; modellen vertrouwen vaak te veel op visuele aanwijzingen.
  • Cross-modale Alignatie: Er is een duidelijke "semantische kloof" tussen audio en video. Modellen slagen er vaak niet in om informatie uit beide modaliteiten effectief te combineren voor complexe redeneertaken.
• Ablatie Studies: Het vervangen van de originele audio door ASR-transcripties (tekst) leidde bij open-source modellen soms tot verbetering, wat suggereert dat ze de ruwe audio niet goed verwerken. Gesloten modellen (Gemini) presteerden echter beter met de originele audio, wat aantoont dat niet-talige signalen (intonatie, emotie) cruciaal zijn.

Betekenis en Toekomstperspectief

LVOmniBench onthult dat er een substantiële kloof bestaat tussen de huidige capaciteiten van OmniLLMs en de eisen van real-world toepassingen met lange video's.

• Noodzaak voor Verbetering: De resultaten benadrukken dat de verwerking van langdurige audio-sequenties en de nauwkeurige alignatie tussen audio en video de belangrijkste bottlenecks zijn voor de volgende generatie modellen.
• Richting voor Onderzoek: Het paper roept op tot onderzoek in:
  • Efficiënte compressie van lange audio-sequenties.
  • Verbeterde cross-modale alignatie (voorkomen van modality bias).
  • Betere tijdslocalisatie (temporal grounding) over lange duur.
  • Het ontwikkelen van modellen die ruwe audio (niet alleen tekst) diepgaand kunnen begrijpen.

Samenvattend biedt LVOmniBench een cruciaal hulpmiddel om de voortgang van multimodale AI te meten en stimuleert het de ontwikkeling van robuustere modellen die werkelijk complexe, langdurige audio-visuele scenario's kunnen doorgronden.