Daily-Omni: Towards Audio-Visual Reasoning with Temporal Alignment across Modalities

Deze paper introduceert Daily-Omni, een nieuw meerkeuze benchmark voor audio-visuele vragen die de uitdagingen blootlegt van bestaande multimodale modellen bij het synchroniseren van tijdsafhankelijke informatie tussen auditieve en visuele modaliteiten.

De kern

🎬 Daily-Omni: De "Synchronisatie-Test" voor AI's

Stel je voor dat je een film kijkt. Je ziet iemand rennen en je hoort zware voetstappen. Je hersenen koppelen die twee dingen direct aan elkaar: die voetstappen horen bij die rennende persoon op dat exacte moment.

Voor kunstmatige intelligentie (AI) is dit echter nog steeds een enorme uitdaging. Veel moderne AI's zijn goed in kijken (visueel) of goed in luisteren (auditief), maar ze hebben moeite om die twee werelden op hetzelfde moment te laten samenkomen. Ze zien de film en horen de geluiden, maar ze "voelen" niet dat ze bij elkaar horen.

De auteurs van dit paper (van de Universiteit van Fudan) hebben daarom Daily-Omni bedacht. Het is een nieuwe test voor AI's, speciaal ontworpen om te kijken of ze echt begrijpen wat er in een video gebeurt, door te kijken én te luisteren.

1. Het Probleem: De "Doofstomme" AI

Tot nu toe zijn veel AI's als een blinde muzikant of een doof schilder.

• Sommige AI's kijken alleen naar het beeld (zoals een schilder die geen geluid hoort).
• Andere AI's luisteren alleen naar de audio (zoals een muzikant die blind is).
• De nieuwste AI's proberen beide te doen, maar vaak kijken ze naar het beeld en luisteren ze naar het geluid alsof het twee losse dingen zijn. Ze missen de synchronisatie.

Vergelijking: Stel je voor dat je een orkest hebt waar de violist en de drummer niet op elkaar letten. De violist speelt een langzaam liedje, terwijl de drummer razendsnel trommelt. Een mens zou zeggen: "Dat klopt niet!" Maar een AI zonder goede synchronisatie zou denken: "Nee, dit is gewoon muziek en drummen, alles is prima."

2. De Oplossing: De Daily-Omni Test

De onderzoekers hebben een nieuwe testbank gemaakt met 684 echte video's uit het dagelijks leven (geen studio-opnames, maar echte situaties) en 1.197 vragen.

Deze vragen dwingen de AI om te denken als een detective die zowel oog als oor gebruikt:

• Voorbeeld 1: "Wie zegt 'hallo' terwijl hij zwaait?" (De AI moet het geluid van de stem koppelen aan de beweging van de hand op dat specifieke moment).
• Voorbeeld 2: "Wat hoor je in het begin van de video, en wat verandert er later?" (De AI moet de tijdlijn volgen).

Het is alsof je een AI een film geeft en vraagt: "Vertel me precies wat er gebeurt, maar let op: als de deur dichtslaat, moet je ook horen wanneer die dichtslaat, niet alleen dat hij dichtgaat."

3. Hoe hebben ze dit gemaakt? (De "AI-Fabriek")

Het maken van zo'n test is moeilijk. Mensen kunnen niet duizenden video's per seconde bekijken en annoteren. Daarom hebben ze een semi-automatische fabriek gebouwd:

1. Snijden: Ze knippen lange video's in stukjes van 30 of 60 seconden.
2. AI-Hulp: Ze gebruiken andere slimme AI's om eerst te beschrijven wat ze zien en horen.
3. De "Redacteur": Een nog slimmere AI (een "Redacteur") kijkt naar die beschrijvingen en zegt: "Wacht, hier is een fout. Je zegt dat de deur dichtslaat, maar in de video zie je dat het een raam is. Pas het aan!"
4. De "Vervalser": Ze maken vragen die zo slim zijn dat een AI die alleen tekst leest (zonder video of geluid) ze niet kan beantwoorden. Als de AI het antwoord al weet door alleen te lezen, is de vraag te makkelijk en wordt hij weggegooid.

Het resultaat is een test die echt moeilijk is en waar je voor moet kijken én luisteren.

4. De Resultaten: De "Grote Teleurstelling"

Toen ze de beste AI's van vandaag de dag (zoals de nieuwste versies van Qwen, Gemini en andere modellen) op deze test zetten, gebeurde er iets verrassends:

• De "Alles-in-één" AI's: De meest geavanceerde AI's, die zowel video als audio kunnen verwerken, bleven vaak steken. Ze haalden vaak slechtere scores dan je zou verwachten.
• De "Simpele" AI: De onderzoekers bouwden een simpele, losse AI (de "Daily-Omni Agent"). Deze AI deed geen ingewikkelde magie, maar deed iets heel slim: hij splitste de video en het geluid op in kleine stukjes en zocht specifiek naar momenten waar iets gebeurde.
  • Vergelijking: Stel je voor dat je een zoektocht doet in een groot huis. De geavanceerde AI loopt door het hele huis en probeert alles in één keer te onthouden. De simpele AI neemt een lijstje, loopt kamer voor kamer, en zegt: "Hier is de sleutel."
  • Het resultaat: Deze simpele, gestructureerde AI deed het soms beter dan de super-slimme, dure AI's.

5. Wat betekent dit voor de toekomst?

De boodschap van dit paper is duidelijk: AI's zijn nog niet goed in "synchroniseren".

Ze kunnen zien en horen, maar ze hebben moeite om die twee dingen op het exacte juiste tijdstip aan elkaar te koppelen. Het is alsof ze een film kijken met een geluidsvertraging van een seconde; ze zien de actie, maar horen het geluid te laat, waardoor ze de betekenis missen.

Conclusie in één zin:
Daily-Omni is een nieuwe, strenge test die laat zien dat AI's nog moeten leren om niet alleen te kijken en te luisteren, maar om die twee zintuigen perfect op elkaar af te stemmen, net zoals wij mensen dat doen. Zolang ze dat niet kunnen, zullen ze moeite hebben met het begrijpen van de echte, complexe wereld om ons heen.

Technische samenvatting

Hier is een gedetailleerde technische samenvatting van het paper "Daily-Omni: Towards Audio-Visual Reasoning with Temporal Alignment across Modalities" in het Nederlands.

Probleemstelling

Hoewel Multimodale Grootte Taalmodellen (MLLMs) indrukwekkende prestaties hebben geleverd op afzonderlijke visuele en auditieve benchmarks, blijft hun vermogen om synchroon kruis-modale informatie te verwerken grotendeels onontgonnen. Bestaande modellen en datasets lijden onder drie belangrijke beperkingen:

1. Visuele dominantie: Veel modellen negeren audio of focussen uitsluitend op spraak, waardoor ze slecht presteren in complexe akoestische omgevingen met niet-spraakgeluiden (bijv. omgevingsgeluiden, mechanische storingen).
2. Gebrek aan temporele uitlijning: Bestaande audio-visuele datasets gebruiken vaak statische beeld-geluid paren of zijn beperkt tot specifieke domeinen (zoals muziek of panorama's), waardoor ze de dynamische temporele relaties in echte video's niet vastleggen.
3. Schalingsproblemen: Eerdere benchmarks (zoals WorldSense) vertrouwen op handmatige annotatie, wat de schaalbaarheid beperkt, en bieden weinig methodologische richtlijnen voor het verbeteren van modelarchitecturen.

Het kernprobleem is dat huidige end-to-end MLLMs moeite hebben met temporele uitlijning: het correct synchroniseren van specifieke geluidsevents met hun visuele tegenhangers in de tijd.

Methodologie: Daily-Omni

De auteurs introduceren Daily-Omni, een nieuw meerkeuze Audio-Visual QA-benchmark en een schaalbaar bouwproces.

1. Dataset Constructie:

• Data: 684 realistische video's (30 en 60 seconden) afkomstig van diverse bronnen (AudioSet, Video-MME, FineVideo), afkomstig uit 11 YouTube-categorieën.
• Aantal Vragen: 1.197 meerkeuzevragen verdeeld over 6 taakfamilies:
  1. AV Event Alignment: Welke geluid en beeld gebeurtenissen vinden gelijktijdig plaats?
  2. Event Sequence: Wat is de temporele volgorde van gebeurtenissen?
  3. Reasoning: Wat is de oorzaak van een gebeurtenis?
  4. Inference: Wat kan worden afgeleid dat niet expliciet zichtbaar/hoorbaar is?
  5. Comparative: Vergelijking van geluid/beeld tussen verschillende segmenten.
  6. Context Understanding: Begrip van de context rondom een gebeurtenis.

2. Schaalbaar Annotatie-Pipeline:
Om de dataset kostenefficiënt en kwalitatief hoogwaardig te maken, ontwikkelden de auteurs een semi-automatische pipeline:

• Segmentatie: Video's worden opgesplitst in kortere segmenten (10s/20s) om de prestaties van MLLMs bij lange audio-clips te verbeteren.
• Onafhankelijke Annotatie: Een model (Gemini 2.0 Flash) genereert visuele en auditieve annotaties onafhankelijk van elkaar.
• Consistentie & Correctie: Een Reasoning LLM (Deepseek-R1) gebruikt de visuele annotaties om auditieve fouten te corrigeren (bijv. een "algemeen klapgeluid" corrigeren naar "deur dichtslaan" op basis van visuele context).
• Temporele Uitlijning: Een specifiek proces koppelt geluidsevents direct aan visuele events binnen dezelfde tijdssegmenten.
• Leakage Filtering: Vragen worden getest op "tekst-only" prestaties. Als een LLM het antwoord kan raden zonder audio/video, wordt de vraag verworpen om te voorkomen dat modellen de multimodale vaardigheid omzeilen.
• Menselijke Validatie: Een menselijke annotator controleert de resterende vragen (acceptatiegraad ~30%), wat resulteert in een hoogwaardige dataset.

3. Diagnostic Baseline (Daily-Omni Agent):
Om de impact van temporele uitlijning te isoleren, bouwen de auteurs een trainingsvrije, modulaire baseline. Deze agent combineert gespecialiseerde unimodale modellen (Qwen2-Audio, Qwen2.5-VL, Whisper) in een decoupled workflow:

• Het splitst video/audio op.
• Genereert annotaties per segment.
• Voert expliciete temporele grounding uit om kritieke gebeurtenissen te lokaliseren.
• Koppelt deze gebeurtenissen aan elkaar voordat het antwoord wordt gegenereerd.
  Dit dient als een "sanity check" om te laten zien hoeveel prestatie er verloren gaat door het ontbreken van expliciete uitlijning in end-to-end modellen.

Belangrijkste Resultaten

De auteurs hebben 24 fundamentele modellen geëvalueerd onder 37 verschillende modale instellingen (Audio+Video, Alleen Audio, Alleen Video, Alleen Tekst).

1. Prestatie van End-to-End Modellen: Veel state-of-the-art Omni-modal Language Models (OLMs) worstelen met vragen die temporele uitlijning vereisen. Sommige oudere modellen presteren zelfs slechter dan tekst-only modellen.
2. Superioriteit van de Baseline: De simpele, trainingsvrije Daily-Omni Agent (61,82% nauwkeurigheid) presteert beter dan diverse recente open-source omni-modale modellen en zelfs sommige gesloten bron-modellen. Dit suggereert dat het expliciet maken van temporele uitlijningssignalen cruciaal is.
3. Modale Ablatie: Wanneer audio of video wordt verwijderd, daalt de prestatie van de beste modellen (zoals Gemini 2.5 Flash en Qwen3-Omni) drastisch (bijv. van 73% naar 54% zonder video). Dit bevestigt dat de vragen echt multimodaal zijn en niet op tekst of één modus kunnen worden opgelost.
4. Impact van Uitlijning: In ablatiestudies binnen de baseline-agent bleek dat "Smart Alignment" (expliciete koppeling van events) significant beter presteert dan "Naive Alignment" of geen uitlijning. Dit wijst erop dat de huidige zwakke schakel in OLMs de onnauwkeurigheid in temporele grounding is.
5. Top Performers: Propriëtaire modellen zoals Gemini 2.5 Flash (73,06%) en de Qwen3-Omni serie presteren het beste, waarschijnlijk dankzij geavanceerde temporele positie-embeddings (zoals TMRoPE) en betere fusie-architecturen.

Bijdragen en Significantie

• Nieuwe Benchmark: Daily-Omni vult een gat in de literatuur door zich specifiek te richten op temporeel uitgelijnde redenering in alledaagse scenario's, in tegenstelling tot statische of domein-specifieke datasets.
• Schaalbare Methode: De gepresenteerde pipeline voor semi-automatische annotatie en filtering biedt een blauwdruk voor het bouwen van toekomstige grote multimodale datasets zonder volledige afhankelijkheid van dure handmatige annotatie.
• Diagnostisch Inzicht: De studie blootlegt dat het ontbreken van robuuste temporele uitlijningsmechanismen een fundamentele beperking is voor huidige unified architecturen. Het feit dat een modulaire, trainingsvrije baseline betere resultaten boekt dan geïntegreerde modellen, is een sterk signaal voor de onderzoeksgemeenschap.
• Toekomstige Richting: Het paper onderstreept dat toekomstige MLLM-ontwikkeling zich moet richten op nauwkeurigere en robuustere temporele grounding en uitlijning tussen modaliteiten om complexe audio-visuele redenering te kunnen uitvoeren.

Kortom, Daily-Omni demonstreert dat hoewel MLLMs sterke unimodale vaardigheden hebben, ze nog niet klaar zijn voor complexe, synchrone audio-visuele interactie zonder expliciete mechanismen voor temporele uitlijning.