Daily-Omni: Towards Audio-Visual Reasoning with Temporal Alignment across Modalities

Die Arbeit stellt Daily-Omni vor, ein neues Audio-Visuelles-QA-Benchmark mit 684 Videos und 1.197 Fragen, das die Fähigkeit von Multimodalen Large Language Models zur synchronen Verarbeitung und temporalen Ausrichtung über Modalitäten hinweg evaluiert und dabei zeigt, dass viele aktuelle Modelle bei solchen Aufgaben noch erhebliche Schwierigkeiten haben.

Das Wesentliche

Daily-Omni: Der große Test für das „Zuhören und Sehen" von Künstlicher Intelligenz

Stell dir vor, du bist in einem lauten Café. Du siehst, wie jemand die Tür aufstößt, und hörst gleichzeitig das laute Klack-Klack des Schlosses. Ein menschliches Gehirn verbindet diese beiden Dinge sofort: „Die Tür wurde aufgestoßen, und das Geräusch kommt von dort."

Künstliche Intelligenz (KI), genauer gesagt die neuen „Multimodalen Sprachmodelle" (MLLMs), kann Bilder sehen und Töne hören. Aber sie haben ein großes Problem: Sie sind oft wie zwei getrennte Personen, die nebeneinander sitzen, aber nicht miteinander reden. Eine Person schaut auf das Bild, die andere lauscht dem Ton, aber sie koordinieren sich nicht. Wenn die KI gefragt wird, wann genau das Geräusch mit dem Bild passiert ist, stolpern sie oft.

Das ist genau das Problem, das das Team der Fudan-Universität mit ihrem neuen Projekt Daily-Omni angeht.

Hier ist eine einfache Erklärung, wie sie das gemacht haben:

1. Der neue Prüfstand: Daily-Omni

Stell dir Daily-Omni wie einen riesigen, realistischen Schnupperkurs für KI vor.

• Das Material: Sie haben 684 echte Videos aus dem Alltag gesammelt (nicht nur Musikvideos oder statische Bilder).
• Die Fragen: Dazu gibt es fast 1.200 Multiple-Choice-Fragen.
• Die Herausforderung: Die Fragen zwingen die KI, genau hinzuhören und genau hinzusehen.
  • Beispiel: „Wer hat gerade gesagt 'Hallo', während er winkte?" (Hier muss die KI die Stimme mit der Person im Bild synchronisieren).
  • Beispiel: „Was ist zuerst passiert: Das Glas fiel oder der Hund bellte?" (Hier muss die KI die zeitliche Reihenfolge verstehen).

2. Wie haben sie die Fragen erstellt? (Der halb-automatische Bauplan)

Früher mussten Menschen stundenlang Videos ansehen und Fragen dazu schreiben. Das ist teuer und langsam. Daily-Omni nutzt einen cleveren Fertigungsprozess:

1. Die Roboter-Helfer: Starke KI-Modelle (wie Gemini und DeepSeek) schauen sich die Videos an und beschreiben, was sie sehen und hören.
2. Der Korrektur-Check: Ein anderer KI-Modell prüft: „Hört sich das Geräusch eines schlagenden Tores wirklich so an, wie es aussieht?" Wenn die KI sagt „Ich höre ein Klatschen", aber im Bild sieht man eine Tür, korrigiert sie das.
3. Die Zeit-Synchronisation: Das ist der wichtigste Schritt. Die KI wird angewiesen, genau zu markieren: „Dieses Geräusch passierte genau in diesem Sekundenbruchteil mit diesem Bild."
4. Der menschliche Filter: Am Ende schaut ein echter Mensch nur noch kurz vorbei, um sicherzustellen, dass die Fragen nicht zu einfach sind (z. B. dass man die Antwort nicht nur aus dem Text erraten kann).

3. Der Test: Wer besteht die Prüfung?

Die Forscher haben 24 verschiedene KI-Modelle getestet. Sie haben sie auf verschiedene Arten geprüft:

• Mit Bild und Ton (das Ideal).
• Nur mit Bild (wie ein Tauber).
• Nur mit Ton (wie ein Blinder).
• Nur mit Text (wie ein Buch).

Das überraschende Ergebnis:
Viele der neuesten, super-smarten KI-Modelle haben bei diesem Test schlecht abgeschnitten.

• Das Problem: Selbst wenn sie Bild und Ton haben, können sie die beiden nicht richtig „zusammenfügen". Sie wissen oft nicht, was gleichzeitig passiert.
• Der Gewinner (überraschend!): Ein einfacher, trainingsfreier „Bot" (der Daily-Omni Agent), der verschiedene kleine KI-Tools einfach nur hintereinander schaltet, hat oft besser abgeschnitten als die riesigen, komplexen Modelle.
  • Warum? Weil dieser einfache Bot explizit angewiesen wurde: „Schau erst das Bild, höre dann den Ton, und verbinde sie an dieser Stelle." Die großen Modelle versuchen, alles auf einmal zu verstehen, und verlieren dabei den zeitlichen Faden.

4. Was lernen wir daraus?

Die Botschaft von Daily-Omni ist wie eine Warnung an die KI-Entwickler:

„Es reicht nicht mehr, nur Bilder zu sehen und Töne zu hören. Die KI muss lernen, synchron zu denken."

Stell dir vor, du versuchst, einen Tanz zu lernen. Du kannst die Schritte sehen (Video) und die Musik hören (Audio). Aber wenn du nicht genau weißt, wann du den Fuß heben musst, um auf den Takt zu kommen, stolperst du. Genau das passiert vielen aktuellen KI-Modellen.

Fazit:
Daily-Omni ist wie ein Spiegel, der zeigt, dass unsere KI noch nicht wirklich „allumfassend" (Omni) ist. Sie braucht dringend bessere Werkzeuge, um Zeit, Ton und Bild perfekt aufeinander abzustimmen, bevor sie wirklich intelligente Assistenten im echten Leben sein können.

Technische Zusammenfassung

Hier ist eine detaillierte technische Zusammenfassung des Papers „Daily-Omni: Towards Audio-Visual Reasoning with Temporal Alignment across Modalities" auf Deutsch:

1. Problemstellung

Trotz der beeindruckenden Fortschritte bei Multimodalen Large Language Models (MLLMs) in den Bereichen Bild und Audio einzeln, bleibt die Fähigkeit, diese Modalitäten synchron und zeitlich abgestimmt zu verarbeiten, weitgehend unerforscht. Bestehende Modelle und Benchmarks leiden unter folgenden Mängeln:

• Fokus auf Vision: Viele MLLMs vernachlässigen Audio oder behandeln es nur als Text (Spracherkennung), anstatt nicht-sprachliche Geräusche (Umgebungsgeräusche, mechanische Fehler, emotionale Töne) semantisch zu verstehen.
• Fehlende zeitliche Ausrichtung: Existierende Audio-Visual-Datensätze basieren oft auf statischen Bild-Audio-Paaren oder spezialisierten Szenarien (z. B. nur Musik), die die dynamischen, zeitlichen Zusammenhänge realer Videos ignorieren.
• Mangel an Skalierbarkeit: Benchmarks wie WorldSense sind wertvoll, aber ihre manuelle Erstellung erschwert die Skalierung und die systematische Erforschung von Trainingsmethoden für zeitliche Ausrichtung.

Das Kernproblem ist also die robuste zeitliche Ausrichtung (Temporal Alignment) zwischen auditiven und visuellen Ereignissen, die für komplexes Schlussfolgern in alltäglichen Szenarien unerlässlich ist.

2. Methodik

A. Der Daily-Omni Benchmark

Die Autoren stellen Daily-Omni vor, einen neuen Multiple-Choice-Question-Answering-Benchmark (QA), der speziell auf zeitlich abgestimmtes multimodales Reasoning ausgelegt ist.

• Datensatz: 684 reale Videos aus verschiedenen YouTube-Kategorien (AudioSet, Video-MME, FineVideo), segmentiert in 30- und 60-Sekunden-Clips.
• Umfang: 1.197 Fragen in 6 Aufgabenkategorien:
  1. Audio-Visual Event Alignment (Gleichzeitigkeit von Ereignissen).
  2. Event Sequence (Zeitliche Abfolge).
  3. Reasoning (Ursache-Wirkung).
  4. Inference (Implizite Informationen).
  5. Comparative (Vergleich von Ereignissen).
  6. Context Understanding.
• Pipeline zur Datenerstellung: Um Skalierbarkeit zu gewährleisten, entwickelten die Autoren eine semi-automatische Pipeline:
  1. Segmentierung & Annotation: Videos werden in kurze Segmente unterteilt. MLLMs (Gemini 2.0 Flash) annotieren Audio und Video separat.
  2. Konsistenzprüfung & Revision: Ein Reasoning-LLM (Deepseek-R1) prüft die Konsistenz zwischen visuellen und auditiven Annotationen und korrigiert Fehler (z. B. wenn ein „Türschlagen" im Audio als „allgemeines Geräusch" fehlinterpretiert wurde).
  3. Event Alignment: Ein spezifischer Schritt, der explizit bestimmt, welche visuellen und auditiven Ereignisse gleichzeitig auftreten.
  4. QA-Generierung & Filterung: Deepseek-R1 generiert Fragen. Ein entscheidender Schritt ist das Text-Leakage-Filtering: Fragen, die nur mit Text gelöst werden können (ohne Audio/Video), werden automatisch verworfen.
  5. Human Verification: Manuelle Prüfung durch Annotatoren (ca. 30 Stunden für den gesamten Prozess), um die finale Qualität sicherzustellen (Akzeptanzrate ca. 30%).

B. Diagnose-Baseline: Daily-Omni Agent

Um zu verstehen, wo Modelle scheitern, wurde ein training-freier, modularer Diagnose-Agent entwickelt.

• Architektur: Kombiniert Off-the-Shelf-Modelle (Qwen2-Audio, Qwen2.5-VL, Whisper, Qwen2.5-14B).
• Workflow: Der Agent segmentiert Video/Audio, generiert separate Annotationen, führt eine Konsistenzprüfung durch und nutzt eine Smart Alignment-Strategie. Anstatt globale Beschreibungen zu nutzen, identifiziert der Agent kritische Zeitintervalle, in denen visuelle und auditive Ereignisse synchronisiert werden müssen, um die Frage zu beantworten. Dies dient als „Sanity Check" für die Notwendigkeit expliziter zeitlicher Ausrichtung.

3. Wichtige Beiträge

1. Daily-Omni Benchmark: Ein hochwertiger Datensatz mit 1.197 Fragen, der explizit komplexe, zeitlich abgestimmte Audio-Visual-Reasoning-Aufgaben in alltäglichen Szenarien abdeckt.
2. Skalierbare Pipeline: Ein automatisiertes Framework für Annotation, Revision, zeitliche Ausrichtung und QA-Generierung, das menschlichen Aufwand minimiert und die Reproduzierbarkeit erhöht.
3. Umfassende Evaluierung: Bewertung von 24 Foundation-Modellen unter 37 verschiedenen Konfigurationen (Audio+Video, nur Audio, nur Video, nur Text).
4. Diagnostische Baseline: Der „Daily-Omni Agent" demonstriert, dass explizite zeitliche Ausrichtungssignale die Leistung auch bei einfacheren Modellen steigern können.

4. Ergebnisse

Die Evaluierung von 24 Modellen (inkl. Qwen-Omni-Serie, Gemini, Unified-IO, VideoLLaMA) zeigt folgende Erkenntnisse:

• Schwäche bei zeitlicher Ausrichtung: Viele end-to-end MLLMs, selbst große proprietäre Modelle, haben Schwierigkeiten mit Aufgaben, die eine feingranulare Synchronisation von Audio und Video erfordern.
• Leistungslücke: Der einfache, training-freie Daily-Omni Agent (61,82 % Genauigkeit) schlägt mehrere aktuelle Open-Source-Omni-Modelle und sogar einige proprietäre Modelle. Dies unterstreicht, dass das Problem nicht unbedingt im fehlenden Wissen liegt, sondern in der Architektur zur zeitlichen Verknüpfung.
• Modality-Ablation:
  • Modelle, die nur Audio oder nur Video erhalten, zeigen drastische Leistungseinbußen (z. B. fällt Gemini 2.5 Flash von 73,06 % auf 44,61 % ohne Audio).
  • Interessanterweise ist die Audio-only-Leistung oft höher als die Video-only-Leistung, was zeigt, dass Audio in Daily-Omni keine redundante, sondern eine kritische Informationsquelle ist.
• Einfluss der Ausrichtung: Im Ablationsstudium des Agents führte die „Smart Alignment"-Methode (explizite Suche nach synchronen Ereignissen) zu den besten Ergebnissen. Eine naive Ausrichtung oder gar keine Ausrichtung führte zu schlechteren Ergebnissen, was die Notwendigkeit präziser zeitlicher Grounding-Mechanismen beweist.
• Top-Performer: Modelle wie Qwen3-Omni und Gemini 2.5 Flash schneiden am besten ab, was auf verbesserte Architekturen für multimodale Fusion und zeitliche Modellierung (z. B. TMRoPE) hindeutet.

5. Bedeutung und Fazit

Daily-Omni identifiziert die robuste zeitliche Ausrichtung (Temporal Alignment) als den entscheidenden Engpass für aktuelle einheitliche Multimodal-Architekturen.

• Forschungsrichtung: Die Arbeit zeigt, dass reine Skalierung von Daten oder Parametern nicht ausreicht. Zukünftige Modelle benötigen explizite Mechanismen, um zeitliche Korrelationen zwischen Modalitäten zu lernen und zu nutzen.
• Benchmark-Standard: Daily-Omni bietet einen strengen, skalierbaren Test, der Text-basierte Abkürzungen verhindert und die tatsächliche multimodale Reasoning-Fähigkeit misst.
• Praxisrelevanz: Für Anwendungen, die in der physischen Welt agieren (Roboter, Assistenzsysteme), ist das Verständnis von wann und wie visuelle und auditive Ereignisse zusammenhängen, fundamental. Daily-Omni liefert die Metriken, um diesen Fortschritt zu messen.

Zusammenfassend stellt Daily-Omni einen Meilenstein dar, der den Fokus von reinem multimodalem Verständnis hin zu zeitlich synchronisiertem multimodalem Reasoning verschiebt und gleichzeitig eine klare Roadmap für die Entwicklung zukünftiger Omni-Modelle aufzeigt.