LVOmniBench: Pioneering Long Audio-Video Understanding Evaluation for Omnimodal LLMs

Die Arbeit stellt LVOmniBench vor, ein neues Benchmark-Dataset mit 275 langformatigen Audio-Video-Aufnahmen und 1.014 Fragen, das die signifikanten Defizite aktueller omnimodaler Sprachmodelle beim Verständnis über längere Zeiträume aufzeigt und als Grundlage für zukünftige Forschung dient.

Das Wesentliche

Stellen Sie sich vor, Sie haben einen sehr klugen Roboter-Freund, der alles sehen und hören kann. Er kann Bilder beschreiben, Musik erkennen und kurze Videos verstehen. Das ist der aktuelle Stand der Technik bei sogenannten „Omnimodal"-Künstlichen Intelligenzen (OmniLLMs).

Aber hier ist das Problem: Bisher haben wir diesen Robotern nur kurze Clips vorgeführt – wie ein 30-Sekunden-TikTok oder ein 5-minütiges YouTube-Video. Das ist für sie wie ein kurzer Spaziergang im Park.

Die Forscher hinter diesem Papier (LVOmniBench) sagen jedoch: „Im echten Leben laufen die Dinge nicht in 30 Sekunden ab." Ein echter Film, ein Dokumentarfilm oder ein langer Vlog dauert oft 30 bis 90 Minuten. Das ist für einen Roboter wie ein Marathonlauf, bei dem er nicht nur laufen, sondern auch den Weg im Gedächtnis behalten, Geräusche zuordnen und komplexe Zusammenhänge verstehen muss.

Hier ist die einfache Erklärung der Studie, verpackt in ein paar anschauliche Bilder:

1. Der neue Prüfstein: LVOmniBench

Die Forscher haben einen neuen „Prüfstand" (einen Benchmark) gebaut, den sie LVOmniBench nennen.

• Das Konzept: Statt kurzer Clips haben sie 275 lange Videos (durchschnittlich über 34 Minuten lang) ausgewählt.
• Die Aufgabe: Dazu haben sie 1.014 Fragen erstellt, die man nur beantworten kann, wenn man sowohl das Bild als auch den Ton gleichzeitig versteht.
• Die Analogie: Stellen Sie sich vor, Sie schauen einen langen Dokumentarfilm über einen Gärtner.
  • Frage: „Wie viele Töpfe mit Petunien hat der Gärtner am Ende übrig, nachdem er im Video gesagt hat, dass er einige verschenkt hat?"
  • Um das zu lösen, muss der Roboter:
    1. Das Video über die ganze Länge verfolgen (Gedächtnis).
    2. Hören, was der Gärtner sagt (Audio).
    3. Zählen, wie viele Töpfe er im Bild sieht (Visuell).
    4. Die beiden Informationen kombinieren (Logik).

2. Die Ergebnisse: Wer besteht den Test?

Die Forscher haben verschiedene KI-Modelle getestet, von den besten kostenlosen Open-Source-Modellen bis hin zu den teuersten, geschlossenen Modellen (wie Googles Gemini).

• Die Open-Source-Modelle (Die „Freien"): Diese Modelle haben es extrem schwer. Sie liegen oft nur bei 35 % Richtigkeit.
  • Vergleich: Das ist fast so, als würde jemand raten. Sie verlieren den Faden, wenn das Video zu lange wird, oder sie hören nur zu, ohne hinzusehen (oder umgekehrt).
• Die Spitzenmodelle (Die „Profis"): Das beste Modell (Gemini 3 Pro) schafft es auf 65 %.
  • Vergleich: Das ist gut, aber bei weitem nicht perfekt. Selbst der klügste Roboter stolpert über die langen Videos. Er verliert sich in der Zeit, zählt falsch oder versteht die Stimmung in der Musik nicht.

3. Wo liegen die Probleme? (Die Fehleranalyse)

Die Forscher haben sich genau angesehen, wo die KIs hängen bleiben:

• Das „Gedächtnis-Problem": Bei 90 Minuten Video vergisst die KI oft, was am Anfang passiert ist, wenn sie am Ende eine Frage bekommt.
• Das „Hör-Problem": Viele Modelle ignorieren den Ton. Sie schauen nur auf das Bild. Wenn im Video jemand sagt: „Oh, das ist ein falscher Weg!", aber im Bild sieht es gut aus, verlassen sich die KIs oft nur auf das Bild und hören nicht zu.
• Das „Musik-Problem": KIs sind gut darin, Sprache zu verstehen (wie ein Transkript), aber schlecht darin, Musik oder emotionale Töne zu deuten. Eine traurige Melodie oder ein lachendes Geräusch wird oft nicht richtig erfasst.
• Die „Zeit-Verwirrung": Die KIs wissen oft nicht genau, wann etwas passiert ist. Sie verwechseln Szenen, die 10 Minuten auseinanderliegen.

4. Warum ist das wichtig?

Bisher haben wir KIs nur mit kurzen Aufgaben getestet. Das war wie ein Autoführerschein, bei dem man nur geradeaus auf einer leeren Straße fahren musste.
LVOmniBench ist wie die Prüfung für einen LKW-Fahrer im dichten Stadtverkehr bei Regen und Nebel.

Die Studie zeigt uns:

1. Unsere KIs sind noch nicht bereit für echte, lange Filme oder komplexe Überwachungskamerasysteme.
2. Es gibt eine riesige Lücke zwischen den teuren Firmen-Modellen und den kostenlosen Modellen.
3. Um wirklich „intelligent" zu sein, müssen die KIs lernen, Audio und Video über lange Zeiträume hinweg perfekt zu verknüpfen, nicht nur kurz hintereinander.

Fazit:
Die Forscher haben einen neuen, sehr schwierigen Test entwickelt, der zeigt, dass unsere KI-Brüder und -Schwestern noch viel lernen müssen, bevor sie echte lange Filme verstehen können. Es ist ein wichtiger Schritt, um die nächste Generation von KI zu bauen, die nicht nur kurzfristige Aufgaben löst, sondern echte Geschichten über Stunden hinweg begreift.

Technische Zusammenfassung

1. Problemstellung

Trotz rascher Fortschritte bei omnimodalen Large Language Models (OmniLLMs), die Text, Bild, Video und Audio verarbeiten können, besteht eine kritische Lücke in der Evaluierung:

• Fokus auf kurze Clips: Bestehende Benchmarks konzentrieren sich hauptsächlich auf kurze Audio- und Videoausschnitte (10 Sekunden bis 5 Minuten).
• Realitätsferne: Reale Anwendungen erfordern jedoch oft das Verständnis von längeren Inhalten (Dutzende von Minuten), die komplexe, zeitlich verzahnte Audio-Video-Ströme beinhalten.
• Mangelnde Evaluierung: Es fehlt an einem umfassenden Benchmark, der die Fähigkeiten von OmniLLMs bei der Verarbeitung langer, integrierter Audio-Video-Sequenzen testet, insbesondere in Bezug auf Langzeitgedächtnis, zeitliche Lokalisierung und feinabgestimmtes cross-modales Verständnis.

2. Methodik: Aufbau von LVOmniBench

Die Autoren stellen LVOmniBench vor, den ersten umfassenden Benchmark speziell für das Verständnis langer Audio-Video-Inhalte.

• Datensatz-Kuration:
  • Quellen: Videos stammen von YouTube und unterliegen strengen Creative-Commons-Lizenzen (CC), um Open-Source-Verfügbarkeit zu gewährleisten.
  • Auswahlkriterien: Aus einer Anfangspool von über 3.000 Rohvideos wurden manuell 275 hochwertige Videos ausgewählt.
  • Dauer: Die Videos reichen von 10 bis 90 Minuten (Durchschnitt: ca. 34 Minuten), was eine 6- bis 20-fache Steigerung gegenüber bestehenden Benchmarks darstellt.
  • Kategorien: Die Videos decken fünf Hauptbereiche ab (Unterhaltung, Lifestyle, DIY & Kochen, Dokumentation, Film & TV) mit 21 Feinkategorien.
• Annotation und Fragen:
  • Es wurden 1.014 Multiple-Choice-Fragen (QA-Paare) manuell erstellt.
  • Anforderung: Jede Frage erfordert zwingend eine kombinierte Audio-Video-Reasoning. Fragen, die nur auf einem Modus (nur Audio oder nur Video) oder auf Vorwissen basierend beantwortet werden können, wurden verworfen.
  • Kategorisierung: Die Fragen sind in vier Hauptkategorien unterteilt:
    1. Wahrnehmung (Perception): Objekte, Attribute, Zählen, Musik.
    2. Verständnis (Understanding): Identität, Handlungen, Ereignisse.
    3. Inferenz (Inference): Räumliche, zeitliche und akustische Schlussfolgerungen.
    4. Logik (Logical): Komplexe mehrstufige Schlussfolgerungen.
  • Schwierigkeitsgrad: Jede Frage wurde manuell in drei Schwierigkeitsstufen (Niedrig, Mittel, Hoch) eingeteilt.
• Qualitätssicherung: Ein strenger Filterprozess inkludierte Tests mit unimodalen Baselines (nur Video, nur Audio, nur Text), um sicherzustellen, dass die Fragen tatsächlich multimodales Verständnis erfordern.

3. Wichtige Beiträge

1. Erster Long-Form-Benchmark: LVOmniBench ist der erste Benchmark, der speziell für die rigorose Evaluierung von OmniLLMs in langen, integrierten Audio-Video-Szenarien entwickelt wurde.
2. Skalierung: Mit einer durchschnittlichen Videolänge von über 34 Minuten (Gesamtumfang: 140 Stunden) übertrifft der Datensatz die zeitliche Dimension bestehender Benchmarks um ein Vielfaches.
3. Manuelle Hochwertigkeit: Im Gegensatz zu vielen automatisierten Benchmarks wurden alle Videos und Fragen von menschlichen Experten kuratiert, um Halluzinationen und unimodale Verzerrungen zu minimieren.
4. Hierarchische Evaluierung: Durch die Einteilung in Schwierigkeitsgrade und verschiedene Aufgabentypen ermöglicht der Benchmark eine differenzierte Analyse der Modellfähigkeiten.

4. Ergebnisse

Die Autoren evaluierten führende proprietäre und Open-Source-Modelle (u.a. Gemini 3 Pro/Flash, Qwen3-Omni, Ming-Omni, MiniCPM-o) auf dem Benchmark:

• Leistungslücke: Es besteht eine enorme Kluft zwischen proprietären und Open-Source-Modellen.
  • Proprietär: Das stärkste Modell, Gemini 3 Pro, erreicht eine Genauigkeit von ca. 65,8 %.
  • Open-Source: Die besten Open-Source-Modelle (z.B. Qwen3-Omni, Ming-Omni) liegen unter 36 %. Viele Open-Source-Modelle schneiden auf schwierigen Aufgaben kaum besser als zufälliges Raten ab (<35 %).
• Herausforderungen:
  • Musik und Zählen: Aufgaben im Bereich „Musikwahrnehmung" und „Zählen" stellen selbst für State-of-the-Art-Modelle eine enorme Hürde dar.
  • Audio-Nutzung: Open-Source-Modelle scheinen Audio oft nicht effektiv zu nutzen. Experimente zeigten, dass die Bereitstellung von ASR-Transkripten (Text) die Leistung einiger Open-Source-Modelle verbesserte, was darauf hindeutet, dass sie Schwierigkeiten haben, Roh-Audiodaten direkt zu verarbeiten. Proprietäre Modelle profitieren hingegen nicht von Transkripten, da sie non-verbale Signale (Emotionen, Intonation) direkt aus dem Audio extrahieren.
  • Zeitliche Lokalisierung: Modelle haben große Schwierigkeiten, Ereignisse präzise über lange Zeiträume (Dutzende Minuten) zu lokalisieren.
• Fehleranalyse: Die häufigsten Fehlerkategorien sind:
  • Wahrnehmungsfehler (34 %), wobei Audio-Fehler (40 % der Wahrnehmungsfehler) und visuelle Fehler (60 %) auftreten.
  • Lokalisierungsfehler (19,6 %).
  • Cross-modale semantische Lücken (19 %), bei denen Modelle Audio und Video nicht korrekt verknüpfen.
  • Schlussfolgerungsfehler (23,5 %).

5. Bedeutung und Ausblick

• Notwendigkeit neuer Architekturen: Die Ergebnisse zeigen, dass aktuelle OmniLLMs, insbesondere Open-Source-Modelle, nicht in der Lage sind, lange Audio-Video-Sequenzen effektiv zu verarbeiten. Die Verarbeitung langer Audio-Sequenzen stellt einen kritischen Engpass dar.
• Forschungsrichtung: LVOmniBench dient als fundamentale Basis, um zukünftige Forschung zu stimulieren, die sich auf:
  • Effiziente Token-Kompression für lange Audio-Video-Ströme.
  • Verbesserte cross-modale Ausrichtung (Alignment).
  • Feinabgestimmtes zeitliches Grounding und logisches Schlussfolgern konzentriert.
• Zukunft: Der Benchmark wird als Katalysator für die Entwicklung robusterer OmniLLMs gesehen, die reale, langandauernde multimodale Szenarien verstehen können.

Zusammenfassend stellt LVOmniBench einen Meilenstein dar, der die aktuellen Grenzen der KI im Verständnis langer, komplexer Audio-Video-Inhalte aufzeigt und einen klaren Weg für zukünftige Verbesserungen vorgibt.