UniVBench: Towards Unified Evaluation for Video Foundation Models

Das Paper stellt UniVBench vor, einen umfassenden Benchmark und ein einheitliches Evaluierungssystem (UniV-Eval), das entwickelt wurde, um die integrierten Fähigkeiten von Video-Foundation-Modellen in den Bereichen Verständnis, Generierung, Bearbeitung und Rekonstruktion anhand komplexer, menschlich erstellter Videodaten einheitlich zu bewerten.

Das Wesentliche

Stellen Sie sich vor, Video-KI-Modelle sind wie Schüler in einer großen Schule.

Bisher gab es für diese Schüler nur sehr spezielle Prüfungen:

• Der eine Schüler musste nur einen Film beschreiben (Verstehen).
• Der andere musste nur einen Film erschaffen (Erzeugen).
• Ein dritter durfte nur einen Film bearbeiten (Schneiden).

Das Problem war: Niemand hat je geprüft, ob ein Schüler alles gleichzeitig kann. Und die Prüfungen waren oft unfair oder zu einfach (z. B. nur kurze Clips).

Die Forscher in diesem Papier haben nun eine neue, riesige Super-Prüfung namens UniVBench entwickelt. Hier ist die Erklärung, wie das funktioniert, ganz einfach und mit ein paar bildhaften Vergleichen:

1. Das neue Prüfungsheft: UniVBench

Stellen Sie sich UniVBench wie ein hochwertiges Filmstudio vor, das von echten Menschen gebaut wurde.

• Das Material: Anstatt alte, gestohlene Videos aus dem Internet zu nutzen (was rechtlich problematisch ist), haben 15 Film-Experten 200 komplett neue, hochwertige Videos gedreht.
• Die Komplexität: Diese sind keine 3-Sekunden-Clips. Es sind echte Geschichten mit mehreren Szenen (wie ein kleiner Kurzfilm).
• Die Aufgaben: Die KI muss nicht nur einen Film sehen und beschreiben. Sie muss:
  1. Den Film verstehen (Was passiert da?).
  2. Einen Film aus Text erschaffen (Text-to-Video).
  3. Einen Film basierend auf einem Foto machen (Referenz-Bild).
  4. Einen bestehenden Film bearbeiten (z. B. "Mach den Himmel rot").
  5. Neue Aufgabe: Einen Film rekonstruieren. Das ist wie ein Gedächtnistest: Die KI schaut sich einen Film an, schreibt eine Beschreibung dazu und versucht dann, den Film nur basierend auf ihrer eigenen Beschreibung neu zu erstellen. Wenn sie den Film nicht verstanden hat, wird das neue Ergebnis schrecklich aussehen.

2. Der Prüfer: UniV-Eval (Der KI-Richter)

Früher haben Computer die Ergebnisse oft nur mit einer einzigen Zahl bewertet (z. B. "Note 7,5"). Das sagt einem aber nicht, warum etwas schlecht war. War die Farbe falsch? War die Bewegung steif? War die Geschichte unlogisch?

Das Team hat einen neuen KI-Richter (einen "Agenten") entwickelt, der wie ein Filmkritiker mit einem riesigen Checklisten-Block arbeitet.

• Der Checklisten-Ansatz: Statt nur eine Note zu geben, schaut sich der Richter jeden einzelnen Schnitt (Shot) des Films an.
• Die 8 Dimensionen: Er prüft alles:
  • Die Schauspieler (Wer ist da? Sieht er gleich aus?)
  • Die Handlung (Bewegt sich alles logisch?)
  • Das Set & Hintergrund (Passt die Umgebung?)
  • Die Kamera (Ist es eine Nahaufnahme? Bewegt sie sich?)
  • Licht & Farbe (Ist es dunkel oder hell? Warm oder kalt?)
  • Der Stil (Sieht es aus wie ein Cartoon oder ein echter Film?)
• Das Ergebnis: Am Ende bekommt man nicht nur eine Note, sondern eine detaillierte Diagnose: "Die KI hat den Charakter verstanden, aber die Lichtstimmung war zu hell, und der Schnitt war zu abrupt." Das hilft den Entwicklern, genau dort zu verbessern, wo es hakt.

3. Was haben sie herausgefunden?

Als sie die aktuellen Top-KI-Modelle durch diese neue Prüfung geschickt haben, kam ein interessantes Ergebnis ans Licht:

• Spezialisten sind stark: Modelle, die nur Filme machen (wie ein reiner "Koch"), machen tolle Filme. Modelle, die nur beschreiben (wie ein "Kritiker"), schreiben gute Texte.
• Die "Allrounder" haben noch Probleme: Die Modelle, die versuchen, alles in einem zu sein (Verstehen + Machen + Schneiden), schneiden in dieser neuen, strengen Prüfung noch nicht so gut ab. Besonders bei komplexen Bewegungen und der logischen Konsistenz über mehrere Szenen hinweg hapert es noch.
• Der "Rekonstruktions-Test" ist hart: Wenn eine KI einen Film sieht, ihn beschreibt und dann neu erstellt, entstehen oft große Lücken. Das zeigt, dass das "Verstehen" und das "Erstellen" bei diesen Modellen noch nicht perfekt miteinander verzahnt sind.

Zusammenfassung

UniVBench ist wie eine Olympiade für Video-KIs, bei der es nicht mehr nur um das Laufen (Text) oder das Schwimmen (Bilder) geht, sondern um den Zehnkampf.

Die Forscher sagen im Grunde: "Wir haben endlich eine faire, umfassende und rechtlich saubere Prüfung gebaut, die uns zeigt, wo die KI wirklich stark ist und wo sie noch lernen muss, bevor sie uns wirklich wie ein menschlicher Filmemacher verstehen und erschaffen kann."

Es ist ein wichtiger Schritt weg von "KIs, die nur eine Sache gut können", hin zu "KIs, die echte Video-Magier werden".

Technische Zusammenfassung

1. Problemstellung

Video-Foundation-Modelle zielen darauf ab, Video-Verstehen (Understanding), -Generierung (Generation), -Bearbeitung (Editing) und das Befolgen von Anweisungen in einem einzigen Framework zu integrieren. Trotz architektonischer Fortschritte bei „Unified Models" (die sowohl verstehen als auch generieren können) fehlt es an einer geeigneten Evaluierungsmethode. Bestehende Benchmarks leiden unter drei wesentlichen Mängeln:

• Fragmentierung: Die meisten Benchmarks sind auf eine einzige Aufgabe spezialisiert (z. B. nur Text-zu-Video oder nur Video-zu-Text) und nutzen aufgabenspezifische Metriken, die einen direkten Vergleich über verschiedene Fähigkeiten hinweg unmöglich machen.
• Eingeschränkter Umfang: Viele Benchmarks beschränken sich auf kurze, einfache Clips oder Single-Shot-Szenarien und ignorieren die Komplexität von Multi-Shot-Videos mit narrativer Kohärenz.
• Datenprobleme: Bestehende Datensätze nutzen oft urheberrechtlich geschütztes Webmaterial, was zu Datenkontamination bei Modellen führt, die auf Internetdaten trainiert wurden, und rechtliche Probleme bei der Bearbeitung aufwirft.
• Fehlende Metriken: Die Evaluierungsmetriken sind inkonsistent (z. B. BLEU für Text, FVD für Verteilungen) und liefern oft nur einen einzelnen Skalawert, der keine feingranularen Fehleranalysen oder actionable Feedback für das Training ermöglicht.

2. Methodik: UniVBench und UniV-Eval

Das Paper stellt UniVBench vor, den ersten einheitlichen Benchmark für Video-Foundation-Modelle, sowie UniV-Eval, ein einheitliches, agentenbasiertes Evaluierungssystem.

A. Der UniVBench-Datensatz

• Inhalt: Der Datensatz besteht aus 200 hochwertigen, urheberrechtsfreien Videos, die von Menschen erstellt wurden. Er umfasst sowohl Single-Shot- als auch Multi-Shot-Videos (durchschnittlich 3,72 Shots pro Video), um narrative Kohärenz und zeitliche Komplexität abzubilden.
• Annotationen: Jedes Video ist mit detaillierten Metadaten versehen:
  • Detaillierte Captions: Umfassende Beschreibungen, die auf 8 kinematografischen Hauptdimensionen und 21 fein granularer Subdimensionen basieren (z. B. Stil, Subjekt, Aktion, Hintergrund, Kamera, Beleuchtung, Farbe, räumliche Beziehungen).
  • Bearbeitungsanweisungen: Multi-formatige Textanweisungen für Video-zu-Video-Bearbeitung.
  • Referenzbilder: Für Aufgaben wie Referenzbild-zu-Video (R2V).
• Qualitätssicherung: Ein mehrstufiger menschlicher Filterprozess (inkl. Peer-Review und Qualitätskontrolle) stellt sicher, dass die Videos den Skripten entsprechen und keine Artefakte aufweisen.

B. Die sechs Evaluierungsaufgaben

UniVBench testet Modelle in sechs integrierten Aufgaben:

1. V2T (Video-to-Text): Video-Beschreibung.
2. T2V (Text-to-Video): Generierung aus Text.
3. R2V (Reference-to-Video): Generierung basierend auf Referenzbildern.
4. TV2V (Text-instructed Video-to-Video): Bearbeitung basierend auf Textanweisungen.
5. RV2V (Reference-instructed Video-to-Video): Bearbeitung basierend auf Referenzbildern und Anweisungen.
6. V2V (Video Reconstruction): Ein neu vorgestellter Task, bei dem das Modell ein Video erst versteht (Captioning) und dann basierend auf der selbst generierten Beschreibung neu rekonstruiert. Dies testet direkt die Kopplung von Wahrnehmung und Generierung.

C. UniV-Eval (Evaluierungssystem)

Anstelle statischer Metriken nutzt UniVBench ein agentices Evaluierungssystem (basierend auf einem LLM als Richter, hier Seed-1.6):

• Dekomposition: Lange Videos werden in Shots zerlegt. Der Agent plant und zerlegt die Eingabe in shot-level Einheiten.
• Feingranulare Checklisten: Statt eines einzigen Scores bewertet das System jeden Shot entlang der 8 kinematografischen Dimensionen. Es erstellt eine „Weakness Checklist" mit traceablem Feedback (z. B. „Aktion inkonsistent", „Beleuchtung zu hell").
• Vergleich: Das System vergleicht den Modelloutput mit Ground-Truth-Captions, Referenzbildern oder dem Originalvideo und liefert strukturierte Scores und Begründungen.

3. Wichtige Beiträge

1. Erster Multi-Shot-Datensatz für Unified Evaluation: Ein urheberrechtsfreier, hochwertiger Datensatz, der speziell für die Bewertung von Modellen entwickelt wurde, die Verstehen, Generierung und Bearbeitung kombinieren.
2. Einheitliches agentenbasiertes Evaluierungssystem (UniV-Eval): Ein System, das Prompting, Parsing und Scoring über alle Aufgaben hinweg standardisiert. Es ermöglicht feingranulare, shot-level Fehlerzuordnung (Wahrnehmung vs. Generierung) und ist interpretierbar.
3. Prinzipielles Framework für Fehleranalyse: Durch die Aufteilung in 8 Dimensionen und 21 Subdimensionen bietet UniVBench eine vollständige Abdeckung kinematografischer Aspekte, die in bisherigen Benchmarks fragmentiert waren.
4. Einführung von Video-Reconstruction (V2V): Ein neuer Task, der die Fähigkeit von Modellen misst, Informationen durch Verstehen zu extrahieren und sie dann verlustfrei wieder zu generieren.

4. Ergebnisse

Die Evaluation verschiedener Baselines (kommerzielle Modelle wie Gemini 2.5 Pro, Seedance; Open-Source-Modelle wie CogVideoX, Wan2.1, Omni-Video) auf UniVBench zeigt:

• Spezialisierung vs. Einheitlichkeit: Es gibt derzeit kein Modell, das in allen Bereichen (Verstehen, Generierung, Editing) gleichzeitig hervorragend abschneidet.
  • Verstehen (V2T): Gemini 2.5 Pro führt mit 54,1 % (im Durchschnitt über Dimensionen), während Unified-Modelle wie Showo-2 hier schwächeln (16,3 %).
  • Generierung (T2V): Seedance-1.0-Pro erreicht mit 77,9 % die besten Ergebnisse.
  • Rekonstruktion (V2V): Wan2.1-VACE-14B ist führend (62,7 %).
• Schwächen bei Aktionen: Die Dimension „Aktion" (Action) erzielt in allen Aufgaben die niedrigsten Scores, was darauf hindeutet, dass das Verstehen und Synthesieren komplexer zeitlicher Dynamiken eine große Herausforderung bleibt.
• Stärken bei Stil: Generative Modelle zeigen oft bessere Kontrolle über stilistische Attribute wie Farbe, Beleuchtung und Video-Stil.
• Rekonstruktionslücke: Der V2V-Task offenbart signifikante Informationsverluste im Pipeline-Prozess (Verstehen -> Text -> Generierung), was die Grenzen aktueller Unified-Modelle aufzeigt.

5. Bedeutung und Ausblick

UniVBench schließt eine kritische Lücke in der Forschung zu Video-Foundation-Modellen.

• Standardisierung: Es bietet den ersten fairen, skalierbaren und reproduzierbaren Rahmen für den Vergleich von Unified-Modellen.
• Diagnostik: Durch die feingranularen Scores und Checklisten liefert es nicht nur eine Rangliste, sondern konkrete Hinweise darauf, wo Modelle scheitern (z. B. räumliche Kohärenz vs. Texttreue), was das Training verbessert.
• Zukunft: Der Benchmark legt den Grundstein für die Entwicklung robuster, allgemeiner Video-Intelligenz, die Anweisungen folgen und komplexe, mehrstufige Videoaufgaben bewältigen kann. Die Autoren planen, den Datensatz zukünftig zu erweitern, um noch breitere Szenarien abzudecken.

Zusammenfassend stellt UniVBench einen Paradigmenwechsel dar: weg von isolierten, aufgabenspezifischen Tests hin zu einer ganzheitlichen, kinematografisch fundierten Evaluierung, die der Komplexität realer Videoanwendungen gerecht wird.