In den letzten Jahren haben Computer gelernt, aus einfachen schriftlichen Beschreibungen bewegte Bilder zu erstellen. Diese Technologie, bekannt als Text-zu-Video-Generierung, hat sich von experimentellen Skizzen zu Werkzeugen entwickelt, die in der Lage sind, kohärente, stabile und visuell beeindruckende Szenen zu produzieren. Künstler, Filmemacher und Werbetreibende beginnen, diese Systeme zu nutzen, um neue Welten zu imaginieren, aber eine grundlegende Frage bleibt: Woher wissen wir, ob das Ergebnis tatsächlich gut ist? Lange Zeit maßen Wissenschaftler diese Videos, indem sie technische Details überprüften, etwa ob die Einzelbilder flüssig ablaufen oder ob der Computer die Anweisungen wörtlich befolgt. Ein Video kann jedoch technisch perfekt sein und sich dennoch flach, leblos oder künstlerisch belanglos anfühlen. Das fehlende Puzzleteil war eine Möglichkeit, die menschliche Erfahrung beim Betrachten des Videos zu messen – seine Schönheit, seine Stimmung und seine emotionale Resonanz.

Ein Team von Forschern der Ant Group, der Beijing Film Academy und des Beijing Institute for General Artificial Intelligence hat diese Herausforderung mit einem neuen Framework namens VGA-BenchV2 angegangen. Ihre Arbeit geht über einfache technische Prüfungen hinaus und schafft ein System, das die Ästhetik von Videos so versteht und bewertet, wie es ein Mensch tun würde. Sie bauten eine riesige Bibliothek von über 60.000 Videos, die von 12 verschiedenen Computermodellen generiert wurden, unter Verwendung von 1.016 sorgfältig formulierten Prompts, um spezifische visuelle Qualitäten zu testen. Um ihren Computern beizubringen, wie man diese Videos beurteilt, setzte das Team menschliche Experten ein, die über 36.000 neue Bewertungen und Labels lieferten. Dieses menschliche Feedback wurde verwendet, um ein hybrides Team von künstlichen Intelligenz-Evaluatoren zu trainieren: eines, das auf die Vergabe einer kontinuierlichen Punktzahl für Schönheit spezialisiert ist, und zwei weitere, die wie visuelle Kritiker fungieren, indem sie spezifische künstlerische Tags identifizieren und prüfen, ob das Video Sinn ergibt. Das Ergebnis ist ein System, das nicht nur bewertet, wie gut ein Video aussieht, sondern dieses Urteil auch nutzt, um den Computermodellen zu helfen, sich selbst zu verbessern und zu lernen.

Der Kern dieses neuen Frameworks ist der Übergang von passiver Messung zu aktiver Anleitung. In der Vergangenheit waren Benchmarks wie Zeugnisse, die einem Schüler lediglich sagten, ob er bestanden oder durchgefallen ist. VGA-BenchV2 agiert eher wie ein Tutor, der genau erklärt, was verbessert werden muss, und dann dem Schüler hilft, zu üben. Die Forscher organisierten ihre Bewertung in zwei Hauptkategorien: Ästhetik und Generationsqualität. Die ästhetische Seite betrachtet die künstlerischen Elemente, wie etwa Beleuchtung, Farbharmonie, Komposition und die allgemeine Stimmung der Szene. Die Generationsseite prüft, ob das Video physisch plausibel ist, ob sich die Charaktere natürlich bewegen und ob die Geschichte zur schriftlichen Aufforderung passt. Durch die Unterteilung dieser breiten Konzepte in 52 spezifische Unterkategorien stellten die Forscher sicher, dass die Bewertung detailliert und präzise war und alles von der Art der Kameraeinstellung bis hin zum Realismus flüssiger Bewegungen abdeckte.

Um dieses System aufzubauen, begann das Team mit einem großen Satz von Prompts, also den schriftlichen Anweisungen, die den Video-Generatoren gegeben werden. Diese 1.016 Prompts wurden so konzipiert, dass sie spezifische visuelle Effekte auslösen, um sicherzustellen, dass die resultierenden Videos an klaren Kriterien fair gemessen werden konnten. Sie sammelen daraufhin die Ergebnisse von 12 führenden Video-Generationsmodellen und schufen so einen Pool von mehr als 60.000 Videos. Der entscheidende Schritt war die Phase der menschlichen Annotation. Die Forscher sammelten eine enorme Menge an menschlichem Feedback und fügten ihrem bestehenden Datensatz 36.000 neue Aufgaben-Annotationen hinzu. Dies beinhaltete über 16.000 Bewertungen für die ästhetische Qualität, bei denen Menschen die Videos auf einer Skala von null bis zehn bewerteten, sowie über 13.000 Labels für das ästhetische Tagging, bei denen Menschen spezifische visuelle Attribute wie die Farbe des Lichts oder die Art der Einstellung identifizierten. Sie fügten auch tausende Anmerkungen zur Generationsqualität hinzu, um sicherzustellen, dass die Videos realistisch und konsistent waren.

Mit dieser riesigen Menge an menschlich gelabelten Daten trainierte das Team drei spezialisierte KI-Evaluatoren. Der erste, genannt VAQA-Net, lernte, eine kontinuierliche Punktzahl für die Schönheit eines Videos vorherzusagen, und imitierte damit effektiv das menschliche Auge für Komposition und Tonalität. Die anderen beiden Evaluatoren, VTag-Net und VGQA-Net, basieren auf großen Vision-Language-Modellen, also fortschrittlichen Systemen, die sowohl Bilder als auch Texte verstehen können. Diese Modelle wurden trainiert, um als Kritiker zu fungieren: Eines identifiziert spezifische künstlerische Tags, wie etwa ob eine Szene weiches Licht oder hohen Kontrast verwendet, während das andere detaillierte Fragen zur Realitätstreue und Konsistenz des Videos beantwortet. Diese Kombination ermöglicht es dem System, sowohl eine numerische Punktzahl als auch eine detaillierte, interpretierbare Erklärung dafür zu liefern, warum ein Video gut oder schlecht ist.

Die wahre Stärke von VGA-BenchV2 liegt in der Fähigkeit, den Kreislauf zwischen Bewertung und Verbesserung zu schließen. Nachdem die Evaluatoren trainiert worden waren, um menschliche Präferenzen nachzuahmen, nutzten die Forscher sie als Belohnungssystem für Reinforcement Learning (bestärkendes Lernen). In diesem Prozess werden den Computermodellen, die die Videos generieren, ihre eigenen Kreationen gezeigt und ihnen wird eine Punktzahl basierend auf der vom Evaluator vorhergesagten ästhetischen Qualität gegeben. Wenn die Punktzahl hoch ist, wird das Modell dazu ermutigt, ähnliche Videos zu erstellen; wenn die Punktzahl niedrig ist, wird es dazu angeregt, seinen Ansatz zu ändern. In einem spezifischen Test wandten die Forscher diese Methode an, um einen Video-Generator namens Wan2.1 feinabzustimmen. Die Ergebnisse zeigten, dass die durchschnittliche ästhetische Punktzahl des Modells stieg und die resultierenden Videos ansprechenderere visuelle Kompositionen und eine höhere Gesamtqualität aufwiesen. Dies demonstriert, dass das Framework nicht nur die Leistung misst, sondern die Technologie aktiv zu besseren künstlerischen Ergebnissen führt.

Die Studie lieferte zudem ein umfassendes Ranking des aktuellen Stands der Technik in der Videogenerierung. Durch die Anwendung ihrer neuen Evaluatoren auf die 12 verschiedenen Modelle konnte das Team diese über alle 52 Dimensionen hinweg vergleichen. Die Ergebnisse zeigten signifikante Unterschiede darin, wie gut jedes Modell künstlerische Kontrolle gegenüber technischer Konsistenz handhabte. Einige Modelle zeichneten sich dadurch aus, komplexe Prompts zu befolgen, während andere visuell ansprechendere Ergebnisse lieferten. Die Daten zeigten, dass viele Modelle zwar in der technischen Treue Fortschritte gemacht haben, es aber immer noch eine große Lücke in ihrer Fähigkeit gibt, konsistent Videos zu produzieren, die mit menschlichen ästhetischen Vorlieben übereinstimmen. Dies unterstreicht die Bedeutung des neuen Frameworks, das eine standardisierte Möglichkeit bietet, diese subtilen, aber kritischen Qualitäten zu messen.

Letztendlich stellt VGA-BenchV2 einen bedeutenden Schritt dar, um die künstliche Intelligenz sensibler für menschliche Empfindungen zu machen. Durch die Kombination eines massiven Datensatzes menschlicher Urteile mit einem hochentwickelten hybriden Evaluationssystem haben die Forscher ein Werkzeug geschaffen, das die Videogenerierung mit einer Tiefe und Nuancierung bewerten kann, die zuvor unmöglich war. Das Framework überbrückt die Lücke zwischen technischer Kapazität und künstlerischem Ausdruck und bietet einen Weg für zukünftige Modelle, nicht nur zu lernen, wie man Pixel generiert, sondern wie man Kunst erschafft, die Menschen berührt. Während die Videogenerierung sich weiterentwickelt, werden Werkzeuge wie dieses essenziell sein, um sicherzustellen, dass die Maschinen, die wir bauen, Inhalte erstellen können, die nicht nur real, sondern auch schön sind.