💻 computer science

Co-Director: Agentic Generative Video Storytelling

Das Papier stellt Co-Director vor, ein hierarchisches Multi-Agenten-Framework, das die Video-Erzählung als globales Optimierungsproblem mit Multi-Armed-Bandits und lokaler Selbstverfeinerung formalisiert, um semantisches Driften und kaskadierende Fehler zu überwinden und dadurch bei der Generierung kohärenter, hochfideliter Erzählungen signifikant besser als die besten verfügbaren Basismodelle abschneidet.

Ursprüngliche Autoren: Yale Song, Yiwen Song, Nick Losier, Nathan Hodson, Ye Jin, Rhyard Zhu, Yan Xu, Daniel Vlasic, Carina Claassen, Jasmine Leon, Khanh G. LeViet, Zack Chomyn, Joe Timmons, Brett Slatkin, Scott Penberthy

Veröffentlicht 2026-04-29

📖 5 Min. Lesezeit🧠 Tiefgang

CC BY 4.0

Ursprüngliche Autoren: Yale Song, Yiwen Song, Nick Losier, Nathan Hodson, Ye Jin, Rhyard Zhu, Yan Xu, Daniel Vlasic, Carina Claassen, Jasmine Leon, Khanh G. LeViet, Zack Chomyn, Joe Timmons, Brett Slatkin, Scott Penberthy, Tomas Pfister

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Stellen Sie sich vor, Sie möchten einen kurzen Werbefilm für ein neues Produkt erstellen. In der Vergangenheit hätten Sie ein Team aus Autoren, Regisseuren, Kameraleuten und Schnittmeistern benötigt, die wochenlang zusammenarbeiten. Heute kann KI zwar Videoclips generieren, doch diese zu einer kohärenten Geschichte zu verknüpfen, ist wie der Versuch, ein Haus zu bauen, indem man einen Roboter fragt, Ziegel zu legen, dann einen anderen Roboter, die Wände zu streichen, und schließlich einen dritten Roboter, das Dach zu installieren, ohne dass jemand ihnen sagt, wie das fertige Haus aussehen soll. Das Ergebnis ist oft ein chaotischer Haufen Ziegel, der in keiner Weise einem Zuhause ähnelt.

Die Studie stellt Co-Director vor, ein neues KI-System, das entwickelt wurde, um dieses Problem zu lösen. Betrachten Sie Co-Director nicht als einzelnen Roboter, sondern als ein hierarchisches Filmproduktionsunternehmen, das von einem Team spezialisierter KI-Agenten geleitet wird, die unter einer einheitlichen Vision zusammenarbeiten.

So funktioniert es, aufgeteilt in einfache Konzepte:

1. Das Problem: Die „unterbrochene Kette"

Aktuelle KI-Videotools funktionieren wie ein „Wasserfall". Sie geben einen Prompt ein, es wird ein Skript geschrieben, dann wandelt eine andere KI dieses Skript in Bilder um, und eine weitere verwandelt die Bilder in Video.

Das Problem: Wenn der erste Schritt einen kleinen Fehler macht (z. B. ein rotes Auto beschreibt, wenn Sie ein blaues meinten), verstärken die folgenden Schritte diesen Fehler. Am Ende könnte das Auto grün sein, fliegen und aus Käse bestehen. Dies wird als „semantische Drift" bezeichnet.
Die Analogie: Es ist wie das Spiel „Stille Post". Die Nachricht wird verzerrt, während sie von Person zu Person weitergegeben wird.

2. Die Lösung: Der „Orchestrator" und der „Kreative Kompass"

Co-Director behebt dies, indem es einen Dirigenten (den Orchestrator) und einen Kreativen Kompass (den Multi-Armed Bandit) hinzufügt.

Der Orchestrator: Dies ist der „Regisseur"-Agent. Anstatt die KI-Agenten in einer geraden Linie arbeiten zu lassen, legt der Orchestrator vor Beginn der Arbeit eine globale „Stimmung" oder Strategie für das gesamte Projekt fest. Er stellt sicher, dass der Autor, der Künstler und der Videomacher alle aus demselben Notenblatt singen.
Der Kreative Kompass (Multi-Armed Bandit): Dies ist die einzigartigste Idee der Studie. Stellen Sie sich einen Spielautomaten mit drei Hebeln vor, aber anstelle von Geld ziehen Sie die Hebel für Kreative Strategie (z. B. „Geht es in dieser Werbung um Fakten oder Gefühle?"), Geschäftsmodus (z. B. „Ist es ein Drama oder ein Stück aus dem Leben?") und Visueller Stil (z. B. „Ist es hell und energisch oder dunkel und stimmungsvoll?").
- Das System probiert verschiedene Kombinationen dieser Hebel aus.
- Es beobachtet, welche Kombination das beste Video erzeugt.
- Es lernt schnell, welche „Einstellungen" für ein bestimmtes Produkt am besten funktionieren, und balanciert dabei das Bedürfnis, neue Ideen auszuprobieren (Exploration), mit der Nutzung bewährter, erfolgreicher Stile (Exploitation).

3. Das Sicherheitsnetz: „Selbstkorrektur"

Selbst mit einem großartigen Regisseur passieren Fehler. Co-Director verfügt über eine eingebaute Selbstkorrektur-Schleife.

Die Analogie: Denken Sie an einen Filmeditor, der die Daily-Shots (rohes Filmmaterial) anschaut und sagt: „Warte, die Frisur des Schauspielers hat sich zwischen Szene 1 und Szene 2 geändert. Lasst uns diesen spezifischen Teil neu drehen."
Co-Director macht dies automatisch. Bevor das finale Video erstellt wird, prüft es das Skript und die Schlüsselbilder. Wenn es feststellt, dass sich das Gesicht eines Charakters ändert oder ein Produkt verschwindet, schreibt es den Prompt nur für diesen spezifischen Teil um, um den Fehler zu beheben, und stellt so sicher, dass der fertige Film konsistent ist.

4. Der Test: „GenAd-Bench"

Um zu beweisen, dass dies funktioniert, entwickelten die Forscher einen neuen Test namens GenAd-Bench.

Das Setup: Sie erfanden 200 gefälschte Marken und 400 verschiedene Werbeszenarien (z. B. „Verkaufe einen futuristischen Regenschirm an einen 25-Jährigen in Tokio").
Warum gefälscht? Sie verwendeten gefälschte Produkte, damit die KI nicht einfach „cheaten" konnte, indem sie reale Bilder aus ihren Trainingsdaten erinnerte. Sie musste die Geschichte tatsächlich von Grund auf neu erschaffen.
Die Richter: Sie verwendeten einen ausgefeilten KI-„Richter" (und menschliche Tester), um die Videos nach vier Kriterien zu bewerten:
1. Fidelity (Treue): Sah das gefälschte Produkt aus wie das gefälschte Produkt?
2. Targeting (Zielgruppenansprache): Fühlte sich das Video so an, als wäre es für die spezifische Person gemacht (z. B. ein Teenager vs. ein Senior)?
3. Appeal (Anziehungskraft): War die Werbung überzeugend?
4. Quality (Qualität): Sah das Video glatt und professionell aus?

5. Die Ergebnisse

Co-Director schlug alle anderen aktuellen KI-Videosysteme.

Es machte nicht nur „okay"-Videos; es machte Videos, die sich so anfühlten, als wären sie von einem menschlichen Team inszeniert worden.
Es bewahrte die Identität des Produkts (das Logo schmolz nicht oder veränderte seine Form).
Es verstand die „Stimmung" der Zielgruppe viel besser als frühere Methoden.

Zusammenfassung

Kurz gesagt ist Co-Director ein System, das die Videoerstellung nicht als lineare Fließbandproduktion, sondern als globales Optimierungsproblem behandelt. Es verwendet einen „Kreativen Kompass", um die beste künstlerische Richtung zu finden, einen „Regisseur", um alle KI-Agenten aufeinander abzustimmen, und eine „Selbstkorrektur"-Schleife, um Fehler auf der Flucht zu beheben. Das Ergebnis ist ein System, das eine einfache Idee in eine kohärente, hochwertige Videogeschichte verwandeln kann, ganz wie ein professioneller Filmregisseur.

1. Problemstellung

Während Diffusionsmodelle eine hochauflösende Videogenerierung erreicht haben, bleibt die Transformation dieser Clips in kohärente, langformatige Erzählungen eine erhebliche Herausforderung. Aktuelle Ansätze sehen sich drei primären Einschränkungen gegenüber:

Semantische Drift und kaskadierende Fehler: Bestehende agentenbasierte Pipelines verlassen sich auf lineare, „Wasserfall"-Ketten unabhängiger Module (z. B. Skript $\to$ Storyboard $\to$ Video). Fehler in frühen Stadien pflanzen sich nach unten fort und verursachen Identitätsdrift (Veränderung des Aussehens von Charakteren) und narrative Inkohärenz.
Fehlende globale Optimierung: Aktuelle Systeme verwenden statische, manuell erstellte Prompts. Ihnen fehlt ein Mechanismus, um hohe kreative Absichten auf die nachgelagerte Generierung abzubilden, was die Erkundung neuer narrativer Strategien oder die Balance zwischen Erkundung und Ausbeutung verhindert.
Lücken in der Evaluierung: Bestehende Benchmarks konzentrieren sich auf isolierte Teilaufgaben (z. B. Text-zu-Bild) oder verlassen sich auf auswendig gelernte reale Entitäten, wodurch sie die Fähigkeit zur echten End-to-End-Erzählung unter strengen Einschränkungen nicht bewerten können.

2. Methodik: Co-Director-Framework

Die Autoren schlagen Co-Director vor, ein hierarchisches Multi-Agenten-Framework, das Videogeschichtenerzählen als globales Optimierungsproblem formalisiert. Das System integriert einen Multi-Armed Bandit (MAB) zur Auswahl globaler Strategien mit lokalen Selbstverfeinerungsschleifen.

A. Hierarchische Multi-Agenten-Architektur

Das System wird von einem zentralen Orchestrator-Agenten ( $\Phi_{orch}$ ) orchestriert, der den Fluss und den globalen Zustand verwaltet:

Pre-Production-Agent ( $\Phi_{pre}$ ): Transformiert Benutzerprompts und Referenzvisuals in ein strukturiertes Storyboard ( $S$ ). Es generiert:
- Creative Brief: Kontextuelle Bereicherung.
- Storyline ( $L$ ): Skript Szene für Szene.
- Visual Assets ( $V$ ): Generierung fehlender Charakter- oder Requisitenreferenzen.
- Storyboard: Detaillierte Szenenbeschreibungen einschließlich Kamerakinematik und Audioanweisungen.
Production-Agent ( $\Phi_{prod}$ ): Synthetisiert multimodale Artefakte aus dem Storyboard:
- Keyframe-Agent ( $\Phi_{frame}$ ): Generiert Anfangsbilder, um visuelle Priors zu etablieren und Identitätsdrift zu verhindern.
- Video-Agent ( $\Phi_{video}$ ): Konditioniert Videodiffusionsmodelle auf Keyframes, um Clips ( $C$ ) zu generieren.
- Audio-Agent ( $\Phi_{audio}$ ): Synthetisiert Voiceover und Musik basierend auf globalen Anweisungen.
Post-Production-Agent ( $\Phi_{post}$ ): Fügt Clips und Audio zum finalen Video ( $F$ ) zusammen.

B. Globale Optimierung via Multi-Armed Bandits (MAB)

Anstatt linearer Prompting-Verfahren behandelt Co-Director den kreativen Prozess als Suche über einem hierarchischen Parameterraum ( $\theta$ ).

Aktionsraum: Definiert durch drei orthogonale Achsen:
1. Kreative Strategie ( $\theta_{cs}$ ): Informationsbasiert, Transformational oder Vergleichend.
2. Narrativer Modus ( $\theta_{nm}$ ): Analytisch, Vignetten oder Narratives Drama.
3. Ästhetisches Archetyp ( $\theta_{aa}$ ): Klarheit/Energie, Cinematic Premium, Minimalistischer Fokus oder Kinetic Grit.
Mechanismus: Der MAB (unter Verwendung des UCB1-Algorithmus) wählt für jede Iteration eine Kombination dieser Parameter ( $\theta^{(t)}$ ) aus. Der Orchestrator synthetisiert diese zu spezifischen Anweisungen, die in Sub-Agenten-Prompts injiziert werden, um sicherzustellen, dass alle Agenten mit einer einheitlichen kreativen Absicht übereinstimmen.
Belohnungssignal: Ein MLLM-Judge bewertet das finale Video und gibt ein faktorisiertes Belohnungssignal $R = (r_{cs}, r_{nm}, r_{aa})$ aus. Dies entkoppelt die Bewertung der kreativen Strategie von der Ausführungsqualität und ermöglicht es dem MAB, zu isolieren, welche spezifischen Parameter zum Erfolg führten.
Warm Start: Ein LLM initialisiert die erwarteten Werte des MAB basierend auf dem Produktdomain, um die frühe Erkundung hin zu theoretisch fundierten Konfigurationen zu biasen.

C. Lokale Optimierung via agentenbasierter Selbstverfeinerung

Um die Weitergabe von Fehlern zu verhindern, setzt das System Feedback-Descent-Schleifen ein:

Storyline-Verfeinerung: Ein LLM bewertet die Erzählung hinsichtlich Hook-Qualität, Kohäsion und Produktintegration und schreibt den Prompt um, wenn die Scores unter einen Schwellenwert fallen.
Keyframe-Verfeinerung: Ein MLLM bewertet die Sequenz von Keyframes gemeinsam (nicht einzeln), um Identitätsdrift und Inkonsistenzen in der Umgebung zu erkennen und selektiv nur fehlerhafte Bilder neu zu generieren.

3. Hauptbeiträge

Co-Director-Framework: Das erste System, das generatives Geschichtenerzählen als globales Optimierungsproblem unter Verwendung von MAB-gesteuerter Lenkung formalisiert und sich von linearen Pipelines zu einer hierarchischen, kohärenten Architektur bewegt.
Hierarchische Parametrisierung: Eine neuartige Methode zur Weitergabe kreativer Absichten über Agenten hinweg, indem hochrangige Strategien in spezifische, handlungsanweisbare Direktiven für Sub-Agenten zerlegt werden, um semantische Kollisionen zu verhindern.
GenAd-Bench: Ein rigoroser neuer Benchmark, bestehend aus 400 Szenarien über 200 fiktive Produkte hinweg. Er verwendet fiktive Entitäten, um das Auswendiglernen durch Modelle zu verhindern, und erzwingt strenge Einschränkungen hinsichtlich der Genauigkeit visueller Assets, demografischer Ausrichtung und Marketing-Anziehungskraft.
Faktorierter Belohnungsmechanismus: Ein neuartiger Evaluierungsansatz, der strategische Wirksamkeit von Ausführungsqualität entkoppelt und eine präzise Kreditvergabe in nicht-differenzierbaren Pipelines ermöglicht.

4. Experimentelle Ergebnisse

Die Autoren bewerteten Co-Director auf GenAd-Bench gegen State-of-the-Art-Baselines, einschließlich monolithischer Modelle (Veo 3.1, Wan 2.6), kommerzieller Plattformen (HeyGen, Creatify) und anderer agentenbasierter Frameworks (AniMaker, MovieAgent).

Leistung: Co-Director erzielte die höchste Durchschnittspunktzahl (81,4/100) und übertraf signifikant die nächstbeste agentenbasierte Baseline (MovieAgent mit 65,3) sowie monolithische Modelle (Veo 3.1 mit 63,6).
Schlüsselkennzahlen:
- Genauigkeit visueller Assets (VAF): 82,1 (vs. 67,0 für Wan 2.6).
- Demografische Ausrichtung (DA): 91,4 (vs. 81,3 für MovieAgent).
- Marketing-Anziehungskraft (MA): 82,0.
- Visuelle Qualität (VQ): 70,2.
Ablationsstudien:
- Das Entfernen der MAB-Optimierung (Zufallssuche) senkte die Durchschnittspunktzahl auf 75,7.
- Das Entfernen der lokalen Selbstverfeinerung (Storyline oder Keyframe) führte zu signifikanten Einbußen bei der narrativen Kohärenz und der Genauigkeit der Assets (z. B. sank VAF um ca. 9,8 Punkte ohne Keyframe-Verfeinerung).
- Das Design des „Faktorierten Belohnungssignals" erwies sich als kritisch; das Zusammenfassen zu einem einzigen Skalar reduzierte die Leistung um 5,0 Punkte.
Effizienz: Der MAB mit Warm Start konvergierte in den ersten wenigen Iterationen zu hochwertigen Ergebnissen, während die Zufallssuche viele mehr Iterationen benötigte, um vergleichbare Konfigurationen zu finden.

5. Bedeutung

Prinzipielle kreative Automatisierung: Co-Director demonstriert, dass generatives Video über einfaches Prompt-Following hinausgehen kann zu strategischem kreativem Denken, das die Erkundung neuer Ideen mit der Ausbeutung bewährter Stile ausbalanciert.
Skalierbarkeit für unabhängige Creator: Durch die Automatisierung der komplexen Koordination von Skript, visueller Konsistenz und Regie demokratisiert das Framework die hochkarätige filmische Produktion, die zuvor nur großen Teams zugänglich war.
Robuste Evaluierung: Die Einführung von GenAd-Bench setzt einen neuen Standard für die Evaluierung von End-to-End-generativen Workflows und adressiert speziell die „Memorization-Bias" in aktuellen Benchmarks.
Generalisierbarkeit: Obwohl an Werbung demonstriert, deutet die Fähigkeit des Frameworks, strenge Einschränkungen zu handhaben und Identität zu wahren, auf Anwendbarkeit für breitere filmische Erzählungen, Kurzfilme und personalisierte Content-Erstellung hin.

Zusammenfassend stellt Co-Director einen Paradigmenwechsel dar: von linearen, fehleranfälligen Generierungspipelines zu einem global optimierten, selbstkorrigierenden agentenbasierten System, das State-of-the-Art-Ergebnisse in narrativer Kohärenz, visueller Konsistenz und strategischer Ausrichtung erzielt.