A Text-Native Interface for Generative Video Authoring

Dieses Paper stellt Doki vor, eine textbasierte Schnittstelle für die Generierung von Videos, die es Nutzern ermöglicht, visuelle Geschichten durch das Schreiben von Texten zu erstellen, und validiert diesen Ansatz durch eine einwöchige Feldstudie.

Das Wesentliche

Stell dir vor, du möchtest einen Film drehen. Normalerweise ist das wie ein riesiges Puzzle, bei dem du mit verschiedenen Werkzeugen hantieren musst: Ein Programm für das Drehbuch, eines für die Bilder, eines für den Schnitt und wieder eines für die Musik. Das ist oft so kompliziert, dass viele die Idee schon aufgeben, bevor sie richtig angefangen haben.

Die Forscher von Adobe haben etwas Neues entwickelt, das „Doki" heißt. Hier ist eine einfache Erklärung, wie das funktioniert, mit ein paar bildhaften Vergleichen:

1. Der Film ist ein Brief (Text ist der Held)

Stell dir Doki nicht als einen Bildschirm voller Schieberegler und timelines vor, sondern als ein normales Textdokument, wie eine Word-Datei oder ein digitales Notizbuch.

• Die alte Methode: Du musst wie ein Architekt arbeiten, der erst den Grundriss zeichnet, dann die Mauern baut und dann die Möbel reinstellt – alles in verschiedenen Räumen.
• Die Doki-Methode: Du schreibst einfach eine Geschichte. Wenn du schreibst: „Ein kleiner Hund kommt am Flughafen an", passiert das Magische: Der Computer versteht, dass das ein Filmclip sein soll. Du schreibst weiter, und der Film wächst mit deinen Worten mit.

2. Das „Zauber-Notizbuch" (Wiederverwendbare Elemente)

Ein großes Problem beim Filmen mit KI ist, dass der Hund im ersten Clip braun ist und im zweiten plötzlich grau. Das ist frustrierend.
Doki löst das mit einem cleveren Trick, den wir „Zauber-Notizen" nennen können:

• Du definierst einmal: „@Hund = ein kleiner, goldener Corgi".
• Immer wenn du später in deinem Text einfach nur @Hund schreibst, weiß der Computer genau, welchen Hund er nehmen muss.
• Es ist wie ein Rezeptbuch: Du schreibst das Rezept für den Kuchen (den Charakter) einmal auf. Wenn du später „Kuchen" sagst, kommt immer derselbe Kuchen heraus, egal ob du ihn im ersten oder im zehnten Absatz erwähnst.

3. Der Regisseur und der Assistent (KI-Agenten)

In Doki bist du der Regisseur, und die KI ist dein super-tüchtiger Assistent.

• Der Assistent im Hintergrund: Du kannst dem Assistenten sagen: „Mach die Szene dramatischer" oder „Füge Musik hinzu". Der Assistent ändert den Text und generiert sofort die neuen Bilder oder den Sound.
• Du bleibst der Chef: Du entscheidest, was passiert. Die KI macht nur die schwere Arbeit des „Drehens". Es ist so, als würdest du ein Skript schreiben und ein Filmteam sofort alles umsetzen, was du aufschreibst.

4. Warum ist das so cool? (Die Vorteile)

Die Forscher haben das mit echten Leuten getestet – von Anfängern bis zu Profis.

• Schneller vom Gedanken zum Film: Früher dauerte es Stunden, um einen Clip zu machen. Mit Doki geht es in Minuten. Es ist wie der Unterschied zwischen einem Brief zu schreiben und einen ganzen Roman zu drucken.
• Verständlichkeit: Weil alles in einem Text steht, siehst du sofort, wie die Geschichte fließt. Bei normalen Videoprogrammen sieht man nur eine lange Leiste mit kleinen Bildchen (Timeline) und verliert den Überblick. Bei Doki liest du deine Geschichte einfach durch.
• Jeder kann es: Du musst kein Experte sein. Wenn du schreiben kannst, kannst du jetzt auch Filme machen.

5. Wo sind die Grenzen? (Die kleinen Probleme)

Natürlich ist es nicht perfekt.

• Die KI ist manchmal träge: Manchmal macht die KI genau das, was du sagst, aber nicht so, wie du es im Kopf hast (z. B. läuft der Hund falsch herum). Dann musst du den Text ein bisschen umschreiben und es nochmal versuchen.
• Musik und Timing: Es ist noch etwas schwierig, Musik genau auf die Sekunden zu timen oder Szenen, die sich gleichzeitig abspielen, perfekt zu synchronisieren. Das ist wie beim Schreiben eines Gedichts, bei dem der Rhythmus manchmal noch nicht ganz stimmt.

Fazit

Doki ist wie eine Brücke zwischen deiner Fantasie und dem fertigen Film. Es nimmt die komplizierte Technik weg und lässt dich einfach die Geschichte erzählen. Es ist, als hättest du einen Filmstudio in deiner Tasche, das nur darauf wartet, dass du ihm sagst, was du dir vorstellst.

Kurz gesagt: Schreib deine Geschichte, und der Computer dreht den Film für dich.

Technische Zusammenfassung

Hier ist eine detaillierte technische Zusammenfassung des Papers „A Text-Native Interface for Generative Video Authoring" auf Deutsch:

1. Problemstellung

Die Erstellung von Videos ist traditionell komplex und erfordert spezialisierte, nicht-lineare Editoren (NLEs), die eine steile Lernkurve und hohe kognitive Belastung mit sich bringen. Auch neuere generative KI-Tools für Video (wie Runway, Pika, Veo) adressieren oft nur die Erzeugung einzelner, kurzer Clips. Um daraus eine kohärente Geschichte zu machen, müssen Nutzer:innen zwischen verschiedenen Tools wechseln (Skript, Bildgenerierung, Videomodell, Audio, Schnitt), was zu einem fragmentierten Workflow führt.
Die Hauptprobleme sind:

• Zersplitterung: Skripte, Prompts, Assets und Zeitlinien liegen in unterschiedlichen Formaten vor.
• Prompt-Engineering vs. Storytelling: Nutzer verbringen überproportional viel Zeit mit der Formulierung technischer Prompts statt mit der narrativen Entwicklung.
• Konsistenz: Die Aufrechterhaltung visueller und narrativer Konsistenz (Charaktere, Stile, Objekte) über mehrere Szenen hinweg ist ohne manuelle Nachbearbeitung kaum möglich.
• Fehlende Struktur: Bestehende Tools bieten keine intuitive Möglichkeit, lange, zusammenhängende Geschichten zu strukturieren.

2. Methodik und Systemarchitektur (Doki)

Die Autoren stellen Doki vor, eine text-native Schnittstelle, die Video-Autoring als das Schreiben eines strukturierten Dokuments behandelt. Das Dokument fungiert gleichzeitig als narrative Erzählung und als ausführbares Skript für die Videoproduktion.

Kernkonzepte und Datenstruktur

Doki verwendet eine hierarchische, dreistufige Textstruktur:

1. Dokument = Video: Das gesamte Dokument entspricht dem finalen Video-Projekt.
2. Absatz = Sequenz: Ein Absatz entspricht einer filmischen Sequenz (eine Gruppe von Einstellungen).
3. Satz = Einstellung (Shot): Ein Satz oder eine Texteinheit definiert eine einzelne Videosequenz.

Technische Mechanismen

• Parametrisierte Definitionen (@Mentions & #Hashtags):
  • Nutzer können wiederverwendbare Assets definieren (z. B. Charaktere @char, Szenen @scene, Objekte @ingred).
  • Stilistische Parameter werden über Hashtags gesteuert (z. B. #style, #camera, #composition).
  • Diese Definitionen werden im Dokument zentral verwaltet. Änderungen an einer Definition propagieren automatisch durch das gesamte Dokument, was Konsistenz sicherstellt.
  • Visuelle Definitionen sind möglich: Nutzer können Referenzbilder zu Definitionen hinzufügen, die als primärer Input für die Generierung dienen.
• Slash-Menü & Inline-Präviews:
  • Über ein Slash-Menü (/) können Nutzer Shots, Definitionen und Audio einfügen.
  • Shots werden als Inline-Elemente im Text dargestellt. Das System generiert zunächst ein Vorschaubild (Image), das dann als erster Frame für die Videogenerierung dient.
• Generierungs-Pipeline:
  1. User Prompt: Der Rohtext des Nutzers.
  2. Strukturierter Prompt: Das System löst Referenzen (@name) auf und fügt Definitionen ein, um einen strukturierten Kontext zu schaffen.
  3. Rewritten Prompt: Ein LLM (Large Language Model) poliert den strukturierten Prompt für die Generierungsmodelle (z. B. Veo 3, Flux Kontext), um natürliche Sprache und optimale Ergebnisse zu gewährleisten.
  4. Referenzbilder: Das System zieht visuelle Referenzen aus vorherigen Shots oder Definitionen, um Kontinuität zu gewährleisten.
• KI-Agenten:
  • Sidebar-Agent: Ein konversationeller Assistent für globale Änderungen (z. B. „Ändere den Charakter zu einer Katze").
  • Inline-Agent: Ein kontextsensitiver Assistent, der ausgewählten Text verbessert, in Definitionen umwandelt oder spezifische Anpassungen vornimmt.

3. Wichtige Beiträge

1. Strukturierte, parametrisierte Textrepräsentation: Ein neues Paradigma, bei dem Video als hierarchisches Dokument mit Definitionssystemen für Assets und Stile modelliert wird. Dies löst das Konsistenzproblem durch automatische Propagierung.
2. Doki-Schnittstelle: Eine minimalistische, textzentrierte UI, die den gesamten Workflow (Idee, Skript, Generierung, Schnitt, Audio) in einem einzigen Dokument vereint.
3. Evaluation: Eine einwöchige Tagebuchstudie mit 10 Teilnehmern (von Laien bis zu Profis), die 46 Videos produzierten.

4. Ergebnisse der Studie

Die Studie ergab folgende Erkenntnisse:

• System Usability Scale (SUS): Der Durchschnittswert lag bei 81,2 („Excellent"), was deutlich über dem Branchendurchschnitt liegt.
• Workflow-Verbesserung: Teilnehmer berichteten über einen schnelleren Übergang von der Idee zum Entwurf („Idea-to-Draft"). Die Textstruktur half, den narrativen Fluss und die Gesamtstruktur des Films besser zu verstehen als bei traditionellen Zeitlinien-Editoren.
• Parametrisierung: Die Definitionen wurden als entscheidend für die Kohärenz empfunden. Sie reduzierten die Zufälligkeit der KI-Generierung und ermöglichten komplexe Szenen ohne wiederholtes manuelles Beschreiben.
• Mensch-KI-Kollaboration: Nutzer delegierten viele Produktionsschritte an KI-Agenten, behielten aber ein starkes Gefühl der Urheberschaft („Director"-Rolle). Die Textdokumente dienten als „gemeinsamer Boden" für Mensch und KI.
• Zielgruppenunterschiede:
  • Laien: Fühlten sich befähigt, visuelle Geschichten zu erzählen, die ihnen zuvor unmöglich erschienen.
  • Profis: Nutzten Doki als ergänzendes Tool für Ideation und Storyboarding, nicht als Ersatz für hochauflösende Produktionsumgebungen.
• Limitationen:
  • Vorhersagbarkeit: Die KI generierte oft nicht exakt das Gewünschte (z. B. Artefakte, verschwundene Objekte), was zu Trial-and-Error führte.
  • Präzise Kontrolle: Die textbasierte Schnittstelle erschwert das Erreichen sehr spezifischer Bildkompositionen oder komplexer zeitlicher Abläufe (z. B. überlappende Audiospuren, J-Cuts).
  • Audio: Die Handhabung von Audio über mehrere Absätze hinweg war aufgrund der linearen Dokumentstruktur schwierig.

5. Bedeutung und Ausblick

Das Paper demonstriert einen fundamentalen Paradigmenwechsel in der Gestaltung von Schnittstellen für generative Medien:

• Text als Substrat: Statt Text nur als Eingabe für einen Output zu nutzen, wird er zum primären Medium für Struktur, Narrative und Produktion.
• Transparenz und Kontrolle: Das Dokument als intermediäre Repräsentation macht KI-Aktionen für den Menschen lesbar, editierbar und nachvollziehbar, im Gegensatz zu „Black-Box"-Prompting.
• Zukunftsperspektiven: Die Autoren schlagen vor, die Sprache des Dokuments um temporale Primitive (z. B. für Timing, Übergänge) zu erweitern, um die Lücke zwischen linearer Textstruktur und komplexer zeitlicher Video-Logik zu schließen.

Zusammenfassend zeigt Doki, dass durch die Konsolidierung von Werkzeugen in einer textbasierten, parametrisierten Umgebung die Einstiegshürden für Videoerstellung gesenkt und die narrative Kohärenz durch KI-gestützte Konsistenzmechanismen verbessert werden kann.