OmniScript: Towards Audio-Visual Script Generation for Long-Form Cinematic Video
Die Arbeit stellt OmniScript vor, ein effizientes 8-Milliarden-Parameter-Modell, das erstmals die Generierung detaillierter, zeitlich verankerter Drehbücher aus langen audiovisuellen Filmen ermöglicht und dabei den aktuellen State-of-the-art-Modellen wie Gemini 3-Pro ebenbürtig ist.
Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen
Stell dir vor, du hast einen ganzen Spielfilm vor dir – vielleicht 90 Minuten voller Action, Dialoge, Hintergrundmusik und emotionaler Momente. Jetzt stell dir vor, du müsstest diesen Film nicht nur ansehen, sondern ihn Zeile für Zeile in ein Drehbuch verwandeln. Nicht nur: „Da ist jemand", sondern: „Da ist Dai Xi, sie wischt das Geländer, sieht leicht hilflos aus, sagt ‚Satisfied now?', während im Hintergrund fröhliche Streichinstrumente spielen."
Das ist die Aufgabe, die sich die Forscher von Tencent mit ihrer neuen KI OmniScript gestellt haben. Hier ist eine einfache Erklärung, wie das funktioniert, ohne den technischen Fachjargon:
1. Das Problem: Der „Kino-Chaos"-Effekt
Bisher waren KI-Modelle wie gute Kurzfilm-Experten. Sie konnten einen 10-Sekunden-Clip beschreiben. Aber einen ganzen Film zu verstehen? Das war wie ein Elefant im Porzellanladen.
- Das Gedächtnis-Problem: Wenn du einen Film siehst, vergisst du nicht, wer der böse Schurke in Minute 5 ist, wenn du bei Minute 60 bist. Die meisten KIs aber schon. Sie verlieren den Faden.
- Das Detail-Problem: Eine KI sieht vielleicht, dass jemand spricht. Aber sie hört nicht den Tonfall, sieht nicht den Gesichtsausdruck und ignoriert die Hintergrundmusik, die die Stimmung bestimmt.
- Das Daten-Problem: Es gab keine „Lehrbücher" (Daten), in denen Filme so detailliert in Drehbücher umgeschrieben waren. Man musste das erst alles neu erfinden.
2. Die Lösung: OmniScript – Der „Super-Drehbuch-Autor"
OmniScript ist eine KI, die speziell dafür trainiert wurde, Filme wie ein menschlicher Regisseur zu lesen. Sie ist nur 8 Milliarden Parameter groß (im Vergleich zu riesigen Riesen-KIs), aber sie ist extrem effizient.
Wie lernt sie das? (Die drei Geheimnisse)
Der „Gedächtnis-Manager" (Character Profile Manager):
Stell dir vor, OmniScript hat einen Notizblock für jeden Charakter im Film. Wenn eine Figur in Szene 1 ein rotes Hemd trägt und in Szene 2 ein blaues, merkt sich die KI: „Aha, das ist dieselbe Person, die sich umgezogen hat." Sie vergisst nicht, wer wer ist, selbst wenn der Film 40 Minuten lang ist. Sie baut ein soziales Netzwerk aus Beziehungen auf (Wer ist der Vater? Wer ist der Feind?).Das „Zuhören" (Audio-Visual):
Viele KIs schauen nur zu. OmniScript hört auch zu. Sie verbindet das Bild mit dem Ton. Wenn jemand flüstert, weiß sie es. Wenn die Musik düster wird, weiß sie, dass die Stimmung „spannend" ist. Sie versteht also nicht nur, was passiert, sondern wie es passiert.Das „Nachdenken" (Chain-of-Thought):
Bevor die KI das Drehbuch schreibt, denkt sie erst nach. Sie fasst die Handlung zusammen: „Okay, hier ist der Konflikt, hier ändern sich die Beziehungen." Erst dann schreibt sie die Details. Das verhindert, dass sie Unsinn erfindet.
3. Der neue Maßstab: Der „Drehbuch-Test"
Da es noch nie so eine Aufgabe gab, mussten die Forscher eine neue Art von Prüfung erfinden.
- Früher: Man hat gemessen, ob die KI das Richtige gesagt hat (wie bei einem Multiple-Choice-Test).
- Jetzt: Sie prüfen, ob die KI das Wann, Wer, Was und Wie genau trifft.
- Stimmt der Zeitstempel? (Passiert es genau dann, wenn es im Film passiert?)
- Stimmt die Emotion? (Ist der Charakter wirklich wütend oder nur genervt?)
- Stimmt der Ton? (Hört man die Hintergrundmusik richtig?)
Sie haben sogar eine KI-gestützte „Prüfung" entwickelt, die wie ein strenger Filmkritiker agiert: Sie vergleicht das generierte Drehbuch mit dem echten Film und bestraft kleine Fehler, die andere KIs übersehen würden.
4. Das Ergebnis: Der „Zwei-Stufen-Plan" für lange Filme
Bei sehr langen Filmen (z. B. 40 Minuten) haben andere KIs oft einen „Blackout" – sie werden verwirrt und fangen an, sich zu wiederholen.
OmniScript hat einen cleveren Trick: Der Zwei-Stufen-Plan.
- Der Regisseur (Planung): Zuerst schaut die KI auf den ganzen Film und teilt ihn in sinnvolle Abschnitte ein (Szene 1, Szene 2...). Sie erstellt einen groben Fahrplan.
- Der Schreiber (Ausarbeitung): Dann schreibt die KI jeden Abschnitt einzeln aus, basierend auf dem Fahrplan.
Das Ergebnis? Die KI bleibt auch bei 40-minütigen Filmen scharf und präzise, während andere KIs bei 30 Minuten schon ins Wanken geraten.
Zusammenfassung in einer Metapher
Stell dir vor, du hast einen riesigen, unordentlichen Haufen Lego-Steine (den Film).
- Andere KIs versuchen, daraus ein Haus zu bauen, indem sie blindlings Steine aneinanderkleben. Am Ende ist es ein Haufen, der vielleicht ein bisschen wie ein Haus aussieht, aber instabil ist.
- OmniScript ist wie ein erfahrener Architekt. Er hat einen Plan (das Drehbuch), merkt sich, welche Steine zu welchem Turm gehören (Gedächtnis), hört auf die Anweisungen des Bauherrn (Audio) und baut Stein für Stein ein stabiles, detailliertes Haus, das genau so aussieht, wie es im Film gezeigt wurde.
Warum ist das wichtig?
Dies ist ein riesiger Schritt für die Filmindustrie. Es könnte helfen, Filme automatisch zu archivieren, Szenen schnell wiederzufinden oder sogar Regisseuren zu helfen, ihre eigenen Ideen schneller in Drehbücher zu verwandeln. OmniScript zeigt, dass man nicht immer den größten, teuersten Computer braucht, sondern einen, der genau weiß, wie man zuhört und sich Dinge merkt.
Ertrinken Sie in Arbeiten in Ihrem Fachgebiet?
Erhalten Sie tägliche Digests der neuesten Arbeiten passend zu Ihren Forschungsbegriffen — mit technischen Zusammenfassungen, in Ihrer Sprache.