MUSE: A Multi-agent Framework for Unconstrained Story Envisioning via Closed-Loop Cognitive Orchestration
Dieses Paper stellt MUSE vor, ein Multi-Agenten-Framework, das die Herausforderungen bei der Generierung langformatiger audiovisueller Geschichten durch den Einsatz eines geschlossenen kognitiven Orchestrierungsprozesses adressiert, um Inhalte iterativ zu planen, auszuführen, zu verifizieren und zu revidieren und somit die narrative Kohärenz sowie die Identitätskonsistenz über ausgedehnte Sequenzen hinweg zu gewährleisten.
Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen
Stellen Sie sich vor, Sie möchten einem Freund eine lange, komplexe Geschichte erzählen, haben aber nur einen einzigen Satz als Ausgangspunkt: "Ein Junge begibt sich auf ein Abenteuer in einem Wald."
Wenn Sie eine Standard-KI bitten, diesen Satz in einen Film zu verwandeln, erstellt sie vielleicht eine wunderschöne erste Szene. Aber bis sie die fünfte oder zehnte Szene erreicht, sieht das Gesicht des Jungen vielleicht wie eine andere Person aus, der Wald verwandelt sich plötzlich in eine Wüste, oder die KI vergisst, was in der ersten Szene passiert ist. Die KI wird „betrunken“ von der unmittelbaren Aufgabe, das nächste Bild zu erstellen, und verliert dabei das große Ganze der Geschichte aus den Augen.
MUSE ist ein neues System, das genau das beheben soll. Betrachten Sie MUSE nicht als einen einzelnen Künstler, sondern als eine hochorganisierte Filmproduktion, die zusammenarbeitet, um sicherzustellen, dass die Geschichte vom ersten Frame bis zum letzten konsistent bleibt.
So funktioniert MUSE, unterteilt in einfache Teile:
1. Das Problem: Der „betrunkene Künstler“
Aktuelle KI-Videogeneratoren sind wie talentierte, aber kurzsichtige Künstler. Sie sind großartig darin, ein einzelnes schönes Bild basierend auf einem Prompt zu malen. Aber wenn man sie bittet, einen ganzen Film zu malen, vergessen sie die Regeln. Der Hauptcharakter zieht vielleicht die Kleidung, die Beleuchtung wechselt plötzlich willkürlich von Tag zu Nacht, oder die Stimme des Charakters klingt in der nächsten Szene wie eine andere Person. Dies wird als „semantische Drift“ bezeichnet.
2. Die Lösung: Eine „geschlossene“ Filmcrew
MUSE löst dies, indem es das Geschichtenerzählen wie eine geschlossene Fabrik behandelt und nicht wie eine Einbahnstraße. Es nutzt ein Team spezialisierter KI-Agenten (digitale Arbeiter), die sich ständig gegenseitig kontrollieren und korrigieren.
Der Prozess findet in drei Hauptphasen statt, ähnlich einer echten Filmproduktion:
Pre-Produktion (Der Casting-Direktor & Drehbuchautor):
Bevor überhaupt ein Video erstellt wird, erstellt MUSE eine „Character Bible“ (Charakter-Bibel). Es legt exakt fest, wie der Hauptcharakter aussieht (Alter, Kleidung, Stil) und wie er klingt (Stimmlage, Tonfall). Es erstellt einen digitalen „Ausweis“ für den Charakter. Dieser Ausweis ist das Regelwerk, das für den gesamten Film befolgt werden muss.- Analogie: Stellen Sie sich einen Casting-Direktor vor, der ein perfektes Foto und eine Tonaufnahme eines Schauspielers nimmt und sagt: „Das ist die Person, die wir verwenden. Ändern Sie nichts daran.“
Produktion (Der Regisseur & Set-Designer):
Nun beginnt das System, die Szenen zu generieren. Aber es rät nicht einfach nur. Es nutzt den „Ausweis“, um sicherzustellen, dass der Charakter gleich aussieht. Wenn im Skript steht, dass der Charakter ein Schwert hält, prüft MUSE das Layout, um sicherzustellen, dass das Schwert tatsächlich dort ist und nicht etwa in der Luft schwebt.- Analogie: Der Regisseur ruft ständig: „Warte! Dieser Schauspieler sieht anders aus! Korrigiere das!“, noch bevor die Kamera überhaupt läuft.
Post-Produktion (Der Editor & Continuity-Supervisor):
Soben die Szenen erstellt wurden, prüft MUSE die „Nähte“ zwischen ihnen. Hat sich die Hand des Charakters vom letzten Shot zu diesem flüssig bewegt? War der Handlungsablauf logisch? Wenn die KI versehentlich den Charakter durch eine Wand laufen ließ oder die Stimme für eine traurige Szene zu fröhlich klang, korrigiert MUSE dies.- Analogie: Ein Editor, der den Film sieht und sagt: „Diese Szene passt nicht zur letzten. Lassen Sie uns den Übergang korrigieren, bevor wir ihn dem Publikum zeigen.“
3. Der „Plan-Execute-Verify-Revise“-Zyklus
Das Geheimnis von MUSE ist, dass es nicht einfach generiert und auf das Beste hofft. Es folgt einem strengen Zyklus:
- Plan (Planen): Entscheiden, was als Nächstes passieren muss.
- Execute (Ausführen): Das Video/Audio generieren.
- Verify (Verifizieren): Ein „Kritiker“-Agent prüft, ob das Ergebnis dem Plan und dem Charakter-Ausweis entspricht.
- Revise (Überarbeiten): Wenn etwas falsch ist (z. B. der Hut des Charakters fehlt), korrigiert MUSE nur diesen spezifischen Teil, anstatt die ganze Szene wegzuwerfen und von vorne zu beginnen.
4. Der neue Test: MUSEBench
Woher weiß man, ob eine Geschichte gut ist, wenn es keine „richtige“ Antwort gibt? Die Autoren haben ein neues Testfeld namens MUSEBench entwickelt.
Anstatt das Ergebnis der KI mit einem perfekten Referenzvideo zu vergleichen (das es für kreative Geschichten nicht gibt), nutzt MUSEBench einen intelligenten KI-Richter, um die Geschichte nach Kriterien wie zu bewerten:
- Konsistenz: Ist der Charakter gleich geblieben?
- Handlungsfluss: Ergab die Handlung Sinn?
- Audio-Visuelle Harmonie: Passte die Stimme zur Stimmung der Szene?
Das Ergebnis
Die Arbeit zeigt, dass MUSE wesentlich besser darin ist, lange Geschichten kohärent zu halten, als bisherige Methoden. Es sorgt dafür, dass Charaktere gleich aussehen und klingen, die richtige Stimmung beibehält und sicherstellt, dass die Geschichte nicht auseinanderfällt, je länger sie wird.
Kurz gesagt: MUSE ist wie eine super-organisierte Filmcrew, die nicht zulässt, dass die Geschichte chaotisch wird. Sie plant voraus, kontrolliert ständig ihre Arbeit und behebt Fehler sofort, damit aus einem einfachen Prompt ein langer, fesselnder und konsistenter Film entstehen kann.
Ertrinken Sie in Arbeiten in Ihrem Fachgebiet?
Erhalten Sie tägliche Digests der neuesten Arbeiten passend zu Ihren Forschungsbegriffen — mit technischen Zusammenfassungen, in Ihrer Sprache.