💻 computer science

UnityShots: Memory-Driven Multi-Shot Audio-Video Generation with Boundary-Aware Gating

UnityShots ist ein gedächtnisgesteuertes Multi-Shot-Audio-Video-Generierungssystem, das auf LTX-2.3 basiert und durch einen grenzbewussten Gating-Mechanismus für visuelles Gedächtnis fester Größe sowie Referenz-Sprecher-Token für Audio die Kohärenz über mehrere Aufnahmen hinweg sicherstellt und dabei Open-Source-Baselines in einem neu veröffentlichten multikulturellen Benchmark übertrifft.

Ursprüngliche Autoren: Jiehui Huang, Yuechen Zhang, Bin Xia, Jiahao Wang, Xu He, Zhenchao Tang, Meng Chu, Xin Tao, Pengfei Wan, Jiaya Jia

Veröffentlicht 2026-06-23

📖 4 Min. Lesezeit☕ Kaffeepausen-Lektüre

CC BY 4.0

Ursprüngliche Autoren: Jiehui Huang, Yuechen Zhang, Bin Xia, Jiahao Wang, Xu He, Zhenchao Tang, Meng Chu, Xin Tao, Pengfei Wan, Jiaya Jia

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Stellen Sie sich vor, Sie regieren einen Film. Sie haben ein Skript mit vielen verschiedenen Szenen (Shots). Die größte Herausforderung bei der Erstellung eines Films mit KI besteht darin, die Geschichte konsistent zu halten. Wenn man eine KI bittet, Szene 1, dann Szene 2 und dann Szene 3 zu erstellen, vergisst sie oft, wie der Hauptcharakter in Szene 1 aussah, wenn sie bei Szene 3 angelangt ist. Die Haarfarbe des Charakters könnte sich ändern, die Kleidung könnte variieren oder die Stimme könnte wie die einer anderen Person klingen.

UnityShots ist ein neues KI-System, das entwickelt wurde, um dieses „Vergessen“-Problem zu lösen. Stellen Sie es sich wie einen superorganisierten Filmdirektor vor, der den Überblick über die Geschichte niemals verliert. So funktioniert es, unter Verwendung einfacher Analogien:

1. Das Zwei-Speicher-System (Der „Anker“ und der „Schritt“)

Die meisten KI-Videogeneratoren sind wie ein Mensch mit einem sehr kurzen Kurzzeitgedächtnis. Sie erinnern sich nur an die letzten paar Sekunden. UnityShots ist anders, weil es für jede neue Szene zwei spezifische Arten von Gedächtnis in der Hintertasche trägt:

Der Langzeit-„Anker“ (LTM): Stellen Sie sich ein Foto des Hauptcharakters vor, das zu Beginn des Films an die Wand geheftet wurde. Egal wie viele Szenen vergehen, die KI wirft immer wieder einen Blick auf dieses Foto, um sich zu erinnern: „Das ist die Person, die dieser Charakter ist.“ Dies stellt sicher, dass das Gesicht, die Kleidung und die Identität des Charakters vom ersten Shot bis zum letzten gleich bleiben.
Der Kurzzeit-„Schritt“ (STM): Stellen Sie sich vor, die KI führt auch mental Notiz darüber, wie die vorherige Szene endete. Ist der Charakter gerade aufgestanden? Bewegte sich die Kamera nach links? Dieses „Schritt“-Gedächtnis hilft der neuen Szene, natürlich aus der alten zu fließen, damit die Bewegung nicht ruckartig oder abgehackt wirkt.

2. Der „Smart Gatekeeper“ (Der intelligente Torwächter)

In einem normalen Film entscheidet ein Regisseur, wann er von einer Szene zur nächsten schneidet, bas-ierend auf der Handlung oder der Musik. UnityShots hat einen Smart Gatekeeper, der dies automatisch erledigt.

Visuelle Hinweise: Er achtet auf visuelle Veränderungen (wie einen plötzlichen Schnitt oder einen neuen Ort).
Auditive Hinweise: Er hört auf den Rhythmus der Musik oder den Beat der Audioaufnahme.
Die Entscheidung: Wenn der Gatekeeper eine große Veränderung sieht (wie einen harten Schnitt im Skript), weiß er, dass er das „Kurzzeit-Schritt“-Gedächtnis an die neue Handlung anpassen muss. Aber entscheidend ist, dass er den „Langzeit-Anker“ niemals loslässt. Er weiß, dass der Hauptcharakter gleich bleiben muss, selbst wenn sich die Szene komplett ändert.

3. Der „Voice Anchor“ (Der Stimmen-Anker)

Genau wie das Aussehen eines Charakters konsistent bleiben muss, muss auch seine Stimme das. UnityShots versucht nicht, die gesamte Tonspur des Films zu speichern. Stattdessen behält es eine einzige „Voice ID“-Karte für jeden Charakter. Jedes Mal, wenn eine neue Szene beginnt, zeigt es diese Karte der KI und sagt: „Erinnere dich, das ist dieselbe Person, die spricht.“ Dies verhindert, dass die Stimme des Charakters im nächsten Shot wie die einer anderen Person klingt.

4. Die „Strata“ (Das geschichtete Bücherregal)

Um all diese Informationen organisiert zu halten, ohne verwirrt zu werden, nutzt UnityShots ein spezielles Ablagesystem namens Strata-RoPE.

Stellen Sie sich ein Bücherregal mit drei deutlich getrennten Regalböden vor:

Oberes Regal: Beinhaltet den „Langzeit-Anker“ (den Eröffnungsshot).
Mittleres Regal: Beinhaltet den „Kurzzeit-Schritt“ (die unmittelbare Vergangenheit).
Unteres Regal: Beinhaltet die „Aktuelle Szene“ (was gerade erstellt wird).

Da diese Regalböden physisch voneinander getrennt sind, vermischt die KI die alten Charakterdetails niemals mit den Details der neuen Szene. Sie weiß genau, in welches Regal sie für welche Information schauen muss.

5. Das Ergebnis: Ein konsistenter Film

Das Paper testete dieses System anhand eines „Multi-Cultural Benchmark“ (einer Sammlung von 200 verschiedenen Kurzgeschichten mit Charakteren aus sechs verschiedenen kulturellen Hintergründen und vielen Sprachen).

Alte Methoden: Führten oft zu „Drift“, wobei der Charakter unterwegs im Verlauf der Geschichte anders aussah oder die Stimme sich änderte.
UnityShots: Es gelang erfolgreich, die Charaktere über mehrere Schnitte hinweg gleich aussehen und klingen zu lassen, selbst in langen Sequenzen. Es schnitt besser ab als andere Open-Source-Tools und erreichte die Qualität der besten kommerziellen Closed-Source-Systeme, jedoch mit der zusätzlichen Fähigkeit, Audio und Video nahtlos zusammen zu verarbeiten.

Zusammenfassend lässt sich sagen: UnityShots ist wie ein Regisseur, der ein permanentes Foto der Besetzung an der Wand hat (Langzeitgedächtnis), einen Notizblock über die letzte Handlung besitzt (Kurzzeitgedächtnis) und ein striktes Regelwerk für den Szenenwechsel hat (der Gatekeeper). Dies ermöglicht es, lange Videos mit mehreren Szenen zu generieren, in denen die Geschichte, die Charaktere und die Stimmen von Anfang bis Ende konsistent bleiben.

Technisches Resümee: UnityShots

Problemstellung

Die Generierung kohärenter Multi-Shot-Audio-Video-Sequenzen erfordert die Aufrechterhaltung der Erscheinung von Subjekten, des Szenenkontexts und der Sprecheridentität über Shot-Grenzen hinweg. Bestehende Ansätze leiden unter strukturellen Einschränkungen:

End-to-End-Methoden werden auf fest vorgegebene Sequenzlängen trainiert, was die Skalierbarkeit auf langfristiges Storytelling aufgrund von GPU-Speicherbeschränkungen einschränkt.
Shot-by-Shot-Methoden verlassen sich oft auf Sliding Windows oder Keyframe-Banken, die linear mit der Sequenzlänge wachsen, was zu Identitätsdrift führt, sobald das Konditionierungsfenster über den Eröffnungs-Shot hinauswandert.
Agenten-gesteuerte Methoden nutzen LLM-Planer, um vortrainierte Generatoren zu verketten, aber den zugrunde liegenden Modellen fehlt ein natives Training für die Cross-Shot-Kohärenz, was die Signalpropagation erschwert.

Darüber hinaus behandeln aktuelle Designs das Gedächtnis als monolithisches Kontextfenster und versäumen es, zwischen langfristigen narrativen Ankern (dem Eröffnungs-Shot) und kurzfristiger lokaler Kontinuität (dem unmittelbar vorangehenden Tail) zu unterscheiden. Zusätzlich nutzt kein existierendes Modell visuelle und auditive Grenzsignale gemeinsam, um die Gedächtnis-Updates bei Shot-Cuts dynamisch zu steuern.

Methodik

UnityShots ist ein gedächtnisgesteuertes Multi-Shot-Audio-Video-Generationssystem, das auf dem LTX-2.3 22B Dual-Stream Diffusion Transformer basiert. Es führt eine strukturierte Gedächtnisbank und grensbedingte Gating-Mechanismen ein, um die Cross-Shot-Kohärenz zu lösen.

1. Dual-Stream Gedächtnisbank

Das System unterhält feste Größen für Gedächtnisslots sowohl für den Video- als auch für den Audiostream:

Video-Gedächtnis: Besteht aus zwei festen Slots, die bei jedem Cut aktualisiert werden:
- Langfristiges Gedächtnis (LTM): Verankert am Eröffnungs-Shot ( $P_\ell=2$ Latent Frames). Es bewahrt die globale narrative Identität. Sein Beitrag wird durch einen regelbasierten Koeffizienten gesteuert, der sicherstellt, dass der Anker niemals vollständig gelöscht wird, unabhängig von der Stärke des Cuts.
- Kurzfristiges Gedächtnis (STM): Hält den unmittelbar vorangehenden Tail ( $P_v=4$ Latent Frames). Es erfasst lokale Bewegungsdynamiken und den Szenenzustand. Sein Gewicht wird durch ein inhaltsadaptives MLP verfeinert, das auf den ausgehenden und eingehenden Shot-Inhalten konditioniert ist.
Audio-Gedächtnis: Anstatt eines Sliding Windows injiziert das System bei jedem Shot ein festes Referenz-Sprecher-Token, das aus dem Referenz-Audio ( $A_{ref}$ ) abgeleitet ist. Dies bewahrt die vokale Timbre, ohne eine gleitende Audio-Bank aufrechterhalten zu müssen.

2. Boundary-Conditioned Memory Gating

Die Gedächtnis-Updates werden durch einen zusammengesetzten Boundary-Score ( $b_N$ ) gesteuert, der visuelle und auditive Signale fusioniert:
$b_N = \tau_N \cdot (\alpha s_{vis} + \beta s_{aud} + \gamma s_{beat})$
Hierbei ist $\tau_N$ ein diskreter Cut-Typ-Prior (FIRST, CONTINUE, HARD), $s_{vis}$ die visuelle Cut-Wahrscheinlichkeit, $s_{aud}$ die Änderung der RMS-Energie und $s_{beat}$ den Beat-Punkt kodiert.

Gating-Koeffizienten: Zwei monoton steigende Koeffizienten ( $g_{ltm}$ und $g_{stm}$ ) werden aus dem geklippten Boundary-Score abgeleitet. Der LTM-Koeffizient ist strikt auf einen Wert über Null begrenzt, um den Verlust des Ankers zu verhindern, während der STM-Koeffizient sich anpasst, um Grenzen zu überbrücken.
Update-Mechanismus: Die Gedächtnisslots werden vor jedem Denoising-Pass unter Verwendung einer beschränkten Update-Regel aktualisiert, die ein abruptes Überschreiben des Eröffnungs-Shot-Ankers verhindert.

3. Strata-RoPE Positionskodierung

Um zwischen dem aktuellen Shot, dem STM und dem LTM zu unterscheiden, ohne zusätzliche Depth-Tokens zu verwenden, nutzt das System Strata-RoPE. Die temporale RoPE-Achse wird in drei nicht überlappende Strata unterteilt:

Aktueller Shot: $[0, T_v - 1]$
STM-Band: $[f_{lim} - P_v, f_{lim} - 1]$
LTM-Band: $[f_{lim} - 2P_v, f_{lim} - P_v - 1]$
Dieses Design ermöglicht es dem Rotary-Kernel, Cross-Strata-Interaktionen basierend auf der Distanz automatisch abzuschwächen.

4. Training und Inferenz

Training: Das Modell wird in zwei Phasen auf 146k annotierten cineastischen und Musikvideo-Clips trainiert. Phase 1 verfeinert das Backbone auf Single-Shots. Phase 2 führt Gedächtnisslots und Gating ein und trainiert auf Multi-Shot-Chunks ( $k \in [3, 9]$ ) unter gemischter Konditionierung (I2V, T2V, R2V).
Inferenz: Für jeden Shot erhält der STM den Tail des vorangegangenen Shots, und der LTM wird über den Gating-Mechanismus aktualisiert. Das Backbone denoiset den aktuellen Shot, konditioniert auf die Referenzidentität, die Gedächtnisslots und das Referenz-Audio.

Zentrale Beiträge

Gedächtnisgesteuerte Dual-Stream-Generierung: Ein End-to-End trainiertes Backbone mit einer Zwei-Slot-Video-Gedächtnisbank (LTM/STM) und einem Referenz-Sprecher-Anker, was die Kontrolle über die Übergangsstärke via Cut-Typ-Prior durch AdaLN ermöglicht.
Boundary-Conditioned Memory Gating: Ein Mechanismus, der die Gedächtnisbank bei jedem Cut unter Verwendung eines kombinierten visuellen-auditiven Boundary-Signals aktualisiert und dabei zwischen globalen Ankern und lokaler Kontinuität unterscheidet.
Multi-Kultureller Multi-Shot Benchmark: Veröffentlichung von 200 Multi-Shot-Sequenzen, die sechs kulturelle Gruppen und zehn Sprachen abdecken und Referenzidentitäten, Audio sowie pro Boundary Übergangs-Labels enthalten.

Ergebnisse

Evaluierungen auf dem Multi-Kultur-Benchmark über I2V-, T2V- und R2V-Modi hinweg zeigen, dass UnityShots eine überlegene Performance aufweist:

Kohärenz: Es führt Open-Source-Baselines in jeder Cross-Shot-Kohärenzmetrik (Narrative Kohärenz, Story, Charakterkonsistenz). Beispielsweise erreicht es im I2V-Modus +0,40 NC und +0,69 Story gegenüber der stärksten Open-Source-Baseline.
Vergleich mit Closed-Source: Während Closed-Source-Systeme wie Kling eine hohe Per-Frame-Fidelity aufweisen, erreicht oder übertrifft UnityShots sie auf Multi-Shot-Achsen (NC, Story) und übertrifft sie signifikant in der Audio-Kontinuität (AES-A, CLAP) aufgrund seines Sprecher-Ankers.
Robustheit langer Sequenzen: Ablationsstudien bestätigen, dass beide Gedächtnisslots notwendig sind. Das vollständige System bewahrt die Identitätskonsistenz selbst in Sequenzen von mehr als 6 Shots, während Single-Slot-Varianten oder Baselines unter Drift leiden.
Human Evaluation: Eine Nutzerstudie mit 32 Teilnehmern zeigte, dass UnityShots bei der Identitätskonsistenz und der allgemeinen Qualität gegenüber allen Open-Source-Baselines die Mehrheitspräferenz erhielt.

Bedeutung

Die Arbeit postuliert, dass die Behandlung des Gedächtnisses als monolithisches Fenster für die langfristige Generierung unzureichend ist. Durch die explizite Trennung von langfristigen Identitätsankern und kurzfristiger Kontinuität sowie deren Steuerung über kombinierte audio-visuelle Boundary-Signale bietet UnityShots eine skalierbare Lösung für kohärente Multi-Shot-Generierung. Die Arbeit schließt die Lücke zwischen der Qualität der Single-Shot-Generierung und den strukturellen Anforderungen des cineastischen Storytellings und bietet ein System, das sowohl für manuelle als auch für agentengesteuerte Produktionspipelines kompatibel ist. Die Veröffentlichung eines diversen, multikulturellen Benchmarks soll die weitere Forschung zu demografischer Diversität und Cross-Shot-Kohärenz erleichtern.