Technische Samenvatting: UnityShots

Probleemstelling

Het genereren van coherente audio-video-sequenties met meerdere shots vereist het behoud van de verschijning van het onderwerp, de scènecontext en de identiteit van de spreker over shot-grenzen heen. Bestaande benaderingen lijden aan structurele beperkingen:

• End-to-end methoden worden getraind op vaste sequentieslengtes, wat de schaalbaarheid naar langere verhalende structuren beperkt vanwege GPU-geheugenbeperkingen.
• Shot-by-shot methoden vertrouwen vaak op sliding windows of keyframe-banken die lineair groeien met de sequentielengte, wat leidt tot identiteitsdrift wanneer het conditioneringvenster voorbij de openingsshot beweegt.
• Agent-gestuurde methoden gebruiken LLM-planners om vooraf getrainde generatoren te ketenen, maar de onderliggende modellen missen een natuurlijke training voor cross-shot coherentie, waardoor signaalpropagatie moeilijk is.

Bovendien behandelen huidige ontwerpen geheugen als een monolithisch contextvenster, waarbij geen onderscheid wordt gemaakt tussen langetermijn-narratieve ankers (de openingsshot) en kortetermijn-lokale continuïteit (de direct voorafgaande staart). Daarnaast gebruikt geen enkel bestaand model visuele en audio-grenssignalen gezamenlijk om de geheugenupdates dynamisch te controleren bij shot cuts.

Methodologie

UnityShots is een geheugengestuurd systeem voor audio-video-generatie met meerdere shots, gebouwd op de LTX-2.3 22B dual-stream diffusion transformer. Het introduceert een gestructureerde geheugenbank en boundary-geconditioneerde gating-mechanismen om cross-shot coherentie op te lossen.

1. Dual-Stream Geheugenbank

Het systeem houdt vaste geheugenslots vast voor zowel de video- als de audiostreams:

• Video Geheugen: Bestaat uit twee vaste slots die bij elke cut worden bijgewerkt:
  • Long-Term Memory (LTM): Verankerd aan de openingsshot ($P_\ell=2$ latente frames). Het bewaart de globale narratieve identiteit. De bijdrage ervan wordt beheerst door een regelgebaseerde coëfficiënt die ervoor zorgt dat de anker nooit volledig wordt gewist, ongeacht de cut-sterkte.
  • Short-Term Memory (STM): Bevat de direct voorafgaande staart ($P_v=4$ latente frames). Het legt lokale bewegingsdynamiek en de staat van de scène vast. Het gewicht ervan wordt verfijnd door een content-adaptieve MLP die geconditioneerd is op de uitgaande en inkomende shot-inhoud.
• Audio Geheugen: In plaats van een sliding window, injecteert het systeem bij elke shot een vaste reference speaker token afgeleid van de referentie-audio ($A_{ref}$). Dit behoudt de vocale timbre zonder een sliding audio-bank te hoeven onderhouden.

2. Boundary-Conditioned Memory Gating

Geheugenupdates worden gedreven door een samengestelde boundary score ($b_N$) die visuele en audio-signalen fuseert:
$$b_N = \tau_N \cdot (\alpha s_{vis} + \beta s_{aud} + \gamma s_{beat})$$
Waarbij $\tau_N$ een discrete cut-type prior is (FIRST, CONTINUE, HARD), $s_{vis}$ de visuele cut-waarschijnlijkheid is, $s_{aud}$ de RMS-energieverandering is, en $s_{beat}$ de beat-positie codeert.

• Gating Coëfficiënten: Twee monotone stijgende coëfficiënten ($g_{ltm}$ en $g_{stm}$) worden afgeleid van de afgekapte boundary score. De LTM-coëfficiënt is strikt begrensd boven nul om verlies van de anker te voorkomen, terwijl de STM-coëfficiënt zich aanpast om grenzen te overbruggen.
• Update Mechanisme: De geheugenslots worden voor elke denoising pass bijgewerkt met behulp van een begrensde update-regel die abrupt overschrijven van de openingsshot-anker voorkomt.

3. Strata-RoPE Positie-encoding

Om onderscheid te maken tussen de huidige shot, de STM en de LTM zonder extra diepte-tokens, gebruikt het systeem Strata-RoPE. De temporele RoPE-as wordt verdeeld in drie niet-overlappende strata:

• Huidige Shot: $[0, T_v - 1]$
• STM Band: $[f_{lim} - P_v, f_{lim} - 1]$
• LTM Band: $[f_{lim} - 2P_v, f_{lim} - P_v - 1]$
  Dit ontwerp stelt de rotary kernel in staat om cross-strata interacties automatisch te dempen op basis van afstand.

4. Training en Inferentie

• Training: Het model wordt getraind op 146k geannoteerde cinematografische en muziekvideo-clips in twee stadia. Fase 1 fine-tunt de backbone op enkele shots. Fase 2 introduceert geheugenslots en gating, getraind op multi-shot chunks ($k \in [3, 9]$) onder gemengde conditionering (I2V, T2V, R2V).
• Inferentie: Voor elke shot ontvangt de STM de staart van de vorige shot, en wordt de LTM bijgewerkt via het gating-mechanisme. De backbone denoiset de huidige shot geconditioneerd op de referentie-identiteit, geheugenslots en referentie-audio.

Belangrijkste Bijdragen

1. Memory-Driven Dual-Stream Generatie: Een end-to-end getrainde backbone met een twee-slot video-geheugenbank (LM/STM) en een reference speaker anchor, wat controle over transitiekracht mogelijk maakt via een geleerde cut-type prior via AdaLN.
2. Boundary-Conditioned Memory Gating: Een mechanisme dat de geheugenbanken bij elke cut bijwerkt met behulp van een gezamenlijk visueel-audio boundary signaal, waarbij onderscheid wordt gemaakt tussen globale ankers en lokale continuïteit.
3. Multi-Culturele Multi-Shot Benchmark: De release van 200 multi-shot sequenties verspreid over zes culturele groepen en tien talen, voorzien van referentie-identiteiten, audio en per-boundary transitie-labels.

Resultaten

Geëvalueerd op de multi-culturele benchmark over I2V, T2V en R2V modi, demonstreert UnityShots superieure prestaties:

• Coherentie: Het voert de open-source baselines aan op elke cross-shot coherentie metriek (Narrative Coherence, Story, Character consistency). Zo bereikt het in I2V-modus bijvoorbeeld +0.40 NC en +0.69 Story ten opzichte van de sterkste open-source baseline.
• Vergelijking met Closed-Source: Hoewel closed-source systemen zoals Kling een hoge per-frame getrouwheid vertonen, evenaart of overtreft UnityShots hen op multi-shot assen (NC, Story, Pace) en presteert het aanzienlijk beter op audio-continuïteit (AES-A, CLAP) dankzij de speaker anchor.
• Robuustheid van Lange Sequenties: Ablatie-studies bevestigen dat beide geheugenslots noodzakelijk zijn. Het volledige systeem behoudt identiteitsconsistentie zelfs in sequenties van 6+ shots, terwijl single-slot varianten of baselines last hebben van drift.
• Menselijke Evaluatie: Een gebruikersstudie met 32 deelnemers toonde aan dat UnityShots de meerderheid van de voorkeur kreeg voor identiteitsconsistentie en algemene kwaliteit ten opzichte van alle open-source baselines.

Betekenis

Het artikel stelt dat het behandelen van geheugen als een monolithisch venster onvoldoende is voor langdurige generatie. Door expliciet onderscheid te maken tussen langetermijn identiteitsankers en kortetermijncontinuïteit, en hun updates te regelen via gezamenlijke audio-visuele boundary-signalen, biedt UnityShots een schaalbare oplossing voor coherente multi-shot generatie. Dit werk overbrugt de kloof tussen de kwaliteit van single-shot generatie en de structurele vereisten van cinematografisch vertellen, en biedt een systeem dat compatibel is met zowel handmatige als agent-gestuurde productiestromen. De release van een diverse, multi-culturele benchmark heeft als doel verdere research naar demografische diversiteit en cross-shot coherentie te faciliteren.