Sintesi Tecnica: UnityShots

Problematica

La generazione di sequenze audio-video multi-shot coerenti richiede il mantenimento dell'aspetto del soggetto, del contesto della scena e dell'identità del parlatore attraverso i confini tra gli shot. Gli approcci esistenti soffrono di limitazioni strutturali:

• I metodi end-to-end vengono addestrati su sequenze a lunghezza fissa, limitando la scalabilità verso la narrazione a lungo termine a causa dei vincoli di memoria della GPU.
• I metodi shot-by-shot spesso si affidano a finestre scorrevoli o banche di keyframe che crescono linearmente con la lunghezza della sequenza, portando a una deriva dell'identità man mano che la finestra di condizionamento si allontana dallo shot iniziale.
• I metodi orchestrati da agenti utilizzano pianificatori LLM per concatenare generatori pre-addestrati, ma i modelli sottostanti mancano di un addestramento nativo per la coerenza cross-shot, rendendo difficile la propagazione del segnale.

Inoltre, i design attuali trattano la memoria come una finestra di contesto monolitica, fallendo nel distinguere tra gli ancoraggi narrativi a lungo termine (lo shot iniziale) e la continuità locale a breve termine (la coda immediatamente precedente). Inoltre, nessun modello esistente utilizza congiuntamente segnali di confine visivi e audio per controllare dinamicamente gli aggiornamenti della memoria in corrispondenza dei tagli di montaggio (shot cuts).

Metodologia

UnityShots è un sistema di generazione audio-video multi-shot guidato dalla memoria, costruito sulla base del transformer a diffusione dual-stream LTX-2.3 da 22B. Introduce una banca di memoria strutturata e meccanismi di gating condizionati dai confini per risolvere la coerenza cross-shot.

1. Banca di Memoria Dual-Stream

Il sistema mantiene slot di memoria a dimensione fissa sia per lo stream video che per quello audio:

• Memoria Video: Consiste in due slot di dimensione fissa aggiornati ad ogni cut:
  • Memoria a Lungo Termine (LTM): Ancorata allo shot iniziale ($P_\ell=2$ frame latenti). Preserva l'identità narrativa globale. Il suo contributo è governato da un coefficiente basato su regole che assicura che l'ancora non venga mai completamente cancellata, indipendentemente dalla forza del cut.
  • Memoria a Breve Termine (STM): Contiene la coda immediatamente precedente ($P_v=4$ frame latenti). Cattura la dinamica del movimento locale e lo stato della scena. Il suo peso è raffinato da un MLP content-adaptive condizionato sul contenuto dello shot in uscita e in entrata.
• Memoria Audio: Invece di una finestra scorrevole, il sistema inietta un token di riferimento del parlatore fisso derivato dall'audio di riferimento ($A_{ref}$) ad ogni shot. Ciò preserva il timbro vocale senza dover mantenere una banca audio scorrevole.

2. Gating della Memoria Condizionato dal Confine

Gli aggiornamenti della memoria sono guidati da un punteggio di confine composito ($b_N$) che fonde segnali visivi e audio:
$$b_N = \tau_N \cdot (\alpha s_{vis} + \beta s_{aud} + \gamma s_{beat})$$
Dove $\tau_N$ è un prior discreto del tipo di cut (FIRST, CONTINUE, HARD), $s_{vis}$ è la probabilità di cut visivo, $s_{aud}$ è la variazione di energia RMS e $s_{beat}$ codifica la posizione del beat.

• Coefficienti di Gating: Due coefficienti monotoni crescenti ($g_{ltm}$ e $g_{stm}$) sono derivati dal punteggio di confine troncato. Il coefficiente LTM è strettamente limitato sopra lo zero per prevenire la perdita dell'ancora, mentre il coefficiente STM si adatta per collegare i confini.
• Meccanismo di Aggiornamento: Gli slot di memoria vengono aggiornati prima di ogni passaggio di denoising utilizzando una regola di aggiornamento limitata che evita la sovrascrittura brusca dell'ancora dello shot iniziale.

3. Positional Encoding Strata-RoPE

Per distinguere tra lo shot corrente, la STM e la LTM senza token di profondità extra, il sistema impiega la Strata-RoPE. L'asse temporale RoPE è partizionato in tre strata non sovrapposti:

• Shot Corrente: $[0, T_v - 1]$
• Banda STM: $[f_{lim} - P_v, f_{lim} - 1]$
• Banda LTM: $[f_{lim} - 2P_v, f_{lim} - P_v - 1]$
  Questo design permette al kernel rotatorio di attenuare automaticamente le interazioni cross-strata in base alla distanza.

4. Addestramento e Inferenza

• Addestramento: Il modello è addestrato su 146k clip cinematografiche e video musicali annotati in due fasi. La Fase 1 effettua il fine-tuning del backbone su singoli shot. La Fase 2 introduce gli slot di memoria e il gating, addestrando su chunk multi-shot ($k \in [3, 9]$) sotto condizionamento misto (I2V, T2V, R2V).
• Inferenza: Per ogni shot, la STM riceve la coda dello shot precedente, e la LTM viene aggiornata tramite il meccanismo di gating. Il backbone denoise lo shot corrente condizionato dall'identità di riferimento, dagli slot di memoria e dall'audio di riferimento.

Contributi Chiave

1. Generazione Dual-Stream Guidata dalla Memoria: Un backbone end-to-end addestrato con una banca di memoria video a due slot (LTM/STM) e un anchor del parlatore di riferimento, che consente il controllo della forza della transizione tramite un prior del tipo di cut appreso tramite AdaLN.
2. Gating della Memoria Condizionato dal Confine: Un meccanismo che aggiorna le banche di memoria ad ogni cut utilizzando un segnale di confine audio-visivo congiunto, distinguendo tra ancoraggi globali e continuità locale.
3. Benchmark Multi-culturale Multi-shot: Il rilascio di 200 sequenze multi-shot che spaziano su sei gruppi culturali e dieci lingue, caratterizzate da identità di riferimento, audio e etichette di transizione per ogni confine.

Risultati

Valutato sul benchmark multi-culturale nelle modalità I2V, T2V e R2V, UnityShots dimostra prestazioni superiori:

• Coerenza: Supera i baseline open-source in ogni metrica di coerenza cross-shot (Coerenza Narrativa, Storia, Consistenza del Personaggio). Ad esempio, in modalità I2V, ottiene +0.40 NC e +0.69 Story rispetto al più forte baseline open-source.
• Confronto con il Closed-Source: Mentre i sistemi closed-source come Kling mostrano un'alta fedeltà per frame, UnityShots eguaglia o supera i sistemi closed-source sugli assi multi-shot (NC, Storia, Ritmo) e supera significativamente questi ultimi nella continuità audio (AES-A, CLAP) grazie al suo anchor del parlatore.
• Robustezza delle Sequenze Lunghe: Gli studi di ablazione confermano che entrambi gli slot di memoria sono necessari. Il sistema completo mantiene la consistenza dell'identità anche in sequenze di oltre 6 shot, mentre le varianti a singolo slot o i baseline soffrono di deriva.
• Valutazione Umana: Uno studio con utenti con 32 partecipanti ha mostrato che UnityShots riceve la preferenza della maggioranza per la consistenza dell'identità e la qualità complessiva rispetto a tutti i baseline open-source.

Significato

Il paper sostiene che trattare la memoria come una finestra monolitica sia insufficiente per la generazione a lungo termine. Separando esplicitamente gli ancor di identità a lungo termine dalla continuità a breve termine e controllando i loro aggiornamenti tramite segnali di confine audio-visivi congiunti, UnityShots fornisce una soluzione scalabile per la generazione multi-shot coerente. Il lavoro colma il divario tra la qualità della generazione single-shot e i requisiti strutturali della narrazione cinematografica, offrendo un sistema compatibile sia con pipeline di produzione manuali che guidate da agenti. Il rilascio di un benchmark diversificato e multi-culturale mira a facilitare ulteriori ricerche sulla diversità demografica e sulla coerenza cross-shot.