Prompt Relay: Inference-Time Temporal Control for Multi-Event Video Generation

1. Il Problema

I modelli di diffusione video hanno raggiunto risultati notevoli nella generazione di video ad alta qualità, ma faticano a gestire la successione temporale di eventi multipli all'interno di un singolo video.

• Mancanza di controllo temporale esplicito: I modelli esistenti non permettono agli utenti di specificare quando un evento avviene, quanto dura o in quale ordine si susseguono più eventi.
• Entanglement Semantico: Quando si utilizza un unico prompt testuale complesso che descrive una sequenza di eventi, i modelli tendono a mescolare i concetti semantici destinati a momenti diversi. Questo porta a una scarsa allineamento tra testo e video (es. un'azione che inizia troppo presto o si sovrappone a un'altra).
• Limitazioni delle soluzioni attuali: I metodi esistenti richiedono spesso un addestramento su grandi dataset annotati (spostando la distribuzione del modello pre-addestrato) o impongono vincoli strutturali rigidi che causano artefatti visivi e transizioni brusche ai confini dei segmenti.

2. Metodologia: Prompt Relay

Gli autori propongono Prompt Relay, un metodo plug-and-play che opera esclusivamente al momento dell'inferenza (inference-time), senza richiedere modifiche architetturali al modello di base o costi computazionali aggiuntivi.

Il cuore della metodologia risiede in un meccanismo di instradamento (routing) a livello di attenzione basato su una penalità temporale:

• Input: Una sequenza di prompt testuali vincolati temporalmente: $\{(p_s, t_{start}^s, t_{end}^s)\}_{s=1}^N$, dove ogni prompt $p_s$ è associato a un intervallo temporale specifico.

• Meccanismo di Penalità (Boundary-Attention Decay): Viene introdotta una funzione di penalità $C(Q, K)$ nei logit dell'attenzione incrociata (cross-attention).

  • La formula modifica l'equazione dell'attenzione:
    $$\text{Attn} = \text{softmax}\left(\frac{QK^\top}{\sqrt{d}} - C(Q, K)\right)V$$
  • La penalità è definita come una funzione gaussiana morbida che dipende dalla distanza temporale tra il token di query (frame latente) e il centro del segmento temporale assegnato al prompt.
  • Finestra "Free-Attention": All'interno di una finestra centrale attorno al segmento ($w$), la penalità è zero, permettendo all'attenzione di fluire liberamente verso il prompt corretto.
  • Decadimento Morbido: Fuori da questa finestra, l'attenzione verso prompt non pertinenti viene attenuata gradualmente (decadimento esponenziale) in base alla distanza temporale, invece di essere bloccata bruscamente.

• Vantaggio rispetto al "Hard Masking": A differenza delle maschere rigide che azzerano completamente l'attenzione ai confini (creando discontinuità visive e conflitti tra l'attenzione incrociata e l'auto-attenzione), il Boundary-Attention Decay permette una co-attivazione morbida dei prompt vicini ai confini. Questo crea una regione di transizione graduale in cui il modello può pianificare congiuntamente il passaggio da un evento all'altro, garantendo coerenza visiva.

3. Contributi Chiave

1. Metodo Plug-and-Play: Un approccio di controllo temporale fine-granularità che non richiede ri-addestramento, modifiche all'architettura o overhead computazionale.
2. Meccanismo di Decadimento all'Attenzione (Boundary-Attention Decay): Una penalità gaussiana morbida sui logit dell'attenzione che sopprime l'interferenza semantica attraverso i confini dei segmenti, evitando le discontinuità tipiche delle maschere binarie.
3. Miglioramento della Qualità Visiva: Dimostrazione che la riduzione dell'interferenza semantica non solo migliora l'allineamento temporale, ma aumenta anche la qualità visiva complessiva del video generato.

4. Risultati Sperimentali

Il metodo è stato testato su modelli di stato dell'arte come Wan2.2, Sora Storyboard, Veo 3.1 e Kling 2.6, utilizzando scenari multi-evento complessi.

• Metriche di Valutazione: Uno studio di preferenza umana ha valutato tre dimensioni: Allineamento del Prompt Temporale, Naturalità delle Transizioni e Qualità Visiva.
• Performance:
  • Prompt Relay ha superato costantemente i baseline in termini di allineamento temporale e naturalità delle transizioni.
  • L'uso di Prompt Relay su Wan 2.2 ha prodotto risultati superiori anche in termini di qualità visiva rispetto al modello Wan 2.2 originale. Questo è attribuito alla capacità del meccanismo di instradamento di ridurre la competizione nell'attenzione incrociata, permettendo al modello di focalizzarsi sui concetti semantici attivi.
  • Sebbene modelli come Kling 2.6 e Veo 3.1 mantengano una fedeltà visiva complessiva molto alta (limitata dalla capacità del backbone), Prompt Relay ha dimostrato di essere il metodo più efficace per gestire la struttura narrativa temporale.

5. Significato e Implicazioni

Il lavoro rappresenta un passo fondamentale verso la sintesi video di livello cinematografico.

• Controllo Narrativo: Permette di generare video coerenti con storie complesse che richiedono cambi di scena, movimenti di camera specifici e sequenze di azioni ordinate, risolvendo il problema della "confusione semantica" dei modelli attuali.
• Efficienza: Essendo un metodo di inferenza, è immediatamente applicabile ai modelli esistenti senza i costi e i tempi di addestramento richiesti dalle alternative.
• Limitazioni e Soluzioni: Il paper nota che elementi persistenti (come personaggi o stile della scena) potrebbero "derivare" (drift) tra i segmenti se descritti in modo inconsistente. Tuttavia, questo problema è mitigato efficacemente includendo un prompt globale che fornisce un contesto condiviso e ancoraggio per gli elementi persistenti.

In sintesi, Prompt Relay offre un meccanismo elegante ed efficiente per trasformare i modelli di generazione video da generatori di singoli eventi a strumenti capaci di costruire narrazioni temporali complesse e coerenti.