Co-Director: Agentic Generative Video Storytelling

1. Enunciato del Problema

Sebbene i modelli di diffusione abbiano raggiunto una generazione video ad alta fedeltà, trasformare questi clip in narrative coerenti e di lunga durata rimane una sfida significativa. Gli approcci attuali affrontano tre limitazioni principali:

• Deriva Semantica e Fallimenti a Cascata: Le pipeline agentiche esistenti si basano su catene lineari a "cascata" di moduli indipendenti (ad esempio, script $\to$ storyboard $\to$ video). Gli errori nelle fasi iniziali si propagano a valle, causando deriva dell'identità (i personaggi cambiano aspetto) e incoerenza narrativa.
• Mancanza di Ottimizzazione Globale: I sistemi attuali utilizzano prompt statici e artigianali. Manca un meccanismo per mappare l'intento creativo di alto livello sulla generazione a valle, fallendo nell'esplorare strategie narrative nuove o nel bilanciare esplorazione e sfruttamento.
• Lacune nella Valutazione: I benchmark esistenti si concentrano su sottocompiti isolati (ad esempio, testo-immagine) o si affidano a entità del mondo reale memorizzate, fallendo nel valutare vere capacità di narrazione end-to-end sotto vincoli rigorosi.

2. Metodologia: Framework Co-Director

Gli autori propongono Co-Director, un framework gerarchico multi-agente che formalizza la narrazione video come un problema di ottimizzazione globale. Il sistema integra un Multi-Armed Bandit (MAB) per la selezione della strategia globale con loop locali di auto-raffinamento.

A. Architettura Gerarchica Multi-Agente

Il sistema è orchestrato da un Agente Orchestratore centrale ($\Phi_{orch}$) che gestisce il flusso e lo stato globale:

1. Agente Pre-Produzione ($\Phi_{pre}$): Trasforma i prompt dell'utente e le visuali di riferimento in uno Storyboard strutturato ($S$). Genera:
   • Brief Creativo: Arricchimento contestuale.
   • Trama ($L$): Script scena per scena.
   • Asset Visivi ($V$): Generazione di riferimenti mancanti per personaggi/oggetti di scena.
   • Storyboard: Descrittori dettagliati delle scene inclusi la cinematica della camera e le direttive audio.
2. Agente Produzione ($\Phi_{prod}$): Sintetizza artefatti multimodali dallo storyboard:
   • Agente Fotogramma Chiave ($\Phi_{frame}$): Genera fotogrammi iniziali per stabilire prior visive e prevenire la deriva dell'identità.
   • Agente Video ($\Phi_{video}$): Condiziona i modelli di diffusione video sui fotogrammi chiave per generare clip ($C$).
   • Agente Audio ($\Phi_{audio}$): Sintetizza voiceover e musica basandosi su direttive globali.
3. Agente Post-Produzione ($\Phi_{post}$): Assembla clip e audio nel video finale ($F$).

B. Ottimizzazione Globale tramite Multi-Armed Bandits (MAB)

Invece di prompt lineari, Co-Director tratta il processo creativo come una ricerca su uno spazio parametrico gerarchico ($\theta$).

• Spazio delle Azioni: Definito da tre assi ortogonali:
  1. Strategia Creativa ($\theta_{cs}$): Informativa, Trasformazionale o Comparativa.
  2. Modalità Narrativa ($\theta_{nm}$): Analitica, Vignetta o Dramma Narrativo.
  3. Archetipo Estetico ($\theta_{aa}$): Chiarezza/Energia, Premium Cinematografico, Focus Minimalista o Grit Cinetico.
• Meccanismo: Il MAB (utilizzando l'algoritmo UCB1) seleziona una combinazione di questi parametri ($\theta^{(t)}$) per ogni iterazione. L'Orchestratore sintetizza questi in istruzioni specifiche iniettate nei prompt dei sub-agenti, assicurando che tutti gli agenti siano allineati a un intento creativo unificato.
• Segnale di Ricompensa: Un Giudice MLLM valuta il video finale e restituisce un segnale di ricompensa fattorizzato $R = (r_{cs}, r_{nm}, r_{aa})$. Questo disaccoppia la valutazione della strategia creativa dalla qualità dell'esecuzione, permettendo al MAB di isolare quali parametri specifici hanno guidato il successo.
• Avvio Caldo (Warm Start): Un LLM inizializza i valori attesi del MAB basandosi sul dominio del prodotto per orientare l'esplorazione iniziale verso configurazioni teoricamente solide.

C. Ottimizzazione Locale tramite Auto-Raffinamento Agente

Per prevenire la propagazione degli errori, il sistema impiega loop di discesa con feedback:

• Raffinamento della Trama: Un LLM valuta la narrazione per qualità dell'aggancio, coesione e integrazione del prodotto, riscrivendo il prompt se i punteggi scendono sotto una soglia.
• Raffinamento dei Fotogrammi Chiave: Un MLLM valuta la sequenza di fotogrammi chiave congiuntamente (non individualmente) per rilevare deriva dell'identità e incoerenze ambientali, rigenerando selettivamente solo i fotogrammi difettosi.

3. Contributi Chiave

1. Framework Co-Director: Il primo sistema a formalizzare la narrazione generativa come un problema di ottimizzazione globale utilizzando un'orientazione guidata da MAB, superando le pipeline lineari per un'architettura gerarchica e coerente.
2. Parametrizzazione Gerarchica: Un metodo innovativo per propagare l'intento creativo tra gli agenti decomponendo strategie di alto livello in direttive specifiche e attuabili per i sub-agenti, prevenendo collisioni semantiche.
3. GenAd-Bench: Un nuovo benchmark rigoroso composto da 400 scenari su 200 prodotti fittizi. Utilizza entità fittizie per prevenire la memorizzazione del modello e impone vincoli rigorosi sulla fedeltà degli asset visivi, l'allineamento demografico e l'appeal di marketing.
4. Meccanismo di Ricompensa Fattorizzata: Un approccio di valutazione innovativo che disaccoppia l'efficacia strategica dalla qualità dell'esecuzione, permettendo un'assegnazione precisa del credito in pipeline non differenziabili.

4. Risultati Sperimentali

Gli autori hanno valutato Co-Director su GenAd-Bench rispetto a baseline all'avanguardia, inclusi modelli monolitici (Veo 3.1, Wan 2.6), piattaforme commerciali (HeyGen, Creatify) e altri framework agentiche (AniMaker, MovieAgent).

• Prestazioni: Co-Director ha ottenuto il punteggio medio più alto (81.4/100), superando significativamente la prossima migliore baseline agentiche (MovieAgent a 65.3) e i modelli monolitici (Veo 3.1 a 63.6).
• Metriche Chiave:
  • Fedeltà degli Asset Visivi (VAF): 82.1 (vs. 67.0 per Wan 2.6).
  • Allineamento Demografico (DA): 91.4 (vs. 81.3 per MovieAgent).
  • Appeal di Marketing (MA): 82.0.
  • Qualità Visiva (VQ): 70.2.
• Studi di Ablazione:
  • Rimuovere l'ottimizzazione MAB (Ricerca Casuale) ha fatto scendere il punteggio medio a 75.7.
  • Rimuovere l'auto-raffinamento locale (Trama o Fotogramma Chiave) ha causato cali significativi nella coerenza narrativa e nella fedeltà degli asset (ad esempio, la VAF è scesa di ~9.8 punti senza il raffinamento dei fotogrammi chiave).
  • La progettazione "Ricompensa Fattorizzata" si è rivelata critica; collassarla in un singolo scalare ha ridotto le prestazioni di 5.0 punti.
• Efficienza: Il MAB con Avvio Caldo ha converguto verso risultati di alta qualità nelle prime iterazioni, mentre la Ricerca Casuale richiedeva molte più iterazioni per trovare configurazioni comparabili.

5. Significato

• Automazione Creativa Principiata: Co-Director dimostra che il video generativo può andare oltre il semplice seguire i prompt verso un ragionamento creativo strategico, bilanciando l'esplorazione di nuove idee con lo sfruttamento di stili collaudati.
• Scalabilità per Creatori Indipendenti: Automatizzando il complesso coordinamento di script, coerenza visiva e direzione, il framework democratizza la produzione cinematografica di alto livello, precedentemente accessibile solo a grandi team.
• Valutazione Robusta: L'introduzione di GenAd-Bench stabilisce un nuovo standard per la valutazione dei flussi di lavoro generativi end-to-end, affrontando specificamente il "bias di memorizzazione" nei benchmark attuali.
• Generalizzabilità: Sebbene dimostrato nella pubblicità, la capacità del framework di gestire vincoli rigorosi e mantenere l'identità suggerisce applicabilità a narrazioni cinematografiche più ampie, cortometraggi e creazione di contenuti personalizzati.

In sintesi, Co-Director rappresenta un cambiamento di paradigma dalle pipeline di generazione lineari e soggette a errori verso un sistema agente auto-correttivo ottimizzato globalmente, ottenendo risultati all'avanguardia in coerenza narrativa, coerenza visiva e allineamento strategico.