InfinityStory: Unlimited Video Generation with World Consistency and Character-Aware Shot Transitions

Il paper presenta InfinityStory, un nuovo framework, dataset e modello progettati per generare video narrativi di lunga durata con coerenza visiva globale, mantenendo l'identità dei personaggi e garantendo transizioni fluide tra inquadrature complesse con più soggetti.

L'essenziale

Immagina di voler creare un film intero, della durata di un'ora, raccontando una storia con i tuoi personaggi preferiti. Fino a oggi, l'Intelligenza Artificiale (AI) era come un regista distratto: sapeva disegnare bellissime scene singole, ma quando doveva passare da una scena all'altra, si dimenticava tutto.

Ecco i tre "mostri" che InfinityStory ha sconfitto:

1. Il Problema del "Sfondo che Balla" (Consistenza dello Sfondo)

L'analogia: Immagina di girare un film in una stanza. Se cambi il set per ogni inquadratura, la sedia potrebbe spostarsi di un centimetro, la luce cambiare colore o il muro diventare rosa invece che bianco. Nel cinema vero, questo non succede. Ma nelle vecchie AI, ogni volta che cambiavi inquadratura, l'AI "ricreava" la stanza da zero, e il risultato era che la stanza sembrava cambiare continuamente, creando confusione.

La soluzione di InfinityStory:
Gli autori hanno creato un "Archivio dei Set Fissi".
Prima di iniziare a girare il film, l'AI disegna e fissa una volta per tutte i luoghi della storia (es. "Il Castello", "La Foresta Magica"). Ogni volta che la storia torna in quel luogo, l'AI non ridisegna la stanza: prende il "set" originale e lo incolla sopra i personaggi. È come se avessi un sfondo stampato su un telo gigante che non si muove mai, e ci metti sopra i personaggi che recitano. Risultato: la scena rimane identica per ore.

2. Il Problema del "Teletrasporto" (Transizioni tra le Scene)

L'analogia: Nelle vecchie video-AI, se un personaggio entrava in una stanza, spesso appariva all'improvviso come un fantasma (un "teletrasporto"). Se usciva, spariva nel nulla. Era come guardare un film dove gli attori saltano dentro e fuori dallo schermo senza camminare.

La soluzione di InfinityStory:
Hanno creato un allenatore di acrobazie digitali.
Invece di far apparire i personaggi magicamente, l'AI ha imparato a fare le transizioni cinematografiche vere. Ha creato un dataset speciale (10.000 esempi) dove i personaggi imparano a:

• Entrare: Camminare lentamente dall'orlo dello schermo verso il centro.
• Uscire: Scomparire gradualmente mentre si allontanano.
• Sostituire: Un personaggio che esce mentre un altro entra, senza che nessuno sparisca nel nulla.
  È come se l'AI avesse studiato il cinema per anni e sapesse esattamente come muovere la telecamera e gli attori per rendere il passaggio fluido e naturale.

3. Il Regista che non si Dimentica di Nulla (Pianificazione Multi-Agente)

L'analogia: Creare un film di un'ora è come costruire una cattedrale. Non puoi affidarti a un solo muratore che sa solo posare un mattone. Ti serve un team.

La soluzione di InfinityStory:
Hanno creato un team di agenti AI che lavorano insieme come un vero studio cinematografico:

• Lo Sceneggiatore: Divide la storia in capitoli.
• Il Direttore di Scena: Decide dove avviene la scena (usando i "Set Fissi" di cui parlavamo prima).
• Il Regista: Decide come muovere la telecamera e come i personaggi devono interagire.
• Il Montatore: Si assicura che il passaggio tra un'azione e l'altra sia fluido.

Questi agenti si passano i "fogli di appunti" (i dati) in modo che nessuno dimentichi chi è il protagonista o dove si trova la scena.

I Risultati: Perché è speciale?

Il paper mostra che InfinityStory è il primo sistema in grado di:

1. Mantenere lo stesso sfondo per centinaia di inquadrature (senza che cambi colore o forma).
2. Far entrare e uscire più personaggi contemporaneamente in modo fluido, senza che sembrino maghi o fantasmi.
3. Creare video lunghi (anche ore) che sembrano veri film, non solo una serie di clip staccate.

In sintesi:
Se le vecchie AI erano come un bambino che disegna una scena, la cancella e ne disegna un'altra simile ma non uguale, InfinityStory è come un regista professionista con una troupe organizzata: sa tenere la scena stabile, fa muovere gli attori con eleganza e ti porta attraverso una storia lunga e coerente, proprio come un vero film d'animazione.

È un passo enorme verso il sogno di creare film interi con l'AI, dove la magia non si spegne mai e la storia non perde mai il filo.

Sommario tecnico

Titolo: InfinityStory: Generazione Video Illimitata con Coerenza Mondiale e Transizioni tra Riprese Consapevoli dei Personaggi

1. Il Problema

La generazione di video narrativi a lungo termine (long-form) presenta sfide critiche che le attuali tecnologie di sintesi video non riescono a risolvere efficacemente:

• Incoerenza dello Sfondo: I metodi esistenti tendono a generare sfondi che "derivano" (drift) o cambiano tra una ripresa e l'altra, rompendo l'immersione visiva in storie lunghe.
• Transizioni Abrutte tra Riprese (Shot-to-Shot): La maggior parte dei pipeline genera clip indipendenti e le concatena, causando l'apparizione o la scomparsa improvvisa di personaggi multipli. Manca una modellazione cinematografica fluida per l'ingresso, l'uscita o il ricambio di più soggetti.
• Scalabilità: Esiste una difficoltà nel mantenere la coerenza visiva e narrativa su sequenze di ore, limitando spesso la generazione a brevi clip (4-16 secondi).

2. Metodologia

InfinityStory è un framework end-to-end che combina un sistema multi-agente per la pianificazione narrativa con modelli di generazione video specializzati. L'architettura si basa su tre pilastri fondamentali:

A. Pianificazione Narrativa Multi-Agente
Il sistema utilizza una pipeline gerarchica di agenti LLM (Large Language Models) per decomporre una storia ad alto livello in:

1. Chapter Agent: Divide la storia in capitoli.
2. Location Agent: Crea una libreria predefinita di location (es. "Castello", "Foresta") con descrizioni di sfondo fisse. Ogni scena è vincolata a una specifica location per garantire la coerenza.
3. Scene Agent: Assegna location e personaggi a ogni scena, assicurando che le riprese adiacenti non condividano la stessa location (per evitare ripetizioni) e che i personaggi rispettino le relazioni narrative.
4. Shot Agent: Genera le istruzioni per ogni singola ripresa, specificando emozioni, pose, interazioni e, crucialmente, i metadati di transizione (chi entra, chi esce, come si muovono).

B. Pipeline di Generazione con Iniezione dello Sfondo
Per risolvere il problema della coerenza dello sfondo, il framework adotta una strategia di decoupling:

• Generazione dello Sfondo: Vengono generate immagini di sfondo canoniche (T2I) per ogni location della libreria.
• Composizione Chiave (Keyframe): Per ogni ripresa, un modello Image-to-Image (I2I) fonde l'immagine dello sfondo fissa con i riferimenti dei personaggi.
• Generazione Video:
  • Le riprese dispari (contenuto narrativo) vengono generate tramite Image-to-Video (I2V) partendo dal keyframe fuso.
  • Le riprese pari (transizioni) vengono generate tramite un modello First-Last-Frame-to-Video (FLF2V). Questo modello prende l'ultimo frame della ripresa precedente e il primo keyframe della ripresa successiva, generando un ponte fluido che gestisce l'ingresso/uscita dei personaggi.
• Memoria Cross-Shot: Un meccanismo di memoria accumula informazioni sull'identità e sulla disposizione spaziale per limitare il drift tra le riprese.

C. Sintesi di Transizioni Cinematografiche Multi-Soggetto (CMTS)
Per gestire transizioni complesse (es. un personaggio che entra mentre un altro esce), gli autori hanno introdotto un nuovo approccio:

• Dataset Sintetico: È stato creato un dataset di 10.000 video di transizione che coprono scenari sottorappresentati (ingresso, uscita, sostituzione multi-personaggio).
• Filtraggio VLM: Un modello Vision-Language Model (VLM) filtra i video generati per garantire il conteggio esatto dei personaggi e la qualità della transizione.
• Addestramento: Il modello FLF2V (basato su Wan2.1) viene fine-tunato su questo dataset curato con supervisione esplicita sui tipi di movimento (Entry, Exit, ecc.).

3. Contributi Chiave

1. Cinematic Multi-Subject Transition Synthesis (CMTS): Il primo metodo sistematico per generare transizioni cinematografiche fluide tra riprese con più soggetti, gestendo ingressi, uscite e ricambi con supervisione sul tipo di movimento.
2. Pipeline di Coerenza dello Sfondo: Un sistema che disaccoppia la preservazione dello sfondo dalla dinamica del primo piano, utilizzando l'iniezione di location persistenti e una memoria selettiva per garantire stabilità su sequenze lunghe.
3. Dataset di Transizioni: La creazione e il rilascio di un dataset sintetico di 10.000 sequenze di transizione multi-soggetto, fondamentale per addestrare modelli su scenari dinamici complessi.
4. Framework Scalabile: Un sistema in grado di generare narrazioni video di un'ora mantenendo la struttura della storia e la coerenza cinematografica attraverso centinaia di riprese.

4. Risultati Sperimentali

Il modello è stato valutato su VBench utilizzando storie di TinyStories e confrontato con baselines come MovieAgent, StoryAdapter e Wan2.1.

• Coerenza dello Sfondo (Background Consistency): InfinityStory ottiene il punteggio più alto (88.94), superando significativamente i baselines (il secondo migliore è 88.64).
• Coerenza del Soggetto (Subject Consistency): Raggiunge il punteggio più alto (82.11), dimostrando una migliore capacità di mantenere l'identità dei personaggi.
• Punteggio Medio Complessivo (Average Rank): Ottiene il miglior ranking medio (2.80), indicando una superiorità generale rispetto a tutte le altre metodologie testate.
• Analisi di Ablazione: La rimozione dell'iniezione dello sfondo o della transizione multi-personaggio porta a un calo significativo in tutte le metriche, confermando che entrambi i componenti sono essenziali per la coerenza.

Nota: I punteggi di qualità dell'immagine e estetica sono leggermente inferiori ad alcuni baselines a causa della risoluzione operativa (480p) e degli artefatti introdotti dal modulo di editing, ma la coerenza narrativa e temporale è nettamente superiore.

5. Significato e Impatto

InfinityStory rappresenta un passo avanti fondamentale nella generazione di video narrativi:

• Superamento dei Limiti Attuali: Risolve il problema della "deriva" degli sfondi e delle transizioni brusche, che erano i principali ostacoli alla creazione di film o storie lunghe con l'IA generativa.
• Nuovo Standard Cinematografico: Introduce la capacità di gestire transizioni complesse con più personaggi, un requisito essenziale per il cinema e la narrazione visiva avanzata, finora trascurato dalla ricerca.
• Scalabilità: Dimostra che è possibile generare contenuti coerenti su scale temporali molto lunghe (ore), aprendo la strada a sistemi di storytelling automatizzati di alta qualità.

In sintesi, InfinityStory stabilisce un nuovo stato dell'arte per la generazione di video narrativi, combinando pianificazione intelligente, coerenza spaziale rigorosa e modelli di transizione addestrati su dati specifici per scenari multi-soggetto.