Kaleido: Open-Sourced Multi-Subject Reference Video Generation Model

Kaleido è un modello open-source per la generazione di video multi-soggetto che supera le limitazioni degli approcci esistenti grazie a una pipeline di costruzione dati dedicata e a una nuova codifica posizionale rotazionale (R-RoPE), garantendo una maggiore coerenza, fedeltà e disentanglement dello sfondo.

L'essenziale

Immagina di voler creare un filmato in cui i tuoi personaggi preferiti (un amico, il tuo gatto, o un giocattolo particolare) saltano fuori da una foto e iniziano a vivere una storia, muovendosi e interagendo con un nuovo sfondo che tu hai scelto.

Fino a poco tempo fa, farlo era come cercare di dipingere un quadro mentre qualcuno ti spinge la mano: i personaggi cambiavano faccia, si mescolavano allo sfondo o si comportavano in modo strano.

Ecco di cosa parla Kaleido, presentato in questo nuovo documento di ricerca, spiegato in modo semplice:

🎨 Il Problema: "Il Personaggio che non vuole cambiare"

Pensa alle vecchie macchine per fare video. Se gli dicevi: "Fai muovere questo gatto in una foresta", spesso il video risultava con il gatto che sembrava un'immagine incollata, o peggio, il gatto diventava un cane perché la macchina non capiva bene la differenza tra il "gatto" e la "sua vecchia foto".
I modelli esistenti avevano due grossi problemi:

1. Non distinguevano bene: Se il gatto nella foto era su un divano rosso, nel video il gatto sembrava ancora seduto su quel divano rosso, anche se dovevi metterlo nella foresta.
2. Si confondevano con più personaggi: Se mostravi due foto (un gatto e un cane), spesso il video finiva con un "mostro" mezzo gatto e mezzo cane, o i due animali si fondevano insieme.

🚀 La Soluzione: Kaleido, il "Regista Magico"

Kaleido è un nuovo sistema open-source (quindi gratuito e accessibile a tutti) che risolve questi problemi. Immaginalo come un regista cinematografico super intelligente che ha due superpoteri speciali:

1. La Cucina dei Dati (Il Pipeline di Addestramento)

Per insegnare a un'intelligenza artificiale a fare bene questo lavoro, non basta darle mille foto a caso. I ricercatori hanno costruito una "cucina" speciale:

• Tagliano via il superfluo: Prendono le foto, rimuovono digitalmente lo sfondo (come se togliessero il gatto dal divano rosso) e lo mettono su uno sfondo neutro.
• Mescolano tutto (Cross-Pairing): Prendono un gatto da una foto e lo abbinano a un testo che dice "gatto nella foresta", anche se nella foto originale il gatto era in cucina.
• Risultato: L'AI impara che il "gatto" è il gatto, e il "divano rosso" è solo un optional che può essere cambiato. Impara a separare il personaggio dal suo passato.

2. L'Etichetta Magica (R-RoPE)

Quando mostri all'AI più foto insieme (es. un gatto e un cane), come fa a sapere quale è quale?

• Il vecchio metodo: Era come mettere due persone in una stanza senza nomi. Si confondevano e si mescolavano.
• Il metodo Kaleido (R-RoPE): Immagina di dare a ogni foto un biglietto con un indirizzo GPS unico.
  • Il video che stiamo creando ha un indirizzo (es. "Via del Tempo 1, 2, 3...").
  • Le foto di riferimento hanno un indirizzo diverso, come "Via del Tempo 100, 101...".
  • Grazie a questo "indirizzo", l'AI sa esattamente: "Ah, questa è la foto del gatto, quella è la foto del cane, e ora devo creare il video qui". Non si confondono più!

🌟 Cosa ottieni alla fine?

Grazie a queste due innovazioni, Kaleido riesce a:

• Mantenere l'identità: Se mostri una foto di tua nonna, nel video sarà tua nonna, con la stessa faccia e i vestiti giusti, non un'anziana generica.
• Cambiare scena: Puoi dire "Metti tua nonna in un mercato notturno giapponese" e lei ci sarà, senza portare con sé il divano di casa sua.
• Gestire gruppi: Puoi mettere insieme un gatto, un cane e un'automobile, e ognuno rimarrà se stesso, senza fondersi in un mostro.

🏆 Perché è importante?

Fino ad oggi, solo le grandi aziende chiuse (come quelle che fanno Kling o Vidu) avevano modelli così bravi. Kaleido porta questa tecnologia aperta a tutti, permettendo a chiunque di creare video personalizzati di alta qualità, mantenendo i personaggi fedeli alle foto originali e lasciando libera la fantasia per lo sfondo.

In sintesi: Kaleido è come avere un mago che prende le tue foto statiche, le "sveste" dal loro vecchio contesto, e le fa recitare in un nuovo film, assicurandosi che ogni attore sappia esattamente chi è e dove deve stare.

Sommario tecnico

1. Il Problema

Il campo della generazione video ha fatto passi da gigante, ma la generazione Subject-to-Video (S2V) – ovvero la sintesi di video coerenti basati su immagini di riferimento di uno o più soggetti – presenta sfide significative, specialmente nel dominio open-source. I modelli esistenti soffrono di due limitazioni fondamentali:

• Mancanza di coerenza multi-soggetto e disentanglement dello sfondo: Quando si utilizzano più immagini di riferimento, i modelli faticano a mantenere l'identità dei soggetti distinti e spesso "ereditano" elementi indesiderati dallo sfondo delle immagini di riferimento (es. oggetti o contesti specifici) nel video generato.
• Qualità e diversità dei dati di addestramento: I dataset attuali sono spesso carenti. Le immagini di riferimento sono solitamente estratte direttamente dai frame video, portando a un'associazione troppo stretta tra soggetto e contesto (entanglement). Inoltre, manca la diversità necessaria per insegnare al modello a separare l'identità del soggetto dal suo ambiente.
• Strategie di condizionamento subottimali: I metodi attuali per integrare le immagini di riferimento (es. concatenazione semplice o adapter complessi) spesso causano confusione tra i token delle immagini e quelli del video, portando a sovrapposizioni spaziali o perdita di coerenza temporale.

2. Metodologia

Kaleido affronta queste sfide attraverso un approccio integrato che combina una nuova pipeline di costruzione dei dati e un'architettura di modello innovativa.

A. Pipeline di Costruzione del Dataset (Data Construction Pipeline)

Per superare la carenza di dati di alta qualità e diversificati, gli autori hanno sviluppato una pipeline scalabile a più stadi:

1. Preprocessing e Captioning: Slicing di video grezzi in clip coerenti con captioning automatico.
2. Definizione delle Categorie e Identificazione: Creazione di una tassonomia ampia (oltre 100 categorie) per identificare soggetti potenziali.
3. Grounding e Segmentazione: Utilizzo combinato di Grounding DINO (per la localizzazione semantica) e SAM (Segment Anything Model) per la segmentazione precisa dei soggetti.
4. Filtraggio Rigoroso: Rimozione di campioni di bassa qualità (sfocati, troppo piccoli/grandi) e verifica dell'allineamento tra testo e immagine tramite CLIP.
5. Disentanglement dello Sfondo (Inpainting): Un passaggio cruciale in cui lo sfondo delle immagini di riferimento viene rimosso e ricostruito tramite tecniche di inpainting (usando FLUX). Questo forza il modello a imparare l'identità del soggetto indipendentemente dal contesto originale.
6. Augmentation di Pose e Movimento: Utilizzo di Flux Redux per generare nuove pose e movimenti per i soggetti, evitando che il modello memorizzi solo frame statici e migliorando la generalizzazione.
7. Costruzione di Dati "Cross-Paired": Creazione di coppie di addestramento dove il soggetto e lo sfondo provengono da fonti diverse, costringendo il modello a imparare a separare le due entità.

B. Framework del Modello e R-RoPE

Kaleido si basa su un modello di diffusione basato su Transformer (DiT), derivato da Wan2.1-T2V-14B.

• Iniezione del Condizionamento: Invece di usare adapter complessi, le immagini di riferimento vengono concatenate alla sequenza di latenti video.
• Reference Rotary Positional Encoding (R-RoPE): Questa è l'innovazione chiave. Per evitare che il modello confonda i token delle immagini di riferimento con i frame video consecutivi, viene introdotta una codifica posizionale rotazionale specifica.
  • I token video usano la classica 3D RoPE $(t, h, w)$.
  • I token delle immagini di riferimento ricevono uno shift nelle dimensioni spaziali ($H_{max}, W_{max}$) e una posizione temporale individuale.
  • Questo garantisce che lo spazio di embedding distingua chiaramente tra "contenuto video" e "condizionamento immagine", permettendo un'integrazione stabile e precisa di più riferimenti.

3. Contributi Chiave

1. Pipeline Dati Completa: Un sistema di costruzione dati che include filtraggio, segmentazione, inpainting per il disentanglement e generazione di dati cross-paired, risolvendo il problema della scarsità di dati S2V di alta qualità.
2. R-RoPE (Reference Rotary Positional Encoding): Un meccanismo efficiente che permette l'integrazione multi-immagine senza costi computazionali aggiuntivi significativi (come richiesto dagli adapter), migliorando la coerenza multi-soggetto.
3. Modello Open-Source SOTA: Kaleido è un modello open-source che raggiunge prestazioni paragonabili o superiori ai sistemi commerciali chiusi (come Kling e Vidu) in termini di fedeltà del soggetto e separazione dello sfondo.

4. Risultati

I risultati sono stati valutati su benchmark quantitativi e qualitativi, confrontando Kaleido con modelli open-source (VACE, Phantom, SkyReels) e chiusi (Vidu, Kling).

• Metriche Quantitative:
  • Coerenza del Soggetto (S2V Consistency): Kaleido ottiene il punteggio più alto (0.723), superando tutti gli altri modelli.
  • Disentanglement (S2V Decoupling): Punteggio di 0.319, indicando una capacità superiore a rimuovere informazioni irrilevanti dallo sfondo.
  • Qualità Estetica e Video: Competitivo con i modelli chiusi, superando significativamente le controparti open-source esistenti.
  • Somiglianza Facciale: Su un subset di test umani, Kaleido ottiene una media di 0.504, superando i modelli open-source e avvicinandosi a Kling (0.495) e Vidu (0.535).
• Risultati Qualitativi:
  • Gli studi utente e le visualizzazioni mostrano che Kaleido evita la ripetizione ridondante dei soggetti e l'intrusione di elementi di sfondo indesiderati, problemi comuni in VACE e Phantom.
  • Dimostra una capacità eccezionale di gestire scenari multi-soggetto mantenendo l'identità di ciascun soggetto distinto.

5. Significato e Impatto

Kaleido rappresenta un avanzamento significativo nel campo della generazione video open-source.

• Parità con i Sistemi Chiusi: Dimostra che, con una corretta costruzione dei dati e un'architettura di condizionamento intelligente, i modelli open-source possono competere con le soluzioni proprietarie di alto livello.
• Risoluzione del Disentanglement: Risolve il problema critico della separazione tra soggetto e sfondo, permettendo una generazione video più flessibile e controllabile, essenziale per applicazioni come l'e-commerce, la pubblicità e la creazione di contenuti digitali.
• Disponibilità: Gli autori hanno rilasciato codice sorgente, checkpoint del modello e la pipeline dati, fornendo una base solida per la ricerca futura sulla personalizzazione e l'unificazione di task multipli nella generazione video.

In sintesi, Kaleido stabilisce un nuovo standard per la generazione video basata su soggetti multipli, combinando rigore nella preparazione dei dati con innovazioni architetturali mirate alla gestione spaziale e temporale dei riferimenti.