Tele-Omni: a Unified Multimodal Framework for Video Generation and Editing

Il paper presenta Tele-Omni, un framework multimodale unificato che integra modelli linguistici e generatori basati su diffusione per eseguire compiti di generazione e modifica video tramite istruzioni eterogenee (testo, immagini e video di riferimento) in un unico modello.

L'essenziale

Immagina di voler creare un film o modificare un video esistente. Fino a poco tempo fa, per farlo, avresti dovuto assumere un regista per ogni singola scena: uno specialista solo per scrivere la storia, un altro solo per disegnare i personaggi, un terzo per cambiare i vestiti e un quarto per aggiungere effetti speciali. Ognuno aveva il suo attrezzo da lavoro e non parlava con gli altri.

Tele-Omni è come un super-regista tuttofare che ha deciso di mettere tutti questi specialisti in un unico studio, facendoli lavorare insieme come un'unica orchestra.

Ecco come funziona, spiegato in modo semplice:

1. Il Problema: Troppi Strumenti, Troppi Disagi

Fino ad oggi, l'intelligenza artificiale per i video era molto rigida. Se volevi creare un video da una foto, usavi un programma. Se volevi modificare un video esistente (magari togliere un oggetto di mezzo), ne usavi un altro. Se volevi seguire una storia complessa usando sia testo che immagini, dovevi mescolare diversi software. Era come se volessi cucinare una pizza, ma avessi un forno solo per la pasta, un altro per il formaggio e un terzo per il pomodoro, e nessuno sapesse come farli lavorare insieme.

2. La Soluzione: Tele-Omni, il "Cervello" e le "Mani"

Tele-Omni risolve questo problema unendo tutto in un unico modello. Immaginalo come una squadra composta da due membri principali:

• Il Cervello (MLLM - Il Modello Linguistico): Questo è l'esperto che capisce cosa vuoi. Non si limita a leggere le tue parole; guarda anche le foto e i video che gli mostri. È come un regista che legge la tua sceneggiatura, guarda i bozzetti dei costumi e ti dice: "Ok, ho capito! Vuoi che il protagonista cambi i vestiti mentre cammina sotto la pioggia, giusto?". Traduce le tue idee confuse in istruzioni precise.
• Le Mani (DiT - Il Generatore di Video): Questo è l'artista che esegue il lavoro. Una volta che il "Cervello" gli ha dato le istruzioni chiare, le "Mani" creano il video vero e proprio, pixel per pixel, assicurandosi che tutto si muova in modo fluido e realistico.

3. Come Impara a Fare Tutto (Il Segreto della Cucina)

Il vero trucco di Tele-Omni non è solo avere due bravi membri, ma come vengono addestrati.
Immagina di voler insegnare a un cuoco a fare tutto: dalla pasta al gelato, dalla pizza alla torta. Se gli dai ingredienti misti a caso, si confonderà e farà un disastro.
Gli autori di Tele-Omni hanno creato un "metodo di organizzazione dei dati" intelligente. Hanno preso migliaia di esempi di video (alcuni da creare da zero, altri da modificare) e li hanno etichettati in modo che il modello capisse: "Ah, quando mi dai questa foto e dici 'cambia il cielo', devo fare questo; quando mi dai due foto (inizio e fine) e dici 'riempilo', devo fare quello".
In questo modo, il modello impara a distinguere i compiti senza bisogno di cambiare attrezzo o di avere un'istruzione speciale per ogni cosa.

4. Cosa Può Fare Questo Super-Regista?

Grazie a questa unificazione, Tele-Omni può fare cose incredibili con un solo comando:

• Da Testo a Video: Gli dici "Un gatto che vola sopra Roma" e lui crea il video.
• Da Foto a Video: Gli mostri una foto di un cavallo fermo e dici "Fallo correre", e lui anima la foto.
• Modifica Contestuale (In-Context): Gli mostri un video di una festa e gli dici "Togli quel pallone rosso dal mezzo" o "Cambia lo sfondo in una spiaggia". Lui capisce dove è il pallone e lo rimuove magicamente, riempiendo lo spazio vuoto in modo che sembri naturale.
• Dall'Inizio alla Fine: Gli dai una foto di partenza e una di arrivo (es. un bambino che dorme e lo stesso bambino che si sveglia) e lui crea tutto il movimento intermedio che porta da uno stato all'altro.

In Sintesi

Tele-Omni è come avere un assistente personale magico per i video. Non devi più preoccuparti di quale software usare o di come collegare i pezzi. Tu gli dai le tue idee (testo, foto, video di riferimento) e lui, grazie al suo "cervello" che capisce il contesto e alle sue "mani" esperte, crea il video finale, mantenendo tutto coerente, fluido e bello da vedere.

È un passo gigante verso un futuro dove creare video complessi sarà facile quanto scrivere un messaggio al tuo amico, ma con la potenza di un intero studio di produzione cinematografica.

Sommario tecnico

1. Il Problema

Nonostante i recenti progressi nei modelli di generazione video basati sulla diffusione (diffusion models), che hanno migliorato notevolmente la fedeltà visiva e la coerenza temporale, le soluzioni esistenti presentano limitazioni significative:

• Specializzazione eccessiva: La maggior parte dei modelli è progettata per un singolo compito (es. solo "text-to-video") e si affida quasi esclusivamente a prompt testuali.
• Mancanza di input multimodali: I sistemi attuali faticano a gestire istruzioni complesse che combinano testo, immagini di riferimento e video di contesto per definire intenti visivi, pattern di movimento o preferenze stilistiche.
• Scarsa scalabilità nell'editing: I metodi di editing video esistenti dipendono da pipeline ingegnerizzate specificamente per ogni operazione (es. rimozione oggetti, modifica attributi). Questo rende difficile integrare diverse operazioni in un unico sistema unificato o comporre più comandi in una singola istruzione.
• Difficoltà nel training congiunto: Mescolare dataset eterogenei per compiti diversi (generazione vs. editing) spesso porta a instabilità durante l'addestramento e a prestazioni degradate a causa delle diverse nature dei dati di input e output.

2. Metodologia: Tele-Omni

Tele-Omni è un framework multimodale unificato progettato per gestire la generazione e l'editing video all'interno di un singolo modello, seguendo istruzioni multimodali (testo, immagini, video di riferimento).

Architettura del Modello

L'architettura è composta da due moduli principali che lavorano in sinergia:

1. Modulo di Comprensione (MLLM): Utilizza un Large Language Model multimodale pre-addestrato (MLLM) per analizzare le istruzioni eterogenee. Il suo compito non è generare il video direttamente, ma interpretare l'intento dell'utente e inferire segnali strutturati di generazione o editing.
2. Modulo di Sintesi (DiT): Un Diffusion Transformer (DiT) che esegue la sintesi video di alta qualità.
   • Connessione: I due moduli sono collegati tramite un adaptor leggero e addestrabile.
   • Input Condizionati: Il DiT riceve segnali semantici dall'MLLM e condizioni visive (immagini di riferimento, video, frame iniziali/finali) codificate da un VAE (Variational Autoencoder) pre-addestrato.
   • Vantaggio: Questo design evita di comprimere sequenze video lunghe in pochi token semantici, preservando informazioni spaziali e temporali dense per un controllo più fine.

Strategia di Addestramento e Dati

Per superare le sfide dell'addestramento congiunto, gli autori hanno introdotto una pipeline di elaborazione dati "consapevole del compito" (task-aware):

• Rappresentazione Unificata: Tutti i compiti (generazione e editing) sono formulati come istruzioni multimodali strutturate. L'intento del compito è inferito implicitamente dalla struttura del prompt e dal contenuto, senza bisogno di etichette di task esplicite o teste di predizione separate.
• Pipeline di Addestramento in Due Fasi:
  1. Allineamento dell'Adaptor: Si addestra solo l'adaptor su compiti di generazione (text-to-video, image-to-video) per allineare le rappresentazioni semantiche dell'MLLM con il processo di generazione video.
  2. Fine-tuning Congiunto: Si espandono i dati includendo compiti di editing e generazione contestuale. L'MLLM rimane congelato, mentre l'adaptor e il DiT vengono ottimizzati congiuntamente per migliorare la coerenza temporale e la fedeltà all'istruzione.
• Codifica Posizionale: Viene utilizzata una variante di RoPE (Rotary Positional Embedding) 3D adattata per gestire condizioni contestuali (es. immagini di riferimento come condizioni temporali, video come condizioni spaziali).

3. Compiti Supportati

Il framework supporta nativamente una vasta gamma di compiti video senza modifiche architetturali specifiche:

• Text-to-Video (T2V): Generazione da prompt testuale.
• Image-to-Video (I2V): Generazione di movimento partendo da un'immagine di riferimento.
• First-Last-Frame Generation: Generazione di un video coerente tra un frame iniziale e uno finale specificati.
• In-Context Generation: Uso di immagini o video di riferimento per guidare la generazione mantenendo identità e stile.
• In-Context Video Editing: Modifica di video esistenti (rimozione/aggiunta oggetti, cambio stile, modifica attributi) basata su istruzioni testuali e video di riferimento.

4. Risultati Sperimentali

Gli esperimenti dimostrano che Tele-Omni raggiunge prestazioni competitive su tutti i compiti supportati:

• Generazione Video: I video generati mostrano dinamiche di movimento robuste (es. onde, neve, folle) e transizioni fluide, evitando artefatti visivi e sfocature.
• Coerenza Temporale: Nella generazione condizionata da primo e ultimo frame, il modello riesce a inferire evoluzioni di movimento complesse (es. nastri che cadono, cambiamenti di illuminazione e occlusione) piuttosto che limitarsi a un'interpolazione semplice.
• Editing Video:
  • Entity Editing: Modifica degli entità mantenendo identità e coerenza con la scena.
  • Style Editing: Cambiamento dello stile visivo globale preservando l'identità degli oggetti.
  • Rimozione/Inserimento: Rimozione pulita di oggetti senza "ghosting" e inserimento dinamico di oggetti che interagiscono naturalmente con la scena nel tempo.
• In-Context Editing: Inserimento di oggetti da un'immagine di riferimento in un video target in modo "mask-free", mantenendo stabilità spaziale e temporale.

5. Contributi Chiave

1. Framework Unificato: La prima architettura che unifica generazione e editing video in un singolo modello, eliminando la necessità di pipeline separate per ogni compito.
2. Controllo Multimodale Flessibile: Capacità di interpretare istruzioni miste (testo + immagine + video) per controllare contenuti, movimento e stile in modo naturale.
3. Pipeline di Dati Task-Aware: Una strategia innovativa di organizzazione dei dati che permette l'addestramento congiunto di compiti eterogenei mantenendo la stabilità e la qualità.
4. Decoupling Parsing/Sintesi: Separazione logica tra l'interpretazione dell'istruzione (MLLM) e la sintesi video (DiT), che permette un controllo semantico di alto livello senza sacrificare la qualità visiva.

6. Significato e Impatto

Tele-Omni rappresenta un passo fondamentale verso modelli di fondazione video (video foundation models) veramente versatili. Superando la frammentazione attuale, dove ogni compito richiede un modello diverso, Tele-Omni offre:

• Scalabilità: Un'unica architettura che può essere estesa a nuovi compiti senza riprogettazione.
• Usabilità: Interfacce più intuitive per gli utenti, che possono combinare riferimenti visivi e testo per ottenere risultati complessi.
• Coerenza: Mantenimento di una forte coerenza temporale e visiva anche in scenari di editing dinamico, aprendo la strada a nuove applicazioni nella produzione video automatizzata, nel cinema e nei contenuti interattivi.

In sintesi, Tele-Omni dimostra che è possibile costruire un sistema video "tuttofare" che combina la potenza semantica dei LLM multimodali con la qualità generativa dei modelli di diffusione, risolvendo il problema della frammentazione dei compiti nel dominio video.