Tele-Omni: a Unified Multimodal Framework for Video Generation and Editing

Tele-Omni is een unificerend multimodaal framework dat een enkele modelarchitectuur combineert met een taakbewuste dataverwerkingspijplijn om diverse video-generatie- en bewerkingsopdrachten, gestuurd door tekst, afbeeldingen en referentievideo's, succesvol te integreren.

De kern

Stel je voor dat je een regisseur bent van een filmstudio, maar in plaats van een heel team van gespecialiseerde experts (één voor het maken van nieuwe films, één voor het aanpassen van kleding, één voor het verwijderen van achtergronden), heb je nu één super-assistent die alles kan.

Dat is precies wat Tele-Omni is: een slimme, alles-in-één robot die video's kan maken en bewerken, gebaseerd op wat jij zegt, laat zien of geeft.

Hier is hoe het werkt, vertaald naar een eenvoudig verhaal:

1. Het Probleem: Te veel gespecialiseerde gereedschappen

Vroeger was video maken als een gereedschapskist vol met heel specifieke hamers.

• Wil je een nieuwe video maken? Dan gebruik je de "Tekst-naar-Video-hamer".
• Wil je een bestaande video aanpassen? Dan moet je de "Verwijder-Object-schroevendraaier" pakken.
• Wil je een object toevoegen? Dan heb je de "Invoeg-klauw" nodig.

Elk gereedschap werkte alleen voor één taak. Als je iets complex wilde doen (bijvoorbeeld: "Maak een video van een man die loopt, maar verander zijn jas in een ruimtepak en laat het regenen"), moest je drie verschillende programma's doorlopen. Dat was lastig, traag en vaak zag het resultaat er niet natuurlijk uit.

2. De Oplossing: Tele-Omni, de "Zwitsers zakmes"

Tele-Omni is als een Zwitsers zakmes voor video's. Het is één enkel programma dat alles kan, ongeacht of je een nieuwe video wilt maken of een bestaande wilt aanpassen.

Het werkt met twee hoofdonderdelen die samenwerken als een perfect duo:

De "Slimme Regisseur" (De MLLM)

Dit is het brein van de operatie. Stel je voor dat je een regisseur hebt die alles begrijpt.

• Jij geeft hem een opdracht: "Maak een video van een kat die dansen, maar dan in een cyberpunk-stad."
• Of je geeft hem een foto en zegt: "Laat deze kat dansen."
• Of je geeft hem een video en zegt: "Verander de kat in een robot."

Deze "Regisseur" leest je tekst, kijkt naar je foto's of video's, en denkt na over wat je precies wilt. Hij vertaalt jouw ideeën naar een strak plan. Hij is niet de maker van de beelden zelf, maar hij is de chef die de kok vertelt wat er op het bord moet komen.

De "Magische Kunstenaar" (De Diffusie-Generator)

Dit is de handen van het team. Deze kunstenaar ziet het plan van de Regisseur en begint te schilderen.

• Hij pakt een leeg canvas (ruis) en begint langzaam een heldere video te vormen.
• Hij luistert naar de Regisseur: "Nee, de kat moet hier staan," of "De achtergrond moet regenachtig zijn."
• Omdat hij getraind is op duizenden video's, weet hij precies hoe beweging eruit moet zien, zodat de kat niet "vastloopt" of onnatuurlijk beweegt.

3. Hoe het werkt in de praktijk (Met voorbeelden)

Tele-Omni is slim genoeg om te begrijpen wat voor soort "klus" je hebt, zonder dat je een knop hoeft te drukken:

• Van tekst naar film: Je typt: "Een astronaut die op Mars wandelt." De Regisseur denkt na, en de Kunstenaar maakt de video.
• Van foto naar film: Je uploadt een foto van een rustig meer en zegt: "Laat het water bewegen en vogels vliegen." De Regisseur gebruikt de foto als basis, en de Kunstenaar voegt de beweging toe.
• Van begin tot eind: Je geeft een foto van een startpunt en een foto van een eindpunt (bijvoorbeeld een auto die start en dan stopt). De Regisseur vult het gat in het midden in: "Hoe rijdt de auto tussen die twee punten?" en de Kunstenaar maakt het hele ritje.
• Bewerken (Het echte toverwerk): Je hebt een video van een feestje, maar je wilt die ene persoon verwijderen die in de weg staat.
  • Oude manier: Je moest een ingewikkeld programma gebruiken om dat persoon handmatig uit te knippen en de achtergrond te vullen.
  • Tele-Omni manier: Je zegt gewoon: "Verwijder die persoon." De Regisseur begrijpt het, en de Kunstenaar "veegt" die persoon weg en vult de achtergrond er perfect en natuurlijk bij, alsof hij er nooit was.

4. Waarom is dit zo speciaal?

Het grootste geheim van Tele-Omni is dat het alles in één keer leert.
Stel je voor dat je een student hebt die eerst alleen maar leert tekenen, en later alleen maar leert schilderen. Dat duurt lang. Tele-Omni is een student die alles tegelijk heeft geleerd: tekenen, schilderen, knippen, plakken en regisseren.

Door alle taken samen te trainen, begrijpt het systeem de "smaak" van een video beter. Het weet dat als je een video bewerkt, de beweging van de camera en de belichting consistent moeten blijven. Het voelt niet als een geforceerde aanpassing, maar als een natuurlijk onderdeel van de film.

Samenvattend

Tele-Omni is de universale vertaler en maker voor video's.

• Jij bent de regisseur met je ideeën (tekst, foto's, video's).
• Tele-Omni is de slimme assistent die je ideeën begrijpt en ze direct omzet in een prachtige, vloeiende video.

Het maakt video maken en bewerken zo makkelijk als het geven van een opdracht aan een vriend, maar dan met de kwaliteit van een Hollywood-studio. Of je nu een nieuwe film wilt maken of een bestaande wilt aanpassen, Tele-Omni is je alles-in-één oplossing.

Technische samenvatting

Probleemstelling

Bestaande methoden voor videogenereatie en -bewerking lijden onder twee fundamentele beperkingen:

1. Taak-specifieke architecturen: De meeste diffusion-modellen zijn ontworpen voor één specifieke taak (meestal tekst-naar-video) en vertrouwen uitsluitend op tekstuele prompts. Ze kunnen geen complexe multimodale instructies verwerken (zoals referentieafbeeldingen of -video's) en missen de flexibiliteit om contextbewuste generatie of bewerking uit te voeren.
2. Gebrek aan schaalbaarheid en compositie: Video-bewerkingsmethodes gebruiken vaak zorgvuldig ontworpen, taak-specifieke pipelines (bijv. gescheiden modellen voor objectvervanging of attributenwijziging). Dit maakt het moeilijk om meerdere bewerkingen te combineren binnen één instructie of om een unified systeem te bouwen dat schaalbaar is voor diverse scenario's.

Er is een dringende behoefte aan een enkel model dat multimodale instructies (tekst, afbeeldingen, video's) kan begrijpen en zowel generatie als bewerking kan uitvoeren zonder afhankelijk te zijn van handmatig ontworpen pipelines.

Methodologie: Tele-Omni

Tele-Omni is een unificerend multimodaal framework dat videogenereatie en -bewerking combineert in één model. De architectuur bestaat uit twee hoofdcomponenten:

1. Multimodaal Groot Taalmodel (MLLM) als Instructie-Parser:

   • Het MLLM fungeert als een hoog-niveau controlemodule. Het analyseert heterogene instructies (tekst, afbeeldingen, referentievideo's) en inferreert de beoogde generatie- of bewerkingsintentie.
   • In plaats van video's direct te genereren, converteert het MLLM instructies naar gestructureerde conditionele signalen (semantische features).
   • Dit vermijdt de informatieknelpunt die ontstaat bij het comprimeren van lange videosequenties naar een kleine set semantische tokens.

2. Diffusion Transformer (DiT) als Genereermodule:

   • De DiT voert de daadwerkelijke hoogwaardige videosynthese uit, gekoppeld aan het MLLM via een lichte, trainbare Adaptor.
   • De DiT ontvangt zowel de semantische features van het MLLM als visuele condities (gecodeerd via een VAE) zoals referentieafbeeldingen, start/stop-frames of volledige video's.
   • Door de instructie-parsing en videosynthese te ontkoppelen, behoudt het model sterke temporele coherentie en visuele consistentie.

Unificatie van Taken:
Tele-Omni ondersteunt diverse taken binnen één raamwerk door instructies en visuele condities te combineren:

• Tekst-naar-Video: Alleen tekst als instructie.
• Afbeelding-naar-Video: Referentieafbeelding + tekst.
• In-Context Generatie: Meerdere visuele condities (bijv. afbeelding + video) + tekst.
• Eerste-Laatste Frame Generatie: Start- en eindframes definiëren de grenzen; het model genereert de tussenliggende beweging.
• In-Context Bewerking: Een referentievideo + een instructie voor lokale of attribut-gestuurde bewerkingen.

Trainingsstrategie:
Het trainingproces verloopt in twee fasen:

1. Adapter-uitlijning: Alleen de adapter wordt geoptimaliseerd (MLLM en DiT zijn bevroren) op basis van tekst-naar- en afbeelding-naar-video taken.
2. Gecombineerde fijne afstelling (Joint Fine-tuning): De dataset wordt uitgebreid met in-context generatie, bewerking en frame-geconditioneerde taken. De adapter en de DiT worden gezamenlijk geoptimaliseerd terwijl het MLLM bevroren blijft.

Data System:
Om heterogene taken te trainen, introduceert het paper een taak-bewuste data-verwerkingspijplijn. Deze unificeert multimodale inputs in een gestructureerd instructieformaat terwijl taak-specifieke beperkingen behouden blijven. Voor bewerkingstaken worden specifieke pipelines gebruikt (o.a. met GPT-4o, FLUX, en Wan2.1) om hoogwaardige paren te genereren voor taken zoals objectverwijdering, -insertie, stijltransformatie en modifiëren.

Kernbijdragen

1. Eerste Unified Framework: Tele-Omni is een van de eerste modellen dat videogenereatie en -bewerking volledig unificeert in één model, ondersteunend voor tekst, afbeeldingen en video als input.
2. Decoupling van Parsing en Synthese: Door het MLLM te gebruiken voor semantische interpretatie en de DiT voor fysieke synthese, wordt een flexibele controle bereikt zonder de temporele coherentie te verliezen.
3. Taak-bewuste Data Design: Een innovatieve data-pijplijn die heterogene datasets (generatie vs. bewerking) combineert zonder instabiel trainen, door expliciete codering van taak-specifieke beperkingen in de instructieformaten.
4. Geavanceerde Conditionering: Implementatie van geavanceerde positionele encoding (3D RoPE) en strategieën voor in-context learning die het model in staat stellen complexe bewegingsdynamiek en ruimtelijke relaties te begrijpen.

Resultaten

Experimentele resultaten tonen aan dat Tele-Omni concurrerende prestaties levert op meerdere taken:

• Kwaliteit en Coherentie: De gegenereerde video's vertonen sterke temporele coherentie, vloeiende bewegingen en hoge visuele kwaliteit zonder artefacten of vervaging.
• Complexiteit: Het model slaagt erin complexe bewegingen te modelleren (bijv. vallende sneeuw, golven, menigten) en logische redenering toe te passen op beweging (bijv. het invullen van frames tussen een start- en eindstand).
• Bewerking: Bij bewerkingstaken (objectverwijdering, -insertie, stijltransformatie) behoudt het model de identiteit van objecten en de consistentie van de scène, zonder "ghosting"-artefacten.
• In-Context Vermogen: Het model kan referentieafbeeldingen en video's gebruiken om de context te bepalen, waardoor het specifieke objecten of stijlen kan repliceren of aanpassen zonder overfitting op de referentie.

Betekenis en Impact

Tele-Omni markeert een belangrijke stap in de evolutie van videogenereatie. Het beweegt weg van gespecialiseerde, statische modellen naar een veelzijdig, interactief en schaalbaar systeem.

• Het lost het probleem op van de fragmentatie in de huidige landschap van video-tools.
• Het stelt gebruikers in staat om complexe, multimodale instructies te geven voor zowel creatie als bewerking, wat de bruikbaarheid in real-world scenario's aanzienlijk vergroot.
• Het framework legt de basis voor de volgende generatie video-synthese-toepassingen, waarbij de grens tussen generatie en bewerking vervaagt en wordt vervangen door een intuïtieve, instructie-gedreven interface.