💻 computer science

Vorch-IR: Long-Form Unified Multimodal Identity Replacement Video Generation

Vorch-IR is een verenigd multimodaal framework gebouwd op LTX2 dat flexibele identiteitsvervanging van één of twee personen met optionele achtergrondbewerking mogelijk maakt in langdurige video's door gezamenlijk te conditioneren op sturende video's, referentieafbeeldingen en tekstuele instructies, terwijl het schaarste aan data overwint door een automatische synthese-pipeline en zich uitbreidt naar minutenlange generaties via een temporele overlappende inferentiestrategie.

Oorspronkelijke auteurs: Yaole Wang, Xiaoyu Chen, Xin Ma, Yang Ding, Gang Yue, Jingjing Chen, Lin Ma, Yaohui Wang

Gepubliceerd 2026-08-07

📖 5 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Yaole Wang, Xiaoyu Chen, Xin Ma, Yang Ding, Gang Yue, Jingjing Chen, Lin Ma, Yaohui Wang

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je voor dat je een afstandsbediening voor de werkelijkheid vasthoudt, maar in plaats van van kanaal te wisselen, wil je de acteurs in een film vervangen terwijl het script, de camerastandpunten en de dansbewegingen precies hetzelfde blijven. Dit is de droom van "video identity replacement", een hot topic in de wereld van kunstmatige intelligentie. Lange tijd kon AI nieuwe video's vanaf nul genereren, maar het bewerken van een bestaande video was alsoals proberen het gezicht van een personage in een live-action film te veranderen zonder de belichting of de beweging te verpesten. Vroege pogingen vereisten dat de AI een gedetailleerde kaart kreeg van waar de persoon stond, een schets van het skelet van hun pose, of een masker om hun gezicht te bedekken. Het was alsof je een chef-kok vroeg om een maaltijd te koken, maar alleen als je hem een vooraf uitgesneden lijst met ingrediënten en een diagram van de keuken gaf. Deze methoden waren rigide en moeilijk te gebruiken. De grote vraag die onderzoekers nu stellen is: Kunnen we een AI leren om een simpele zin te begrijpen zoals "Vervang de danser links door deze foto" en het gewoon te snappen, zonder dat er een complexe kaart of een skelet voor nodig is?

Maak kennis met Vorch-IR, een nieuw AI-systeem dat fungeert als een superintelligente, magische filmeditor. Zie het als een regisseur die geen script supervisor of stuntcoördinator nodig heeft. Je geeft Vorch-IR drie dingen: de originele video (de "driving" video), een paar foto's van de nieuwe mensen die je wilt invoegen (de "references"), en een simpel tekstberichtje dat de AI vertelt wie waar moet komen. De magie is dat de foto's niet hoeven te matchen met de pose of positie van de video. Als de video een persoon laat dansen met de armen omhoog, en jouw foto laat die persoon zitten, dan begrijpt Vorch-IR hoe de zittende persoon toch moet dansen. Het handelt single personen af, twee mensen die samen dansen, en zelfs het vervangen van de achtergrondscène, allemaal met één enkel model.

De onderzoekers achter Vorch-IR hebben dit systeem gebouwd op een krachtige videogenerator genaamd LTX2. Ze hebben de AI geleerd om tegelijkertijd naar de video, de foto's en de tekstinstructies te kijken. In plaats van rigide kaarten te gebruiken, gebruikt de AI een "vision-language" brein (een type AI dat zowel plaatjes als woorden begrijpt) om de connectie te begrijpen. Het is alsof de AI jouw briefje leest, naar de foto kijkt en zegt: "Ah, je wilt dat deze persoon de plaats inneemt van de persoon aan de linkerkant," en vervolgens gebruikt het zijn interne "self-attention" om het nieuwe gezicht perfect op het bewegende lichaam te blenden.

Een van de grootste hindernissen in dit veld is data. Om een AI te leren gezichten te vervangen, heb je duizenden voorbeelden van "voor" en "na" video's nodig. Omdat deze niet bestaan in de echte wereld, heeft het team een robot-pipeline gebouwd om ze te maken. Ze namen echte video's, gebruikten andere AI-tools om de gezichten in het eerste frame te vervangen, en gebruikten vervolgens een bewegingsgestuurde robot om de rest van de video het nieuwe gezicht te laten volgen. Vervolgens filterden ze de slechte pogingen eruit (zoals wanneer de AI per ongeluk de danser drie armen gaf) om een perfect trainingsset te creëren. Hierdoor konden ze één model trainen om alles te doen: het vervangen van één persoon, het vervangen van twee personen, en zelfs het veranderen van de achtergrond, allemaal zonder aparte tools voor elke taak nodig te hebben.

Maar wat betreft het maken van een hele film? De meeste AI-videogeneratoren raken in de war of worden wazig na een paar seconden. Vorch-IR gebruikt een slimme truc genaamd "temporal overlapping inference". Stel je voor dat je een lange muurschildering probeert te schilderen. In plaats van een klein vierkantje te schilderen, het te laten drogen en dan het volgende te schilderen (wat de kleuren anders kan maken), schildert Vorch-IR overlappende secties tegelijkertijd en blendt deze naadloos samen. Hierdoor kan het video's genereren die een volle minuut lang zijn zonder dat de gezichten van de personages gaan afwijken of de beweging vreemd wordt, zonder dat er een video clip voor clip gegenereerd hoeft te worden.

Het team heeft Vorch-IR getest tegen andere top AI-modellen. In head-to-head vergelijkingen suggereerde Vorch-IR dat het beter was in het behouden van het uiterlijk van het nieuwe gezicht (identity preservation) en het consistent houden van de achtergrond, terwijl de beweging nog steeds vloeiend bleef. In menselijke tests gaven mensen de voorkeur aan de resultaten van Vorch-IR boven andere methoden, vooral wanneer het ging om het echt en fysiek plausibel maken van het nieuwe personage. Het paper suggereert dat hoewel sommige oudere modellen misschien iets beter zijn in specifieke zaken zoals perfecte pose-matching in zeer specifieke scenario's, Vorch-IR een veel flexibelere en verenigde manier biedt om video's te bewerken, waarmee bewezen wordt dat je geen complexe kaarten nodig hebt om geweldige resultaten te behalen. Het is een stap naar een toekomst waar het bewerken van een video zo eenvoudig is als het typen van een zin.

Technische Samenvatting: Vorch-IR

Probleemstelling

Video-identiteitsvervanging beoogt de identiteiten van één of meer onderwerpen over te dragen naar een sturende video (driving video), terwijl de oorspronkelijke beweging, expressies en temporele structuur behouden blijven. Ondanks recente vooruitgang in diffusie-gebaseerde videogeneratie, kampen bestaande methoden met drie primaire beperkingen:

Rigide Structurele Controles: Veel benaderingen vertrouwen op expliciete maskers, pose-kaarten of ruimtelijke uitlijning tussen referentieafbeeldingen en de sturende video, wat de integratie in algemene multimodale bewerkingssystemen bemoeilijkt.
Focus op Enkele Identiteit: De meeste systemen zijn ontworpen voor vervanging van een enkel doelwit. Vervanging van meerdere personen vereist onafhankelijke identiteitscontrole en een ondubbelzinnige associatie tussen meerdere referenties en hun respectieve doelwitten, wat zelden wordt geadresseerd.
Datatekort: Grootschalige gepaarde trainingsdata voor multi-persoons en achtergrondvervangingsinstellingen zijn niet gemakkelijk beschikbaar, wat gezamenlijk leren van deze taken belemmert.

Methodologie

Vorch-IR is een verenigd framework gebouwd op de LTX2-architectuur dat deze beperkingen aanpakt via een enkel model dat in staat is vier instellingen te verwerken: single-person vervanging, dual-person vervanging, en beide varianten met optionele achtergrondvervanging.

1. Verenigde Multimodale Conditionering

Het model accepteert een sturende video ( $D$ ), een geordende set referentieafbeeldingen ( $R$ ), en een tekstuele bewerkingsinstructie ( $u$ ).

Ruimtelijke Ontkoppeling: Referentieafbeeldingen worden behanden als onafhankelijke condities; ze hoeven niet overeen te komen met de pose, lay-out of ruimtelijke configuratie van de sturende video.
Instructie-gebaseerde Binding: Een tekstuele instructie specificeert welke referentieafbeelding overeenkomt met welk onderwerp of de achtergrond (bijv. "Referentie 1 vervangt de persoon aan de linkerkant"). Dit vervangt de noodzaak voor geometrische correspondentie of maskers.
Dual-Path Architectuur:
- Dense Visual Fusion (Self-Attention): De sturende video, alle referentieafbeeldingen en de ruisige doel-latent worden samengevoegd tot een verenigde tokenstroom. Self-attention fuseert deze tokens, waardoor fijne beweging uit de sturende video en uiterlijke details uit de referenties behouden blijven. Task-ID embeddings onderscheiden de bronvideo, de referentie-slots en het doelwit.
- Semantic Binding (Cross-Attention): Een vision-language model (gebaseerd op Gemma) codeert gezamenlijk de instructie, gesamplede sturende frames en referenties. Deze context wordt via cross-attention geïnjecteerd om elke geïndexeerde referentie te binden aan de beoogde doelrol gedefinieerd door de tekst, wat semantische routing mogelijk maakt zonder expliciete lokalisatiemodules.

2. Automatische Data Constructie Pipeline

Om het gebrek aan gepaarde trainingsdata te overwinnen, hebben de auteurs een pipeline ontwikkeld die supervisie synthetiseert voor alle vier de instellingen:

Bewerking: Het eerste frame van een bronclip wordt bewerkt om identiteiten (en optioneel de achtergrond) te vervangen, terwijl de locaties van de onderwerpen en grove poses behouden blijven.
Propagatie: Een motion-guided video animatiemodel propageert deze bewerkte verschijningen langs de bronbewegingstrajecten.
Filtering: Een vision-language model filtert mislukkingen eruit (bijv. misvormde lichamen, identiteitsmismatches).
Extractie: Het bewerkte eerste frame wordt bijgesneden om identiteitsreferenties te vormen, en de achtergrond wordt geëxtraheerd voor samples voor achtergrondvervanging.
Dit proces genereert uitgelijnde trainings-tuples (sturende video, referenties, instructie, doelvideo) zonder handmatige collectie.

3. Long-Form Inferentie Strategie

Hoewel getraind op korte clips (tot 8 seconden), ondersteunt Vorch-IR minutenlange generatie met een Temporal Overlapping Inference strategie, aangepast van Bidirectional Latent Fusion (BLF):

De volledige doel-latent wordt bedekt met overlappende temporele vensters.
In elke denoising stap voorspelt het model gedenoised vensters geconditioneerd op de corresponderende bronsegmenten en globale referenties.
Voorspellingen worden geaggregeerd via genormaliseerde temporele gewichten (lineaire of cosinus cross-fade).
Een enkele globale Euler update wordt toegepast op de gehele latent sequentie.
Deze aanpak vermijdt autoregressieve continuatie, waardoor identiteitsdrift en foutaccumulatie over lange horizonten worden verminderd.

Belangrijkste Bijdragen

Verenigde Formulering: Een verenigd framework dat single-person, dual-person en achtergrondvervanging formuleert als een enkel instructie-gestuurd multimodaal video generatieprobleem.
Gindiceerde Referentie Interface: Een nieuwe interface die referenties ruimtelijk ontkoppelt van de sturende video, gebruikmakend van dense visual self-attention voor content transfer en instructie-gebaseerde cross-attention voor semantische binding.
Schaalbare Data Pipeline: Een automatische pipeline die gepaarde supervisie synthetiseert voor multi-persoons en achtergrondvervanging, waardoor de noodzaak voor taakspecifieke dataverzameling wordt geëlimineerd.
Long-Sequence Extensie: Een aanpassing van overlapping latent fusion die modellen voor korte clips uitbreidt naar minutenlange generatie zonder autoregressieve feedbackloops.

Resultaten

De auteurs hebben Vorch-IR geëvalueerd op single-person vervanging (vergeleken met Wan-Animate, HunyuanCustom, MoCha en SCAIL-2) en boden kwalitatieve resultaten voor dual-person en achtergrondinstellingen.

Automatische Metrieken: Op de benchmark van de auteurs behaalde Vorch-IR de hoogste Subject Consistency (0.9096) en Background Consistency (0.9332). Het scoorde ook hoog op beeldkwaliteit (0.7031) en esthetische kwaliteit (0.6396). Op de XDance benchmark toonde het sterke generalisatie, waarbij het tweede werd in DINOv2 en CLIP-I gelijkenis.
Menselijke Evaluatie (GSB): In paarvergelijkingen kreeg Vorch-IR in alle dimensies (beweging, fysieke plausibiliteit, identiteit, videokwaliteit) een hogere "Good" dan "Bad" beoordeling vergeleken met alle baselines. Het meest significante voordeel was in Identity Consistency, waar het door 65,4% van de evaluatoren werd verkozen boven HunyuanCustom en door 77,0% boven Wan-Animate.
Trade-offs: Hoewel Vorch-IR uitblinkt in identiteitsbehoud, behielden sommige gespecialiseerde baselines lichte voordelen in specifieke metrieken zoals temporele flikkering of pose-matching, wat wijst op een trade-off tussen sterke identiteitsverplaatsing en andere specifieke visuele kwaliteiten.

Betekenis

Het artikel beweert dat Vorch-IR een belangrijke stap vormt richting flexibele, algemene videobewerking. Door de afhankelijkheid van ruimtelijk uitgelijnde referenties, maskers of pose-inputs te verwijderen, vereenvoudigt het model de integratie van identiteitsvervanging in bredere multimodale systemen. Het vermogen om meerdere identiteiten en achtergrondwijzigingen binnen een enkel, instructie-gestuurd model te verwerken, gecombineerd met een schaalbare datapipeline en long-form inferentie capaciteit, pakt kritieke knelpunten in huidig video-generatieonderzoek aan. Het werk demonstreert dat high-fidelity identiteitsverplaatsing kan worden bereikt zonder de motie-coherentie op te offeren of complexe structurele controles te vereisen.