💻 computer science

Keyframe-Anchored Identity Preservation for Sequential-Action Video Generation

Dit artikel stelt een trainingsvrij, driefasig pijplijnframework voor dat de identiteit van het onderwerp behoudt in opeenvolgende actievideo-generatie door prompts voor eindtoestanden te herschrijven, sleutelframes te genereren via gezamenlijke conditionering op de referentie-identiteit en voorafgaande frames, en tussenliggende segmenten te verbeteren met multi-referentiebegeleiding en identiteitsgestuurde ruiszoektocht.

Oorspronkelijke auteurs: Zhenjie Liu, Binyan Chen, Hao Chen, Tong Pan, Shangfei Wang

Gepubliceerd 2026-07-21

📖 8 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Zhenjie Liu, Binyan Chen, Hao Chen, Tong Pan, Shangfei Wang

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je voor dat je een regisseur bent die een film probeert te draaien met een zeer speciale, eigenwijze acteur. Deze acteur is een digitaal personage dat is gemaakt door een computerprogramma genaald een "diffusiemodel". Denk aan dit model als een magische, chaotische kunstenaar die ongelooflijk goed is in het schilderen van plaatjes op basis van jouw beschrijvingen, maar die een verschrikkelijk geheugen heeft. Als je het vraagt om een plaatje te tekenen van een "man met een baard die een boek leest", kan het een perfecte man tekenen. Maar als je het vervolgens vraagt om een afbeelding te maken van dezelfde man die opstaat en zwaait, kan de kunstenaar in de war raken. De baard kan verdwijnen, het gezicht kan van vorm veranderen, of de man kan plotseling een totaal ander persoon lijken. Dit is het probleem van "identity drift" (identiteitsdrift). In de wereld van AI-videogeneratie is het behouden van het exacte uiterlijk van een personage terwijl hij beweegt en van handeling verandert, als het proberen te dragen van een sneeuwvlok over een heet trottoir zonder dat deze smelt.

Stel je nu voor dat je niet alleen wilt dat de acteur één ding doet; je wilt dat hij een heel script uitvoert. Eerst leest hij een boek. Dan kijkt hij naar de hemel. Dan kijkt hij weer naar beneden. Het doen van dit alles in één enkele, aaneengesloten burst is een nachtmerrie voor de AI omdat de persoon in de video de neiging heeft om over het gezicht te "driften" en te veranderen naarmate de video langer wordt. Dit paper pakt een specifieke uitdaging aan waarbij het doel is om een video te genereren van een specifiek persoon die een reeks verschillende handelingen uitvoert, terwijl er tegelijkertijd wordt gewaarborgd dat de persoon in de video exact lijkt op de referentiefoto waarmee je begon. De onderzoekers van de University of Science and Technology of China besloten niet te proberen de hele film in één opname te filmen. In plaats daarvan kwamen ze met een slimme manier om de film op te delen in beheersbare scènes, het gezicht van het personage aan het einde van elke scène te verankeren, en de stukjes aan elkaar te naaien zodat de acteur nooit vergeet wie hij is.

De Drie-Fasen Magische Truc

De auteurs stellen een "training-free" pipeline voor, wat een chique manier is om te zeggen dat ze de AI niet opnieuw hoefden te leren hoe hij moet tekenen; ze moesten hem alleen betere instructies en een betere workflow geven. Ze noemen hun methode "Keyframe-Anchored Identity Preservation", wat ingewikkeld klinkt maar eigenlijk heel logisch is. Denk aan het bouwen van een brug over een rivier. In plaats van de hele weg in één keer aan te leggen (wat zou kunnen instorten), bouw je sterke, solide pilaren (keyframes) op specifieke punten en vul je dan de weg tussen die punten in.

Fase 1: De Scriptdoctor (Action-Aware Prompt Polishment)
Eerst realiseerde het team zich dat de instructies die aan de AI werden gegeven te vaag waren. De oorspronkelijke prompts waren als een regisseur die tegen een kunstenaar schreeuwt: "Oké, nu leest hij, en dan kijkt hij op!", terwijl de kunstenaar een duidelijk beeld nodig heeft van het eindresultaat van elke actie. De AI raakte in de war over wanneer te stoppen met lezen en hoe op te kijken.

Om dit op te lossen, gebruikten de onderzoekers een slimme AI-assistent (een Large Language Model) om het script te herschrijven. In plaats van de actie van het lezen te beschrijven, herschreef de assistent de prompt om de toestand van het personage na het lezen te beschrijven. Het is het verschil tussen zeggen "De man is zijn hoofd draaiend" en "De man kijkt nu naar links". Door te focussen op de "terminale staat" (de eindhouding) van elke actie, krijgt de AI een duidelijk doel om naar te streven. Dit zorgt ervoor dat wanneer de AI de "keyframe" (het ankerpunt) genereert, hij precies weet hoe het personage er op dat specificmoment uit moet zien.

Fase 2: De Kettingreactie (ID-Preserving Keyframe Generation)
Vervolgens komt het daadwerkelijke tekenen van de ankerpunten. De onderzoekers vroegen de AI niet om de hele video in één keer te tekenen. In plaats daarvan vroegen ze de AI om een keten van stilstaande beelden te tekenen, één na de andere.

Om de eerste afbeelding te tekenen, toonden ze de AI de referentiefoto (de oorspronkelijke persoon) en de eerste herschreven prompt.
Om de tweede afbeelding te tekenen, toonden ze de AI de zelfde referentiefoto (om het gezicht hetzelfde te houden) EN de eerste afbeelding die ze net hadden gemaakt (om de lichaamshouding continu te houden).
Dit herhaalden ze voor elke actie in het script.

Dit is het "geketende" deel. Door de vorige afbeelding in de volgende stap te voeden, weet de AI hoe hij het lichaam natuurlijk kan bewegen zonder de verbinding met het oorspronkelijke gezicht te verliezen. Het is als een spelletje "telefoontje" waarbij je de instructies fluistert, maar in plaats van dat de boodschap vervormd raakt, geef je een fysieke schets door die ervoor zorgt dat de volgende kunstenaar precies weet waar de vorige is gestopt. Dit scheidt de "identiteit" (het gezicht, dat hetzelfde blijft) van de "pose" (het lichaam, dat verandert), wat het driftprobleem oplost.

Fase 3: Het Veiligheidsnet (ID-Aware Inference Enhancement)
Ten slotte heeft de AI een reeks stilstaande beelden (de keyframes), maar hij moet de beweging tussen deze beelden invullen om een vloeiende video te maken. Dit is waar de magie gebeurt. De onderzoekers voegden twee speciale trucs toe aan het videogeneratieproces om ervoor te zorgen dat het personage niet struikelt tijdens de beweging.

Multi-Reference Guidance: Stel je voor dat je een plaatje probeert te tekenen terwijl iemand drie dingen in je oor fluistert: de tekstuele beschrijving, het vorige frame en de originele foto. De AI luistert meestal naar de tekst en het vorige frame. De onderzoekers dwongen de AI om extra hard naar de originele foto te luisteren. Ze pasten de wiskunde aan zodat het "identiteitssignaal" werd versterkt, waardoor het voor de AI veel moeilijker werd om per ongeluk het gezicht van het personage te veranderen terwijl het lichaam bewoog.
Noise Searching: Wanneer AI een video genereert, begint het met een scherm vol statische ruis (zoals tv-sneeuw) en werkt het dit langzaam bij om het beeld te onthullen. Meestal kiest de AI gewoon een willekeurig stukje sneeuw om mee te beginnen. De onderzoekers besloten kieskeuriger te zijn. Ze genereerden verschillende verschillende stukjes "sneeuw" en testten snel welke het beste resultaat zou geven voor een gezicht. Ze kozen de winnaar en gebruikten die als startpunt. Het is als het testen van verschillende zaden om te zien welke de beste bloem laat groeien voordat je de hele tuin plant.

De Resultaten: Werkte het?

Het team testte hun methode in een wedstrijd genaamd IPVG26 (Track 2), waarbij het doel was om video's te genereren van specifieke mensen die reeksen handelingen uitvoeren. Ze gokten niet alleen; ze maten hun resultaten tegen andere topteams.

Hun aanpak behaalde de derde plaats op de officiële ranglijst. Hoewel ze niet de eerste plaats wonnen, waren de resultaten indrukwekkend, vooral op de gebieden die het meest telden: het herkenbaar houden van de persoon (Identity Preservation) en het zorgen voor de juiste timing van de handelingen (Temporal Alignment).

Bij het testen van hun systeem ontdekten ze dat "Multi-Reference Guidance" de grootste factor was. Wanneer ze deze functie verwijderden, daalde de score voor het consistent houden van de identiteit aanzienlijk (van 0,4055 naar 0,3520). Dit bewees dat het expliciet vertellen van de AI om zich op de referentiefoto te concentreren de sleutel was om te voorkomen dat het gezicht ging driften. "Noise Searching" hielp ook, maar leverde een kleinere boost op.

Het paper vergeleek ook twee verschillende "backbones" (de onderliggende video-engines die ze gebruikten). Ze vonden dat een model genaamd LTX-2.3 beter presteerde dan een ander model, Wan2.1-VACE, over bijna elke metriek heen. Het LTX-2.3-model behaalde een algemene score van 0,4971, vergeleken met 0,4818 voor het andere model.

Wat dit betekent

Het paper beweert niet dat het de oplossing voor het probleem van AI-videogeneratie voor altijd heeft gevonden. Het zegt niet dat het personage nooit zal veranderen, of dat de methode perfect werkt voor elke mogelijke scenario. In plaats daarvan suggereert het dat het opdelen van een complexe videotaken in kleinere, verankerde stappen een zeer effectieve manier is om hiermee om te gaan.

Door de video te behandelen als een keten van "terminale staten" (het einde van elke actie) in plaats van een continue, vloeiende stroom, slaagden de onderzoekers erin om de identiteit van het personage intact te houden, zelfs wanneer de handelingen complex en opeenvolgend waren. Ze lieten zien dat je de AI niet altijd vanaf nul hoeft te hertrainen; soms heb je alleen een betere kaart, een sterker anker en een beetje extra hulp nodig bij het kiezen van je startpunt. Voor iedereen die probeer digitale verhalen te creëren met consistente personages, biedt deze "keyframe-anchored" aanpak een betrouwbare, training-vrije manier om de acteur in zijn rol te houden, ongeacht hoeveel scènes hij moet spelen.

Technische Samenvatting: Keyframe-verankerde Identiteitsbehoud voor Sequentiële Actie Video-generatie

Probleemdefinitie

Het artikel behandelt de uitdaging van Identiteitsbehoudende Tekst-naar-Video Generatie (IPVG) binnen de context van de IPVG26 Challenge Track 2. In tegenstelling tot traditionele IPVG-taken die vertrouwen op een enkele holistische prompt, vereist deze setting het genereren van een video op basis van:

Een referentie-identiteitsafbeelding ( $I_{ref}$ ).
Een globale scènebeschrijving ( $P_{global}$ ).
Een temporeel gestructureerde sequentie van tijdgestempelde actie-captions $\{(s_i, e_i, c_i)\}_{i=1}^N$ , waarbij elke $c_i$ een specifieke sub-actie beschrijft met begin- en eindtijden.

De kernmoeilijkheid ligt in het behouden van de herkenbaarheid van het onderwerp (identiteit) terwijl een gescript sequentie van afzonderlijke acties wordt uitgevoerd. Standaard end-to-end video-generatoren lijden vaak aan verschijningsdrift (appearance drift) naarmate beweging zich opstapelt en de afgebeelde acties veranderen, waardoor het onderwerp gedurende een multi-actie sequentie zijn gelijkenis verliest.

Methodologie

De auteurs stellen een training-vrije, driefasige pipeline voor die de video-generatietaak deelt in een keten van identiteitsbehoudende keyframes, waarmee de spatiotemporele afruil van gezamenlijke optimalisatie wordt vermeden.

1. Actie-bewuste Prompt Polishment

De ruwe tekstuele inputs (globale beschrijving en temporele captions) zijn vaak narratief en missen de ruimtelijke precisie die vereist is voor beeldgeneratiemodellen.

Proces: Een multimodale Large Language Model (LLM), specifiek Qwen3.6-27B, herschrijft de inputs.
Eerste frame: De globale prompt wordt herschreven naar een prompt ( $\hat{P}_{global}$ ) die de identiteitsattributen van het onderwerp (gezichtsvorm, huidskleur, etc.) verankert en de scène vastlegt, om een plausibel openingsmoment te garanderen.
Terminale staten: Elke temporele caption $c_i$ wordt herschreven naar een eind-frame prompt ( $\hat{c}_i$ ). Cruciaal is dat deze prompts de terminale staat van de actie beschrijven (uiteindelijke pose, handpositie, blikrichting) in plaats van de progressie van de beweging. Dit biedt onambijlige ruimtelijke beperkingen voor de daaropvolgende keyframe-generatie.

2. ID-behoudende Geketende Keyframe Generatie

In plaats van de volledige video in één keer te genereren, genereert het systeem een sequentie van keyframes $\{K_0, K_1, \dots, K_N\}$ , waarbij elke $K_i$ de terminale staat van het $i$ -de actie-segment vertegenwoordigt.

Gekende Conditionering:
- $K_0$ wordt gegenereerd onder conditie van $I_{ref}$ en $\hat{P}_{global}$ .
- Opvolgende keyframes $K_i$ $K_{i}$ worden gegenereerd onder conditie van drie inputs:
  1. $I_{ref}$ : Biedt tijd-invariante identiteitskenmerken.
  2. $K_{i-1}$ : Biedt de voorafgaande visuele staat (pose, oriëntatie, scène-indeling) om temporele continuïteit te waarborgen.
  3. $\hat{c}_i$ : Specificeert de doel-terminale staat voor de huidige actie.
Mechanisme: Dit ontwerp ontkoppelt de tijd-invariante verschijning (van $I_{ref}$ ) van de tijd-variërende pose (van $K_{i-1}$ ), waardoor het model alleen de aspecten kan wijzigen die in de nieuwe prompt worden beschreven, terwijl de rest wordt overgenomen.

3. ID-bewuste Inferentie Verbetering

Zodra de keyframes zijn vastgesteld, worden de video-segmenten tussen hen gesynthetiseerd met behulp van een diffusie-gebaseerd videomodel (specifiek LTX-2.3 in keyframe-interpolatiemodus). Tijdens de inferentie worden twee training-vrije verbeteringen toegepast:

Multi-Referentie Guidance: Breidt de standaard Classifier-Free Guidance (CFG) uit door specifieke guidance-termen toe te voegen. De sampling-traject wordt gestuurd door:
- $\Delta_{cfg}$ : Standaard tekst-alignment.
- $\Delta_{stg}$ : Spatiotemporele guidance (via attention perturbatie) voor temporele coherentie.
- $\Delta_{mod}$ : Modaliteit-guidance die expliciet de invloed van de visuele condities (grenskeyframes) versterkt om identiteitsconsistentie af te dwingen.
Identiteitsgestuurde Ruis Zoeken: Behandelt de initiële diffusieruis $z_T$ als een optimalisatievariabele in plaats van een willekeurige trekking. Voor elk segment worden $K$ kandidaat-ruis-tensors gesampled, en een korte lookahead denoising wordt uitgevoerd. De kandidaat met de hoogste beloning (cosinus-gelijkenis tussen de gedecodeerde eerste frame face-embedding en $I_{ref}$ ) wordt geselecteerd voor volledige denoising.
Variabele-lengte Allocatie: Segmenten worden toegewezen een aantal frames proportioneel aan hun duur, afgerond om te voldoen aan VAE-beperkingen ( $8k+1$ ).

Belangrijkste Bijdragen

Actie-bewuste Prompt Polishment Module: Een methode om globale en temporele captions te herschrijven naar terminale-staat beeldprompts, wat duidelijke ruimtelijke doelen biedt voor keyframe-synthese.
ID-behoudende Gekende Keyframe Generatie: Een generatiestrategie die elke keyframe conditioneert op zowel de referentie-identiteit als de voorafgaande keyframe, waardoor de identiteit effectief wordt gescheiden van de pose om herkenbaarheid en bewegingscontinuïteit te behouden.
ID-bewuste Inferentie Verbetering: Een training-vrije fase die multi-referentie guidance en identiteitsgestuurd ruis zoeken integreert om de identiteitsgetrouwheid tijdens sampling te versterken.
Keyframe-verankerde Decompositie: Een paradigmaverschuiving van end-to-end generatie naar interpolatie tussen identiteitsverankerde eindpunten, wat de specifieke uitdagingen van sequentiële-actie taken aanpakt.

Resultaten

De voorgestelde methode werd geëvalueerd op de IPVG26 Track 2 testset (200 samples uit de ReactID dataset).

Leaderboard Prestaties: De methode behaalde de 3e plaats op het officiële leaderboard (Score: 2.9375), achter USTC-CMI en WislabGDUT.
Backbone Vergelijking: De auteurs vergeleken LTX-2.3 (keyframe-interpolatiemodus) met Wan2.1-VACE (first/last-frame modus). LTX-2.3 presteerde beter dan Wan2.1-VACE op alle metrieken, met name op het gebied van identiteitsbehoud en alignment, wat leidde tot de selectie ervan als de definitieve backbone.
Ablatie Studies:
- Het verwijderen van Multi-Reference Guidance veroorzaakte de meest significante daling in de identiteitsscore (van 0.4055 naar 0.3520), wat bevestigt dat dit de primaire drijfveer is voor subject-consistentie.
- Het verwijderen van Noise Searching resulteerde in een matige maar consistente daling in identiteits- en algemene scores.
- Beide verbeteringen verbeterden de identiteitsmetrieken zonder de bewegingsvloeiendheid of beeldkwaliteit significant te beïnvloeden.

Betekenis en Claims

Het artikel claimt dat de keyframe-verankerde decompositie een effectieve oplossing is voor de specifieke uitdaging van identiteitsbehoud bij sequentiële acties. Door de tijd-invariante identiteitslay-out te scheiden van de temporele beweging, vermijdt de methode de verschijningsdrift die gebruikelijk is bij end-to-end generatoren. De auteurs benadrukken dat hun aanpak training-vrij is, geen fine-tuning vereist van off-the-shelf modellen, en toch concurrerende prestaties levert op een uitdagende benchmark. De resultaten suggereren dat het expliciet scheiden van de generatie van terminale staten (keyframes) van de interpolatie van beweging, gecombineerd met identiteitsversterking tijdens de inferentie, een levensvatbare strategie is voor controleerbare, multi-actie video-synthese.