🤖 AI

Beyond Skeletons: Learning Animation Directly from Driving Videos with Same2X Training Strategy

Het artikel introduceert DirectAnimator, een nieuw framework dat foutgevoelige pose-estimators omzeilt door direct te leren van ruwe rijvideo's via een Driving Cue Triplet en een Same2X-trainingsstrategie om state-of-the-art, robuuste menselijke beeldanimatie te bereiken met verbeterde identiteitsbehoud en efficiëntie.

Oorspronkelijke auteurs: Yuan Zeng, Yujia Shi, Yuhao Yang, Dongxia Liu, Zongqing Lu, Wenming Yang, Qingmin Liao

Gepubliceerd 2026-06-08

📖 5 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Yuan Zeng, Yujia Shi, Yuhao Yang, Dongxia Liu, Zongqing Lu, Wenming Yang, Qingmin Liao

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je voor dat je een digitaal personage (een statische foto) wilt leren dansen. In het verleden moest de "leraar" (de AI) eerst kijken naar een video van een echte danser, proberen een stokfiguur-skelet over hen heen te tekenen, en dan tegen het digitale personage zeggen: "Beweeg je linkerarm hier, buig je knie daar."

Het probleem met deze oude manier is dat het tekenen van stokfiguren moeilijk is. Als de danser zijn arm voor zijn lichaam kruist, raakt de stokfiguur in de war. Als de danser snel met zijn hand zwaait, kan de stokfiguur de hand zelfs helemaal kwijtraken. Wanneer de leraar slechte instructies geeft, krijgt de digitale danser extra ledematen, een verdraaid lichaam of een leeg, emotieloos gezicht.

DirectAnimator is een nieuwe aanpak die de stokfiguren volledig overslaat. In plaats van te proberen de video te vertalen naar een vereenvoudigde tekening, laat het de AI direct leren van de ruwe videopixels, precies zoals een mens leert door naar een demonstratie te kijken in plaats van een handleiding te lezen.

Zo werkt het, onderverdeeld in eenvoudige concepten:

1. De "Driving Cue Triplet" (De driepoot van de kruk)

In plaats van één rommelige stokfiguur, hebben de auteurs een driedelige "instructieset" gemaakt die de Driving Cue Triplet wordt genoemd. Zie dit als het geven van drie specifieke lenzen waardoor de AI naar de video kijkt:

De Pose Cue (De Bewegingslens): Stel je voor dat je de video van de danser neemt en alle details zoals het patroon van het shirt of de haartextuur vervaagt. Je houdt een "geestachtige" vorm over die alleen laat zien hoe ze bewegen. Dit helpt de AI om zich te concenten op de dansbewegingen zonder afgeleid te worden door de kleding.
De Face Cue (De Expressielens): De auteurs realiseerden zich dat stokfiguren slecht zijn in het weergeven van gezichtsuitdrukkingen. Daarom knippen ze simpelweg het gezicht van de danser uit de video en voeren dat rechtstreeks aan de AI. Dit zorgt ervoor dat het digitale personage kan glimlachen, fronsen of verrast kan kijken, net als de echte persoon.
De Location Cue (De Kaartlens): Soms staat de danser in de video ver weg, terwijl de foto die je wilt animeren een close-up is. De "Location Cue" werkt als een kaart die de AI precies vertelt waar het lichaam en het gezicht geplaatst moeten worden, zodat de dans perfect bij de foto past zonder dat deze wordt uitgerekt of samengedrukt.

2. De "CueFusion DiT" (De Slimme Mixer)

Zodra de AI deze drie lenzen heeft, moet hij ze samenvoegen. Het papier introduceert een speciaal "mixer"-blok (genoemd CueFusion DiT).

Zie de Referentiefoto (de persoon die je wilt animeren) als de Basiscake.
Zie de Driving Cues (de dansbewegingen en expressies) als de Glazuur en Decoraties.
Deze mixer zorgt ervoor dat het glazuur (de dans) perfect op de cake (de persoon) wordt aangebracht zonder de smaak van de cake (de identiteit van de persoon) te veranderen. Het zorgt ervoor dat de danser op jou lijkt, maar beweegt als de video.

3. De "Same2X" Trainingsstrategie (De Oefendrill)

Een AI trainen om een vreemde te laten dansen als iemand anders is ongelooflijk moeilijk. Het is alsof je een student vraagt om een dans na te doen die hij nog nooit heeft gezien, terwijl hij een masker draagt dat zijn eigen gezicht verbergt. De AI raakt in de war en leert traag.

De auteurs hebben dit opgelost met een slim tweestaps trainingsmethode genaamd Same2X:

Stap 1 (De Makkelijke Drill): Eerst leren ze de AI met video's waarbij de danser en de foto dezelfde persoon zijn. Dit is makkelijk; de AI leert: "Oké, wanneer de arm omhoog gaat, gaat de arm omhoog."
Stap 2 (De Moeilijke Drill): Vervolgens proberen ze het te leren met verschillende mensen. Maar in plaats van vanaf nul te beginnen, gebruiken ze een "geest" van de eerste les. Ze zeggen tegen de AI: "Herinner je hoe je de arm bewoog in Stap 1? Doe datzelfde bewegingspatroon hier, ook al is de persoon anders."
Het Resultaat: Dit werkt als een vangnet. Het voorkomt dat de AI in de war raakt en zorgt ervoor dat de AI de moeilijke taak van "een ander persoon zijn" 6,7 keer sneller leert dan voorheen.

Waarom dit ertoe doet (Volgens het paper)

Het paper beweert dat door de "stokfiguur"-stap over te slaan en deze drie slimme lenzen plus de tweestaps training te gebruiken, hun systeem:

Het "Ghost Hand"-probleem oplost: Het voegt niet per ongeluk extra ledematen toe wanneer iemand de armen kruist.
Emoties vastlegt: De gezichten zien er natuurlijk en expressief uit, niet als bevroren maskers.
Tijd bespaart: Het traint veel sneller en gebruikt minder computerbronnen dan eerdere methoden.
Chaos aankan: Het werkt goed, zelfs wanneer de video snelle bewegingen, wazige actie of mensen die elkaar blokkeren bevat.

Kortom, DirectAnimator stopt met proberen een video te vertalen naar een slechte tekening en leert de AI in plaats daarvan om direct van de video te "kijken en leren", met behulp van een speciale trainingsdrill om ervoor te zorgen dat het de eerste keer goed gaat.

Technische Samenvatting: Beyond Skeletons: Learning Animation Directly from Driving Videos with Same2X Training Strategy

1. Probleemstelling

Human Image Animation (HIA) beoogt fotorealistische video's te genereren van een statische referentie-identiteit die poses en expressies uitvoert afgeleid van een sturende video (driving video). Bestaande state-of-the-art methoden vertrouwen doorgaans op intermediaire representaties—zoals 2D-skeletkaarten, DensePose of SMPL-parameters—als sturende signalen. De auteurs identificeren twee kritieke beperkingen in dit paradigma:

Ruis en Onbetrouwbaarheid: Pose-estimators falen vaak bij occlusie, complexe articulatie of bewegingsonscherpte, wat resulteert in foutieve of onvolledige skeletten. Deze fouten propageren direct naar de gegenereerde video, wat leidt tot anatomische vervormingen (bijv. voor-achter verwarring, ontbrekende ledematen).
Beperkte Expressiviteit: Spaarzame keypoints en skeletkaarten hebben moeite om genuanceerde gezichtsuitdrukkingen en complexe lichaamsdynamiek vast te leggen, wat vaak resulteert in onnatuurlijke of expressieloze animaties.

Bovendien is het trainen van modellen voor cross-identity scenario's (waarbij de referentie- en sturende video's verschillende personen bevatten) inherent moeilijk. Het model moet simultaan leren om beweging/expressie over te dragen terwijl de verschijning van de referentie-identiteit behouden blijft, wat leidt tot ruisige gradiënten en trage convergentie.

2. Methodologie

De auteurs stellen DirectAnimator voor, een framework dat expliciete pose-estimatie omzeilt en direct van ruwe pixels uit de sturende video leert animeren. De methodologie bestaat uit drie kerncomponenten:

A. Driving Cue Triplet

In plaats van te vertrouwen op geschatte skeletten, extraheert DirectAnimator een gestructureerde "Driving Cue Triplet" uit de ruwe sturende video om als het conditioneringssignaal te dienen:

Pose Cue: Verkregen door de voorgrond te segmenteren (met modellen zoals Grounded SAM) en een frequentiedomein low-pass filter toe te passen. Dit onderdrukt hoogfrequente verschijningsdetails (kledingtexturen) terwijl de temporeel coherente pose-dynamiek behouden blijft.
Face Cue: Omvat het croppen, herschalen en centreren van gezichtsregio's uit de sturende video om rijke semantische informatie te bieden voor expressieve synthese, waarmee de beperkingen van 68-punts landmarks worden aangepakt.
Location Cue: Bestaat uit grid-gebaseerde, verzachte lichaam- en gezichtsmaskers. Deze bieden ruimtelijke priors om de schaal en positie van de sturende video af te stemmen op de referentie-afbeelding, wat identiteitslekkage en structurele vervorming voorkomt.

B. CueFusion DiT (CF-DiT) Block

Het framework maakt gebruik van een Diffusion Transformer (DiT) backbone. Om de sturende cues effectief te injecteren, introduceren de auteurs de CueFusion DiT Block:

De referentie-afbeelding wordt gecodeerd in visuele embeddings die door het hoofd-denoising pad stromen.
De drie sturende cues worden gecodeerd in afzonderlijke controle-embeddings.
Deze controle-embeddings moduleren de DiT-blocks via Adaptive Layer Normalization (AdaLN) en gated residual connections. Dit ontwerp zorgt ervoor dat de identiteit ("wie") door het hoofdpad wordt gedragen, terwijl beweging en expressie ("hoe") worden geïnjecteerd via conditionele modulatie zonder het denoising-proces te verstoren.

C. Same2X Training Strategy

Om de optimalisatieproblemen van cross-identity training aan te pakken, stellen de auteurs een tweestaps Same2X strategie voor:

Same-ID Pretraining: Het model wordt eerst getraind op paren waarbij de referentie- en sturende identiteiten hetzelfde zijn om robuuste bewegings- en expressieoverdracht te vestigen.
Cross-ID Adaptation: Het model wordt vervolgens aangepast aan cross-identity scenario's. Cruciaal is dat in plaats van enkel te vertrouwen op ruisige cross-ID data, de auteurs pseudo driving cues genereren uit same-ID data om cross-ID condities te simuleren.
Alignment Loss: Een nieuwe Same2X Alignment Loss ( $L_{S2X}$ ) wordt geïntroduceerd. Deze loss minimaliseert de cosinusafstand tussen de feature embeddings van het cross-ID model en een vooraf getraind same-ID model bij specifieke DiT blocks. Dit reguleert de optimalisatie door de cross-ID featureruimte af te stemmen op de goed geleerde same-ID ruimte, waardoor de convergentie wordt versneld en de training wordt gestabiliseerd.

3. Belangrijkste Bijdragen

Direct Video Conditioning: Het artikel herformuleert HIA door ruwe pixels uit de sturende video (verwerkt in een gestructureerde cue triplet) te gebruiken als het sturende signaal, waardoor de accumulatie van fouten van intermediaire pose-estimators wordt geëlimineerd.
Gestructureerde Cue Triplet & CF-DiT: De introductie van de Pose, Face en Location cues, gefuseerd via een gespecialiseerde CueFusion DiT block, biedt een robuustere en semantisch rijkere representatie voor het controleren van beweging en expressie.
Same2X Training Strategy: Een generaliseerbaar framework dat profiteert van feature alignment tussen same-ID en cross-ID settings. Deze strategie versnelt de convergentie in cross-ID scenario's aanzienlijk en vermindert de afhankelijkheid van grootschalige, gecureerde real-world cross-ID datasets door gebruik te maken van pseudo data.

4. Experimentele Resultaten

De auteurs evalueerden DirectAnimator op de TikTok en Unseen datasets, waarbij ze het vergeleken met SD-gebaseerde (AnimateAnyone, MagicAnimate), SVD-gebaseerde (StableAnimator, MimicMotion) en DiT-gebaseerde (UniAnimate-DiT, DynamiCtrl) baselines.

Kwantitatieve Prestaties: DirectAnimator behaalde state-of-the-art resultaten in FID, SSIM, L1 error en Face Identity Similarity (FIS) op beide datasets. Met name op de uitdagende "Unseen" dataset (met complexe dansbewegingen) presteerde het consistent beter dan alle baselines op alle metrieken.
Pose en Expressie Overdracht: De methode vertoonde superieure prestaties in Pose Landmark Consistency (PLC) en Facial Landmark Consistency (FLC), wat bevestigt dat er een nauwkeuriger opvolging van de lichaamsvorm en een getrouwe overdracht van expressie plaatsvindt.
Kwalitatieve Verbeteringen: Visuele vergelijkingen toonden aan dat DirectAnimator veelvoorkomende artefacten vermijdt die bij skeletgebaseerde methoden voorkomen, zoals extra ledematen, voor-achter ambiguïteit en ontbrekende keypoints. Het behield een hoge identiteitsbehoud en achtergrondconsistentie.
Efficiëntie: De Same2X strategie bleek 6,7× sneller te zijn in het bereiken van hetzelfde verliesniveau dan training zonder deze strategie in de cross-ID fase. De methode behaalde deze resultaten ook met minder computationele middelen (4 H20 GPU's) vergeleken met sommige baselines die 8 A100's vereisen.

5. Betekenis en Claims

Het artikel claimt dat DirectAnimator een verschuiving vertegenwoordigt van het vertrouwen op ruisige, intermediaire pose-abstracties naar het direct leren van holistische visuele demonstraties. Door pose-estimators te omzeilen, bereikt de methode een hogere robuustheid tegen occlusies en complexe articulaties.

De auteurs benadrukken dat de Same2X training strategy een significante bijdrage is aan de training van Diffusion Transformers voor HIA, omdat het effectief supervisie overdraagt van eenvoudigere same-ID settings naar uitdagende cross-ID scenario's. Deze aanpak verbetert niet alleen de generatiekwaliteit, maar biedt ook een pad om de afhankelijkheid van dure, gecureerde real-world cross-identity datasets te verminderen door gebruik te maken van pseudo data en feature alignment.

Het werk concludeert dat hoewel beperkingen met betrekking tot de kwaliteit van de pseudo cues blijven bestaan, DirectAnimator de weg vrijmaakt voor meer intuïtieve, menselijke animatie-leren die de manier waarop mensen beweging waarnemen weerspiegelt—door middel van holistische visuele cues in plaats van vereenvoudigde skeletrepresentaties.