Controlling Motion Transfer in Diffusion Transformers via Attention Heads

Technische Samenvatting: Controle over Bewegingsoverdracht in Diffusion Transformers via Attention Heads

Probleemstelling
Hoewel Diffusion Transformers (DiTs) de videogeneratie aanzienlijk hebben vooruitgeholpen door hoogwaardige, temporeel coherente resultaten te produceren, blijft het uitbreiden hiervan naar bewegingsoverdracht (motion transfer) een uitdaging. Bewegingsoverdracht vereist het synthetiseren van een video die voldoet aan een doeltekstprompt, terwijl strikt de bewegingsdynamiek van een referentievideo wordt gevolgd. Bestaande DiT-gebaseerde benaderingen (bijv. noise warping, manipulatie van rotary positional embeddings, cross-frame attention optimalisatie) falen vaak in het bereiken van zowel bewegingstrouw (motion fidelity, de adherentie aan de referentie) als structurele uitlijning (spatial layout consistentie). Deze methoden manipuleren doorgaans bewegingsrepresentaties zonder een fundamenteel begrip van hoe beweging en structuur intern binnen DiTs worden gecodeerd. Gevolgd wordt er vaak gegenereerde video's met plausibele maar onnauwkeurige trajecten, misalignement van objectstructuren of semantische inconsistenties (bijv. een auto die rechtuit rijdt in plaats van afslaat, of objecten die op onjuiste posities verschijnen).

Methodologie: HALO
De auteurs stellen HALO voor (Head-Aware controllable motion transfer framework), een training-vrije methode die gebruikmaakt van een gedetailleerde analyse op head-niveau van video DiTs om nauwkeurige bewegingsoverdracht te bereiken. Het framework werkt op basis van twee primaire inzichten afgeleid van de analyse van attention heads:

1. Identificatie van Gespecialiseerde Heads:

   • Bewegingsspecifieke Heads: De auteurs identificeren een subset van attention heads die sterke patch-correspondenties vertonen over frames heen. Deze heads genereren duidelijke displacement maps die de bewegingsstroom accuraat reflecteren, waarmee ze zich onderscheiden van spatiale heads die zich richten op intra-frame relaties.
   • Structuurspecifieke Heads: Een andere subset van heads codeert de ruimtelijke structuur. Deze heads worden gekenmerkt door een lage attention entropie, wat zich manifesteert als scherp diagonale attention patronen. Lage entropie duidt op geconcentreerde structurele informatie, terwijl hoge entropie overeenkomt met diffuse, ruisgevoelige signalen.

2. Het HALO Framework:
   HALO gebruikt deze geïdentificeerde heads om bewegingstrouw en structurele uitlijning af te dwingen via twee mechanismen:

   • Semantisch Bewuste Bewegingssturing: Om te voorkomen dat bewegingsoverdracht plaatsvindt in semantisch irrelevante regio's (een veelvoorkomend probleem bij ruwe displacement maps), verfijnt de methode de displacement map met behulp van semantische correspondentie. Het aggregeert cross-frame attention van bewegingsspecifieke heads, maar herweegt deze op basis van semantische gelijkenis afgeleid van diffusie-features. Dit zorgt ervoor dat bewegingssignalen zijn uitgelijnd met objectsemantiek in plaats van enkel met visuele gelijkenis.
   • Selectieve Structurele Feature Injectie: Om de ruimtelijke lay-out van de referentievideo te behouden, injecteert HALO value-features van de referentievideo in het generatieproces. Cruciaal is dat deze injectie selectief is: het incorporeert alleen features van de geïdentificeerde low-entropy (structuurspecifieke) heads. Dit onderdrukt ruis en identiteitslekken terwijl de ruimtelijke structuur wordt versterkt.

Belangrijkste Bijdragen

• Functionele Analyse op Head-Niveau: Het artikel presenteert de eerste analyse van video DiTs op het niveau van de attention heads, waarbij onderscheid wordt gemaakt tussen subsets van heads die gespecialiseerd zijn in beweging (het vastleggen van temporele dynamiek) en structuur (het coderen van ruimtelijke organisatie). Deze worden gevalideerd als effectieve controleprimitieven.
• HALO Framework: Een nieuw, parameter-vrij framework dat semantisch bewuste displacement optimalisatie integreert met selectieve feature injectie vanuit structuurspecifieke heads.
• Movie Scene Dataset: De auteurs introduceren een nieuwe dataset die specifiek is samengesteld voor bewegingsoverdracht, met een focus op professionele cinematografische condities en complexe shot-composities, waarmee de beperkingen van bestaande generieke benchmarks worden geadresseerd.

Resultaten
Uitgebreide evaluaties op standaard benchmarks en de nieuwe Movie Scene Dataset tonen de superioriteit van HALO aan:

• Kwantitatieve Prestaties: HALO bereikt state-of-the-art resultaten in Motion Fidelity (MF) en Frame-to-Frame Distance (FTD), terwijl het een hoge CLIP-score (text-video uitlijning) behoudt. Het balanceert succesvol de trade-off tussen het volgen van de tekstprompt en het volgen van de referentiebeweging, waarbij het baselines zoals GWTF, RoPECraft en DiTFlow overtreft.
• Kwalitatieve Verbeteringen: Visuele vergelijkingen laten zien dat HALO video's produceert met consistente objectidentiteiten, correcte bewegingstrajecten en behouden structurele lay-outs, waarbij veelvoorkomende artefacten zoals camera drift of objectduplicatie die bij andere methoden worden gezien, worden vermeden.
• Robuustheid: De methode vertoont stabiliteit over variërende bewegingscomplexiteiten (Easy, Medium, Hard) en gaat effectief om met occlusies en bewegingen met een hoge snelheid.
• Ablatie-studies: Het verwijderen van semantische verfijning leidt tot bewegingsmisalignement (bijv. achtergrondbeweging in plaats van objectbeweging), terwijl het verwijderen van selectieve structurele injectie resulteert in ruimtelijke distorties en gedupliceerde objecten.

Betekenis en Claims
Het artikel claimt dat de primaire bijdrage het bieden van een interpreteerbare fundering is voor controleerbare videogeneratie. Door aan te tonen dat beweging en structuur inherent ontkoppeld (disentangled) zijn over specifieke attention heads in DiTs, laten de auteurs zien dat precieze controle kan worden bereikt zonder het model opnieuw te trainen. Het werk suggereert dat het begrijpen van de interne mechanismen van DiTs op het niveau van de heads cruciaal is voor de vooruitgang van controleerbare videogeneratie. Bovendien wordt de introductie van de Movie Scene Dataset gepresenteerd als een stap naar het evalueren van bewegingsoverdracht onder real-world, productie-georiënteerde condities. De auteurs kaderen hun bevindingen bescheiden als een opening voor toekomstig onderzoek naar fijnmazige editing, zoals expliciete controle over bewegingsrichting en -intensiteit, gebaseerd op de ontdekte inherente ontkoppeling.