Target-Aware Video Diffusion Models

Probleemstelling

Bestaande beeld-naar-video (I2V) diffusiemodellen zijn doorgaans "doelbewusteloos" (target-unaware). Hoewel ze complexe scènes kunnen simuleren op basis van tekstprompts, missen ze het vermogen om een acteur (mens of robot) gericht te laten interageren met een specifiek object in de scène.

• Huidige beperkingen: Bestaande methoden vertrouwen vaak op dichte structurele cues (zoals dieptekaarten, optische stroming of bewegingstrajecten) die als input moeten worden gegeven. Dit vereist echter vooraf bekende bewegingsinstructies, wat in strijd is met het doel van video-modellen als "bewegingsplanners" die plausibele interacties moeten voorspellen zonder voorafgaande bewegingsinstructies.
• De uitdaging: Hoe kan men een video-generatiemodel trainen zodat het, gegeven een startbeeld en een tekstuele beschrijving van een actie, automatisch de juiste ruimtelijke interactie met een specifiek, geselecteerd object (het "doel") genereert, zonder dat de beweging van de acteur handmatig gespecificeerd hoeft te worden?

Methodologie

De auteurs stellen een doelbewust (target-aware) video-diffusiemodel voor dat een video genereert waarbij een acteur een gewenste actie uitvoert op een specifiek doelobject.

1. Architectuur en Input:

• Het model is gebaseerd op een state-of-the-art I2V-diffusiemodel (CogVideoX).
• Extra Input: Naast het startbeeld en de tekstprompt, wordt een segmentatiemasker van het doelobject toegevoegd als extra inputkanaal. Dit masker definieert het doelobject in de scène.
• Token-uitbreiding: De tekstprompt wordt aangevuld met de zin "The person interacts with [TGT] object.", waarbij [TGT] een speciaal token is dat de ruimtelijke informatie van het doel encodeert.

2. Cross-Attention Loss (De kerninnovatie):
Om ervoor te zorgen dat het model daadwerkelijk "doelbewust" wordt en niet alleen het masker als decoratie gebruikt, introduceren de auteurs een speciale cross-attention loss:

• Doel: De cross-attention-kaarten van het [TGT]-token worden geforceerd om te aligneren met het ingevoerde segmentatiemasker.
• Formule: De loss minimaliseert het verschil tussen de cross-attention-weights van het [TGT]-token en het masker ($\mathcal{L}_{attn} = \mathbb{E}[\|A(z_t^0, [TGT]) - \tilde{M}\|_2^2]$).
• Selectieve toepassing: Om efficiëntie en effectiviteit te maximaliseren, wordt deze loss niet op alle lagen toegepast, maar selectief:
  • Op specifieke attention-regio's: Alleen op de Video-to-Text (V2T) cross-attention regio's. De auteurs tonen aan dat V2T directer invloed heeft op de video-latents dan Text-to-Video (T2V).
  • Op specifieke transformer-blokken: Alleen op de blokken die semantisch het meest relevant zijn (geïdentificeerd als blokken 5 tot 23 in de basisarchitectuur), waar de attention-kaarten het sterkst overeenkomen met de objectsegmentatie.

3. Dataset:
De auteurs hebben een nieuw, handmatig samengesteld dataset gecreëerd (1290 clips) uit de BEHAVE en Ego-Exo4D datasets. Deze clips bevatten scènes waar een acteur begint zonder interactie en vervolgens in interactie treedt met een doelobject. De maskers en tekstprompts zijn geautomatiseerd gegenereerd met behulp van bestaande tools (SAM en CogVLM2).

Belangrijkste Bijdragen

1. Doelbewust Video Diffusiemodel: Een nieuw framework dat een segmentatiemasker en tekst gebruikt om nauwkeurige actor-doelinteracties te genereren.
2. Cross-Attention Loss Mechanisme: Een innovatieve trainingsstrategie die het model dwingt om ruimtelijke informatie uit een masker te koppelen aan een specifiek teksttoken, waardoor het model fungeert als een bewegingsplanner.
3. Nieuwe Dataset: Een specifiek voor dit doel samengesteld dataset voor training en evaluatie van doelbewuste interacties.
4. Toepassingen: Demonstratie van twee praktische toepassingen:
   • Zero-shot 3D HOI-synthese: Het genereren van fysiek plausibele 3D mens-object interacties voor robotica.
   • Lange video-content creatie: Het genereren van langdurige video's met navigatie en interacties met minimale gebruikersinvoer.

Resultaten

De experimentele resultaten tonen aan dat het voorgestelde model aanzienlijk beter presteert dan bestaande oplossingen (zoals CogVideoX, attention modulation en drag-based methoden).

• Kwalitatieve verbetering: Het model genereert video's waarbij de acteur correct interageert met het specifieke doelobject, zelfs in scènes met meerdere objecten van hetzelfde type (bijv. meerdere flessen). Bestaande methoden hallucineren vaak het doel of interageren met het verkeerde object.
• Kwantitatieve prestaties:
  • Contact Score: Het model bereikt een score van 0.878, vergeleken met 0.560 voor de basis CogVideoX en 0.638 voor een model dat alleen op de data is gefinetuned. Dit betekent dat de actor in 87,8% van de gevallen daadwerkelijk contact maakt met het juiste doel.
  • Video Kwaliteit: De kwaliteit van de gegenereerde video's (gemeten via VBench-metrics zoals subject consistentie, dynamiek en esthetiek) blijft vergelijkbaar met de baselines, wat aantoont dat de doelbewustheid niet ten koste gaat van de visuele kwaliteit.
• Robuustheid: Het model is robuust tegen variaties in de kwaliteit van het masker (bijv. geërodeerde of gedilateerde maskers) en werkt zelfs met niet-menselijke acteurs (dieren, robotarmen), ondanks training op menselijke data.

Significantie

Dit werk is significant omdat het een brug slaat tussen generatieve video-modellen en bewegingsplanning voor robots en interactieve systemen.

• Van passief naar actief: Het transformeert video-modellen van passieve simulatoren naar actieve planners die plausibele interacties kunnen voorspellen op basis van een doel.
• Minimalisatie van input: Het vereist slechts één masker en een tekstprompt, in plaats van complexe bewegingsinstructies of dichte structurele inputs.
• Toekomstperspectief: De methode biedt een nieuwe richting voor "World Models" in de robotica, waarbij modellen kunnen worden gebruikt om realistische interacties te simuleren voor het trainen van fysieke agenten (via imitatielearning) of voor het creëren van realistische video-content zonder dure handmatige animatie.

Kortom, de paper introduceert een fundamentele verbetering in de controleerbaarheid van video-generatie door ruimtelijke doelbewustheid te integreren via een efficiënt cross-attention mechanisme.