MotionCFG: Boosting Motion Dynamics via Stochastic Concept Perturbation

Probleemstelling

Ondanks de recente vooruitgang in Text-to-Video (T2V) synthese, blijft het genereren van hoogwaardige en dynamische beweging een aanzienlijke uitdaging. Bestaande methoden vertrouwen voornamelijk op Classifier-Free Guidance (CFG), vaak aangevuld met expliciete negatieve prompts (bijv. "statisch", "onscherp") om ongewenste artefacten te onderdrukken.

De auteurs identificeren echter twee fundamentele tekortkomingen in deze aanpak:

1. Content-Motion Drift: Expliciete negatieve prompts introduceren vaak onbedoelde semantische bias. Terwijl ze proberen beweging te verbeteren, wordt de structurele integriteit van objecten aangetast (bijv. vervorming van objecten).
2. Statische Bias: Omdat trainingsdatasets vaak gedomineerd worden door statische of laag-dynamische scènes, neigt de standaard CFG (die extrapoleert vanaf een onvoorwaardelijke nul-embedding) ertoe deze statische modi te versterken, zelfs bij prompts met dynamische acties. Dit resulteert in video's met weinig betekenisvolle beweging of oververzadigde kleuren.

Methodologie: MotionCFG

Het paper introduceert MotionCFG, een training-vrij framework dat de dynamiek verbetert door een target-concept te vergelijken met zijn door ruis verstoorde tegenhangers, in plaats van te vertrouwen op handmatig ontworpen negatieve prompts.

De kerncomponenten van de methode zijn:

1. Stochastische Concept Perturbatie:

   • In plaats van een statische negatieve prompt te gebruiken, injecteert MotionCFG Gaussische ruis specifiek in de tekst-embeddings van bewegingsgerelateerde tokens (bijv. werkwoorden als "springen" of "rennen").
   • Dit creëert lokale "negatieve ankers" die een breed complementair ruimte van suboptimale bewegingsvariaties omvatten.
   • De geleide ruisvoorspelling wordt berekend door de generatie weg te sturen van deze verstoorde embedding ($c_{pert}$) in plaats van de onvoorwaardelijke embedding ($\emptyset$):
     $$\tilde{\epsilon}_\theta(z_t, c, c_{pert}) = \epsilon_\theta(z_t, c) + \omega (\epsilon_\theta(z_t, c) - \epsilon_\theta(z_t, c_{pert}))$$
   • Dit zorgt voor impliciete hard negative mining: het model moet fijne temporale details onderscheiden van hun verstoorde versies zonder de globale semantische identiteit van het object te verstoren.

2. Token Identificatie:

   • Bewegingskritieke woorden worden geïdentificeerd via een lichtgewicht Large Language Model (LLM) of handmatige selectie. Alleen de embeddings van deze specifieke tokens worden verstoord, wat zorgt voor semantische precisie.

3. Piecewise Guidance Scheduler:

   • Om een balans te vinden tussen dynamische intensiteit en visuele kwaliteit, wordt de interventie beperkt tot de vroege stappen van het denoising-proces (waar de globale bewegingslayout wordt vastgesteld).
   • In de latere stappen wordt teruggekeerd naar standaard CFG om ruimtelijke details en texturen te verfijnen zonder onnodige stochastische variatie of artefacten.

Belangrijkste Bijdragen

• Oplossing voor Content-Motion Drift: MotionCFG isoleert degradatie tot het bewegingsmanifold, waardoor dynamiek wordt verscherpt zonder de objectintegriteit te vervormen.
• Training-vrij en Efficiënt: De methode vereist geen aanpassingen aan de modelarchitectuur of extra supervisie, en voegt verwaarloosbare rekenkosten toe ten opzichte van standaard CFG.
• Generalisatie: Het mechanisme van ruisgeïnduceerde contrastieve sturing bleek effectief niet alleen voor beweging, maar ook voor het sturen van complexe, niet-lineaire concepten zoals precieze objecttelling (numerosity), wat normaal gesproken moeilijk is via tekstuele prompts.

Resultaten

De auteurs hebben MotionCFG gevalideerd op state-of-the-art T2V-modellen, waaronder Wan2.1 (1.3B en 14B) en CogVideoX.

• Kwantitatieve Prestaties: MotionCFG toont consequent superieure prestaties op dynamische metrieken zoals FLOW (gemiddelde pixelbeweging), DINO Segm. en de DEVIL Score.
  • Op Wan2.1-14B verdubbelde MotionCFG de FLOW-score van de baseline (van 2.95 naar 6.06) terwijl de tekst-video-uitlijning (X-CLIP) vergelijkbaar bleef.
  • In tegenstelling tot andere methoden zoals CADS (die beweging vaak onderdrukt) of Interval Guidance (die vaak artefacten introduceert), behoudt MotionCFG de visuele kwaliteit.
• Kwalitatieve Evaluatie: Video's tonen fysiek plausibele bewegingstrajecten (bijv. galopperende paarden, instortende gebouwen) zonder de vervorming of statische output die bij baselines voorkomt.
• Objecttelling: Bij het tellen van objecten (bijv. "drie paarden") reduceerde MotionCFG de fout (MAE) significant ten opzichte van de baseline, wat aantoont dat de methode bruikbaar is voor discrete semantische attributen.

Betekenis en Impact

MotionCFG biedt een fundamenteel nieuwe manier om beweging in diffusion-modellen te sturen. Door expliciete negatieve prompts te vervangen door stochastische perturbatie van specifieke concept-embeddings, lost het paper het probleem van "Content-Motion Drift" op.

De studie stelt dat dit contrastieve mechanisme een generaliseerd framework is voor het sturen van discrete of niet-lineaire semantische attributen die moeilijk te moduleren zijn via standaard tekstgebaseerde guidance. Dit opent de weg voor meer nauwkeurige en controleerbare video-synthese met hoge fideliteit, zonder de noodzaak voor kostbare hertraining of complexe architecturale wijzigingen.