Technische Samenvatting: Herbalancing van de Dominantie van het Referentiekader om Beweging in Beeld-naar-Video-modellen te Verbeteren

Probleemstelling

Beeld-naar-video (I2V) modellen, hoewel ze in staat zijn de uitstraling van een referentiebeeld te behouden, lijden vaak onder een "statische bewegingstendens". In vergelijking met tekst-naar-video (T2V) tegenhangers genereren I2V-modellen vaak video's met een overdreven beperkte of zwakke beweging, zelfs wanneer de tekstprompt expliciet dynamische actie beschrijft. Bestaande benaderingen om dit probleem te mitigeren, omvatten typisch het aanpassen van het beeld-conditioneringspad (bijvoorbeeld door ruis toe te voegen of flow-matching opnieuw te ontwerpen) of het verzwakken van het conditioneringssignaal. Echter, deze methoden vereisen vaak extra training of introduceren een afweging waarbij verbeterde beweging ten koste gaat van de trouw aan het referentiebeeld.

Methodologie: DyMoS (Dynamic Motion Slider)

De auteurs stellen DyMoS voor, een trainingsvrije en model-onafhankelijke methode die de statische bewegingstendens aanpakt door direct in te grijpen in het zelf-attentie-mechanisme tijdens inferentie, zonder de modelgewichten of het invoerbeeld te wijzigen.

Kerninzicht: Dominantie van het Referentiekader

Door een analyse van zelf-attentiekarten in gepaarde T2V- en I2V-generaties, identificeren de auteurs een fenomeen dat ze dominantie van het referentiekader noemen. In I2V-modellen wijken query-tokens in niet-referentiekaders aanzienlijk meer aandacht toe aan de key-tokens van het referentiekader (het eerste frame) in vergelijking met hun T2V-tegenhangers. Deze excessieve aandacht verspreidt referentie-informatie over de temporele as, onderdrukt inter-frame dynamiek en resulteert in statische output.

Technische Implementatie

DyMoS mitigeert deze dominantie door de attentie-logits tijdens de eerste onruisingsstappen te herbalkeren. De methode introduceert een scalair bias-verschuiving naar de attentie-logits die geassocieerd zijn met key-tokens van het referentiekader.

De modulatie wordt als volgt toegepast:

1. Logit-aanpassing: Voor niet-referentie query-tokens ($i \notin I_{f0}$) die attentie schenken aan referentie key-tokens ($j \in I_{f0}$), wordt een positieve scalair $\gamma$ afgetrokken van de attentie-logits $L[i, j]$ voordat de softmax-operatie plaatsvindt:
   $$\tilde{L}[i, j] = L[i, j] - \gamma \cdot \phi(f(i)) \cdot \mathbb{1}[j \in I_{f0}] \cdot \mathbb{1}[i \notin I_{f0}]$$
   Hierbij controleert $\gamma$ de sterkte van de interventie, en is $\phi(\cdot)$ een frame-gewijze planning (standaard uniform).
2. Temporele reikwijdte: De modulatie wordt uitsluitend toegepast tijdens de eerste $\lambda$ fractie van de onruisingsstappen. Dit richt zich op het vroege stadium waar globale beweging wordt bepaald, terwijl latere stappen de uitstraling en temporele coherentie kunnen verfijnen met standaard attentie.
3. Classifier-Free Guidance (CFG): De modulatie wordt uitsluitend toegepast op de tekst-voorwaardelijke tak van de CFG-vergelijking, waarbij de null-tekst-tak onveranderd blijft. Dit stuurt de geleide update weg van dominantie van het referentiekader, terwijl de structurele integriteit van het generatieproces behouden blijft.

Belangrijkste Bijdragen

• Identificatie van Mechanisme: Het artikel identificeert "dominantie van het referentiekader" in zelf-attentie als een primaire drijfveer van statische beweging in I2V-modellen, en onderscheidt dit van eenvoudige invoer-conditioneringsproblemen.
• Trainingsvrije Interventie: DyMoS biedt een eenvoudige, model-onafhankelijke oplossing die geen fijnafstemming, hertraining of wijziging van het invoerbeeld vereist. Het werkt uitsluitend door attentie-logits tijdens inferentie aan te passen.
• Continue Controle: De methode introduceert een enkele scalair parameter ($\gamma$) waarmee gebruikers het spectrum continu kunnen regelen van strikte behoud van het referentiebeeld (statisch) tot uiterst dynamische beweging, waardoor de kloof tussen I2V- en T2V-bewegingsdynamiek effectief wordt overbrugd.
• Behoud van Trouw: In tegenstelling tot eerdere methoden die visuele kwaliteit of referentietrouw opofferen om beweging te verbeteren, verbetert DyMoS de bewegingsdynamiek terwijl het een hoge trouw aan het referentiebeeld en visuele kwaliteit behoudt.

Experimentele Resultaten

De auteurs hebben DyMoS gevalideerd over meerdere state-of-the-art I2V-backbones, waaronder Wan 2.2, Wan 2.1, HunyuanVideo-1.5 en CogVideoX-5B.

• Bewegingsdynamiek: Over alle backbones heen behaalde DyMoS consistent hogere Dynamic Degree-scores (gemeten door VBench en VideoScore) in vergelijking met zowel de vanilla-baseline als de state-of-the-art methode ALG. Bijvoorbeeld, op Wan 2.2 steeg de Dynamic Degree van 51,7 (Baseline) naar 64,8 (DyMoS), een aanzienlijke verbetering ten opzichte van ALG's 55,3.
• Visuele Kwaliteit: Cruciaal behield DyMoS Video Quality-scores die vergelijkbaar waren met de baseline en ALG, wat aantoont dat verbeterde beweging de visuele trouw niet verslechtert.
• Tekstuitlijning: De methode behaalde de hoogste ViCLIP-scores onder de vergeleken methoden, wat suggereert dat het verminderen van dominantie van het referentiekader het model in staat stelt bewegingsbeschrijvingen in tekstprompts beter te volgen.
• Menselijke Voorkeur: In een gebruikersstudie werd DyMoS vaker dan de baseline of ALG geselecteerd als de beste video volgens alle criteria (Bewegingsdynamiek, Referentiekader-trouw, Tekstuitlijning en Algemene Voorkeur).
• Efficiëntie: De methode veroorzaakt verwaarloosbare overhead tijdens inferentie (bijvoorbeeld 1,2% op Wan 2.2), aangezien het slechts lichte element-gewijze bewerkingen op attentie-logits omvat in plaats van extra forward passes.

Betekenis en Claims

Het artikel beweert dat de statische bewegingstendens in I2V-generatie geen inherente beperking is van het conditioneringsmechanisme zelf, maar eerder een gevolg is van hoe referentie-informatie wordt gerouteerd via zelf-attentie. Door in te grijpen op het niveau van attentie-logits, herbalkert DyMoS effectief de focus van het model, waardoor dynamische beweging mogelijk wordt zonder de kernsterktes van I2V-modellen (referentietrouw) te compromitteren.

De auteurs positioneren DyMoS als een praktisch hulpmiddel voor gebruikers en ontwikkelaars, waarbij een "schuifregelaar" van bewegingscontrole wordt geboden via een enkele parameter. Zij merken op dat hoewel de methode effectief is, te grote modulatiesterktes de consistentie van de uitstraling kunnen verminderen, en dat toekomstig werk de automatische aanpassing van modulatiesterkte op basis van specifieke prompts of bewegingstypen zou kunnen verkennen. Het werk toont aan dat eenvoudige, gerichte interventies in het attentiemechanisme aanzienlijke verbeteringen in generatieve videokwaliteit kunnen opleveren zonder de rekenkosten van hertraining.