LAMP: Language-Assisted Motion Planning for Controllable Video Generation

Probleemstelling

Hoewel video-generatiemodellen (zoals text-naar-video) aanzienlijke vooruitgang hebben geboekt op het gebied van visuele kwaliteit en controle, blijft het nauwkeurig sturen van beweging (zowel objectdynamiek als cameratrajecten) een grote uitdaging. Bestaande interfaces zijn vaak beperkt tot tekstuele prompts, annotaties uit bestaande video's of simpele 2D-schetsen. Deze methoden zijn onvoldoende voor het beschrijven van complexe, choreografische bewegingen waarbij objecten en camera's op een gecoördineerde manier bewegen.
De kern van het probleem is dat gebruikers vaak moeite hebben om ruimtelijke en temporele relaties (bijvoorbeeld "de camera volgt het object terwijl deze omhoog beweegt") direct in coördinaten of ruwe bewegingssignalen om te zetten. Dit leidt tot video's die visueel overtuigend zijn, maar fysiek inconsistent of niet in overeenstemming met de intentie van de gebruiker.

Methodologie: LAMP

Het paper introduceert LAMP (Language-Assisted Motion Planning), een raamwerk dat bewegingscontrole behandelt als een probleem van taal-naar-programma synthese. In plaats van dat een model direct continue 3D-coördinaten voorspelt, fungeert een Large Language Model (LLM) als een "regisseur" die natuurlijke taal vertaalt naar gestructureerde, symbolische bewegingsprogramma's.

De aanpak bestaat uit drie hoofdblokken:

1. Cinematografische Domain-Specific Language (DSL):
   LAMP definieert een taal die is geïnspireerd op conventies uit de cinematografie. Deze DSL bestaat uit:

   • Primitieven: Basisbewegingen zoals Free-form (vrije beweging), Orbit track (rond een object draaien), Tail track (volgen van een object) en Rotation track (rotatie op de plek).
   • Modificatoren: Parameters die de beweging verfijnen, zoals snelheid, richting, easing (versnelling/vertraging), en offset.
   • Voorbeeld: orbit_track deg_90 spiral_out_0.5 beschrijft een camera die 90 graden om een object draait terwijl deze er van af beweegt.

2. Procedurale Dataset Generatie:
   Om het LLM te trainen, hebben de auteurs een groot dataset van 400.000 paren gegenereerd, bestaande uit:

   • Natuurlijke taalbeschrijvingen.
   • Bijbehorende symbolische DSL-programma's.
   • De corresponderende 3D-trajecten (voor object en camera).
     Deze dataset is automatisch gegenereerd door primitieven te combineren en een secundair LLM te gebruiken voor het herschrijven van de tekstbeschrijvingen om linguïstische diversiteit te garanderen.

3. Inferentie en Video Generatie:

   • Stap 1: De gebruiker geeft een tekstuele prompt in.
   • Stap 2: Het gefinetunte LLM genereert een DSL-programma voor zowel het object als de camera.
   • Stap 3: Een deterministische converter zet dit programma om in precieze 3D-trajecten.
   • Stap 4: Deze trajecten worden gebruikt als controle-signaal (bijv. als een "control video" met bounding boxes) om een bestaande video-generator (zoals VACE) te conditioneren voor de uiteindelijke video-synthese.

Een belangrijk kenmerk is de iteratieve verfijning: gebruikers kunnen de beweging aanpassen (bijv. "zet de camera iets lager") door de tekst aan te passen, voordat de dure video-synthese plaatsvindt.

Belangrijkste Bijdragen

1. Eerste Framework voor Geïntegreerde Bewegingsplanning: LAMP is het eerste systeem dat zowel object- als camerabewegingen direct genereert vanuit natuurlijke taal in een gedeelde 3D-ruimte, wat essentieel is voor cinematische coherentie.
2. Cinematografische DSL: De introductie van een interpreteerbare, samenstellbare taal die beweging abstracteert in plaats van ruwe coördinaten, wat leidt tot betere ruimtelijke consistentie en menselijke controle.
3. Grootschalige Procedurale Dataset: Een open dataset van 400k samples die schaalbare training en benchmarking van taal-gedreven bewegingsplanners mogelijk maakt.
4. Decoupled Architectuur: Door bewegingsplanning te scheiden van de video-generator, biedt LAMP een flexibele interface voor editing en iteratie zonder de onderliggende generatieve model opnieuw te hoeven trainen.

Resultaten

De auteurs evalueren LAMP op verschillende benchmarks (DataDoP, ET) en vergelijken het met state-of-the-art methoden zoals GenDoP, ET en Director3D.

• Kwantitatieve Prestaties: LAMP behaalt superieure resultaten op metrics zoals F1-score (voor bewegingstags) en CLaTr (alignatie tussen tekst en traject). Op de DataDoP dataset behaalde LAMP een F1-score van 0.763 (pretrained), wat aanzienlijk hoger is dan de bestaande modellen (bijv. GenDoP: 0.400), zelfs zonder training op die specifieke dataset.
• Objectbeweging: Het model toont een hoge nauwkeurigheid (F1 > 0.92) bij het voorspellen van objecttrajecten.
• User Study: In een studie met 16 deelnemers prefereerden gebruikers consequent de door LAMP gegenereerde video's boven baselines, vooral op het gebied van camera-adherentie en algehele cinematografische kwaliteit.
• Ablatiestudies: Experimenten tonen aan dat de DSL-benadering (symbolisch) beter presteert dan directe regressie van continuë trajecten, wat aantoont dat het LLM beter redeneert over gestructureerde programma's dan over ruwe getallen.

Significantie

LAMP markeert een verschuiving in het veld van controllable video generation. Door beweging te modelleren als een taalprobleem in plaats van een regressieprobleem, overbrugt het de kloof tussen menselijke intentie en machine-uitvoer.

• Interpretabiliteit: Regisseurs kunnen nu bewegingen specificeren in termen die zij begrijpen (bijv. "orbit", "pan"), in plaats van in coördinaten.
• Controle: Het stelt gebruikers in staat om complexe scènes te choreograferen met een niveau van controle dat eerder alleen mogelijk was met dure pre-visualisatie-tools in de filmindustrie.
• Toekomstperspectief: Het werk legt de basis voor een nieuwe generatie van "taal-gedreven cinematografie", waarbij tekstuele prompts direct de fysieke dynamiek en camerawerk van gegenereerde video's sturen.

Kortom, LAMP lost het probleem van onnauwkeurige bewegingscontrole op door een brug te slaan tussen natuurlijke taal en 3D-geometrie via een gestructureerde, cinematografisch geïnspireerde taal.