ProjFlow: Projection Sampling with Flow Matching for Zero-Shot Exact Spatial Motion Control

Each language version is independently generated for its own context, not a direct translation.

ProjFlow: De "Onzichtbare Regisseur" voor Perfecte Animaties

Stel je voor dat je een regisseur bent die een film maakt met een digitale pop. Je wilt dat deze pop precies doet wat je zegt: hij moet met zijn hand een hart tekenen in de lucht, of precies over een bepaalde lijn lopen.

In het verleden was dit een enorme hoofdpijn. Als je de pop een opdracht gaf, gebeurde er vaak een van twee dingen:

De pop negeerde je: Hij deed iets leuks, maar liep niet precies over de lijn die je wilde.
De pop werd een robot: Hij deed precies wat je wilde, maar zag er stijf en onnatuurlijk uit, alsof hij van plastic was gemaakt.

De onderzoekers van ProjFlow hebben een slimme oplossing bedacht die beide problemen oplost. Hier is hoe het werkt, vertaald naar alledaagse taal:

1. Het Probleem: De "Goocheltruc" van de AI

Stel je voor dat je een AI hebt die miljoenen keren heeft geoefend om mensen natuurlijk te laten bewegen. Deze AI is een genie in het maken van realistische bewegingen. Maar als je haar vraagt: "Loop precies hier," begint ze te twijfelen. Ze probeert het, maar omdat ze niet specifiek voor jou is getraind, blijft er een klein beetje afwijking over. Ze probeert het zo goed mogelijk, maar niet perfect.

2. De Oplossing: De "Onzichtbare Regisseur"

ProjFlow is geen nieuwe AI die je moet trainen. Het is meer een slimme regisseur die bovenop de bestaande AI staat.

Hier is de analogie:

De AI is de acteur die een scène speelt. Hij weet precies hoe hij moet lopen, springen en dansen.
Jouw opdracht (bijvoorbeeld: "De hand moet een hart tekenen") is het script.
ProjFlow is de regisseur die elke seconde van de opname controleert.

Zodra de acteur (de AI) een beweging maakt die net niet precies op het script zit, grijpt ProjFlow in. Maar in plaats van de acteur te dwingen om stijf te staan (wat er raar uitziet), doet ProjFlow iets heel speciaals: Hij duwt de hele pop zachtjes in de juiste richting, alsof je een poppetje op een touwtje een klein beetje bijstuurt.

3. De Slimme Truc: Het "Skelet-Gevoel"

Dit is het meest creatieve deel van de paper.

Stel je voor dat je een pop hebt gemaakt van houten stokjes en touwtjes (een skelet). Als je de pols van de pop een stukje naar links duwt, moet de hele arm meebewegen. Als je dat niet doet, breekt de pols eraf of ziet het eruit alsof de arm uit elkaar valt.

Oude methoden keken alleen naar de pols. Ze duwden de pols naar links en hoopten dat de rest wel goed zou komen. Dat gaf vaak rare, gebroken bewegingen.

ProjFlow heeft een "skelet-gevoel".
Het begrijpt dat het menselijk lichaam één samenhangend geheel is. Als de pols een duwtje krijgt, weet ProjFlow precies hoe die kracht door de elleboog, de schouder en de rug moet worden verdeeld.

Vroeger: "Duw de hand naar links." (Resultaat: Gebroken arm).
Nu (ProjFlow): "Duw de hand naar links, maar zorg dat de hele arm en het lichaam meebewegen alsof het één stuk is." (Resultaat: Perfecte beweging die er nog steeds natuurlijk uitziet).

4. Het "Goocheltrucje" met de Tijd

Soms heb je maar een paar instructies, bijvoorbeeld: "Start hier en eindig daar." Wat moet de pop in het midden doen?
ProjFlow gebruikt een slimme truc met tijdelijke hulplijnen.

In het begin van het proces (wanneer de AI nog niet weet wat ze moet doen), tekent ProjFlow een zachte, vage lijn tussen het begin en het einde om de AI te helpen.
Naarmate de AI meer zekerheid krijgt, laat ProjFlow die vage lijn langzaam verdwijnen.
Aan het einde is de AI zo zeker van zichzelf dat ze de lijn niet meer nodig heeft, maar ze heeft wel de juiste route onthouden.

Waarom is dit geweldig?

Het werkt direct: Je hoeft de AI niet opnieuw te leren (geen "training"). Je kunt het direct gebruiken voor elke nieuwe opdracht.
Het is perfect: Als je zegt "de voet moet hier zijn", staat de voet precies daar. Geen enkele millimeter afwijking.
Het is natuurlijk: Omdat ProjFlow rekening houdt met het skelet, ziet de pop eruit als een echt mens, niet als een robot.

Kortom: ProjFlow is de perfecte assistent die zorgt dat je digitale pop precies doet wat je wilt, zonder dat hij eruitziet als een stijve robot. Het combineert de creativiteit van een AI met de precisie van een menselijke regisseur.

Each language version is independently generated for its own context, not a direct translation.

1. Het Probleem

Het genereren van menselijke beweging met precieze ruimtelijke controle is een uitdagend probleem in karakteranimatie. Bestaande methoden hebben vaak te kampen met de volgende beperkingen:

Taak-specifiek trainen: Veel methoden vereisen het opnieuw trainen van modellen voor elke specifieke controle-taak (bijv. een specifieke handbeweging of traject).
Langzame optimalisatie: Andere benaderingen vertrouwen op inferentie-tijd optimalisatie (zoals het aanpassen van ruis of logits), wat interactiviteit vermindert en vast kan lopen in lokale minima.
Zachte vs. Harde constraints: De meeste methoden behandelen ruimtelijke constraints als "zachte" doelstellingen (guidance). Dit betekent dat de gegenereerde beweging slechts ongeveer aan de constraints voldoet, wat leidt tot residu-fouten en onnauwkeurigheid.
Onnatuurlijke artefacten: Het forceren van constraints (bijv. via naive projectie in Euclidische ruimte) kan leiden tot onnatuurlijke bewegingen waarbij gewrichten oncoherent bewegen ten opzichte van het skelet.

Het doel is een methode te vinden die exacte (harde) constraints afdwingt, zero-shot werkt (zonder hertraining), en realistische bewegingen behoudt zonder iteratieve optimalisatie.

2. Methodologie: ProjFlow

ProjFlow (Projection Sampling with Flow Matching) is een trainingsvrije sampler die gebaseerd is op Flow Matching modellen. De kernidee is het formuleren van bewegingscontrole als een lineair invers probleem.

A. Formulering als Lineair Invers Probleem

Gebruikersconstraints (zoals een traject, een start/stop-pose, of een 2D-naar-3D lifting) worden gemodelleerd als lineaire waarnemingen:
$y = Ax + \epsilon$
Waarbij $x$ de beweging is, $A$ een lineaire operator die de constraints definieert, en $y$ de waarnemingen. Harde constraints worden bereikt door de variantie van de ruis ( $\Sigma$ ) naar nul te laten gaan.

B. Projectie Sampling

In plaats van de beweging te sturen via guidance, projecteert ProjFlow de voorspelde "schone" beweging ( $\hat{x}_1$ ) op het verzameling van bewegingen die voldoen aan de constraints bij elke stap van het denoising-proces.
De update wordt berekend door het oplossen van een convex kwadratisch probleem om de kleinste correctie $\Delta x_1$ te vinden:
$\min_{\Delta x_1} \frac{1}{2}\|\Delta x_1\|_R^2 + \frac{1}{2}\|y - A(\hat{x}_1 + \Delta x_1)\|_{\Sigma^{-1}}^2$
Dit heeft een gesloten-form oplossing die de voorspelling exact aanpast aan de constraints.

C. De Kerninnovatie: Kinematics-Aware Metric

Een cruciaal verschil met eerdere methoden (zoals DDNM voor afbeeldingen) is de keuze van de metriek $R$ .

Euclidische metriek: Zou alle gewrichten gelijk behandelen, wat leidt tot onnatuurlijke bewegingen als een enkel gewricht wordt verplaatst.
Kinematics-aware metriek: ProjFlow introduceert een metriek die de skelettopologie encodeert. Deze gebruikt een graf-Laplacian ( $L_{kin}$ $L_{k in}$ ) gebaseerd op de verbindingen tussen gewrichten.
- Correcties worden coherent verspreid over het hele skelet.
- Het voorkomt geïsoleerde gewrichtsbewegingen die de fysica van het lichaam schenden.
- Dit zorgt ervoor dat de beweging realistisch blijft terwijl de constraints exact worden nageleefd.

D. Toepassing op Schaarste (Motion Inpainting)

Voor taken met zeer weinig waarnemingen (zoals het invullen van gaten tussen keyframes), introduceert ProjFlow tijdsvariërende pseudo-observaties:

Dynamic Masking: Interpolatie tussen bekende keyframes wordt gebruikt om "zachte" richtlijnen te geven voor de onbekende frames.
Adaptive Variance: Het vertrouwen in deze interpolatie neemt af naarmate de sampling vordert (naar $t=1$ ) of als de beweging een hoge kromming heeft. Dit zorgt ervoor dat het model uiteindelijk leunt op zijn eigen voorspelling voor de realisme, terwijl de harde constraints altijd worden gehandhaafd.

3. Belangrijkste Bijdragen

Unificatie van Lineaire Inverse Problemen: ProjFlow behandelt diverse animatietaken (trajectcontrole, 2D-naar-3D lifting, motion inpainting, loop-sluiting) als één uniek lineair invers probleem.
Exacte Constraints zonder Training: Het is de eerste zero-shot sampler die exacte (harde) ruimtelijke constraints garandeert zonder taak-specifiek hertraining of inner-loop optimalisatie.
Kinematics-Aware Projectie: De introductie van een metriek die rekening houdt met de skeletstructuur, wat zorgt voor coherente en realistische bewegingen in tegenstelling tot naive Euclidische projectie.
Pseudo-observaties voor Schaarste: Een nieuwe formulering voor het invullen van lange tijdsintervallen met adaptieve weging van interpolatie-data.

4. Resultaten

De auteurs evalueren ProjFlow op de HumanML3D dataset en vergelijken het met state-of-the-art methoden zoals OmniControl, MaskControl, en Sketch2Anim.

Exacte Voldoening: ProjFlow bereikt 0.0000 fout op traject-, locatie- en gemiddelde fouten, wat betekent dat de constraints exact worden nageleefd (tot numerieke precisie). Bestaande methoden laten altijd kleine residu-fouten achter.
Realisme: Hoewel het zero-shot is, behaalt ProjFlow een FID (Fréchet Inception Distance) die vergelijkbaar is met of beter is dan getrainde controllers. Het behoudt de diversiteit en natuurlijke uitstraling van de beweging.
2D-naar-3D Lifting: Bij het reconstrueren van 3D-beweging uit 2D-keypoints, bereikt ProjFlow een 0.000 reprojectie-fout (MPJPE-2D), terwijl concurrenten (zoals Sketch2Anim) nog steeds afwijkingen vertonen en vaak de vorm van de beweging (bijv. een hartvorm) vervormen.
Snelheid: ProjFlow is aanzienlijk sneller dan methoden die inferentie-tijd optimalisatie vereisen (bijv. MaskControl duurt ~76s per sample, terwijl ProjFlow ~1.8s duurt).

5. Betekenis en Impact

ProjFlow biedt een praktische route voor interactieve en precieze bewegingsauteur.

Geen Hertraining: Animators kunnen bestaande, grote generatieve modellen direct gebruiken voor nieuwe controle-taken zonder het model opnieuw te hoeven trainen.
Garantie van Nauwkeurigheid: Voor toepassingen waar exacte posities cruciaal zijn (bijv. interactie met objecten, camera-tracking, of technische animatie), biedt ProjFlow de garantie dat de beweging precies doet wat de gebruiker vraagt, zonder het risico op "glitchy" of onnatuurlijke bewegingen.
Universele Toepasbaarheid: De methode is niet beperkt tot één type controle, maar werkt voor een breed scala aan lineaire constraints, wat het een krachtig, veelzijdig gereedschap maakt voor de toekomst van character animation.

Samenvattend lost ProjFlow het fundamentele compromis op tussen controle-nauwkeurigheid en bewegingsrealisme, terwijl het tegelijkertijd de efficiëntie en flexibiliteit van zero-shot methoden behoudt.