ProjFlow: Projection Sampling with Flow Matching for Zero-Shot Exact Spatial Motion Control

Das Paper stellt ProjFlow vor, einen trainingsfreien Sampler, der durch eine neuartige, skeletttopologiebewusste Metrik und eine zeitvariable Formulierung präzise lineare räumliche Bewegungsbeschränkungen ohne Einbußen an Natürlichkeit erfüllt.

Das Wesentliche

ProjFlow: Der „Unverrückbare Choreograf" für digitale Tänzer

Stell dir vor, du möchtest einen digitalen Tänzer auf einem Bildschirm bewegen. Normalerweise ist das wie ein Zaubertrick: Du gibst einen Textbefehl ein („Tanz wie ein Roboter") und der Computer erfindet eine ganze Choreografie. Aber was, wenn du als Regisseur genau wissen willst, wohin sich die Hand bewegt? Oder dass der Fuß exakt auf einem bestimmten Punkt landet?

Bisher war das ein Albtraum für KI-Modelle. Entweder mussten sie für jede neue Aufgabe mühsam neu trainiert werden (wie ein Schauspieler, der für jede Rolle eine neue Sprache lernen muss), oder die KI ignorierte deine genauen Anweisungen und bewegte die Hand einfach „ungefähr" dorthin, wo sie wollte. Das Ergebnis war oft unnatürlich oder einfach falsch.

ProjFlow ist die Lösung für dieses Problem. Es ist wie ein genialer Choreograf, der zwei Dinge perfekt vereint:

1. Er kennt den natürlichen Tanzstil (die KI hat das bereits gelernt).
2. Er ignoriert deine genauen Anweisungen für Hand oder Fuß niemals.

Hier ist, wie es funktioniert, erklärt mit einfachen Bildern:

1. Das Problem: Der „Gummiband-Effekt"

Stell dir vor, du versuchst, einen Gummibärchen-Tänzer zu steuern. Wenn du ihm sagst: „Hebe den linken Arm!", ziehen die bisherigen Methoden den Arm in die Nähe des Ziels, aber er wackelt vielleicht ein bisschen oder der ganze Körper verrenkt sich unnatürlich, um das Ziel zu erreichen. Die KI versucht, die Regel zu befolgen, aber sie ist nicht exakt.

2. Die Lösung: Der „Skelett-Filter"

ProjFlow nutzt einen neuen Trick, den sie kinematik-bewusste Metrik nennen. Das klingt kompliziert, ist aber eigentlich wie ein Skelett aus Gummibändern.

• Das alte Problem: Wenn die KI den Arm korrigiert, passierte das oft isoliert. Der Arm wurde verschoben, aber die Schulter oder der Rumpf blieben stehen, was wie ein verrenkter Roboter aussah.
• Der ProjFlow-Trick: ProjFlow weiß, dass ein Körper ein zusammenhängendes System ist. Wenn du den Arm korrigierst, „zieht" das System den ganzen Körper sanft mit, genau wie bei einem echten Menschen. Es verteilt die Korrektur so, dass der Tanz natürlich aussieht, aber die Hand exakt dort landet, wo du sie haben willst.

3. Der „Projektions-Schritt": Der unsichtbare Regisseur

Stell dir den Tanzprozess wie das Zeichnen eines Bildes vor, das immer klarer wird.

• Die KI macht einen ersten, etwas verschwommenen Entwurf.
• Dann kommt der ProjFlow-Schritt ins Spiel. Er nimmt diesen Entwurf und „projiziert" ihn auf eine unsichtbare Ebene, auf der nur die Bewegungen erlaubt sind, die deine Regeln erfüllen.
• Die Magie: Er macht die kleinste mögliche Änderung, die nötig ist, um deine Regel zu erfüllen. Er schneidet nichts ab, er zerrt nichts. Er justiert den Tanz so, dass er perfekt passt, aber trotzdem wie ein echter Tanz aussieht.

4. Was kann das alles? (Die Beispiele)

Das Paper zeigt, wie vielseitig dieser „Regisseur" ist:

• Der exakte Pfad (Trajektorie): Du zeichnest eine Linie auf den Boden. Der Tänzer muss genau dieser Linie folgen, nicht nur ungefähr. ProjFlow sorgt dafür, dass die Hüfte exakt auf der Linie bleibt.
• 2D zu 3D (Der Zaubertrick): Du filmst jemanden mit dem Handy (2D) und sagst: „Mach daraus einen 3D-Tanz". ProjFlow rechnet die flache Zeichnung in einen echten 3D-Tanz um, wobei die Handbewegungen exakt dem 2D-Bild entsprechen.
• Die Lückenfüller (Inpainting): Stell dir vor, du hast ein Tanzvideo, aber die Mitte ist gelöscht. ProjFlow füllt die Lücke so aus, dass der Tanz fließend weitergeht, als wäre nichts passiert, und hält dabei alle deine Randbedingungen (z. B. „die linke Hand bleibt oben") ein.
• Der Endlos-Tanz: Du willst, dass der Tanz nahtlos in sich selbst übergeht (Loop). ProjFlow sorgt dafür, dass Start- und Endposition perfekt übereinstimmen, damit der Tanz endlos wiederholt werden kann, ohne zu haken.

Warum ist das so wichtig?

Bisher mussten Animatorinnen und Animatoren oft Stunden damit verbringen, die KI zu zwingen, ihre Regeln zu befolgen, oder sie mussten die KI für jede einzelne Aufgabe neu trainieren.

ProjFlow ist wie ein Universal-Schlüssel:

• Kein Training nötig: Du musst die KI nicht neu lernen lassen. Sie funktioniert sofort mit jedem Modell, das du schon hast.
• Exakt: Die Regeln werden zu 100 % eingehalten. Kein „fast", kein „ungefähr".
• Schnell: Es passiert in Echtzeit, ohne dass die KI stundenlang nachdenken muss.

Zusammenfassend: ProjFlow ist wie ein unsichtbarer, aber extrem präziser Regisseur, der einem digitalen Tänzer sagt: „Du darfst tanzen, wie du willst, aber deine Hand muss genau hier sein." Und das Beste: Er sorgt dafür, dass der Tanz dabei nicht wie ein verkrampfter Roboter aussieht, sondern wie eine echte, fließende Bewegung.

Technische Zusammenfassung

1. Problemstellung

Die Erzeugung von menschlicher Bewegung mit präziser räumlicher Kontrolle ist eine herausfordernde Aufgabe. Bestehende Ansätze leiden oft unter folgenden Einschränkungen:

• Task-spezifisches Training: Viele Methoden erfordern das Nachtrainieren (Fine-Tuning) von Modellen für spezifische Kontrollaufgaben (z. B. Pfadverfolgung oder 2D-zu-3D-Hebung).
• Langsame Optimierung: Andere Ansätze nutzen zeitaufwändige Optimierungsverfahren zur Inferenzzeit, was die Interaktivität einschränkt und in lokalen Minima stecken bleiben kann.
• Weiche vs. harte Constraints: Die meisten aktuellen Methoden behandeln räumliche Einschränkungen als „weiche" Ziele (Soft Constraints) oder Guidance-Terme. Dies führt dazu, dass die exakte Einhaltung der Vorgaben nicht garantiert ist und Restfehler (Residual Violations) bestehen bleiben.
• Natürlichkeit: Das Erzwingen von harten Constraints führt oft zu unnatürlichen Artefakten, wenn die Korrekturen nicht kohärent über das gesamte Skelett verteilt werden.

Das Ziel ist ein Zero-Shot-Ansatz, der harte Gleichheitsbedingungen exakt erfüllt, ohne das vortrainierte Modell neu zu trainieren oder innere Optimierungsloops zu benötigen, während gleichzeitig die Natürlichkeit der Bewegung erhalten bleibt.

2. Methodik: ProjFlow

ProjFlow ist ein training-freier Sampler, der auf Flow Matching basiert und räumliche Kontrollaufgaben als lineare Inverse Probleme formuliert.

A. Formulierung als lineares inverses Problem

Alle Benutzer-spezifischen Constraints (Trajektorien, relative Positionen, 2D-Beobachtungen) werden in ein einheitliches lineares Beobachtungsmodell überführt:
$$y = Ax + \epsilon$$
Dabei ist $x$ die Bewegung, $y$ die Beobachtung, $A$ ein linearer Operator und $\epsilon$ Rauschen. Harte Constraints werden als Grenzfälle mit Varianz $\Sigma \to 0$ behandelt.

B. Projektions-Sampling (Projection Sampling)

Anstatt die Constraints während des Sampling-Prozesses nur zu lenken, projiziert ProjFlow den vorhergesagten „sauberen" Endpunkt der Bewegung ($\hat{x}_1$) in jedem Denoising-Schritt auf die Menge der Bewegungen, die die Constraints exakt erfüllen.
Der Korrekturschritt $\Delta x_1$ wird durch Lösen eines konvexen quadratischen Optimierungsproblems bestimmt, das die Abweichung von den Beobachtungen minimiert, unter Berücksichtigung einer neuen Metrik.

C. Kinematik-bewusste Metrik (Kinematics-Aware Metric)

Ein Kernbeitrag ist die Definition einer neuen Metrik $R$, die die Skelett-Topologie kodiert.

• Im Gegensatz zur euklidischen Metrik (die alle Gelenke gleich gewichtet), nutzt $R$ den unnormalisierten Graph-Laplacian des Skeletts ($L_{kin}$).
• Dies sorgt dafür, dass Korrekturen kohärent entlang der kinematischen Kette propagiert werden.
• Das verhindert unnatürliche, isolierte Gelenkbewegungen und erhält die strukturelle Integrität der Bewegung, auch bei harten Constraints.

D. Zeitvariable Pseudo-Beobachtungen (für Motion Inpainting)

Für Aufgaben wie das Ausfüllen fehlender Segmente (Inpainting) bei spärlichen Eingaben führt ProjFlow Pseudo-Beobachtungen ein:

• Diese werden durch lineare Interpolation zwischen bekannten Keyframes erzeugt.
• Sie werden als „weiche" Constraints mit adaptiver Varianz behandelt.
• Eine dynamische Maskierung und eine adaptive Varianz steuern das Vertrauen in diese Pseudo-Beobachtungen: Das Vertrauen sinkt, wenn die Sampling-Zeit fortschreitet (das Modell wird verlässlicher) oder wenn die Krümmung der Bewegung hoch ist (Interpolation ist unzuverlässig).

3. Hauptbeiträge

1. Einheitliche Formulierung: Die Umwandlung verschiedener Animationsaufgaben (Trajektorienfolge, Keyframing, 2D-zu-3D) in lineare inverse Probleme, gelöst durch einen projektionsbasierten Flow-Matching-Sampler.
2. Exakte Constraints ohne Retraining: ProjFlow erfüllt harte Gleichheitsbedingungen bis auf numerische Präzision exakt, ohne task-spezifisches Nachtraining oder iterative Optimierung zur Inferenzzeit.
3. Kinematik-bewusste Geometrie: Die Einführung einer Metrik, die die Skelettstruktur berücksichtigt und Korrekturen physikalisch plausibel verteilt, was die Realismus-Qualität im Vergleich zu naiven Projektionen erheblich steigert.
4. Zero-Shot Leistung: Das Framework erreicht auf dem Niveau von trainierten Controllern, bleibt aber vollständig Zero-Shot und trainingsfrei.

4. Ergebnisse

Die Methode wurde auf dem HumanML3D-Datensatz evaluiert, mit Fokus auf zwei Hauptanwendungen:

• Motion Inpainting (Trajektorienkontrolle):

  • ProjFlow erreicht exakt 0.0000 Fehler bei Trajektorie, Position und Durchschnittsabweichung, während Zero-Shot-Baselines (wie DNO) Restfehler aufweisen.
  • Im Vergleich zu trainierten Methoden (z. B. MaskControl, OmniControl) liegt die FID (Fréchet Inception Distance) und die Diversität im gleichen oder besseren Bereich, bei gleichzeitig garantierter Constraint-Einhaltung.
  • Qualitativ zeigt sich, dass ProjFlow Pfadvorgaben (z. B. eine S-förmige Hüftbahn) exakt einhält, während andere Methoden an Kurven abweichen.

• 2D-zu-3D Hebung (Lifting):

  • Bei der Rekonstruktion von 3D-Bewegungen aus 2D-Keypoints und -Trajektorien erzielt ProjFlow eine Reprojektionsfehler von 0.000 (exakte Einhaltung der 2D-Kamera-Projektion).
  • Im Vergleich zu Sketch2Anim (einem trainierten State-of-the-Art) zeigt ProjFlow eine überlegene Natürlichkeit (niedrigerer FID) und verhindert Artefakte wie das Kollabieren von Trajektorien (z. B. beim Zeichnen eines Herzens mit der Hand).

• Effizienz:

  • ProjFlow ist deutlich schneller als Methoden mit Inferenz-Optimierung (z. B. MaskControl benötigt ~76s, ProjFlow ~1.8s pro Sample auf einer A100 GPU).

5. Bedeutung und Ausblick

ProjFlow stellt einen Paradigmenwechsel in der gesteuerten Bewegungsgenerierung dar. Es beweist, dass exakte räumliche Kontrolle nicht zwingend das Nachtrainieren von Modellen oder langsame Optimierungsverfahren erfordert. Durch die Kombination von Flow Matching mit einer physikalisch fundierten Projektionsmetrik gelingt es, die Lücke zwischen der Flexibilität generativer Modelle und der Präzision klassischer Animationswerkzeuge zu schließen.

Einschränkung: Das aktuelle Framework ist auf lineare Constraints beschränkt. Nicht-lineare Bedingungen (z. B. „Gelenk muss über einer Ebene bleiben") können in der jetzigen Form nicht nativ gehandhabt werden, was ein wichtiger Ansatzpunkt für zukünftige Forschung ist.

Zusammenfassend bietet ProjFlow einen praktischen, schnellen und präzisen Weg für interaktives und exaktes Motion Authoring, der direkt auf vortrainierten Modellen aufsetzt.