💻 computer science

Generative Motion In-betweening by Diffusion over Continuous Implicit Representations

Dieser Artikel schlägt eine neuartige Pipeline für latente Diffusionsmodelle vor, die auf impliziten neuronalen Repräsentationen (INR) von Bewegungen basiert und glatte sowie vielfältige Bewegungsübergänge aus extrem spärlichen Schlüsselbildern effektiv rekonstruiert, wobei die Genauigkeit der Schlüsselbilder strikt gewahrt und die Bewegungscontinuität sichergestellt wird.

Ursprüngliche Autoren: Shiyu Fan, Paul Henderson, Edmond S. L. Ho

Veröffentlicht 2026-05-14

📖 5 Min. Lesezeit🧠 Tiefgang

CC BY 4.0

Ursprüngliche Autoren: Shiyu Fan, Paul Henderson, Edmond S. L. Ho

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Stellen Sie sich vor, Sie sind ein Animator, der einen Film über einen Charakter erstellen möchte, der von Punkt A zu Punkt B geht. In früheren Zeiten musste man jeden einzelnen Frame von Hand zeichnen. Später konnten Computer die Frames dazwischen „erraten", wenn man ihnen eine Start- und eine Endpose gab. Dies nennt man Motion In-betweening.

Allerdings haben aktuelle Computerprogramme oft Schwierigkeiten, wenn man ihnen nur wenige „Keyframes" (Momentaufnahmen der Pose des Charakters) gibt. Sie könnten die Füße des Charakters über den Boden gleiten lassen, als wären sie auf Eis, oder ihre Bewegungen könnten zitterig und unnatürlich wirken. Manchmal vergessen sie auch genau, wo der Charakter am Anfang und am Ende sein sollte.

Diese Arbeit stellt ein neues Werkzeug vor, das Generative Motion In-betweening by Diffusion over Continuous Implicit Representations heißt. Das ist ein Zungenbrecher, also zerlegen wir es mit einigen Analogien.

1. Das Problem: Die „pixelige" vs. die „glatte" Karte

Die meisten Animationscomputer behandeln Zeit wie eine Perlenkette. Sie kennen nur bestimmte Perlen (Frames) zu bestimmten Zeiten. Wenn man ihnen Perlen gibt, die weit auseinander liegen, müssen sie den Faden erraten, der sie verbindet. Oft ist die Vermutung falsch, was zu ruckartigen Bewegungen oder „Foot Sliding" (Gleiten der Füße) führt.

Die Autoren schlagen stattdessen eine glatte, kontinuierliche Karte vor. Sie verwenden etwas, das Implicit Neural Representation (INR) genannt wird.

Die Analogie: Stellen Sie sich den Unterschied zwischen einem digitalen Foto mit niedriger Auflösung (pixelig, blockartig) und einer hochauflösenden Vektorzeichnung vor (glatte Linien, die perfekt aussehen, egal wie stark man hineinzoomt).
Wie es funktioniert: Anstatt eine Liste von Posen zu speichern, lernt ihr System eine „glatte Funktion", die die gesamte Bewegung als eine einzige, ununterbrochene Kurve beschreibt. Das bedeutet, dass der Computer die Bewegung als einen kontinuierlichen Fluss versteht und nicht als eine Reihe von getrennten Momentaufnahmen. Dies verhindert auf natürliche Weise das „Zittern" und lässt die Bewegung viel natürlicher wirken.

2. Der Motor: Der „Diffusions"-Künstler

Um die Lücken zwischen Ihren spärlichen Keyframes zu füllen, verwenden die Autoren ein Diffusionsmodell.

Die Analogie: Denken Sie an Diffusion wie einen Bildhauer, der mit einem Block aus launischem, chaotischem Ton beginnt. Der Bildhauer hämmert langsam das Rauschen weg, verfeinert die Form, bis eine perfekte Statue entsteht.
Wie es funktioniert: Der Computer beginnt mit zufälligem Rauschen und „entrauscht" es langsam, um eine Bewegung zu erzeugen. Die Herausforderung besteht darin, sicherzustellen, dass diese neue Bewegung Ihre spezifischen Start- und Endpunkte (die Keyframes) trifft, ohne die natürliche Vielfalt der Bewegung zu verlieren.

3. Das Geheimnis: „Implicit Manifold Guidance" (IMG)

Hier liegt die größte Innovation. Normalerweise gerät ein Diffusionsmodell in Verwirrung, wenn es versucht, bestimmte Regeln zu befolgen (wie „sei an diesem exakten Ort zu diesem exakten Zeitpunkt"). Es könnte die Regel so strikt befolgen, dass die Bewegung steif wird, oder es könnte die Regel ignorieren und abdriften.

Die Autoren haben einen neuen Lenkmechanismus namens Implicit Manifold Guidance (IMG) erfunden.

Die Analogie: Stellen Sie sich vor, Sie versuchen, ein Seil zu gehen (das „Manifold" oder der glatte Pfad der natürlichen Bewegung), während Sie ein schweres Gewicht halten, das Sie zu einem bestimmten Ziel zieht (Ihre Keyframes).
- Wenn Sie nur stark zum Ziel ziehen, könnten Sie vom Seil fallen (die Bewegung wird unnatürlich).
- Wenn Sie nur auf dem Seil bleiben, könnten Sie das Ziel verfehlen.
- IMG ist die Balance. Es überprüft ständig zwei Dinge:
  1. Geometrischer Fehler: „Sind wir am richtigen Ort?" (Ist der Fuß dort gelandet, wo er sollte?)
  2. Manifold-Fehler: „Gehen wir noch natürlich?" (Bleiben wir auf dem glatten, natürlichen Pfad?)
Das Ergebnis: Das System schiebt die Bewegung sanft so, dass sie Ihre Keyframes genau trifft, ohne sie zu zwingen, die Gesetze der Physik zu brechen oder roboterhaft zu wirken. Es korrigiert den Pfad in Echtzeit, während der „Bildhauer" das Rauschen weghämmert.

4. Warum dies wichtig ist

Die Arbeit behauptet, dass durch die Kombination dieser drei Dinge (Glatte Kontinuierliche Karten + Diffusions-Bildhauerei + Intelligente Lenkung):

Genauigkeit: Der Charakter trifft die exakten Start- und Endposen, die Sie verlangt haben, selbst wenn Sie ihm nur zwei oder drei Momentaufnahmen gegeben haben.
Qualität: Die Bewegung ist glatt, ohne Foot Sliding oder Zittern.
Vielfalt: Im Gegensatz zu älteren Methoden, die jedes Mal genau denselben langweiligen Gang produzieren könnten, kann dieses System viele verschiedene, realistische Wege generieren, um von A nach B zu gelangen.
Kein Text erforderlich: Sie müssen keine Beschreibung wie „ein fröhlicher Gang" eingeben, damit es funktioniert; es verwendet einfach die Posen, die Sie ihm geben.

Zusammenfassung

Stellen Sie sich diese Arbeit als das Unterrichten eines Computers vor, der ein Meisteranimator wird, der nur wenige grobe Skizzen betrachten und den Rest des Films mit einer glatten, realistischen und abwechslungsreichen Performance füllen kann, während er sicherstellt, dass der Charakter genau dort landet, wo Sie ihn hingeschickt haben. Dies gelang ihnen, indem sie dem Computer beibrachten, Bewegung als einen glatten, kontinuierlichen Fluss zu sehen, anstatt als eine Reihe von holprigen Schritten, und ihm dann einen speziellen Kompass gaben, um auf Kurs zu bleiben.

Technischer Überblick: Generatives Motion In-betweening durch Diffusion über kontinuierliche implizite Darstellungen

Problemstellung
Motion In-betweening ist eine grundlegende Aufgabe in der Charakteranimation, die die Erzeugung glatter, natürlicher Übergänge zwischen spärlichen Keyframes erfordert. Obwohl jüngste Fortschritte bei generativen Modellen, insbesondere Diffusionsmodellen, die Motion Synthese verbessert haben, stoßen bestehende Methoden auf erhebliche Einschränkungen. Traditionelle regressionsbasierte Ansätze kämpfen häufig mit der Vielfalt, während aktuelle diffusionsbasierte Methoden merkliche Keyframe-Fehler, Bewegungsunterbrechungen (wie Zittern und Fußrutschen) sowie langsame Trainings- und Generierungsgeschwindigkeiten aufweisen. Darüber hinaus verlassen sich viele State-of-the-Art-Modelle auf Text-Conditioning, um Qualität sicherzustellen, was ihre Praxistauglichkeit in Szenarien einschränkt, in denen textuelle Beschreibungen nicht verfügbar sind. Eine kritische Herausforderung besteht weiterhin darin, hochwertige, vielfältige Bewegungen aus extrem spärlichen und mehrdeutigen räumlich-zeitlichen Informationen zu generieren, ohne unnatürliche Artefakte einzuführen.

Methodik
Die Autoren schlagen eine neuartige Pipeline vor, die Latent Diffusion Models (LDM) mit Motion Implicit Neural Representations (INR) integriert. Die Kerninnovation besteht darin, INR-Parameter von einem kontinuierlichen latenten Mannigfaltigkeitsraum zu sampeln, der auf spärlichen Keyframes basiert, anstatt auf diskreten Zeitschritten zu operieren.

Bewegungsdarstellung (INR): Das System stellt Bewegungssequenzen als kontinuierliche Funktionen dar, die Zeit auf Posen abbilden und in einen kompakten latenten Vektor $z$ kodiert werden. Dies wird mittels eines auf NeMF basierenden Variational Autoencoders (VAE) erreicht, der die Bewegung in globale (Root-Orientierung und -Translation) und lokale (Gelenkpositionen, -rotationen, -geschwindigkeiten) Komponenten zerlegt. Diese kontinuierliche Darstellung erfasst globale Bewegungsmuster und glättet Übergänge, wodurch das Rauschen und die Diskontinuitäten, die oft in der diskreten Zeitmodellierung anzutreffen sind, gemindert werden.
Latenter Diffusions-Sampler: Die Autoren entwerfen einen Diffusions-Sampler auf Basis eines Diffusion Transformer (DiT). Im Gegensatz zu Standard-Selbstaufmerksamkeitsmechanismen nutzt das Netzwerk Cross-Attention, um Informationen aus zufällig ausgewählten spärlichen Keyframes in den Denoising-Prozess zu integrieren. Dies ermöglicht es dem Modell, spärliche Constraints effektiv in den kompakten latenten Raum abzubilden, selbst bei großen zeitlichen Lücken.
Trainingsziel: Das Modell wird darauf trainiert, den sauberen latenten Vektor $z_0$ aus verrauschten Eingaben vorherzusagen. Die Verlustfunktion kombiniert das Standard-Denoising-Ziel mit geometrischen Konsistenztermen (Root-Translation, Root-Orientierung, Gelenkposition und Gelenkrotationsfehler), die an den Keyframe-Positionen berechnet werden. Classifier-free Guidance (CFG) wird eingesetzt, um flexibles Conditioning zu ermöglichen.
Implizite Mannigfaltigkeitsführung (IMG): Um den Keyframe-Fehler weiter zu reduzieren und gleichzeitig die Vielfalt des generativen Modells zu erhalten, führen die Autoren eine Sampling-Optimierungsstrategie namens IMG ein. Während des Inferenzprozesses (speziell den letzten 300 Schritten eines 1000-Schritt-DDIM-Plans) wird die Sampling-Richtung durch zwei gradientenbasierte Constraints verfeinert:
- Geometrischer Verlust: Minimiert den Fehler zwischen der generierten Bewegung und den Ground-Truth-Keyframes.
- Mannigfaltigkeitserhaltungs-Verlust: Verhindert, dass die Optimierung die latente Darstellung vom gelernten Daten-Mannigfaltigkeitsraum wegführt. Dies wird erreicht, indem die generierte Bewegung mit einer sphärischen linearen Interpolation (Slerp) der Keyframes interpoliert, diese „inpainted" Bewegung kodiert und der Abstand zwischen der ursprünglichen Vorhersage und diesem inpainted latenten Vektor minimiert wird. Dies stellt sicher, dass die generierte Bewegung realistisch und glatt bleibt.

Hauptbeiträge

Erste Anpassung von Motion INR an generatives In-betweening: Die Arbeit stellt das erste Framework vor, das Motion INR unter Verwendung eines latenten Diffusionsmodells auf die Aufgabe des generativen Motion In-betweening anpasst. Dieser Ansatz nutzt kompakte, kontinuierliche Zeitdarstellungen, um hochwertige Bewegungen aus extrem spärlichen Keyframes ohne Text-Conditioning zu generieren.
Mannigfaltigkeitserhaltungs-Strategie: Die Autoren führen das Konzept der Mannigfaltigkeitserhaltung für die Sampling-Optimierung ein. Sie entwerfen eine neuartige Verlustfunktion innerhalb des Posterior-Sampling-Algorithmus, die speziell für Motion-Implizit-Mannigfaltigkeiten entwickelt wurde und effektiv den Keyframe-Fehler reduziert, während gleichzeitig Bewegungsqualität und -vielfalt erhalten bleiben.
Überlegene Leistung in spärlichen Szenarien: Die vorgeschlagene Methode erzielt State-of-the-Art-Leistung bei Motion In-betweening-Aufgaben, die auf extrem spärlichen Keyframes basieren (z. B. 1, 5 oder 20 zufällige Frames), ohne textuelle Beschreibungen zu benötigen, und übertrifft bestehende diffusionsbasierte und VAE-basierte Baselines.

Ergebnisse
Umfangreiche Experimente wurden auf dem HumanML3D-Datensatz (unter Verwendung der SMPL-Darstellung) durchgeführt, mit Vergleichen gegen Baselines wie CondMDI, NeMF, MMM und TST.

Quantitative Metriken: Das vorgeschlagene Modell übertraf die Baselines konsistent in Fréchet Inception Distance (FID), Diversity und Multi-Modality über verschiedene Keyframe-Dichten (K=1, 5, 20). Bemerkenswert ist, dass es im Vergleich zu CondMDI und NeMF signifikant niedrigere Keyframe-Fehler erreichte, insbesondere in spärlichen Szenarien (K=1 und K=5).
Qualitative Verbesserungen: Visuelle Vergleiche zeigten, dass das Modell glattere Übergänge mit weniger Artefakten wie Fußrutschen oder Zittern generiert. Im Gegensatz zu Baselines, die oft die Zielpositionen nicht erreichen oder unnatürliche Gliedmaßenbewegungen aufweisen, behielt die vorgeschlagene Methode die globale Trajektoriengenauigkeit und natürliche Schrittlängen bei.
Ablationsstudien: Experimente bestätigten die Wirksamkeit der INR-Darstellung gegenüber anderen VAE-Typen (MLD, MMM) und validierten, dass die vollständige IMG-Strategie (Kombination aus geometrischem und Mannigfaltigkeits-Verlust) das beste Gleichgewicht zwischen niedrigem Keyframe-Fehler und hoher Bewegungsvielfalt liefert.
Generalisierung und Effizienz: Das Modell zeigte eine starke Generalisierungsfähigkeit, als es auf dem AIST++-Datensatz getestet wurde (nur auf HumanML3D trainiert). Zusätzlich reduzierte die Verwendung von Cross-Attention auf 1D-INR-Parameter anstelle von vollständiger Sequenz-Selbstaufmerksamkeit die rechnerische Komplexität, und das flexible IMG-Sampling ermöglichte effiziente Kompromisse zwischen Geschwindigkeit und Qualität.

Bedeutung
Die Arbeit behauptet, dass durch die Etablierung einer Abbildung zwischen INR und spärlichen räumlich-zeitlichen Informationen innerhalb eines latenten Diffusionsrahmens die vorgeschlagene Methode erfolgreich plausible und glatte Bewegungen aus extrem spärlichen Daten rekonstruiert. Die Bedeutung dieser Arbeit liegt in ihrer Fähigkeit, die Erzeugung hochwertiger Bewegungen von der Notwendigkeit dichter Keyframes oder Text-Conditioning zu entkoppeln. Durch die Einführung der Mannigfaltigkeitserhaltung während des Samplings adressieren die Autoren den gängigen Zielkonflikt zwischen der Einhaltung strenger Constraints und der Wahrung der generativen Vielfalt. Dieser Ansatz bietet eine praktische Lösung für Charakteranimationsszenarien, in denen nur begrenzte Eingabedaten verfügbar sind, und erzielt State-of-the-Art-Ergebnisse in herausfordernden spärlichen Keyframe-Szenarien, während sowohl Keyframe-Genauigkeit als auch die Vielfalt der In-between-Bewegungen gewährleistet werden.