CoMoVi: Co-Generation of 3D Human Motions and Realistic Videos

Das Paper stellt CoMoVi vor, ein Framework, das mithilfe eines dualen Diffusionsmodells und einer neuartigen 2D-Projektion 3D-Menschbewegungen und realistische Videos synchron innerhalb eines einzigen Denoising-Prozesses erzeugt.

Das Wesentliche

Stell dir vor, du möchtest einen Film drehen, in dem eine Person tanzt, aber du hast keine Schauspieler und keine Kamera. Stattdessen hast du nur eine Textbeschreibung (z. B. „Eine Frau tanzt Tango") und ein Startbild.

Bisher war das wie ein schwieriges Puzzle: Man musste erst einen 3D-Roboter bauen, der tanzt, und dann versuchen, aus diesem Roboter einen echten Film zu machen. Oder man machte erst einen Film und versuchte dann, die Bewegungen des Schauspielers aus dem Film zu „herauszufischen". Beide Methoden hatten Probleme: Der Roboter wirkte oft steif, und der aus dem Film gefischte Tanz war oft wackelig oder verzerrt.

Das Papier „CoMoVi" (Co-Generation of 3D Human Motions and Realistic Videos) bringt eine geniale neue Idee: Warum nicht beides gleichzeitig machen?

Hier ist die Erklärung in einfachen Worten, mit ein paar bildhaften Vergleichen:

1. Das Problem: Zwei Welten, die nicht zusammenpassen

Stell dir vor, du hast zwei Freunde:

• Freund A (Der 3D-Architekt): Er baut perfekte, mathematisch korrekte Skelette und Bewegungen. Aber er kann keine Bilder malen.
• Freund B (Der Filmemacher): Er kann wunderschöne, realistische Filme drehen, aber er versteht nichts von Anatomie. Wenn er einen Film macht, laufen die Arme manchmal durch den Körper oder die Beine verdrehen sich unmöglich.

Bisher haben diese Freunde nacheinander gearbeitet. Erst baute A das Skelett, dann versuchte B, es zu filmen. Oder B filmte etwas, und A versuchte, das Skelett daraus zu erraten. Das Ergebnis war oft chaotisch.

2. Die Lösung: CoMoVi – Das „Zwillings-Studio"

CoMoVi ist wie ein neues Studio, in dem Freund A und Freund B gleichzeitig an einem Tisch sitzen und an derselben Aufgabe arbeiten. Sie sprechen die gleiche Sprache und helfen sich gegenseitig.

• Der Trick mit der „Übersetzungssprache":
  Das größte Problem war, dass A (3D) und B (2D-Film) unterschiedliche Sprachen sprechen. CoMoVi erfindet eine neue Art zu reden: eine 2D-Bewegungssprache.
  Stell dir vor, sie malen die 3D-Bewegung nicht als Linien, sondern als ein farbiges Bild, das aussieht wie ein Film, aber voller versteckter 3D-Informationen steckt.
  • Die Farbe Blau und Grün zeigen, wie die Haut geneigt ist (wie ein Berg oder ein Tal).
  • Die Farbe Rot sagt, welcher Körperteil es ist (Arm, Bein, Kopf).
    So kann der Filmemacher (B) das Bild sehen und sofort wissen: „Aha, das ist ein linker Arm, der nach oben zeigt!" Und der Architekt (A) sieht das Bild und weiß: „Okay, das passt zu meinem 3D-Modell."

3. Wie es funktioniert (Der Tanz im Takt)

Das System läuft in einem einzigen Kreislauf (einem „Diffusions-Loop"). Das ist wie ein Tanzlehrer, der zwei Schüler gleichzeitig unterrichtet:

1. Gemeinsamer Start: Das System bekommt ein Startbild und einen Text.

2. Der Tanz: Während das System den Film (das Video) immer klarer macht (den „Rauschen" entfernt), macht es gleichzeitig das 3D-Skelett klarer.

3. Gegenseitige Hilfe:

   • Wenn der Filmemacher (Video) anfängt, einen Arm zu verzerren, schaut er auf das 3D-Skelett und sagt: „Moment, ein Arm kann nicht durch den Körper gehen!" und korrigiert den Film.
   • Wenn der Architekt (3D) eine Bewegung plant, die unnatürlich aussieht, schaut er auf den Film und sagt: „So würde das Licht nicht fallen" und korrigiert die Bewegung.

   Sie halten sich also gegenseitig in Schach. Das Ergebnis ist ein perfekter Film mit einer perfekten 3D-Bewegung, die sich gegenseitig stützen.

4. Der neue Datensatz: Die große Tanzschule

Um diese zwei Freunde so gut zu trainieren, brauchten sie eine riesige Bibliothek mit Videos, bei denen man genau weiß, wie sich die Person bewegt (3D) und was sie sagt (Text).
Bisher gab es entweder nur Videos (aber ohne genaue 3D-Daten) oder nur 3D-Daten (aber ohne schöne Videos).
Die Autoren haben daher CoMoVi-Dataset erstellt. Das ist wie eine riesige Tanzschule mit 50.000 Videos, bei denen jeder Schritt, jede Drehung und jede Geste millimetergenau vermessen und beschrieben wurde. Das ist die „Lehrbuch"-Datenbank, die das System lernt, wie echte Menschen sich bewegen.

5. Das Ergebnis

Am Ende kann CoMoVi:

• Einen realistischen Film erstellen, in dem die Person sich natürlich bewegt (keine verrenkten Gliedmaßen).
• Gleichzeitig die exakte 3D-Bewegung (das Skelett) ausgeben, die man für Videospiele oder VR nutzen kann.
• Alles das ohne dass man vorher einen anderen Film oder eine Referenzbewegung braucht. Es erfindet die Bewegung aus dem Nichts, basierend auf dem Text.

Zusammengefasst:
CoMoVi ist wie ein Zwillings-Genie, das gleichzeitig ein 3D-Architekt und ein Filmemacher ist. Durch eine spezielle „Übersetzungssprache" (die farbigen Bewegungsbilder) und durch ständige Absprache während des kreativen Prozesses schafft es etwas, das vorher unmöglich war: Perfekte 3D-Bewegungen und realistische Videos, die aus einem Text entstehen, als wären sie von Anfang an untrennbar miteinander verbunden.

Technische Zusammenfassung

1. Problemstellung

Die Generierung von realistischen 3D-Humanbewegungen und 2D-Videos ist eng miteinander verknüpft, wird jedoch in der aktuellen Forschung oft als getrennte oder kaskadierte Aufgaben behandelt.

• Bestehende Ansätze: Traditionelle textbasierte Bewegungsmodelle (Text-to-Motion) leiden unter dem Mangel an hochwertigen 3D-Daten, was ihre Generalisierungsfähigkeit und Prompt-Genauigkeit einschränkt. Umgekehrt generieren Video-Modelle (Video Diffusion Models, VDMs) zwar realistische Videos, haben aber Schwierigkeiten, die komplexe Struktur des menschlichen Körpers konsistent zu halten, was zu unlogischen Bewegungen führt.
• Limitationen aktueller Methoden: Kaskadierte Pipelines (z. B. erst Video generieren, dann 3D-Bewegung extrahieren oder umgekehrt) übertragen Fehler von einer Stufe zur nächsten und ignorieren die intrinsische Kopplung zwischen 3D-Struktur und 2D-Visualisierung. Zudem fehlt es an Methoden, die hochwertige, menschenzentrierte Videos ohne externe Referenzvideos oder vorab extrahierte Bewegungssignale erzeugen können.
• Datenmangel: Es gibt keine großen Datensätze, die gleichzeitig hochwertige Videos, präzise 3D-Bewegungsannotationen (SMPL) und Textbeschreibungen in großem Maßstab bieten.

2. Methodik (CoMoVi)

CoMoVi ist ein neuartiges Framework, das 3D-Humanbewegungen und 2D-Videos synchron innerhalb eines einzigen Diffusions-Denoising-Zyklus generiert.

A. 2D-Repräsentation menschlicher Bewegung

Um die Lücke zwischen 3D-Bewegung und 2D-Video zu überbrücken, wird eine innovative 2D-Repräsentation entwickelt, die in den Pixelraum projiziert wird:

• Kombinierte Darstellung: Anstatt nur Normalen oder nur semantische Karten zu verwenden, werden beide Informationen in einem einzigen RGB-Bild kodiert.
• Kodierung:
  • Die Blau- und Grünkanäle speichern die X- und Y-Komponenten der Vertex-Normalen des 3D-SMPL-Meshes.
  • Der Rotkanal kodiert die Körperpartie-Semantik (z. B. linker Arm, rechtes Bein) in Kombination mit dem Vorzeichen der Z-Komponente der Normalen ($sign(vn_z)$).
• Vorteil: Diese Darstellung behält sowohl die 3D-Struktur als auch die semantische Unterscheidung der Körperteile bei und ist kompatibel mit den latenten Räumen vortrainierter Video-Modelle (VDMs).

B. Dual-Branch Diffusions-Architektur

Das Modell basiert auf einer Erweiterung von Wan2.2-I2V-5B und besteht aus zwei verzweigten Diffusionspfaden:

1. Video-Branch ($D_{video}$): Generiert das RGB-Video.
2. Bewegungs-Branch ($D_{motion}$): Generiert die 2D-Bewegungskarten (die oben beschriebene Repräsentation).

Kernkomponenten:

• Gegenseitige Feature-Interaktion: Zwischen den beiden Branches werden „Zero-Linear"-Module eingefügt, die Features austauschen. Dies stellt sicher, dass die Video-Generierung durch robuste Bewegungs-Priors geleitet wird und die Bewegungs-Generierung von der Generalisierungsfähigkeit des Video-Modells profitiert.
• 3D-2D Cross-Attention: Ein spezieller Modul nutzt die fusionierten Latents ($x^{fused}_t$) aus beiden Branches, um direkt 3D-Humanbewegungen (SMPL-Posen) zu schätzen, ohne separate Optimierungsschritte.
• Trainingsstrategie: Das Training erfolgt in zwei Stufen. Zuerst wird der Bewegungs-Branch an die neue 2D-Repräsentation angepasst. Anschließend werden beide Branches gemeinsam mit gegenseitiger Interaktion trainiert.

C. Verlustfunktionen

Das Gesamttraining nutzt eine Kombination aus:

• Flow-Matching-Verlust für Video und Bewegung.
• Einem zusätzlichen 3D-Regularisierungsterm ($\mathcal{L}_{smpl}$), der die Übereinstimmung zwischen den generierten 2D-Latents und den 3D-SMPL-Parametern erzwingt, um strukturelle Konsistenz zu gewährleisten.

3. Schlüsselbeiträge

1. CoMoVi-Framework: Der erste Ansatz, der 3D-Bewegung und 2D-Video synchron in einem einzigen Diffusionsloop co-generiert, wodurch eine gegenseitige Informationsübertragung und verbesserte Generalisierung erreicht wird.
2. Neue 2D-Bewegungsrepräsentation: Eine effiziente Kodierung von 3D-Normalen und Semantik in einem RGB-Bild, die es ermöglicht, vortrainierte Video-Modelle für die 3D-Bewegungsaufgabe zu nutzen.
3. CoMoVi-Dataset: Ein neu kuratierter, großskaliger Datensatz mit ca. 54.000 hochauflösenden Realwelt-Videos, die Textbeschreibungen und präzise 3D-SMPL-Annotationen enthalten. Dies schließt die Lücke bestehender Datensätze (wie Motion-X++ oder HumanVid), die entweder qualitativ minderwertig oder zu klein sind.
4. Dual-Branch Architektur: Eine modifizierte Diffusionsarchitektur, die die Integrität des vortrainierten latenten Raums bewahrt und gleichzeitig eine tiefe Kopplung zwischen Modalitäten ermöglicht.

4. Ergebnisse

Die Methode wurde auf Benchmarks wie Motion-X++, VBench und dem eigenen CoMoVi-Dataset evaluiert.

• 3D-Bewegungsgenerierung: CoMoVi übertrifft State-of-the-Art (SoTA) Text-to-Motion-Modelle (wie MDM, MotionGPT, Go-to-Zero) in Bezug auf FID (Fréchet Inception Distance), R-Precision und Multimodal Distance. Es zeigt eine deutlich bessere Generalisierungsfähigkeit auf ungesehenen Daten.
• Video-Generierung: Im Vergleich zu führenden I2V-Modellen (CogVideoX, Wan2.2) und kaskadierten Baselines (T2M + Motion-Driven Video) erzeugt CoMoVi Videos mit höherer Prompt-Genauigkeit, konsistenterer Körperstruktur und anatomisch plausiblen Bewegungen.
• Qualität: Die Methode erzeugt hochwertige Videos ohne externe Referenzvideos oder vorab extrahierte Bewegungssignale (wie Pose oder 3D-Motion), was sie von vielen bestehenden Ansätzen unterscheidet.
• Ablationsstudien: Studien bestätigen, dass die kombinierte 2D-Repräsentation (Normalen + Semantik) und die Dual-Branch-Architektur entscheidend für den Erfolg sind. Das Entfernen des 3D-Regularisierungsterms führt zu einer Verschlechterung der Subjekt-Konsistenz.

5. Bedeutung und Ausblick

CoMoVi demonstriert, dass die Trennung von 3D-Bewegung und 2D-Video-Generierung suboptimal ist. Durch die Synchronisation beider Prozesse in einem gemeinsamen Diffusionsmodell werden die Stärken beider Modalitäten genutzt: Die strukturelle Stabilität der 3D-Bewegung stabilisiert das Video, während die starke Generalisierung des Video-Modells die Qualität der 3D-Bewegung verbessert.

Dieser Ansatz ebnet den Weg für Anwendungen in der Charakteranimation, VR/AR und Gaming, bei denen konsistente und realistische menschliche Bewegungen aus Text oder Bildern benötigt werden, ohne auf teure Motion-Capture-Daten oder externe Referenzen angewiesen zu sein. Zukünftige Arbeiten könnten die Framework auf variable Längen, Mensch-Objekt-Interaktionen und schnellere Inferenz durch Distillation erweitern.