Controllable Complex Human Motion Video Generation via Text-to-Skeleton Cascades

Die Arbeit stellt ein zweistufiges Framework vor, das durch die Generierung von Skelettsequenzen aus Text und deren nachfolgende Umwandlung in Videos mittels eines pose-gesteuerten Diffusionsmodells sowie die Bereitstellung eines synthetischen Datensatzes die Erzeugung von Videos komplexer menschlicher Bewegungen wie Akrobatik und Kampfkunst verbessert.

Das Wesentliche

Stellen Sie sich vor, Sie möchten einen Film über einen Akrobaten drehen, der spektakuläre Saltos und Handstände vollführt. Normalerweise ist das extrem schwer für Computer: Wenn Sie dem Computer nur sagen „Mach einen Salto", versteht er zwar das Wort, aber nicht genau, wie der Körper sich in jedem einzelnen Bild bewegen soll. Die Arme und Beine landen oft an falschen Stellen, oder die Kleidung des Akrobaten verändert sich während des Sprungs.

Dieses Papier beschreibt eine clevere neue Methode, um genau das zu lösen. Man kann sich den Ansatz wie ein Zwei-Team-System vorstellen, das zusammenarbeitet, um einen perfekten Film zu erstellen.

Team 1: Der Choreograf (Text-zu-Skelett)

Das erste Problem ist: Wie sagt man einem Computer genau, wie sich ein Körper bewegen soll, ohne jede Bewegung einzeln zu zeichnen?

• Die alte Methode: Der Benutzer musste wie ein Puppenspieler jeden einzelnen Gelenkpunkt (Schulter, Ellbogen, Knie) für jedes Bild manuell festlegen. Das ist mühsam wie das Schreiben eines Romans Buchstabe für Buchstabe.
• Die neue Lösung (Der Choreograf): Das Team hat einen KI-„Choreografen" entwickelt. Sie geben ihm einfach einen Textbefehl wie „Eine Person macht einen Handstand und springt dann".
  • Dieser Choreograf ist ein Experte für Körperlogik. Er weiß, dass wenn die Arme hochgehen, die Beine sich bewegen müssen, um das Gleichgewicht zu halten.
  • Er erstellt keine Videos, sondern nur eine digitale Strichmännchen-Skizze (ein Skelett), die die perfekte Bewegung zeigt. Er denkt voraus und plant die ganze Abfolge im Kopf, bevor er den ersten Strich macht.

Team 2: Der Schauspieler mit dem Kostüm (Skelett-zu-Video)

Jetzt haben wir die perfekte Bewegungsanleitung (das Skelett), aber noch keinen echten Menschen. Hier kommt das zweite Team ins Spiel.

• Das Problem: Wenn man ein Skelett bewegt, neigen Computer dazu, das Gesicht oder die Kleidung des Originals zu vergessen. Wenn der Akrobat sich dreht, könnte sein T-Shirt plötzlich zu einer Hose werden oder sein Arm könnte verschwinden (weil er sich selbst verdeckt).
• Die neue Lösung (Der Schauspieler): Dieser Teil der KI nimmt ein Foto des gewünschten Schauspielers und die Skelett-Anleitung.
  • Der Trick (DINO-ALF): Stellen Sie sich vor, der Schauspieler trägt eine unsichtbare Maske aus tausenden kleinen Spiegeln. Wenn er sich bewegt, schaut sich die KI nicht nur das ganze Bild an, sondern prüft jeden kleinen Spiegel einzeln. So weiß sie genau: „Aha, das ist der rote Krawattenknoten, auch wenn er sich jetzt hinter dem Arm verbirgt."
  • Diese Technik sorgt dafür, dass der Schauspieler trotz wilder Saltos und Verdeckungen immer wie der ursprüngliche Mensch aussieht. Die Kleidung bleibt erhalten, die Hautfarbe stimmt, und keine Körperteile verschwinden mysteriös.

Der neue Trainingsplatz (Die synthetische Welt)

Ein großes Problem bei solchen Projekten ist, dass es kaum echte Videos von wilden Akrobatik-Nummern gibt, die man legal zum Trainieren nutzen darf.

• Die Lösung: Die Forscher haben eine digitale Spielwelt (mit Blender, einer 3D-Software) gebaut. Dort haben sie 2.000 künstliche Videos erstellt, in denen verschiedene Figuren Saltos, Cartwheels und Kampfsport-Action zeigen.
• Warum das gut ist: In dieser Welt gibt es keine Urheberrechtsprobleme und keine Privatsphäre-Bedenken. Sie können die Kamera, die Kleidung und die Umgebung genau so einstellen, wie sie es brauchen, um die KI perfekt zu trainieren.

Warum ist das alles so wichtig?

Bisher waren Computer bei einfachen Bewegungen (wie Tanzen oder Gehen) gut, aber bei komplexen, wilden Aktionen (wie Flippern oder Kampfsport) oft chaotisch.

Mit diesem neuen System:

1. Sie müssen nichts zeichnen: Sie schreiben nur einen Satz.
2. Die Bewegung ist logisch: Der Computer versteht die Physik des Körpers.
3. Das Aussehen bleibt stabil: Der Schauspieler sieht in jedem Bild gleich aus, auch wenn er sich wild dreht.

Zusammenfassend: Die Forscher haben eine Art „Regisseur-KI" (Text-zu-Skelett) und eine „Schauspieler-KI" (Skelett-zu-Video) kombiniert, die durch eine spezielle Brille (DINO-ALF) sieht, um sicherzustellen, dass der Schauspieler auch bei wilden Stunts nicht sein Gesicht verliert. Und sie haben eine eigene Filmstadt gebaut, um ihre Schauspieler darauf zu trainieren. Das Ergebnis sind realistische, kontrollierbare Videos von komplexen menschlichen Bewegungen, die früher unmöglich schienen.

Technische Zusammenfassung

Hier ist eine detaillierte technische Zusammenfassung des Papers „Controllable Complex Human Motion Video Generation via Text-to-Skeleton Cascades" auf Deutsch:

Problemstellung

Die Generierung von Videos mit komplexen menschlichen Bewegungen (z. B. Saltos, Radschlagen, Kampfkunst) stellt für aktuelle Video-Diffusionsmodelle eine erhebliche Herausforderung dar. Es gibt zwei Hauptprobleme:

1. Unzureichende Steuerung durch Text: Textbasierte Eingaben sind für eine feingranulare Bewegungsteuerung zeitlich mehrdeutig. Beschreibungen wie „eine Person macht einen Salto" definieren die Semantik, aber nicht die exakten Gelenkpfade oder den zeitlichen Ablauf einzelner Untermotionen.
2. Limitationen bei expliziten Pose-Steuerungen: Zwar bieten Skelett-basierte Steuerungen (2D-Posen) mehr Kontrolle, erfordern jedoch, dass Benutzer vollständige Pose-Sequenzen bereitstellen. Die manuelle Erstellung solcher Sequenzen für lange, dynamische Aktionen ist zeitaufwendig und erfordert spezialisierte Tools. Zudem scheitern bestehende Methoden oft daran, das Erscheinungsbild (Kleidung, Textur) bei starken Verformungen und Selbstverdeckungen (Self-Occlusions) konsistent zu halten, da sie oft auf globalen CLIP-Embeddings basieren, die räumliche Details verlieren.

Zusätzlich fehlt es an öffentlichen Datensätzen, die speziell komplexe akrobatische Bewegungen abdecken; bestehende Benchmarks konzentrieren sich meist auf repetitive oder einfache Bewegungen.

Methodik

Die Autoren schlagen ein zweistufiges, kaskadiertes Framework vor, das die Bewegungsplanung von der Erscheinungssynthese entkoppelt:

1. Stufe: Text-zu-Skelett-Generierung (Text-to-Skeleton)

• Ziel: Umwandlung natürlicher Sprachbeschreibungen in Sequenzen von 2D-Gelenkpunkten (Skeletten).
• Architektur: Ein autoregressives Transformer-Modell.
• Tokenisierung: Die 2D-Koordinaten der Gelenke werden diskretisiert und in einen Token-Stream umgewandelt. Das Modell nutzt eine autoregressive Vorhersage, bei der jedes Gelenk basierend auf dem Text und den zuvor generierten Gelenken vorhergesagt wird. Dies ermöglicht das Erfassen langreichweitiger zeitlicher Abhängigkeiten und der Koordination zwischen Gelenken.
• Vorteil: Eliminiert die Notwendigkeit manueller Pose-Erstellung und liefert einen expliziten, bearbeitbaren Steuerungsplan für komplexe, nicht-repetitive Aktionen.

2. Stufe: Pose-konditionierte Video-Generierung (Pose-to-Video)

• Ziel: Synthese eines fotorealistischen Videos basierend auf einem Referenzbild (Aussehen) und der generierten Skelettsequenz (Bewegung).
• Backbone: Basierend auf dem prätrainierten Wan2.1 Video-Diffusionsmodell (DiT-Architektur).
• Kerninnovation – DINO-ALF (Adaptive Layer Fusion):
  • Statt globaler CLIP-Embeddings wird ein DINOv3-basierter Encoder verwendet.
  • Multi-Level-Fusion: DINO-ALF extrahiert Patch-Deskriptoren aus mehreren Schichten des DINO-Encoders. Frühere Schichten erfassen texturreiche Details, spätere Schichten semantische Informationen.
  • Adaptive Aggregation: Ein Cross-Attention-Mechanismus fusioniert diese Merkmale adaptiv pro Patch. Dies ermöglicht es dem Modell, das Erscheinungsbild (Kleidung, Gesichtszüge) auch bei starken Verformungen und Selbstverdeckungen präzise beizubehalten.
• Robustheit: Um Fehler der ersten Stufe (vorhergesagte statt Ground-Truth-Posen) zu kompensieren, werden während des Trainings stochastische Augmentierungen (Rauschen, Dropout von Gelenken, zeitliche Verschiebungen) auf die Skelettsequenzen angewendet.

Hauptbeiträge

1. Autoregressive Text-zu-Skelett-Generierung: Ein Modell, das natürliche Sprache in strukturierte 2D-Pose-Sequenzen übersetzt und dabei lange zeitliche Abhängigkeiten explizit modelliert.
2. DINO-ALF für deformationsbewusste Konditionierung: Ein neuer Mechanismus zur Erscheinungskonditionierung, der räumlich lokalisierte Merkmale aus mehreren DINO-Schichten adaptiv fusioniert, um Identität und Details unter komplexen Bewegungen zu erhalten.
3. Synthetischer Datensatz: Erstellung und Veröffentlichung eines Blender-basierten Datensatzes mit 2.000 Videos, der speziell akrobatische und stuntartige Bewegungen abdeckt. Dieser füllt die Lücke bestehender Benchmarks und vermeidet Urheberrechts- und Datenschutzprobleme von Web-Daten.

Ergebnisse

Die Evaluation erfolgte auf dem neuen synthetischen Datensatz sowie auf dem Motion-X Fitness-Benchmark.

• Text-zu-Skelett: Das Modell übertraf bestehende Methoden (wie HumanDreamer, T2M-GPT, MLD) in allen Metriken:
  • FID: 255,19 (deutliche Verbesserung gegenüber dem vorherigen Bestwert von 322,16).
  • R-Precision (Top-1): 0,487 (bessere semantische Übereinstimmung).
  • Diversity: 48,33 (höhere Vielfalt der generierten Bewegungen).
• Pose-zu-Video: Das Modell erzielte die besten Ergebnisse bei den VBench-Metriken im Vergleich zu State-of-the-Art-Methoden (HumanVid, MimicMotion, VACE, etc.):
  • Subjekt-Konsistenz: 91,31 (besser als VACE mit 88,31).
  • Bewegungsglättung: 97,39.
  • FVD (Fréchet Video Distance): 471,3 (niedriger ist besser, zeigt bessere Verteilungsähnlichkeit zu realen Videos).
• Qualitative Analyse: Das Modell zeigte überlegene Fähigkeiten beim Beibehalten von Details (z. B. Krawattenmuster, Handformen) und vermied Artefakte wie verschwommene Gliedmaßen oder Identitätswechsel, die bei CLIP-basierten Methoden häufig auftreten.

Bedeutung und Fazit

Dieses Paper adressiert eine kritische Lücke in der Video-Generierung: die kontrollierte Erzeugung hochdynamischer, komplexer menschlicher Bewegungen. Durch die Entkopplung von Bewegungsplanung (Text-zu-Skelett) und Erscheinungssynthese (Pose-zu-Video mit DINO-ALF) wird sowohl die Steuerbarkeit als auch die visuelle Konsistenz erheblich verbessert.

Die Einführung des synthetischen Datensatzes ist ein weiterer wichtiger Beitrag, da er die Forschung an akrobatischen Bewegungen ermöglicht, ohne auf problematische Web-Daten zurückzugreifen. Die Ergebnisse zeigen, dass dieser kaskadierte Ansatz ein vielversprechender Weg für Anwendungen im Bereich Sport, virtuelle Coaching-Systeme, Vorvisualisierung von Stunts und Avatar-Animation ist.