FlowDance: Music-Driven Dance Video Generation with Parallel Pose and RGB Streams

Musik und Bewegung teilen seit langem einen tiefen, unausgesprochenen Dialog. Wenn ein Rhythmus beginnt, reagiert der Körper oft, noch bevor der Geist den Takt benennen kann. Jahrzehntelang haben Wissenschaftler und Ingenieure versucht, Computern diesen Zusammenhang beizubringen, in der Hoffnung, Maschinen zu erschaffen, die ein Lied betrachten und einen passenden Tanz dazu erfinden können. Frühe Versuche konzentrierten sich auf das Skelett der Bewegung selbst und erzeugten digitale Strichfiguren, die im Einklang mit einer Melodie springen und sich drehen konnten. Während diese Systeme die grundlegenden Formen der Bewegung generieren konnten, gelang es ihnen nicht, die Person darzustellen, die sie ausführte. Ihnen fehlten das spezifische Gesicht, die einzigartige Kleidung und die subtilen Details, die einen Tänzer wie einen echten Menschen aussehen lassen, statt wie eine Ansammlung von Linien. Die Herausforderung bestand darin, die Lücke zwischen der abstrakten Idee eines Tanzes und der visuellen Realität einer spezifischen Person zu schließen, die sich zur Musik bewegt, und dabei das Video von Anfang bis Ende flüssig und glaubwürdig zu halten.

Ein Team von Forschern hat nun ein neues System namens FlowDance entwickelt, das diese Herausforderung angeht, indem es die Art und Weise ändert, wie der Computer die Aufgabe betrachtet. Anstatt zu versuchen, alles in einem einzigen riesigen Schritt zu erledigen oder den Prozess in separate, voneinander abgekoppelte Phasen zu unterteilen, arbeitet das System mit zwei parallelen Informationsströmen, die nebeneinander ablaufen. Ein Strom konzentriert sich auf die Struktur der Bewegung und erstellt ein vereinfachttes Video der Pose des Tänzers, während der andere Strom sich auf das visuelle Erscheinungsbild konzentriert und das eigentliche Video der Person generiert. Diese beiden Ströme kommunizieren ständig miteinander, während das Video erstellt wird. Der strukturelle Strom leitet den visuellen Strom an und stellt sicher, dass sich die Gliedmaßen der Person korrekt bewegen, während der visuelle Strom gewährleistet, dass das Gesicht und die Kleidung des Tänzers während des gesamten Clips konsistent bleiben. Dieser Ansatz ermöglicht es dem System, ein Video zu generieren, in dem eine spezifische Person natürlich zu einem Lied tanzt, wobei ihre Identität und die Details ihrer Kleidung ohne die Fehler bewahrt werden, die anderen Methoden oft plagen.

Frühere Versuche, dieses Problem zu lösen, stützten sich oft auf eine Kette separater Werkzeuge. Ein Werkzeug schätzte die 3D-Form des Körpers, ein zweites versuchte, diese Form in eine 2D-Zeichnung zu projizieren, und ein drittes nutzte diese Zeichnung, um das endgültige Video zu malen. Die Forscher stellten fest, dass sich Fehler in den ersten Schritten aufhäuften, was zu Videos führte, in denen sich die Gliedmaßen des Tänzers plötzlich dehnten, sein Körper die Größe veränderte oder sein Gesicht verzerrt aussah. Andere Methoden versuchten, alles gleichzeitig zu erleden, indem sie die Musik und ein Foto direkt auf ein Video abbildeten, was jedoch oft zu einer steifen oder unglaubwürdigen Bewegung führte, da der Computer zu viele komplexe Probleme gleichzeitig lösen musste. FlowDance vermeidet diese Fallstricke, indem es die Bewegung und die Bildgenerierung zwar verknüpft, aber dennoch getrennt hält. Es nutzt ein vortrainiertes Videomodell als Fundament und fügt dann einen spezifischen Pfad hinzu, durch den die Musik die Pose beeinflusst, sowie einen weiteren Pfad, um das Gesicht und den Körper des Tänzers so aussehen zu lassen wie auf dem Originalfoto.

Um dieses System zu trainieren, bauten die Forscher eine große Sammlung von Tanzvideos aus dem Internet auf und wählten dabei gezielt Clips aus, die eine hohe Qualität aufwiesen und eine einzelne Person beim Tanzen zeigten. Sie sammelten über 165.000 kurze Clips, die jeweils fünf Sekunden lang waren, und versah sie mit detaillierten Beschriftungen. Für jedes Video zeichneten sie die Musik, die Bewegungen des Tänzers in drei Dimensionen, die Kamerawinkel und die 2D-Positionen der Gelenke auf. Dieser Datensatz, den sie FlowDanceSet nannten, ermöglichte es dem Computer, die Beziehung zwischen dem Rhythmus der Musik und der spezifischen Art und Weise, wie sich ein menschlicher Körper bewegt, zu erlernen, während er gleichzeitig sah, wie eine echte Person dabei aussieht. Das System wurde dann an neuen Songs und neuen Tänzern getestet, die es zuvor noch nie gesehen hatte. Die Ergebnisse zeigten, dass FlowDance Videos produzierte, die flüssiger und realistischer waren als andere aktuelle Methoden. In Tests, bei denen die Ergebnisse mit Videos anderer Systeme verglichen wurden, bevorzugten menschliche Beobachter konsistent die von FlowDance erstellten Videos und merkten an, dass die Tänzer natürlicher wirkten, die Bewegungen flüssiger waren und die Verbindung zwischen der Musik und der Bewegung stärker war.

Das System führte zudem eine Methode ein, um längere Videos zu handhaben, ohne die Identität des Tänzers zu verlieren. Wenn ein Video länger wird, haben Computer oft Schwierigkeiten, sich daran zu erinnern, wie die Person im ersten Frame aussah, was zu einem „Drift“ führt, bei dem sich das Gesicht oder die Kleidung im Laufe der Zeit leicht verändern. FlowDance löst dies, indem das Originalfoto des Tänzers an verschiedenen Punkten während des Erstellungsprozesses wiederholt in das System eingespeist wird. Dies hält die visuellen Details fest, sodass das System Sequenzen erstellen kann, die viele Sekunden andauern, während ein konsistentes Erscheinungsbild gewahrt bleibt. Die Forscher fanden heraus, dass diese Methode, kombさせて mit den parallelen Strömen, es ihnen ermöglichte, Videos zu erstellen, in denen die Kleidung, die Körperform und die Gesichtszüge des Tänzers stabil blieben, selbst während er komplexe und energetische Bewegungen ausführte. Die Arbeit zeigt, dass es möglich ist, Dance-Videos zu erstellen, die sowohl strukturell präzise als auch visuell überzeugend sind, indem man die Aufgabe der Bewegungsplanung von der Aufgabe des Bild-Renderings trennt, sie aber in ständigem Austausch hält.