FlowDance: Music-Driven Dance Video Generation with Parallel Pose and RGB Streams

Muziek en beweging delen al heel lang een diep, onuitgesproken gesprek. Wanneer een ritme begint, reageert het lichaam vaak nog voordat de geest de beat kan benoemen. Decennialang hebben wetenschappers en ingenieurs geprobeerd computers te leren deze verbinding te begrijpen, in de hoop machines te creëren die een liedje kunnen bekijken en een dans kunnen verzinnen die erbij past. Vroege pogingen richtten zich op de essentie van de beweging zelf, waarbij digitale stokfiguurtjes werden gecreëerd die konden springen en draaien op het ritme van een melodie. Hoewel deze systemen de basisvormen van beweging konden genereren, konden ze de persoon die ze uitvoerde niet vangen. Ze misten het specifieke gezicht, de unieke kleding en de subtiele details die een danser tot een echt mens maken in plaats van een verzameling lijnen. De uitdaging was om de kloof te overbruggen tussen het abstracte idee van een dans en de visuele realiteit van een specifbool persoon die op muziek beweegt, terwijl de video van begin tot eind vloeiend en geloofwaardig bleef.

Een team van onderzoekers heeft nu een nieuw systeem ontwikkeld genaamd FlowDance dat deze uitdaging aanpakt door de manier waarop de computer over de taak denkt te veranderen. In plaats van te proberen alles in één grote stap te doen of het proces op te splitsen in aparte, losstaande fasen, werkt het systeem met twee parallelle stromen informatie die naast elkaar lopen. De ene stroom richt zich op de structuur van de beweging en creëert een vereenvoudigde video van de pose van de danser, terwijl de andere stroom zich richt op de visuele verschijning en de eigenlijke video van de persoon genereert. Deze twee stromen praten voortdurend met elkaar terwijl de video wordt gemaakt. De structurele stroom stuurt de visuele stroom aan, waardoor de ledematen van de persoon correct bewegen, terwijl de visuele stroom ervoor zorgt dat het gezicht en de kleding van de danser gedurende de clip consistent blijven. Deze aanpak stelt het systeem in staat om een video te genereren waarin een specifiek individu natuurlijk danst op een liedje, waarbij de identiteit en de details van de outfit behouden blijven zonder de fouten die eerdere methoden vaak teisteren.

Eerdere pogingen om dit probleem op te lossen, vertrouwden vaak op een keten van afzonderlijke hulpmiddelen. Eén hulpmiddel raadt de 3D-vorm van het lichaam, een tweede probeert die vorm te plat te slaan naar een 2D-tekening, en een derde gebruikt die tekening om de uiteindelijke video te schilderen. De onderzoekers ontdekten dat fouten in de eerste stappen zich opstapelden, wat leidde tot video's waarin de ledematen van de danser plotseling konden uitrekken, het lichaam van grootte kon veranderen of het gezicht vervormd kon raken. Andere methoden probeerden alles tegelijk te doen, door de muziek en een foto direct naar een video te mappen, maar dit maakte de beweging vaak stijf of ongeloofwaardig omdat de computer te veel complexe problemen tegelijkertijd moest oplossen. FlowDance vermijdt deze valkuilen door de beweging en de beeldgeneratie verbonden maar onderscheidbaar te houden. Het gebruikt een vooraf getraind videomodel als fundament, voegt vervolgens een specifiek pad toe zodat de muziek de pose kan beïnvloeden, en een ander pad om ervoor te zorgen dat het gezicht en het lichaam van de danser hetzelfde blijven als op de originele foto.

Om dit systeem te trainen, hebben de onderzoekers een grote collectie dansvideo's van het internet samengesteld, waarbij ze zorgvuldig fragmenten hebben geselecteerd van hoge kwaliteit waarin één persoon danst. Ze verzamelden meer dan 165.000 korte clips van elk vijf seconden lang en voegden er gedetailleerde labels aan toe. Voor elke video namen ze de muziek op, de 3D-bewegingen van de danser, de camerastandpunten en de 2D-posities van de gewrichten. Deze dataset, die ze FlowDanceSet noemden, stelde de computer in staat om de relatie te leren tussen het ritme van de muziek en de specifieke manier waarop een menselijk lichaam beweegt, terwijl het ook ziet hoe een echt persoon eruitziet tijdens het dansen. Het systeem werd vervolgens getest op nieuwe nummers en nieuwe dansers die het nog nooit eerder had gezien. De resultaten lieten zien dat FlowDance vloeiendere en realistischere video's produceerde dan andere huidige methoden. In tests waarbij de output werd vergeleken met video's gemaakt door andere systemen, gaven menselijke waarnemers consequent de voorkeur aan de video's van FlowDance, waarbij zij opmerkten dat de dansers er natuurlijker uitzagen, de bewegingen vloeiender waren en de verbinding tussen de muziek en de beweging sterker was.

Het systeem introduceerde ook een manier om langere video's te verwerken zonder de identiteit van de danser te verliezen. Naarmate de video langer wordt, hebben computers vaak moeite om te onthouden hoe de persoon in het eerste frame eruitzag, wat leidt tot een 'drift' waarbij het gezicht of de kleding in de loop van de tijd licht verandert. FlowDance lost dit op door de originele foto van de danser herhaaldelijk terug in het systeem te voeren op verschillende momenten tijdens het creatieproces. Dit houdt de visuele details op hun plaats, waardoor het systeem sequenties kan genereren die vele seconden duren terwijl een consistente verschijning behouden blijft. De onderzoekers ontdekten dat deze methode, gecombineerd met de parallelle stromen, hen in staat stelde om video's te maken waarin de kleding, lichaamsvorm en gelaatstrekken van de danser stabiel bleven, zelfs terwijl ze complexe en energieke bewegingen uitvoerden. Het werk demonstreert dat door de taak van het plannen van de beweging te scheiden van de taak van het renderen van het beeld, maar hen in constante communicatie te houden, het mogelijk is om dansvideo's te creëren die zowel structureel accuraat als visueel overtuigend zijn.