Mitigating Error Accumulation in Co-Speech Motion Generation via Global Rotation Diffusion and Multi-Level Constraints

Stel je een virtueel personage voor dat tegen je spreekt. Om de conversatie echt te laten voelen, kan het personage niet alleen zijn mond bewegen; het hele lichaam moet deelnemen. De schouders verschuiven, de handen maken gebaren en de houding verandert om aan te sluiten bij het ritme en de emotie van de stem. Dit is het doel van co-speech motion generatie: computers leren om volledige lichaamsbewegingen te creëren die natuurlijk synchroon lopen met gesproken woorden. Jarenlang hebben onderzoekers geprobeerd dit op te lossen door digitale skeletten te bouwen, waarbij de beweging van een hand wordt berekend door de rotaties van de schouder, de elleboog en de pols in een keten bij elkaar op te tellen. Hoewel deze aanpak nabootst hoe botten met elkaar verbonden zijn, bevat het een verborgen gebrek. Net zoals een kleine fout in een lange rij mensen die een bericht doorgeven kan resulteren in een volledig verkeerd eindbericht, kunnen kleine fouten in het berekenen van de rotatie van een schouder steeds groter worden naarmate ze langs de arm reizen. Tegen de tijd dat de computer de positie van de vingertoppen berekent, kan de fout zo groot zijn dat de hand gedraaid, gebroken of op onmogelijke manieren zwevend lijkt.

Een team onderzoekers van Alibaba Group en Nanyang Technological University heeft een nieuwe manier voorgesteld om dit probleem op te lossen, waarbij ze volledig afstappen van de kettingreactie-methode. In plaats van te berekenen hoe elk gewricht draait ten opzichte van het vorige, beslist hun nieuwe systeem, genaamd GlobalDiff, tegelijkertijd de uiteindelijke richting van elk afzonderlijk gewricht in de ruimte. Denk eraan dat elk gewricht precies vertelt waar het naartoe moet wijzen in de wereld, in plaats van de elleboog te vertellen waar hij ten opzichte van de schouder naartoe moet wijzen. Deze aanpak voorkomt dat kleine fouten zich opstapelen, waardoor de handen en voeten stabiel en accuraat blijven, zelfs tijdens lange, expressieve gesprekken. Het geven van totale vrijheid aan elk gewricht creëert echter een nieuw risico: het personage zou zijn ledematen in vormen kunnen draaien die een menselijk lichaam fysiek niet kan bereiken. Om dit op te lossen, voegden de onderzoekers een reeks onzichtbare regels toe die als een gids fungeren, die controleren of de botten de juiste lengte behouden, of de hoeken tussen de ledematen logisch zijn en of de beweging vloeiend verloopt over de tijd.

De onderzoekers testten dit nieuwe systeem op een grote collectie opgenomen gesprekken die meer dan 1.700 dialoogsequenties omvatten. Ze ontdekten dat door de globale richting van gewrichten direct te voorspellen, de computer bewegingen kon genereren die veel stabieler waren dan eerdere methoden. In hun tests verminderde het nieuwe systeem de fouten in de uiteindelijke beweging met 46 procent vergeleken met de beste bestaande tools. Wanneer ze nauwkeurig naar de resultaten keken, was het verschil duidelijk. Bij oudere systemen zagen de vingers er vaak uit alsoals ze binnenstebuiten klapten of de handen dreven weg van het lichaam. Met de nieuwe methode bleven de handen in natuurlijke posities en kwamen de gebaren met een precisie die menselijk aanvoelde overeen te komen met de stem van de spreker. Het systeem leerde ook om verschillende sprekers te verwerken, waarbij de hoge kwaliteit behouden bleef, of de stem nu van een man of een vrouw was, of van een moedertaalspreker of iemand met een ander accent.

Om ervoor te zorgen dat de bewegingen niet alleen stabiel maar ook fysiek mogelijk waren, introduceerde het team drie lagen van controles. Ten eerste plaatsten ze virtuele markeringen rond elk gewricht om ervoor te zorgen dat de rotatie precies was, wat voorkwam dat de ledematen op onnatuurlijke wijze draaiden. Ten tweede maten ze de hoeken tussen alle botten in het lichaam om te garanderen dat het skelet intact bleef, wat voorkwam dat het personage de ruggengraat of ledematen in onmogelijke richtingen boog. Ten derde analyseerden ze de timing van de beweging om ervoor te zorgen dat de gebaren vloeiden met het ritme van de spraak, om schokkerige of grillige bewegingen te vermijden. Wanneer ze deze controles één voor één verwijderden, daalde de kwaliteit van de beweging aanzienlijk, wat bewees dat alle drie de lagen noodzakelijk waren om een overtuigend resultaat te creëren.

De studie toont aan dat het mogelijk is om realistische, langdurige lichaamstaal voor virtuele personages te genereren zonder de ophoping van fouten die het vakgebied zo lang heeft geteisterd. Door het hele lichaam te behandelen als een verzameling onafhankelijke onderdelen die worden geleid door strikte fysieke regels, hebben de onderzoekers een systeem gecreëerd dat vloeiende, anatomisch correcte en expressieve bewegingen produceert. Dit werk suggereert dat de toekomst van virtuele avatars wellicht niet zal rusten op complexe ketens van berekeningen die gevoelig zijn voor fouten, maar eerder op een directe, globale verstandhouding van hoe elk deel van het lichaam in de ruimte moet bewegen. Het resultaat is een digitale aanwezigheid die kan spreken en bewegen met een natuurlijkheid die ons dichter brengt bij de naadloze interactie tussen mensen en machines.