Mitigating Error Accumulation in Co-Speech Motion Generation via Global Rotation Diffusion and Multi-Level Constraints

Stellen Sie sich einen virtuellen Charakter vor, der zu Ihnen spricht. Damit sich das Gespräch echt anfühlt, darf der Charakter nicht nur den Mund bewegen; der gesamte Körper muss teilhaben. Die Schultern verschieben sich, die Hände gestikulieren und die Körperhaltung ändert sich passend zum Rhythmus und der Emotion der Stimme. Dies ist das Ziel der Co-Speech-Motion-Generierung: Computern beizubringen, Ganzkörperbewegungen zu erzeugen, die natürlich mit den gesprochenen Worten synchronisiert sind. Jahrelang haben Forscher versucht, dies zu lösen, indem sie digitale Skelette aufbauten, bei denen die Bewegung einer Hand durch das Aufsummieren der Rotationen der Schulter, des Ellbogens und des Handgelenks in einer Kette berechnet wird. Obwohl dieser Ansatz simuliert, wie Knochen miteinander verbunden sind, birgt er einen verborgenen Fehler. Genau wie ein kleiner Fehler in einer langen Menschenkette, die eine Nachricht weitergibt, dazu führen kann, dass die endgültige Nachricht völlig falsch ist, können winzige Fehler bei der Berechnung der Rotation einer Schulter immer größer werden, während sie den Arm hinunterwandern. Bis der Computer die Position der Fingerspitzen berechnet hat, kann der Fehler so groß sein, dass die Hand verdreht, gebrochen oder auf unmögliche Weise schwebend aussieht.

Ein Team von Forschern der Alibaba Group und der Nanyang Technological University hat einen neuen Weg vorgeschlagen, um dieses Problem zu lösen, indem sie sich gänzlich von der Kettenreaktionsmethode abwenden. Anstatt zu berechnen, wie jedes Gelenk relativ zum vorherigen dreht, entscheidet dieses neue System namens GlobalDiff gleichzeitig über die endgültige Richtung jedes einzelnen Gelenks im Raum. Stellen Sie sich vor, man sagt jedem Gelenk genau, wohin es in der Welt zeigen soll, anstatt dem Ellbogen zu sagen, wohin er relativ zur Schulter zeigen soll. Dieser Ansatz verhindert, dass sich kleine Fehler aufstauen, wodurch sichergestellt wird, dass Hände und Füße selbst bei langen, ausdrucksstarken Gesprächen stabil und präzise bleiben. Da die totale Freiheit jedes Gelenks jedoch ein neues Risiko schafft: Der Charakter könnte seine Gliedmaßen in Formen verdrehen, die ein menschlicher Körper physisch niemals erreichen könnte. Um dies zu beheben, fügten die Forscher eine Reihe unsichtbarer Regeln hinzu, die wie ein Leitfaden wirken und prüfen, ob die Knochen die richtige Länge behalten, die Winkel zwischen den Gliedmaßen sinnvoll sind und die Bewegung über die Zeit flüssig verläuft.

Die Forscher testeten dieses neue System an einer großen Sammlung aufgezeichneter Gespräche, die über 1.700 Dialogsequenzen umfassten. Sie fanden heraus, dass der Computer durch die direkte Vorhersage der globalen Richtung der Gelenke Bewegungen erzeugen konnte, die weitaus stabiler waren als bisherige Methoden. In ihren Tests reduzierte das neue System die Fehler in der finalen Bewegung im Vergleich zu den besten existierenden Werkzeugen um 46 Prozent. Als sie die Ergebnisse genau betrachteten, war der Unterschied deutlich. In älteren Systemen sahen die Finger oft so aus, als würden sie sich nach innen umstülpen, oder die Hände driften vom Körper weg. Mit der neuen Methode blieben die Hände in natürlichen Positionen und die Gesten passten mit einer Präzision zur Stimme des Sprechers, die sich menschlich anfühlte. Das System lernte zudem, verschiedene Sprecher zu handhaben, wobei es die hohe Qualität beibehielt, egal ob die Stimme die eines Mannes oder einer Frau war oder ob es sich um einen Muttersprachler oder jemanden mit einem anderen Akzent handelte.

Um sicherzustellen, dass die Bewegungen nicht nur stabil, sondern auch physisch möglich waren, führten die Forscher drei Ebenen von Kontrollen ein. Erstens platzierten sie virtuelle Marker um jedes Gelenk, um sicherzustellen, dass die Rotation präzise war und verhinderte, dass sich die Gliedmaßen auf unnatürliche Weise verdrehten. Zweitens maßen sie die Winkel zwischen allen Knochen des Körpers, um sicherzustellen, dass das Skelett intakt blieb und der Charakter nicht seine Wirbelsäule oder Gliedmaßen in unmöglichen Richtungen verbog. Drittens analysierten sie das Timing der Bewegung, um sicherzustellen, dass die Gesten mit dem Rhythmus der Sprache flossen und so ruckartige oder erratische Bewegungen vermieden wurden. Wenn sie diese Kontrollen nacheinander entfernten, sank die Qualität der Bewegung signifikant, was bewies, dass alle drei Ebenen notwendig waren, um ein überzeugendes Ergebnis zu erzielen.

Die Studie zeigt, dass es möglich ist, realistische, lang andauernde Körpersprache für virtuelle Charaktere zu generieren, ohne die Anhäufung von Fehlern, die das Feld so lange geplagt hat. Indem sie den gesamten Körper als eine Sammlung unabhängiger Teile behandeln, die durch strikte physikalische Regeln geleitet werden, haben die Forscher ein System geschaffen, das eine flüssige, anatomisch korrekte und ausdrucksstarke Bewegung erzeugt. Diese Arbeit legt nahe, dass die Zukunft virtueller Avatare nicht auf komplexen Berechnungsketten beruhen könnte, die anfällig für Fehler sind, sondern vielmehr auf einem direkten, globalen Verständnis davon, wie sich jeder Teil des Körpers im Raum bewegen sollte. Das Ergebnis ist eine digitale Präsenz, die sprechen und sich mit einer Natürlichkeit bewegen kann, die uns der nahtlosen Interaktion zwischen Mensch und Maschine näher bringt.