InteractGesture: Progressive Chunk Guidance for Continuous Streaming Co-Speech Gesture Control
Het artikel introduceert InteractGesture, een model-agnostische methode tijdens de inferentie die Progressive Chunk Guidance gebruikt om fijnmazige, ruimtelijk controleerbare co-speech gebaren-generatie in continue streaming-scenario's mogelijk te maken door controle-gradiënten over chunk-grenzen te propageren om grensinconsistenties op te lossen.
Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer
Stel je een digitale mens voor die tegen je spreekt, met lippen die perfect synchroon bewegen met de woorden, en handen die natuurlijk gebaren om een punt te benadrukken. Jarenlang hebben wetenschappers computers geleerd om deze bewegingen te creëren door naar audio te luisteren, wat resulteerde in personages die kunnen praten en bewegen met een verrassend realisme. Echter, een significante beperking heeft voortgedurend bestaan: hoewel de computer weet hoe hij een personage een zwaai of een schouderophaling moet laten maken, kan de computer niet precies worden verteld waar die hand in de ruimte moet landen. Als een animator wilde dat de rechterpols van het personage een specifiek object op een tafel aanraakte, of een elleboog een nauwkeurig pad moest volgen om een obstakel te vermijden, kon de bestaande technologie hier niet aan voldoen. De bewegingen werden als een geheel gegenereerd, waardoor de specifieke locatie van individuele lichaamsdelen aan het toeval werd overgelaten in plaats van aan een commando. Deze kloof tussen natuurlijke, door spraak gestuurde beweging en precieze ruimtelijke controle was een grote hindernis voor het creëren van werkelijk interactieve virtuele agenten.
Een nieuwe aanpak, geïntroduceerd door onderzoekers van Meta en de University of North Carolina at Charlotte, overbrugt deze kloof met een methode genaamd InteractGesture. Dit systeem stelt een computer in staat om de gebaren van een personage te genereren op basis van spraak, terwijl het tegelijkertijd strikte instructies opvolgt over waar specifieke gewrichten, zoals polsen of ellebogen, moeten zijn. De onderzoekers behandelden de bewegingsgenerator van de computer als een 'black box' die voorzichtig gestuurd kon worden. In plaats van het hele systeem opnieuw te trainen of de interne hersenen ervan te veranderen, pasten ze de voorspellingen van de computer in realtime aan. Terwijl het systeem een beweging plande, decodeerden de onderzoekers die plannen naar een 3D-skelet, controleerden of de handen op de juiste plek waren, en als dat niet zo was, duwden ze het plan terug richting de gewenste locatie voordat het werd gefinaliseerd. Dit proces gebeurt zo snel dat de computer leert om de natuurlijke ritmiek van spraak te balanceren met de rigide eisen van de ruimtelijke instructies van de gebruiker.
De uitdaging wordt aanzienlijk moeilijker wanneer de spraak continu is, zoals bij een lang gesprek, in plaats van een korte clip. Computers verwerken lange audio doorgaans in kleine, overlappende segmenten, of 'chunks'. In het verleden was het zodra een segment was gegenereerd, vastgelegd. Als een gebruiker wilde dat de hand van het personage in het volgende segment een doel bereikte, kon de computer de beweging van het vorige segment niet meer aanpassen om de overgang vloeiend te maken. Dit resulteerde vaak in schokkerige, onnatuurlijke sprongen waarbij de hand plotseling in positie sprong. De onderzoekers identificeerden dat deze rigide vastlegging van eerdere bewegingen de primaire oorzaak van deze fouten was. Om dit op te lossen, ontwikkelden zij een strategie genaamd Progressive Chunk Guidance. In plaats van het verleden te bevriezen, houdt deze methode een klein venster van recente bewegingen bewerkbaar. Terwijl er nieuwe audio binnenkomt, werkt het systeem de context van het vorige segment continu bij, waardoor toekomstige instructies de vorige bewegingen voorzichtig kunnen bijsturen voor een vloeiendere afstemming. Het is een beetje als het monteren van een film terwijl deze nog steeds wordt opgenomen, waarbij de regisseur de vorige stap van de acteur kan aanpassen om ervoor te zorgen dat de volgende stap perfect landt, zonder te hoeven wachten tot de hele film voltooid is.
De resultaten van deze aanpak werden getest op een grote dataset van opgenomen menselijke spraak en beweging. Het team vergeleek hun nieuwe methode met oudere technieken, waaronder een veelvoorkomende aanpak die probeert de gewrichten op hun plaats te dwingen nadat de beweging al is gegenereerd, en een andere die probeert elk segment onafhankelijk te controleren. De oudere methoden produceerden vaak bewegingen die stijf of onnatuurlijk oogden, of ze slaagden er niet in om de doelposities nauwkeurig te bereiken, waarbij ze in sommige gevallen bijna twintig centimeter naast het doel zaten. In contrast hiermee behaalde de nieuwe methode een gemiddelde fout van slechts iets meer dan zes centimeter, terwijl de vloeiende, natuurlijke kwaliteit van de oorspronkelijke spraakgestuurde gebaren behouden bleef. Het systeem slaagde erin de handen van het personage naar specifieke punten te leiden, complexe paden voor de armen te volgen, en zelfs het personage te oriënteren om in een specifieke richting te wijzen, terwijl de timing van de bewegingen perfect synchroon bleef met de stem.
Dit werk demonstreert dat het mogelijk is om zowel de natuurlijke flow van spraakgestuurde animatie als de precieze controle van een menselijke animator te hebben. Door de computer toe te staan zijn eigen plannen te verfijnen terwijl hij ze genereert, en door het recente verleden flexibel genoeg te houden om toekomstige instructies te accommoderen, hebben de onderzoekers een systeem gecreëerd dat de ruimtelijke commando's van de gebruiker respecteert zonder de levensechte kwaliteit van de beweging op te offeren. De bevindingen suggereren dat digitale mensen binnenkort aangestuurd kunnen worden met hetzelfde niveau van detail als een echte acteur, in staat om te interageren met virtuele objecten en complexe omgevingen te navigeren met een precisie die voorheen onbereikbaar was. De onderzoekers hebben hun tools beschikbaar gesteld voor anderen om te gebruiken, wat de deur opent voor meer interactieve en responsieve virtuele assistenten en personages in de toekomst.
Verdrinkt u in papers in uw vakgebied?
Ontvang dagelijkse digests van de nieuwste papers die bij uw onderzoekswoorden passen — met technische samenvattingen, in uw taal.