ExpGest: Expressive Speaker Generation Using Diffusion Model and Hybrid Audio-Text Guidance

ExpGest is een innovatief diffusion-model dat door het synchroniseren van tekst- en audio-informatie expressieve, natuurlijke en emotioneel gecontroleerde full-body gebaren genereert, waarmee het de beperkingen van bestaande methoden die zich uitsluitend op audio en het bovenlichaam richten, overwint.

De kern

Stel je voor dat je een film maakt over een virtuele spreker, maar elke keer als de acteur iets zegt, beweegt hij als een robot. Zijn handen hangen slap, zijn gezicht is stijf en hij loopt alsof hij op een lopende band staat. Dat is precies het probleem dat de onderzoekers van ExpGest wilden oplossen.

Hier is een uitleg van hun werk, alsof we het vertellen aan een vriendje tijdens een kop koffie, vol met creatieve vergelijkingen.

1. Het Probleem: De "Robot-Acteur"

Tot nu toe konden computers alleen maar goed reageren op de melodie van een stem (het ritme, de toonhoogte). Het was alsof je een poppetje had dat alleen maar dansde op de muziek, maar niet keek naar wat er gezegd werd.

• Het resultaat: Als iemand boos schreeuwt, beweegt de robot misschien snel, maar hij ziet er niet echt boos uit. Als iemand fluistert over een geheim, beweegt de robot misschien nog steeds als een danseres. Het miste de ziel van de spreker.

2. De Oplossing: ExpGest (De "Alles-kunnen" Regisseur)

ExpGest is een nieuw systeem dat werkt met een Diffusiemodel. Dat klinkt ingewikkeld, maar stel je dit voor:

Stel je voor dat je een schilderij maakt van een spreker.

• De oude manier: Je begint met een canvas dat vol met grijs ruis is (zoals statisch op een tv). Je probeert de vorm van de spreker eruit te "wassen" door alleen naar de geluidsgolven te kijken.
• De ExpGest-methode: Ze gebruiken een slimme regisseur die twee dingen tegelijk doet:
  1. Hij luistert naar wat er gezegd wordt (de tekst).
  2. Hij luistert naar hoe het wordt gezegd (de emotie en het ritme).

Het is alsof je een danseres hebt die niet alleen op de muziek reageert, maar ook precies weet wat de tekst betekent. Als ze zegt: "Ik ben zo boos!", dan slaat ze niet alleen hard op de tafel (door de melodie), maar ze wijst ook met haar vingers en loopt boos weg (door de tekst).

3. De Magische Trucs van ExpGest

A. De "Scheiding van Taken" (Vingers vs. Armen)

De onderzoekers merkten iets grappigs op:

• Als iemand rustig "één, twee, drie" telt, bewegen de vingers veel, maar blijven de armen stil.
• Als iemand boos schreeuwt, zwaaien de armen wild, maar de vingers doen minder.

ExpGest is de eerste die dit onderscheid maakt. Het is alsof ze twee verschillende dansmeesters hebben: één die de vingers dirigeert op basis van de betekenis van de woorden, en één die de armen dirigeert op basis van de emotie in de stem. Hierdoor voelt de beweging veel natuurlijker aan.

B. De "Emotie-Filter" (De Geluidsdetective)

Vroeger probeerden computers emoties te simuleren door een simpele knop in te drukken (bijv. "knop 1 = boos"). Dat werkte niet goed; het was te star.

ExpGest gebruikt een slimme Emotie-Classifier.

• Vergelijking: Stel je voor dat je een foto van iemand hebt die eruitziet alsof hij neutraal is. De Emotie-Classifier is als een slimme fotograaf die zegt: "Hé, als we deze foto een beetje naar links duwen, wordt hij boos. Als we hem naar rechts duwen, wordt hij blij."
• Het systeem duwt de beweging tijdens het genereren zachtjes in de richting van de gewenste emotie, zonder de tekst te verstoren. Het is alsof je een klei-figuurtje vormt: je houdt de vorm van het lichaam vast, maar je geeft het gezicht een glimlach of een frons.

C. De "Twee-Wegen" Straat

Het grootste voordeel van ExpGest is dat het twee soorten input kan gebruiken:

1. Alleen Audio: De spreker reageert op de stem (zoals een danser op muziek).
2. Audio + Tekst: Je kunt ook zeggen: "Deze persoon moet een rondje lopen en dan gaan zitten."
   • Vergelijking: Het is alsof je een regisseur bent die zegt: "Speel dit toneelstuk, maar loop ook nog even naar de achtergrond." Het systeem combineert de natuurlijke gebaren van de spreker met de specifieke acties die je wilt zien.

4. Waarom is dit belangrijk?

Vroeger waren virtuele sprekers vaak stijf en onnatuurlijk. Met ExpGest krijgen we:

• Meer expressie: De sprekers lijken echt op mensen, met echte gebaren en emoties.
• Betere controle: Je kunt precies zeggen wat de persoon moet doen (lopen, zitten, boos zijn) terwijl hij nog steeds natuurlijk praat.
• Toepassingen: Denk aan virtuele assistenten in films, games, of zelfs een digitale leraar die niet alleen praat, maar ook met zijn handen communiceert.

Samenvattend

ExpGest is als het geven van een ziel aan een virtuele pop. Het combineert de muziek van de stem met de betekenis van de woorden, en gebruikt slimme trucs om ervoor te zorgen dat de vingers, armen en het hele lichaam samenwerken alsof het een echt mens is. Geen robots meer, maar echte, expressieve sprekers.

Technische samenvatting

Hier is een gedetailleerde technische samenvatting van het paper "ExpGest: Expressive Speaker Generation Using Diffusion Model and Hybrid Audio-Text Guidance" in het Nederlands.

Probleemstelling

Bestaande methoden voor het genereren van gebaren (gesture generation) richten zich voornamelijk op bovenlichaamsbewegingen die worden aangestuurd door audio-kenmerken (zoals melodie). Deze benaderingen verwaarlozen echter vaak de inhoud van de spraak (semantiek), emotie en locomotie (verplaatsing). Dit resulteert in stijve, mechanische gebaren die de ware betekenis van de audio-inhoud niet overbrengen. Bovendien ontbreekt er een coherente integratie van bewegingscategorieën (zoals gebaren versus volledige lichaamsmovements) en leiden verschillende representaties tot inconsistentie in datasets, waardoor het veld beperkt blijft tot generatie binnen één modality.

Methodologie: ExpGest

ExpGest is een nieuw raamwerk dat een diffusion model gebruikt om expressieve, volledige lichaamsgesten te genereren op basis van gesynchroniseerde tekst- en audio-informatie. Het systeem combineert audio-gestuurde gebaren met tekst-gestuurde bewegingen.

1. Unificatie van Data Representatie
Om verschillende datasets (audio-gestuurde gebaren en tekst-gestuurde bewegingen) te kunnen trainen, worden deze omgezet naar een uniforme kinematische representatie:

• Rotatie: Euler-hoeken worden omgezet naar rot6D voor 55 gewrichten (SMPL-X).
• Locatie: 3D-coördinaten worden uitgelijnd aan een referentie-skelet.
• Samenstelling: De data omvat rotatie, 3D-locatie, lineaire snelheid, hoeksnelheid en grondcontactsignalen.
• Synthetische Data: Omdat gemengde modale data ontbreekt, synthetiseert het team data door onderlichaamsbewegingen (locomotie) uit datasets als AMASS en 100-STYLE te combineren met bovenlichaamsgebaren.

2. Diffusion Model voor Bewegingsgeneratie
Het model gebruikt een Denoising Diffusion Probabilistic Model (DDPM) dat leert om van puur Gaussisch ruis naar expressieve gebaren te gaan.

• Input: Het model neemt als input de tijdstap, een zaad-houding (seed posture), tekstbeschrijving, audio-informatie (gecodeerd via WavLM) en semantische latent codes.
• Decoupling: Het model onderscheidt tussen vingers en ledematen. Vingers worden meer gekoppeld aan semantiek (spraakinhoud), terwijl ledematen meer reageren op melodie (toonhoogte).
• Verliesfunctie: Er wordt gebruikgemaakt van Huber loss om de gereconstrueerde beweging te optimaliseren.

3. Semantische Alignering in Latente Ruimte
Om de kloof tussen audio-inhoud en gebaren te overbruggen, introduceert ExpGest een Semantic Alignment Module:

• Een contrastive learning aanpak (NT-Xent loss) wordt gebruikt om een gedeelde latent space te creëren voor teksttranscripties en gebaren.
• Dit zorgt ervoor dat het model de semantische betekenis van de tekst begrijpt en deze correct koppelt aan de gegenereerde beweging, zelfs zonder directe audio-invoer voor die specifieke beweging.

4. Ruis-gebaseerde Emotie Geleide Classificator
In plaats van emoties als one-hot encoding toe te voegen (wat leidt tot discontinuïteit), gebruikt ExpGest een Noise Emotion Classifier:

• Tijdens het reverse diffusion proces (sampling) wordt een classifier gebruikt om de ruis in de beweging te optimaliseren via gradient backpropagation.
• Dit stuurt de gegenereerde beweging naar een specifieke emotionele richting zonder de oorspronkelijke semantische of melodische informatie te beschadigen.

Belangrijkste Bijdragen

1. Eerste Gemengde Besturingsframework: ExpGest is, voor zover bekend, het eerste raamwerk dat audio-naar-gestuurde gebaren en tekst-naar-beweging combineert in één systeem.
2. Decoupling en Semantische Alignering: Het model splitst gebarencomponenten op (vingers vs. armen) en wijst verschillende gewichten toe aan semantiek en melodie, wat resulteert in meer natuurlijke gebaren.
3. Geavanceerde Emotiecontrole: Door een ruis-classificator in het diffusion proces te integreren, wordt emotionele diversiteit bereikt zonder de kwaliteit van de beweging te verstoren.
4. Uitgebreide Evaluatie: Het paper presenteert een uitgebreide evaluatie die aantoont dat het model superieur is aan state-of-the-art methoden op het gebied van natuurlijkheid, rijkdom en controleerbaarheid.

Resultaten

ExpGest werd getest op de BEAT-dataset en vergeleken met geavanceerde methoden zoals DiffStyleGesture, Trimodal en CaMN.

• Kwantitatieve Resultaten:
  • FGD (Fréchet Gesture Distance): ExpGest behaalde een score van 11.7 (raw) en 76.6 (feature), wat aanzienlijk lager (beter) is dan concurrenten (bijv. DiffStyleGesture: 33.7/133.9). Dit duidt op hogere bewegingskwaliteit.
  • Emotie-Alignering (EA): Met een score van 0.91 (tegenover 0.60 bij DiffStyleGesture) toont het model een sterke correlatie met de werkelijke emoties in de audio.
  • Semantische Alignering (SA): De score van 0.61 toont een verbeterde consistentie tussen tekst en beweging.
• Gebruikersstudie: In een studie met 120 deelnemers scoorde ExpGest hoger op "menselijkheid", "passendheid van gebaren", "emotie-compatibiliteit" en "globale coherentie" dan bestaande methoden en ground truth in bepaalde contexten.
• Visuele Kwaliteit: De gegenereerde avatars tonen vloeiende emotionele overgangen en dynamische bewegingen (zoals lopen of zitten) die naadloos integreren met de spraak.

Betekenis en Toekomstperspectief

ExpGest markeert een belangrijke stap voorwaarts in het veld van virtuele agenten en mens-computerinteractie. Door de beperkingen van eerdere modellen (stijfheid, gebrek aan emotie en beperkte bewegingsbereik) te overwinnen, biedt het een robuuste basis voor het genereren van realistische, expressieve sprekers. De mogelijkheid om zowel audio als tekst te gebruiken voor controle opent de deur voor geavanceerde toepassingen in films, virtuele assistenten en interactieve systemen. De auteurs plannen toekomstig werk om nog meer diverse en continue natuurlijke data op te nemen via bestaande motion capture-methoden om de realisme nog verder te verbeteren.