HolisticSemGes: Semantic Grounding of Holistic Co-Speech Gesture Generation with Contrastive Flow-Matching

Probleemstelling

Hoewel er aanzienlijke vooruitgang is geboekt in het genereren van co-spraak gebaren (co-speech gesture generation), blijft het produceren van holistische, semantisch verankerde gebaren een uitdaging. Bestaande methoden hebben twee fundamentele tekortkomingen:

1. Gebrek aan cross-modale consistentie: De meeste bestaande pipelines behandelen lichaamsdelen (handen, gezicht, romp) geïsoleerd van elkaar. Hierdoor kan de semantische coherentie tussen verschillende lichaamsdelen verloren gaan (bijv. een betekenisvolle handbeweging gepaard met een neutraal hoofdgedrag).
2. Gebrek aan semantische gronding: Dominante generatieve paradigma's (zoals Diffusion Models en standaard Flow Matching) optimaliseren op basis van afstandsmetingen (bijv. MSE) of likelihood. Dit leidt vaak tot gebaren die realistisch lijken en synchroon lopen met het ritme van de spraak, maar geen specifieke semantische betekenis dragen (zoals iconische of metaforische gebaren). Ze missen een mechanisme om expliciet te leren welke gebaren semantisch onjuist zijn voor een bepaalde uiting.

Methodologie: HolisticSemGes

De auteurs introduceren HolisticSemGes, een model dat hoge-fideliteit, holistische gebaren genereert die semantisch zijn verankerd in de gesproken inhoud. De architectuur bestaat uit twee hoofdfasen en twee kerncomponenten:

1. Representatie Learning (Fase 1)

• Er wordt gebruik gemaakt van hiërarchische Residual Vector Quantized VAEs (RVQ-VAE) voor elk lichaamsdeel (handen, bovenlichaam, onderlichaam, gezicht).
• Dit comprimeert continue SMPL-X bewegingsdata naar compacte, discrete token-sequenties, wat de basis vormt voor de latente ruimte.

2. Semantisch Bewuste Generatie (Fase 2)

De tweede fase bestaat uit twee synergetische modules:

• Semantics-Aware Composite Module (SACM):

  • In plaats van spraak en gebaren per lichaamsdeel te aligneren, worden alle lichaamsdelen samengevoegd tot één holistische bewegingsrepresentatie.
  • Deze representatie wordt in een gedeelde semantische latente ruimte gebracht met tekst (via BERT) en audio (via HuBERT).
  • Er worden twee doelen gebruikt voor alignement:
    1. Cosine-alignement: Om de sequentie-niveau overeenkomst te maximaliseren.
    2. CLIP-stijl contrastief doel: Om de embedding van de beweging dichter bij de juiste tekst/audio te brengen en verder weg van mismatchende samples.

• Contrastive Flow Matching (CFM):

  • Dit is de kerninnovatie. In tegenstelling tot standaard Flow Matching, die alleen leert hoe men van ruis naar de juiste beweging gaat, introduceert CFM negatieve voorbeelden.
  • Tijdens training worden mismatchende audio-tekstparen gebruikt als "incongruente" condities.
  • Het model leert een snelheidsveld (velocity field) dat:
    1. De juiste bewegingstrajecten volgt (geconfronteerd met de juiste context).
    2. Actief afwijkt van trajecten die geassocieerd zijn met semantisch onjuiste contexten.
  • Dit zorgt voor een stabielere generatiepad en voorkomt dat het model "gemiddelde" of ritmische gebaren produceert in plaats van betekenisvolle gebaren.

Belangrijkste Bijdragen

1. Semantics-Aware Composite Module (SACM): Een module die een gedeelde latente ruimte leert voor audio, tekst en beweging, waardoor cross-modale consistentie over het hele lichaam wordt gewaarborgd.
2. Contrastive Flow Matching Framework: Een generatief kader dat niet alleen de juiste beweging leert, maar ook expliciet leert wat fout is door gebruik te maken van mismatchende condities. Dit verbetert de semantische gronding en de diversiteit van de gebaren.
3. State-of-the-Art Prestaties: Het model presteert beter dan bestaande methoden op twee grote datasets (BEAT2 en SHOW) zonder externe zoekstappen of losse pipelines voor ritme en semantiek.

Resultaten

De methode is geëvalueerd op de BEAT2 (25 sprekers) en SHOW (4 sprekers) datasets, zowel objectief als subjectief.

• Objectieve Metrieken:

  • Fréchet Gesture Distance (FGD): HolisticSemGes behaalde de laagste scores (beste prestatie), wat aangeeft dat de gegenereerde bewegingen dichter bij de echte verdeling liggen (hogere realisme).
  • Beat Consistency (BC): De hoogste scores, wat aantoont dat de synchronisatie tussen spraak en beweging (ritmisch en temporeel) superieur is.
  • Diversiteit: Het model genereert de meest diverse bewegingspatronen zonder in te leveren op realisme.
  • Ablatie-studies: Het verwijderen van SACM of het vervangen van Contrastive Flow Matching door standaard Flow Matching leidde tot een duidelijke achteruitgang in alle metrieken, wat de noodzaak van beide componenten bevestigt.

• Subjectieve Evaluatie (User Study):

  • Een studie met 30 native Engels-sprekers toonde aan dat het model significant beter scoorde op naturaliteit en alignement met spraakinhoud in vergelijking met state-of-the-art baselines (zoals SemTalk en EMAGE).
  • De gegenereerde gebaren waren beter in staat om specifieke communicatieve functies weer te geven (zoals deictische wijzen, iconische gebaren voor uitleg, en ritmische gebaren voor discours-markers).

Betekenis en Impact

HolisticSemGes zet een nieuwe standaard voor co-speech gebargeneratie door het probleem van semantische gronding aan te pakken zonder afhankelijk te zijn van externe retrieval-systemen. Door het gebruik van contrastief leren binnen Flow Matching, slaagt het model erin om niet alleen ritmische, maar ook semantisch betekenisvolle en holistische gebaren te genereren. Dit is een cruciale stap voor het creëren van realistische virtuele agenten en mens-machine interacties waarbij de lichaamstaal de boodschap van de spreker authentiek ondersteunt.