💬 NLP

Bilingual Text-to-Motion Generation: A New Benchmark and Baselines

Deze paper introduceert BiHumanML3D, het eerste tweetalige benchmark voor tekst-naar-beweging, en stelt BiMD voor, een effectief model dat via kruislinguale uitlijning hoogwaardige bewegingen genereert uit tweetalige of code-switching input.

Oorspronkelijke auteurs: Wanjiang Weng, Xiaofeng Tan, Xiangbo Shu, Guo-Sen Xie, Pan Zhou, Hongsong Wang

Gepubliceerd 2026-03-27

📖 4 min leestijd☕ Koffiepauze-leesvoer

CC BY 4.0

Oorspronkelijke auteurs: Wanjiang Weng, Xiaofeng Tan, Xiangbo Shu, Guo-Sen Xie, Pan Zhou, Hongsong Wang

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je voor dat je een regisseur bent voor een digitale film. Je wilt dat een virtuele acteur precies doet wat je zegt. Tot nu toe kon je alleen in het Engels fluisteren: "Loop naar links" of "Doe een salto". Als je in het Chinees, Nederlands of een mix van beide probeerde te praten, begreep de computer je niet goed. De acteur deed dan misschien een salto in plaats van te lopen, of hij liep de verkeerde kant op.

Dit artikel introduceert een nieuwe manier om dit op te lossen. Het is alsof we een tweetalige vertaler hebben gebouwd die niet alleen woorden vertaalt, maar ook het gevoel en de beweging van die woorden begrijpt.

Hier is de uitleg in drie simpele stappen:

1. Het Probleem: De Taalbarrière in de Danszaal

Vroeger konden computers alleen dansen op muziek die in het Engels was geschreven. Als je een Chinese tekst gaf, probeerde de computer die eerst naar het Engels te vertalen en dan te dansen.

Het probleem: Vertalingen zijn vaak stijf. Als je in het Chinees zegt "Maak een Tanglangquan" (een specifieke martial arts-stijl), en de computer vertaalt dit letterlijk naar "vuist van de sprinkhaan", begrijpt de computer niet dat dit een specifieke beweging is. Het resultaat is een rare, onnatuurlijke dans.
De code-switching: Mensen die twee talen spreken, wisselen vaak van taal in één zin (bijv. "Loop in een niShiZhen cirkel"). Bestaande computers raakten hierdoor in paniek en wisten niet meer wat ze moesten doen.

2. De Oplossing: Een Nieuwe Dansschool (BiHumanML3D)

De auteurs hebben een nieuwe "dansschool" gebouwd, genaamd BiHumanML3D.

Hoe hebben ze het gedaan? Ze hebben niet zomaar Google Translate gebruikt. Ze hebben slimme AI (grote taalmodellen) ingezet om duizenden bewegingen te beschrijven in zowel Engels als Chinees, en daarna hebben echte mensen die beschrijvingen nagelopen.
De analogie: Stel je voor dat je een dansleraar hebt die eerst een beweging ziet, dan een Engelse beschrijving schrijft, en daarna een Chinese beschrijving schrijft. Maar omdat AI soms rare woorden kiest, komt een menselijke leraar kijken om te zeggen: "Nee, dit is niet 'springen', dit is 'een sprong maken'." Zo hebben ze een perfecte verzameling van bewegingen en hun beschrijvingen in twee talen gemaakt.

3. De Magische Bril: Cross-Lingual Alignment (CLA)

Dit is het slimste stukje van de uitvinding. Ze hebben een nieuwe manier bedacht om de computer te leren dat "lopen" in het Engels en "lopen" in het Chinees precies hetzelfde gevoel moeten hebben.

De analogie: Stel je voor dat Engels en Chinees twee verschillende landen zijn met verschillende wegen. De computer was gewend om in het ene land te rijden. Nu hebben ze een magische brug (CLA) gebouwd die de wegen direct met elkaar verbindt.
Hoe werkt het? De computer leert niet twee aparte hersenen (één voor Engels, één voor Chinees). Hij leert één brein dat de betekenis van een beweging herkent, ongeacht of de woorden in het Engels of Chinees zijn.
- Als je zegt "Doe een salto" (Chinees), ziet de computer dezelfde "dans-idee" als bij "Do a jump" (Engels).
- Als je zegt "Loop in een niShiZhen cirkel" (een mix van Engels en Chinees), begrijpt de computer dat het over een cirkelbeweging gaat, omdat de brug de twee talen direct aan elkaar koppelt.

Waarom is dit geweldig?

Geen vertaal-fouten meer: De computer hoeft niet eerst te vertalen. Hij begrijpt direct wat je bedoelt, zelfs als je twee talen door elkaar gebruikt.
Beter dan ooit: De tests laten zien dat deze nieuwe methode (BiMD) veel mooiere en nauwkeurigere bewegingen maakt dan oude methoden. Het is alsof de acteur plotseling veel meer talent heeft gekregen.
Toekomstgericht: Dit opent de deur voor een wereld waar iedereen, ongeacht zijn of haar taal, een virtuele acteur kan aansturen. Of je nu in het Nederlands, Chinees of een mix van talen praat, de computer luistert en doet wat je zegt.

Kortom: De auteurs hebben een nieuwe taal voor bewegingen gecreëerd die voor iedereen begrijpelijk is, zodat computers niet langer vastlopen in taalbarrières, maar gewoon kunnen dansen op wat jij zegt.

Probleemstelling

De huidige staat van de techniek voor het genereren van beweging uit tekst (Text-to-Motion) is grotendeels beperkt tot het Engels. Dit creëert drie fundamentele problemen:

Gebrek aan meertalige datasets: Er zijn geen hoogwaardige, openbare datasets die beweging annoteren in talen anders dan Engels. Bestaande methoden kunnen daarom geen cultureel specifieke bewegingen of niet-Engelse instructies verwerken.
Onvoldoende prestaties van vertaal-pipelines: Een eenvoudige aanpak waarbij tekst eerst wordt vertaald en vervolgens wordt gebruikt voor bewegingsgeneratie, faalt vaak. Dit komt door subtiele semantische verschillen, het verlies van lichaamsgebonden nuances (bijv. "stappen over" vs. "voorbij lopen") en het onvermogen om "code-switching" (het wisselen tussen talen binnen één zin) te verwerken.
Slechte prestaties van algemene meertalige modellen: Bestaande meertalige tekst-encoders (zoals T5 of mBERT) zijn getraind op corpora met een onbalans in talen en missen specifieke bewegingssemantiek. Dit leidt tot een grote prestatieverschil tussen talen en inconsistentie bij het genereren van beweging op basis van semantisch equivalente input in verschillende talen.

Methodologie

De auteurs introduceren een nieuwe aanpak die bestaat uit een nieuw dataset-benchmark en een specifiek modelarchitectuur.

1. BiHumanML3D: De Eerste Tweetalige Benchmark

Om het gebrek aan data op te lossen, hebben de auteurs BiHumanML3D ontwikkeld, een tweetalige (Engels-Chinees) extensie van het populaire HumanML3D-dataset.

Datacollectie: Gebaseerd op HumanML3D, waarbij ongeschikte bewegingen (te kort of te lang) zijn verwijderd.
LLM-ondersteunde annotatiepijplijn: In plaats van directe machinevertaling, gebruiken ze een multi-staps proces:
1. Initiële vertaling: Een Large Language Model (LLM) vertaalt Engelse beschrijvingen naar het Chinees.
2. Verfijning: Een tweede LLM corrigeert vertaalfouten, genderbias en onnatuurlijke formuleringen.
3. Menselijke verificatie: Menselijke annotatoren controleren de kwaliteit, met name voor complexe zinnen met veel werkwoorden, en corrigeren fouten met behulp van LLM-ondersteuning.
Resultaat: Een dataset met 13.312 bewegingen met hoogwaardige tweetalige annotaties.

2. Bilingual Motion Diffusion (BiMD)

Het voorgestelde model is een unificatie van bewegingsgeneratie voor twee talen, gebaseerd op Latent Diffusion Models (vergelijkbaar met MLD).

Cross-Lingual Alignment (CLA): Dit is de kerninnovatie. In plaats van twee aparte modellen te trainen, aligneren de auteurs de semantische representaties van Engels en Chinees in een gedeelde latente ruimte.
- Ze gebruiken een Teacher-Student architectuur. De "Teacher" is een gefixeerde, krachtige Engelstalige model (OpenCLIP) dat zorgt voor een goed gestructureerde ruimte. De "Student" is een meertalig model (XLM-Base) dat wordt fijngefineerd om Chinese embeddings naar dezelfde ruimte te projecteren.
- Dit wordt bereikt via een KL-divergentie verliesfunctie ( $L_{CLA}$ ), waardoor het model leert dat een Engelse en een Chinese beschrijving van dezelfde beweging dezelfde vectorrepresentatie moeten hebben.
Tweetalige Diffusietraining: Het diffusiemodel wordt getraind op bewegingslatenten, waarbij de conditionele input willekeurig een Engelse of Chinese tekst is. Door de CLA-embeddings te gebruiken, leert het model bewegingspatronen die taal-onafhankelijk zijn, maar wel gevoelig voor taalspecifieke nuances.
Zero-shot en Code-switching: Omdat de semantische ruimte is gealigneerd, kan het model bewegingen genereren op basis van een taal die het niet tijdens de training heeft gezien (zero-shot) of op basis van gemengde zinnen (code-switching).

Belangrijkste Bijdragen

BiHumanML3D Dataset: De eerste tweetalige benchmark voor text-to-motion, gecreëerd via een robuust LLM-gestuurd en menselijk verifieerbaar annotatieproces.
BiMD Model met CLA: Een nieuw baseline-model dat Cross-Lingual Alignment introduceert om semantische gaps tussen talen te overbruggen, wat leidt tot een gebalanceerde prestatie in beide talen.
Validatie van de aanpak: Bewijs dat directe vertalingen ontoereikend zijn en dat dedicated tweetalige training essentieel is voor hoge kwaliteit en culturele getrouwheid.

Resultaten

De experimenten tonen aan dat BiMD met CLA aanzienlijk beter presteert dan bestaande methoden:

Prestatie op HumanML3D (Engels): BiMD met CLA bereikt een FID van 0.045 (vergeleken met 0.169 zonder CLA) en een R@3 van 82.8% (vergeleken met 80.8%). Dit is een state-of-the-art resultaat, zelfs voor enkelvoudige Engelse input.
Prestatie op BiHumanML3D (Tweetalig): Het model presteert consistent hoog voor zowel Engels als Chinees input. Zonder CLA is er een groot prestatieverschil tussen de talen; met CLA wordt dit verschil geminimaliseerd (bijv. R@3 gap daalt van 4.4% naar 0.8%).
Zero-shot Generalisatie: Het model kan, na training alleen op Chinees, accurate bewegingen genereren op basis van Engelse prompts (en vice versa), wat niet mogelijk is voor modellen zonder CLA.
Code-switching: Het model slaagt erin om correcte bewegingen te genereren voor zinnen waarin Engels en Chinees worden gemengd (bijv. "He walks in a 逆时针 circle"), terwijl bestaande methoden hierin falen.
User Study: Menselijke beoordelaars gaven de voorkeur aan de bewegingen gegenereerd door BiMD met CLA (68.1%) boven die zonder CLA (24.8%) vanwege de betere semantische consistentie tussen tweetalige prompts.

Betekenis en Impact

Dit paper is een mijlpaal in het veld van generatieve AI voor beweging. Het demonstreert dat:

Tweetalige (en meertalige) text-to-motion generatie mogelijk is zonder te vervallen in slechte vertaal-pipelines.
Semantische alignatie tussen talen cruciaal is voor het creëren van robuuste, cultureel getrouwe bewegingsmodellen.
De dataset en het model de weg vrijmaken voor bredere toepassingen in gaming, filmmaken en robotica voor niet-Engelstalige markten, en voor het modelleren van cultureel specifieke bewegingen die in het Engels geen equivalent hebben.

De broncode en dataset zijn openbaar beschikbaar gesteld, wat de gemeenschap in staat stelt om verder onderzoek te doen naar meertalige bewegingsgeneratie.