Bilingual Text-to-Motion Generation: A New Benchmark and Baselines

Titolo: Generazione Bilingue da Testo a Movimento: Un Nuovo Benchmark e Baseline

1. Il Problema

La generazione di movimento umano 3D partendo da descrizioni testuali (Text-to-Motion) ha fatto grandi passi avanti, ma rimane fortemente limitata all'inglese. Questo crea due ostacoli principali:

• Mancanza di Dataset: Non esistono dataset pubblici di alta qualità bilingue (o multilingue) per la generazione di movimento. I modelli esistenti sono addestrati quasi esclusivamente su dati inglesi, rendendoli inaccessibili agli utenti non anglofoni e incapaci di catturare azioni culturalmente specifiche.
• Inadeguatezza delle Soluzioni Esistenti:
  • L'approccio "traduci-e-genera" (tradurre il testo in inglese e poi generare il movimento) fallisce spesso perché le traduzioni automatiche perdono sfumature semantiche legate al movimento (es. direzione, parti del corpo specifiche) e non gestiscono lo code-switching (mescolanza di lingue nella stessa frase).
  • Gli encoder multilingue generici (pre-addestrati su corpora sbilanciati) non sono ottimizzati per la semantica specifica del movimento, portando a performance sbilanciate tra le lingue e a una scarsa coerenza semantica.

2. Metodologia

Gli autori propongono un approccio completo che include la creazione di un nuovo dataset e un nuovo modello di generazione.

A. Dataset: BiHumanML3D
È il primo benchmark bilingue (Inglese-Cinese) per la generazione da testo a movimento.

• Costruzione: Estende il dataset HumanML3D esistente.
• Pipeline di Annotazione: Utilizza un processo assistito da LLM (Large Language Models) in tre fasi:
  1. Traduzione Iniziale: Un LLM traduce le descrizioni inglesi in cinese.
  2. Raffinamento: Un secondo LLM corregge errori di traduzione, bias di genere e frasi innaturali.
  3. Verifica Umana: Annotatori umani verificano e correggono manualmente le voci, assistiti da LLM, garantendo accuratezza linguistica e contestuale.
• Risultato: Un dataset di 13.312 movimenti con annotazioni bilingue di alta qualità.

B. Modello: Bilingual Motion Diffusion (BiMD)
Un modello di diffusione unificato progettato per gestire input bilingue.

• Cross-Lingual Alignment (CLA): Il cuore dell'architettura. Invece di usare encoder multilingue "fuori dal box", gli autori addestrano un modello studente (XLM) a mappare le rappresentazioni semantiche del cinese nello stesso spazio latente di un modello insegnante robusto (OpenCLIP, focalizzato sull'inglese).
  • Viene utilizzata una funzione di perdita basata sulla divergenza KL simmetrica per allineare le embedding di testo delle due lingue, garantendo che descrizioni semanticamente equivalenti in lingue diverse producano embedding simili.
• Addestramento Diffusione Bilingue: Il modello di diffusione (basato su MLD) viene addestrato su un mix casuale di descrizioni in inglese e cinese. Questo permette al modello di apprendere pattern di movimento condivisi mantenendo la sensibilità alle sfumature linguistiche.
• Zero-Shot e Code-Switching: Grazie all'allineamento CLA, il modello può generare movimenti da prompt in una lingua mai vista durante l'addestramento (zero-shot) o da frasi che mescolano inglese e cinese.

3. Contributi Chiave

1. BiHumanML3D: Il primo dataset e benchmark bilingue per la generazione da testo a movimento, creato tramite una pipeline rigorosa LLM+Umana.
2. BiMD con CLA: Un nuovo modello di baseline che introduce l'allineamento esplicito delle rappresentazioni semantiche tra lingue, risolvendo il problema dello sbilanciamento delle performance.
3. Validazione dell'Approccio: Dimostrazione che l'addestramento bilingue unificato è superiore alla semplice traduzione del testo o all'uso di encoder generici, specialmente in scenari complessi come lo code-switching.

4. Risultati Sperimentali

Le sperimentazioni sono state condotte su BiHumanML3D e HumanML3D, confrontando il modello proposto con baseline monolingue e approcci di traduzione.

• Performance Quantitativa:
  • FID (Fréchet Inception Distance): BiMD con CLA raggiunge 0.045 (vs 0.169 senza CLA e valori molto più alti per le baseline di traduzione), indicando una qualità del movimento generato molto più vicina alla realtà.
  • R@3 (R-Precision): Raggiunge l'82.8% (vs 80.8% per le baseline), dimostrando una migliore allineamento semantico tra testo e movimento.
  • Bilanciamento Linguistico: L'uso di CLA riduce drasticamente il divario di performance tra inglese e cinese (da un gap del 4.4% a solo 0.8%).
• Zero-Shot Transfer: Il modello addestrato solo su cinese riesce a generare movimenti corretti da prompt inglesi (e viceversa) con una precisione significativa, cosa impossibile per i modelli monolingue.
• Code-Switching: Il modello gestisce correttamente input misti (es. "He walks in a 逆时针 circle"), mentre i metodi esistenti falliscono nel interpretare la semantica mista.
• Studio Utente: Il 68.1% dei partecipanti ha preferito le coppie movimento-testo generate con CLA rispetto a quelle senza, confermando una maggiore coerenza semantica.

5. Significato e Impatto

Questo lavoro rappresenta un passo fondamentale verso la democratizzazione della generazione di movimento 3D:

• Accessibilità Globale: Rende la tecnologia accessibile a utenti di diverse lingue, superando il dominio esclusivo dell'inglese.
• Fideltà Culturale: Permette di generare azioni culturalmente specifiche che le traduzioni letterali non riescono a catturare (es. pose di arti marziali o gesti formali).
• Nuova Direttiva di Ricerca: Stabilisce un nuovo standard per la ricerca sulla generazione multilingue, dimostrando che l'allineamento semantico esplicito è cruciale per compiti di sintesi complessi come il movimento umano, andando oltre le semplici capacità di traduzione dei modelli linguistici.

In sintesi, il paper dimostra che un approccio dedicato all'addestramento bilingue, supportato da un dataset curato e da tecniche di allineamento semantico, è essenziale per ottenere una generazione di movimento robusta, culturalmente fedele e linguisticamente flessibile.