Mitigating Error Accumulation in Co-Speech Motion Generation via Global Rotation Diffusion and Multi-Level Constraints

Immaginate un personaggio virtuale che vi parla. Affinché la conversazione sembri reale, il personaggio non può limitarsi a muovere la bocca; l'intero corpo deve partecipare. Le spalle si spostano, le mani gesticolano e la postura cambia per adattarsi al ritmo e all'emozione della voce. Questo è l'obiettivo della generazione del movimento co-discorsivo: insegnare ai computer a creare movimenti di tutto il corpo che si sincronizzino naturalmente con le parole pronunciate. Per anni, i ricercatori hanno cercato di risolvere questo problema costruendo schelettri digitali, dove il movimento di una mano viene calcolato sommando le rotazioni della spalla, del gomito e del polso in una catena. Sebbene questo approccio imiti il modo in cui le ossa sono connesse, esso nasconde un difetto. Proprio come un piccolo errore in una lunga fila di persone che si tramandano un messaggio può dare origine a un messaggio finale completamente sbagliato, piccoli errori nel calcolo della rotazione di una spalla possono crescere sempre di più mentre scendono lungo il braccio. Al momento in cui il computer calcola la posizione delle dita, l'errore può essere così grande che la mano appare contorta, spezzata o fluttuante in modi impossibili.

Un team di ricercatori di Alibaba Group e della Nanyang Technological University ha proposto un nuovo modo per risolvere questo problema, allontanandosi completamente dal metodo della reazione a catena. Invece di calcolare come ogni articolazione ruota rispetto a quella precedente, il loro nuovo sistema, chiamato GlobalDiff, decide la direzione finale di ogni singola articolazione nella stanza contemporaneamente. Pensate a questo come al fatto di dire a ogni articolazione esattamente dove puntare nel mondo, piuttosto che dire al gomito dove puntare rispetto alla spalla. Questo approccio impedisce ai piccoli errori di accumularsi, garantendo che le mani e i piedi rimangano stabili e accurati anche durante lunghe ed espressive conversazioni. Tuttavia, dare a ogni articolazione totale libertà crea un nuovo rischio: il personaggio potrebbe torcere le proprie membra in forme che nessun corpo umano potrebbe fisicamente raggiungere. Per correggere questo, i ricercatori hanno aggiunto un insieme di regole invisibili che agiscono come una guida, controllando che le ossa mantengano la lunghezza corretta, che gli angoli tra le membra abbiano senso e che il movimento fluisca armoniosamente nel tempo.

I ricercatori hanno testato questo nuovo sistema su una vasta collezione di conversazioni registrate che comprendevano oltre 1.700 sequenze di dialogo. Hanno scoperto che, prevedendo direttamente la direzione globale delle articolazioni, il computer poteva generare movimenti molto più stabili rispetto ai metodi precedenti. Nei loro test, il nuovo sistema ha ridotto gli errori nel movimento finale del 46 percento rispetto ai migliori strumenti esistenti. Quando hanno esaminato da vicino i risultati, la differenza era evidente. Nei sistemi più vecchi, le dita sembravano spesso ribaltarsi verso l'interno o le mani si allontanavano dal corpo. Con il nuovo metodo, le mani rimanevano in posizioni naturali e i gesti corrispondevano alla voce del parlante con una precisione che risultava umana. Il sistema ha inoltre imparato a gestire diversi interlocutori, mantenendo questa alta qualità sia che la voce appartenesse a un uomo che a una donna, sia che fosse di un madrelingua o di qualcuno con un accento diverso.

Per garantire che i movimenti non fossero solo stabili ma anche fisicamente possibili, il team ha introdotto tre livelli di controllo. In primo luogo, hanno posizionato marcatori virtuali attorno a ogni articolazione per garantire che la rotazione fosse precisa, evitando che le membra si torcessero in modi innaturali. In secondo luogo, hanno misurato gli angoli tra tutte le ossa del corpo per garantire che lo scheletro rimanesse intatto, impedendo al personaggio di piegare la colonna vertebrale o le membra in direzioni impossibili. Terzo, hanno analizzato la tempistica del movimento per garantire che i gesti fluissero con il ritmo del parlato, evitando movimenti scattosi o erratici. Quando hanno rimosso questi controlli uno alla volta, la qualità del movimento è diminuita significativamente, dimostrando che tutti e tre i livelli erano necessari per creare un risultato convincente.

Lo studio dimostra che è possibile generare un linguaggio del corpo realistico e di lunga durata per i personaggi virtuali senza l'accumulo di errori che ha tormentato il campo per così tanto tempo. Trattando l'intero corpo come una collezione di parti indipendenti guidate da rigide regole fisiche, i ricercatori hanno creato un sistema che produce un movimento fluido, anatomicamente corretto ed espressivo. Questo lavoro suggerisce che il futuro degli avatar virtuali potrebbe non dipendere da complesse catene di calcoli inclini al fallimento, quanto piuttosto da una comprensione globale e diretta di come ogni parte del corpo debba muoversi nello spazio. Il risultato è una presenza digitale che può parlare e muoversi con una naturalezza che ci avvicina all'interazione fluida tra esseri umani e macchine.