Mitigating Error Accumulation in Co-Speech Motion Generation via Global Rotation Diffusion and Multi-Level Constraints

Imagine um personagem virtual falando com você. Para que a conversa pareça real, o personagem não pode apenas mover a boca; o corpo inteiro deve participar. Os ombros se deslocam, as mãos gesticulam e a postura muda para acompanhar o ritmo e a emoção da voz. Este é o objetivo da geração de movimento co-discurso: ensinar os computadores a criar movimentos de corpo inteiro que se sincronizem naturalmente com as palavras faladas. Por anos, pesquisadores tentaram resolver isso construindo esqueletos digitais, onde o movimento de uma mão é calculado somando as rotações do ombro, do cotovelo e do pulso em uma cadeia. Embora essa abordagem imite como os ossos estão conectados, ela carrega uma falha oculta. Assim como um pequeno erro em uma longa fila de pessoas passando uma mensagem pode resultar em uma mensagem final completamente errada, pequenos erros ao calcular a rotação de um ombro podem crescer cada vez mais à medida que viajam pelo braço. Quando o computador finalmente calcula a posição das pontas dos dedos, o erro pode ser tão grande que a mão parece torcida, quebrada ou flutuando de formas impossíveis.

Uma equipe de pesquisadores do Alibaba Group e da Universidade Tecnológica de Nanyang propôs uma nova maneira de resolver este problema, afastando-se totalmente do método de reação em cadeia. Em vez de calcular como cada articulação gira em relação à anterior, seu novo sistema, chamado GlobalDiff, decide a direção final de cada articulação no ambiente ao mesmo tempo. Pense nisso como dizer a cada articulação exatamente para onde apontar no mundo, em vez de dizer ao cotovelo para onde apontar em relação ao ombro. Essa abordagem impede que os pequenos erros se acumulem, garantindo que as mãos e os pés permaneçam estáveis e precisos mesmo durante conversas longas e expressivas. No entanto, dar a cada articulação total liberdade cria um novo risco: o personagem pode torcer seus membros em formas que nenhum corpo humano conseguiria alcançar fisamente. Para corrigir isso, os pesquisadores adicionaram um conjunto de regras invisíveis que atuam como um guia, verificando se os ossos mantêm o comprimento correto, se os ângulos entre os membros fazem sentido e se o movimento flui suavemente ao longo do tempo.

Os pesquisadores testaram este novo sistema em uma grande coleção de conversas gravadas envolvendo mais de 1.700 sequências de diálogo. Eles descobriram que, ao prever diretamente a direção global das articulações, o computador podia gerar movimentos muito mais estáveis do que os métodos anteriores. Em seus testes, o novo sistema reduziu os erros no movimento final em 46% em comparação com as melhores ferramentas existentes. Quando observaram de perto os resultados, a diferença era clara. Nos sistemas antigos, os dedos frequentemente pareciam estar virando do avesso ou as mãos se afastavam do corpo. Com o novo método, as mãos permaneceram em posições naturais e os gestos combinaram com a voz do falante com uma precisência que parecia humana. O sistema também aprendeu a lidar com diferentes falantes, mantendo essa alta qualidade, quer a voz pertencesse a um homem ou a uma mulher, a um falante nativo ou a alguém com um sotaque diferente.

Para garantir que os movimentos não fossem apenas estáveis, mas também fisicamente possíveis, a equipe introduziu três camadas de verificações. Primeiro, eles colocaram marcadores virtuais ao redor de cada articulação para garantir que a rotação fosse precisa, evitando que os membros se torcessem de maneiras não naturais. Segundo, eles mediram os ângulos entre todos os ossos do corpo para garantir que o esqueleto permanecesse intacto, evitando que o personagem dobrasse a coluna ou os membros em direções impossíveis. Terceiro, eles analisaram o tempo do movimento para garantir que os gestos fluíssem com o ritmo da fala, evitando movimentos bruscos ou erráticos. Quando removeram essas verificações uma a uma, a qualidade do movimento caiu significamente, provando que todas as três camadas eram necessárias para criar um resultado convincente.

O estudo demonstra que é possível gerar linguagem corporal realista e de longa duração para personagens virtuais sem o acúmulo de erros que tem assolado a área há tanto tempo. Ao tratar o corpo inteiro como uma coleção de partes independentes que são guiadas por regras físicas estritas, os pesquisadores criaram um sistema que produz um movimento suave, anatomicamente correto e expressivo. Este trabalho sugere que o futuro dos avatares virtuais pode não depender de cadeias complexas de cálculos que são propensas a falhas, mas sim de uma compreensão global direta de como cada parte do corpo deve se mover no espaço. O resultado é uma presença digital que pode falar e se mover com uma naturalidade que nos aproxima da interação contínua entre humanos e máquinas.