Mitigating Error Accumulation in Co-Speech Motion Generation via Global Rotation Diffusion and Multi-Level Constraints

Imagina a un personaje virtual hablándote. Para que la conversación se sienta real, el cuerpo entero debe participar, no basta con que mueva la boca. Los hombros se desplazan, las manos gesticulan y la postura cambia para coincjar con el ritmo y la emoción de la voz. Este es el objetivo de la generación de movimiento co-discursivo: enseñar a las computadoras a crear movimientos de cuerpo completo que se sincronicen naturalmente con las palabras habladas. Durante años, los investigadores han intentado resolver esto construyendo esqueletos digitales, donde el movimiento de una mano se calcula sumando las rotaciones del hombro, el codo y la muñeca en una cadena. Si bien este enfoque imita cómo están conectados los huesos, conlleva un fallo oculto. Al igual que un pequeño error en una larga fila de personas pasándose un mensaje puede resultar en un mensaje final completamente erróneo, los diminutos errores al calcular la rotación de un hombro pueden crecer cada vez más a medida que viajan por el brazo. Para cuando la computadora calcula la posición de las yemas de los dedos, el error puede ser tan grande que la mano parece retorcida, rota o flotando de formas imposibles.

Un equipo de investigadores de Alibaba Group y la Universidad Tecnológica de Nanyang ha propuesto una nueva forma de resolver este problema, alejándose por completo del método de reacción en cadena. En lugar de calcular cómo gira cada articulación en relación con la anterior, su nuevo sistema, llamado GlobalDiff, decide la dirección final de cada una de las articulaciones en la habitación al mismo tiempo. Piensa en ello como decirle a cada articulación exactamente hacia dónde apuntar en el mundo, en lugar de decirle al codo hacia dónde apuntar con respecto al hombro. Este enfoque evita que los pequeños errores se acumulen, asegurando que las manos y los pies se mantengan estables y precisos incluso durante conversaciones largas y expresivas. Sin embargo, dar a cada articulación total libertad crea un nuevo riesgo: el personaje podría retorcer sus extremidades en formas que ningún cuerpo humano podría lograr físicamente. Para solucionar esto, los investigadores añadieron un conjunto de reglas invisibles que actúan como una guía, verificando que los huesos mantengan la longitud correcta, que los ángulos entre las extremidades tengan sentido y que el movimiento fluya suavemente a lo largo del tiempo.

Los investigadores probaron este nuevo sistema en una gran colección de conversaciones grabadas que involucran más de 1,700 secuencias de diálogo. Encontraron que, al predecir directamente la dirección global de las articulaciones, la computadora podía generar movimientos mucho más estables que los métodos anteriores. En sus pruebas, el nuevo sistema redujo los errores en el movimiento final en un 46 por ciento en comparación con las mejores herramientas existentes. Cuando examinaron de cerca los resultados, la diferencia era clara. En los sistemas antiguos, los dedos a menudo parecían estarse volteando hacia adentro o las manos se alejaban del cuerpo. Con el nuevo método, las manos permanecían en posiciones naturales y los gestos coincidían con la voz del hablante con una precisión que se sentía humana. El sistema también aprendió a manejar diferentes hablantes, manteniendo esta alta calidad ya fuera que la voz perteneciera a un hombre o a una mujer, a un hablante nativo o a alguien con un acento diferente.

Para asegurar que los movimientos no solo fueran estables sino también físicamente posibles, el equipo introdujo tres capas de controles. Primero, colocaron marcadores virtuales alrededor de cada articulación para asegurar que la rotación fuera precisa, evitando que las extremidades se retorcieran de maneras antinaturales. Segundo, midieron los ángulos entre todos los huesos del cuerpo para asegurar que el esqueleto permaneciera intacto, evitando que el personaje doblara su columna o sus extremidades en direcciones imposibles. Tercero, analizaron el tiempo del movimiento para asegurar que los gestos fluyeran con el ritmo del habla, evitando movimientos bruscos o erráticos. Cuando eliminaron estos controles uno por uno, la calidad del movimiento disminuyó significamente, demostrando que las tres capas eran necesarias para crear un resultado convincente.

El estudio demuestra que es posible generar lenguaje corporal realista de larga duración para personajes virtuales sin la acumulación de errores que ha plagado al campo durante tanto tiempo. Al tratar todo el cuerpo como una colección de partes independientes guiadas por estrictas reglas físicas, los investigadores han creado un sistema que produce un movimiento fluido, anatómicamente correcto y expresivo. Este trabajo sugiere que el futuro de los avatares virtuales puede no depender de complejas cadenas de cálculos que son propensas al fallo, sino de una comprensión global directa de cómo cada parte del cuerpo debe moverse en el espacio. El resultado es una presencia digital que puede hablar y moverse con una naturalidad que nos acerca a la interacción fluida entre humanos y máquinas.