Prompt-to-Gesture: Measuring the Capabilities of Image-to-Video Deictic Gesture Generation

1. El Problema

La investigación en reconocimiento de gestos enfrenta una escasez crítica de datos en comparación con el Procesamiento del Lenguaje Natural (NLP).

• Limitaciones actuales: La creación de corpus de gestos a gran escala requiere grabaciones humanas costosas, intensivas en tiempo y esfuerzo, que a menudo resultan en datos restringidos a condiciones de laboratorio, careciendo de variabilidad natural ("in-the-wild").
• Falta de infraestructura: La falta de conjuntos de datos estandarizados y abundantes ha ralentizado el progreso de los modelos computacionales para la comunicación no verbal.
• Brecha en la síntesis: Los métodos anteriores de síntesis de gestos se basaban en representaciones de poses (esqueletos) o modelos recurrentes (LSTM), que no generaban videos fotorrealistas ni capturaban la complejidad del entorno y la iluminación, limitando su utilidad para tareas de percepción y reconocimiento avanzadas.

2. Metodología

Los autores proponen un pipeline de generación de datos sintéticos basado en modelos fundacionales de imagen-a-video (Image-to-Video) para crear gestos deícticos (señalamiento).

• Modelo Base: Utilizan Vidu (versión Q3), un modelo de generación de video basado en transformadores (U-ViT) y bloques de denoising difusos. Se seleccionó por su capacidad de mantener la consistencia visual del participante y el entorno a través de la generación guiada por referencias, superando limitaciones de otros modelos como SORA o Veo en tareas de gestos específicos.
• Pipeline de Generación:
  1. Entrada: Se utilizan fotogramas de referencia (inicio y fin) extraídos de un conjunto de datos real (grabado con el robot humanoide NICOL y 8 participantes señalando objetos YCB).
  2. Prompting (Instrucciones): Se emplean prompts de texto estructurados en cuatro bloques para guiar al modelo en modo zero-shot:
     • Descripción del Participante: Ropa e identidad visual.
     • Descripción de la Pose: Configuración de la mano y el movimiento de señalamiento.
     • Descripción del Entorno: Introducción de ruido de fondo (personas, luces).
     • Configuración de la Cámara: Ángulo, tamaño de plano y movimiento (incluyendo variaciones de velocidad como cámara lenta/rápida).
  3. Salida: Generación de videos de 8 segundos. Se crearon 1632 videos sintéticos cubriendo diversas condiciones (escena estática, ruidosa, movimiento rápido/lento, cambios dinámicos y de color).

3. Contribuciones Clave

1. Pipeline de Generación Zero-Shot: Un marco accesible que permite sintetizar gestos realistas a partir de una pequeña muestra de datos humanos, utilizando modelos de IA generativa sin necesidad de reentrenamiento complejo.
2. Nuevo Conjunto de Datos y Evaluación: Presentación de un dataset sintético de gestos deícticos y un marco de evaluación riguroso que incluye métricas cuantitativas (FID, FVD, CLIP, derivadas de movimiento) y análisis de distribución de ángulos articulares.
3. Validación de Transferencia de Conocimiento: Demostración empírica de que los datos sintéticos pueden utilizarse para pre-entrenar y afinar modelos de aprendizaje profundo, mejorando el rendimiento en tareas de reconocimiento de gestos reales.
4. Accesibilidad Interdisciplinaria: La herramienta está diseñada para ser utilizada por investigadores de psicología, robótica y HCI, no solo por expertos en ML.

4. Resultados

El estudio evaluó la calidad, diversidad y utilidad de los gestos sintéticos mediante múltiples métricas:

• Fidelidad Visual y Temporal:
  • Hand Confidence: Los gestos sintéticos obtuvieron puntuaciones de confianza de detección de manos (MediaPipe) comparables o ligeramente superiores a los reales (0.77 vs 0.75), indicando que no introducen artefactos de detección.
  • FID y FVD: Las condiciones de "escena estática" y "movimiento lento" mostraron una alta similitud con los datos reales (FID < 30, FVD < 30). Las condiciones con movimiento rápido o ruido mostraron mayor divergencia temporal (FVD alto), revelando un desafío común en la coherencia temporal de los modelos de video.
  • CLIP Similarity: Alta similitud semántica (0.94 - 0.96) entre datos reales y sintéticos, confirmando que el contenido visual y conceptual se preserva.
• Análisis de Movimiento y Anatomía:
  • Las derivadas de movimiento (velocidad, aceleración, jerk) en los datos sintéticos reflejaron perfiles similares a los humanos, con variabilidad natural introducida por las condiciones de aumento.
  • La distribución de los ángulos articulares (KL Divergence y EMD) mostró que la estructura esencial del gesto de señalamiento (especialmente el dedo índice extendido y la articulación MCP) se preserva con alta precisión, aunque hay variabilidad natural en las articulaciones menos críticas.
• Rendimiento en Aprendizaje Automático:
  • Se probaron tres modelos (CNNLSTM, MM-ITF, VideoMAE).
  • El enfoque de entrenamiento híbrido (pre-entrenamiento con datos sintéticos + ajuste fino con datos reales) superó consistentemente a los modelos entrenados solo con datos reales (Baseline) y solo con datos sintéticos.
  • Ejemplo: VideoMAE mejoró su precisión del 85.0% (Baseline) al 95.0% con el enfoque híbrido, demostrando que los datos sintéticos enriquecen la capacidad de generalización del modelo.

5. Significado e Impacto

• Solución a la Escasez de Datos: Este trabajo valida que la IA generativa puede mitigar la escasez de datos en la investigación de gestos, ofreciendo una fuente de datos "in-the-wild" escalable y económica.
• Mejora de Modelos de Estado del Arte: La capacidad de los datos sintéticos para mejorar el rendimiento de modelos de reconocimiento (Transformers, CNNs) sugiere que son una herramienta viable para el pre-entrenamiento, reduciendo la dependencia de costosas grabaciones humanas.
• Nuevas Fronteras para la Interacción Humano-Robot (HRI): Al permitir la generación de gestos en diversos contextos culturales y escenarios sociales, este método facilita el desarrollo de interfaces más naturales y robustas para robots y agentes conversacionales.
• Limitaciones y Futuro: Aunque prometedora, la tecnología actual carece de control fino sobre parámetros de generación (como temperatura o escala de guía) y puede introducir sesgos (ej. movimientos tipo anime o efectos cinematográficos no deseados). El trabajo futuro se centrará en expandir esto a gestos co-verbales y escenarios de interacción multi-participante.

En resumen, el artículo demuestra que los modelos de video generativos, aunque en etapas tempranas, ofrecen un enfoque zero-shot potente para la síntesis de gestos, proporcionando datos de alta fidelidad que no solo imitan la realidad, sino que enriquecen los conjuntos de datos existentes para mejorar las aplicaciones de IA en la interacción social.