Resumen Técnico: CoMPAS3D

Planteamiento del Problema

El desarrollo de robots humanoides socialmente interactivos requiere sistemas capaces de interactuar con humanos mediante el movimiento físico, adaptándose en tiempo real a la intención, capacidad y señales de un compañero. Si bien la investigación en la generación de movimiento interactivo ha avanzado, los marcos de evaluación actuales son insuficientes para evaluar la calidad semántica de estas interacciones. Las métricas existentes se basan principalmente en medidas cinemáticas (por ejemplo, la Distancia de Incepción de Fréchet, alineación de pulsos) que evalúan el realismo físico y la similitud de la distribución, pero no logran determinar si el movimiento generado es legible dentro de un vocabulario de movimiento compartido o apropiado al nivel de competencia del compañero de interacción.

Esta brecha existe porque:

1. Los marcos de evaluación actuales carecen de métricas para la alineación semántica y la adaptación al compañero.
2. Los conjuntos de datos de interacción improvisada existentes carecen de anotaciones de movimientos detalladas y de variación en los niveles de competencia.
3. La mayoría de los conjuntos de datos disponibles se centran en interacciones guionizadas de corta duración o en intérpretes exclusivamente profesionales, careciendo de la diversidad necesaria para probar la generación adecuada a la habilidad.

Metodología

Los autores presentan CoMPAS3D (Conjunto de Datos de Salsa Anotado de Interacción de Personas Compleja de Múltiples Niveles) y un marco de evaluación correspondiente de tres niveles.

El Conjunto de Datos CoMPAS3D

• Contenido: 3 horas de salsa de pareja improvisada que involucra a 18 bailarines (9 parejas) a través de tres niveles de competencia: principiante, intermedio y profesional.
• Captura de Datos: Registrado utilizando un sistema de captura de movimiento Vicon (20 cámaras, 120 fps) con 53 marcadores por bailarín, lo que resulta en trayectorias de 55 articulaciones SMPL-X.
• Anotaciones: Más de 2,800 segmentos anotados por expertos (ciclos de 8 pulsos) que cubren 30 categorías de movimientos, errores de ejecución (por ejemplo, fuera de tiempo, señales mixtas) y elementos estilísticos. Las anotaciones fueron realizadas por un experto con 15 años de experiencia y verificadas por un segundo experto (Kappa de Cohen = 0.752).
• Filosofía de Diseño: Análogo al corpus de habla Switchboard, CoMPAS3D prioriza la profundidad dentro de un único vocabulario de movimiento (salsa) en lugar de una cobertura superficial en múltiples géneros, permitiendo el estudio de la interacción diádica naturalista e improvisada.

Tareas de Referencia (Benchmarks)

Trazando una analogía entre el baile de pareja y el diálogo hablado, el artículo define tres tareas:

1. Clasificación de Movimientos: Identificar el movimiento de salsa específico realizado (análogo a la transcripción).
2. Estimación de Competencia: Determinar el nivel de habilidad de la pareja de baile (análogo a la evaluación de la fluidez).
3. Generación de Seguidor: Predecir el movimiento del seguidor dados los estímulos del líder, la música y un nivel de competencia objetivo (análogo a la generación de respuesta de diálogo).

Marco de Evaluación

El marco evalúa el movimiento del seguidor generado mediante:

• Métricas Cinemáticas: Métricas estándar que incluyen FID (cinemática/gráfica), diversidad, FID de distancia cruzada, Grado de Eco de Pulso (BED) y Puntuación de Alineación de Pulso (BAS).
• Métricas Semánticas Objetivas:
  • Legibilidad del Movimiento: Medida por la puntuación F1 de un Modelo de Lenguaje-Visión (VLM) ajustado para clasificar movimientos en secuencias generadas.
  • Adecuación de la Competencia: Medida por la puntuación F1 de un VLM ajustado para estimar el nivel de competencia de las secuencias generadas.
• Métricas Subjetivas: Evaluaciones humanas a través de seis dimensiones de competición del mundo real: tiempo, musicalidad, técnica, dificultad, coordinación de pareja y originalidad.

Contribuciones Clave

1. Conjunto de Datos CoMPAS3D: El primer conjunto de datos de baile de pareja improvisado disponible públicamente que presenta transcripciones de movimientos expertas y abarca tres niveles de competencia.
2. Tareas y Modelos de Referencia: Benchmarks para tres Modelos de Lenguaje-Visión preentrenados y ajustados (Qwen2.5-VL, LLaVA-NeXT-Video, InternVL3) en clasificación de movimientos y estimación de competencia.
3. Nuevas Métricas de Evaluación: Métricas objetivas para la generación de danza reactiva que evalúan la legibilidad del movimiento y la adecuación de la competencia, revelando fallos que las métricas cinemáticas pasan por alto.
4. Evaluación Subjetiva: Un estudio humano utilizando criterios de competición de danza basados en la comunidad, introduciendo tres nuevas métricas en comparación con trabajos previos de generación de danza.

Resultados Experimentales

El marco se aplicó a dos métodos de generación de vanguardia: Duolando (específico de danza) e InterGen (interacción humano-humano general).

• Rendimiento de los Modelos en los Benchmarks: Los VLMs ajustados superaron significativamente a las líneas base de cero disparos (zero-shot). En entornos diádicos, Qwen2.5-VL alcanzó un 69.87% de precisión y un 49.30% de F1 para la clasificación de movimientos, y un 84.63% de precisión para la estimación de competencia.
• Evaluación Cinemática: Tanto Duolando como InterGen mostraron puntuaciones cinemáticas comparables entre sí, y las métricas de FID y diversidad sugieren un realismo físico razonable.
• Evaluación Semántica Objetiva: Ambos métodos generativos fallaron significativamente en comparación con la verdad de campo (ground truth) en las nuevas métricas objetivas:
  • Legibilidad del Movimiento: La verdad de campo logró un F1 de movimiento de 53.55, mientras que InterGen y Duolando puntuaron 7.69 y 6.70, respectivamente.
  • Adecuación de la Competencia: La verdad de campo logró un F1 de competencia de 51.64, mientras que InterGen y Duolando puntuaron 37.12 y 22.47, respectivamente.
• Evaluación Subjetiva: Los evaluadores humanos calificaron la verdad de campo significativamente más alto (p < 0.001) que ambos métodos generativos en las seis dimensiones de competición. InterGen y Duolando recibieron puntuaciones comparables, consistentes con su rendimiento cinemático similar.

Significado y Reivindicaciones

El artículo sostiene que CoMPAS3D y su marco de evaluación abordan una brecha crítica en la IA encarnada socialmente interactiva. Al ir más allá del realismo cinemático, los autores demuestran que los métodos generativos actuales producen movimientos de seguidor que no son legibles dentro del vocabulario de movimiento compartido y que son inapropiados para el nivel de habilidad del compañero, a pesar de lograr puntuaciones cinemáticas comparables.

Los autores posicionan a CoMPAS3D como un recurso fundamental similar a los primeros conjuntos de datos de habla naturalista, permitiendo el estudio de la interacción física responsiva y consciente del contexto. Afirman que sus métricas objetivas (legibilidad y competencia) sirven como medidas significativas de la calidad semántica, análogas a cómo el Reconocimiento Automático del Habla (ASR) se utiliza para evaluar la inteligibilidad de la síntesis de voz. El trabajo destaca que, mientras que el realismo físico es una medida saturada, la capacidad de generar movimiento socialmente apropiado y semánticamente claro sigue siendo un desafío abierto significativo.