Real-time body pose non-verbal communication with a consistency-based reliability measure

Resumen Técnico: Comunicación No Verbal de la Pose Corporal en Tiempo Real con una Medida de Fiabilidad Basada en la Consistencia

Planteamiento del Problema
El artículo aborda el reconocimiento de la intención comunicativa a partir únicamente de la pose corporal en 2D, centrándose específicamente en escenarios donde los canales facial y de audio no están disponibles o no son fiables (por ejemplo, comunicación persona-robot a larga distancia, misiones de rescate, vigilancia que preserve la privacidad). Los recursos existentes no logran aislar esta señal: los corpus afectivos (p. ej., MELD, IEMOCIA) entrelazan el movimiento corporal con el habla y las expresiones faciales, mientras que los referentes de reconocimiento de acciones de esqueleto (p. ej., NTU RGB+D 120) etiquetan acciones ejecutadas (caminar, sentarse) sobre ventanas largas en lugar de los ráfagas cortas (1–2 segundos) que transmiten intenciones comunicativas específicas. Además, los sistemas de gestos de drones existentes dependen de vocabularios pequeños y fijos de poses de comando en lugar de un espacio más rico y natural de intenciones comunicativas. Existe una brecha crítica en los conjuntos de datos y los puntos de referencia (benchmarks) que se dirigen al reconocimiento de la intención comunicativa bajo restricciones de tiempo real y en dispositivos. Adicionalmente, los sistemas desplegables requieren no solo precisión, sino también un mecanismo para señalar cuándo es probable que una predicción sea incorrecta para prevenir fallos críticos de seguridad, aunque los métodos de calibración estándar suelen requerir datos de validación etiquetados.

Metodología
Los autores proponen un marco que involucra la creación de un conjunto de datos, la evaluación de modelos (benchmarking) y una novedosa medida de fiabilidad no supervisada.

1. Creación del Conjunto de Datos: Los autores lanzan un conjunto de datos ("Ours") que contiene 157,000 fotogramas reales de pose de cuerpo completo que cubren 10 intenciones comunicativas (p. ej., "ven a mí", "desaprobación", "tenemos un trato"). Estos se capturaron a partir de videos humanos reales utilizando YOLO11-pose. Para evaluar la generalización y la dificultad, esto se compara contra otros cuatro corpus:

   • IPC (Real): Un corpus multimodal a gran escala (Seamless Interaction) con 8 códigos de circunflejo interpersonal, que sirve como un control negativo donde la intención no es recuperable únicamente a partir del movimiento 2D grueso.
   • MotionLCM (Sintético): Generado mediante un Modelo de Consistencia Latente, ofreciendo datos de baja varianza y alta separabilidad.
   • Kimodo (Sintético): Generado mediante SMPL-X, ofreciendo una varianza equilibrada.
   • VEO3.1 (Sintético): Datos generados mediante texto-a-video, que ofrecen una apariencia fotorrealista de alta varianza.
     Todos los conjuntos de datos se estandarizan a secuencias de 105 fotogramas de 17 puntos clave (keypoints) de COCO 2D a 30Hz.

2. Evaluación de Modelos (Benchmarking): Se evalúan doce modelos bajo condiciones de entrenamiento emparejadas en hardware embebido (NVIDIA Jetson Orin Nano). Los modelos se categorizan en:

   • Solo Reconocimiento: Clasificadores de grafos de esqueleto (ST-GCN++, CTR-GCN, 2s-AGCN, EfficientGCN-B0).
   • Pronóstico-Reconocimiento Conjunto: Arquitecturas que predicen trayectorias de movimiento futuro y clasifican la intención simultáneamente (MLP, LSTM, CNN-LSTM, Transformer, MotionMixer, POTR, InfoGCN++, PGBIG).
     El rendimiento se mide por precisión (macro-F1), error de pronóstico de trayectoria (MAE) y latencia de inferencia (FPS).

3. Medida de Fiabilidad Basada en la Consistencia: El artículo introduce una estimación de confianza sin etiquetas ($c_{10}$) derivada de la auticonsistencia autorregresiva de un modelo. El modelo pronostica su propio movimiento futuro, retroalimenta este pronóstico como entrada y vuelve a clasificar la ventana repetidamente durante 10 pasos. La puntuación de consistencia es la fracción de pasos donde la etiqueta predicha permanece igual. Los autores proporcionan una prueba teórica (Proposición 1) que acota la probabilidad de que una predicción autoconsistente sea correcta, mostrando que esta probabilidad aumenta con el número de pasos consistentes ($n$), pero está limitada por la separabilidad de las clases ($f_r, f_g$).

Resultos Clave

• Recuperación de la Intención: La intención comunicativa es recuperable de la pose corporal en 2D únicamente en el conjunto de datos "Ours". Los modelos basados en grafos y recurrentes (p. ej., 2s-AGCN, CNN-LSTM) alcanzan un 90–100% de recall en la mayoría de las intenciones. Sin embargo, intenciones específicas como "desaprobación", "ven a mí" y "entusiasta" muestran una ambigüedad inherente bajo la proyección 2D.
• Dificultad del Conjunto de Datos: Los conjuntos de datos sintéticos (MotionLCM, Kimodo) son fácilmente aprendibles (precisión cercana al techo) debido a su baja varianza. VEO3.1 presenta un desafío mayor debido al ruido fotorrealista. El conjunto de datos IPC actúa como un caso de fallo; los modelos alcanzan una precisión cercana al azar, confirmando que los códigos de postura interpersonal no son recuperables de la pose corporal 2D gruesa sin pistas faciales o contextuales.
• Pronóstico vs. Estabilidad: Un bajo error de pronóstico de trayectoria (MAE) no garantiza robustez. Los modelos que minimizan el MAE a menudo suavizan excesivamente el movimiento. La estabilidad del despliegue autorregresivo (qué tan bien un modelo mantiene el movimiento dentro de la clase al consumir sus propias predicciones) es una métrica distinta y crítica. CNN-LSTM e InfoGCN++ demostraron una estabilidad superior en comparación con MLP y Transformers.
• Señal de Fiabilidad: La puntuación de consistencia $c_{10}$ es una señal de fiabilidad calibrada en conjuntos de datos aprendibles. Una alta consistencia se correlaciona con una alta precisión (hasta 0.93 en "Ours" y ~1.0 en conjuntos sintéticos). Crucialmente, en el conjunto de datos IPC donde la tarea no es aprendible, $c_{10}$ permanece alto pero se desacopla de la corrección, identificando correctamente el régimen donde la confianza no es informativa.
• Rendimiento en el Borde (Edge): Los 12 modelos funcionan muy por encima de 30 FPS en el NVIDIA Orin Nano. La restricción principal para el despliegue es la precisión, no la latencia. Los modelos de doble tarea son dominados en clasificación pura, pero ofrecen las capacidades necesarias de pronóstico y fiabilidad.

Significación y Reivindicaciones
El artículo reivindica tres contribuciones principales:

1. Conjunto de Datos y Benchmark: Llena un vacío proporcionando un conjunto de datos y un benchmark diseñado específicamente para la intención comunicativa a partir de la pose corporal por sí sola, contrastando datos reales y sintéticos para aislar el rendimiento del modelo de los artefactos del conjunto de datos.
2. Benchmarking Consciente del Hardware: Proporciona una comparación exhaustiva de arquitecturas en hardware embebido, estableciendo que la precisión es el factor limitante para la comunicación persona-robot en tiempo real en dispositivos, no la velocidad de cómputo.
3. Fiabilidad No Supervisada: Demuestra que la auticonsistencia autorregresiva de un modelo sirve como una señal de fiabilidad válida y sin etiquetas. El artículo demuestra que esta señal es informativa cuando la tarea es aprendible e identifica correctamente cuando no lo es (es decir, cuando el modelo es confiadamente erróneo). Esto permite que un sistema difiera la acción ante predicciones inciertas, una característica crítica para aplicaciones relacionadas con la seguridad.

Los autores concluyen que la pose corporal por sí sola es un canal viable para la intención comunicativa bajo restricciones de despliegue, siempre que el sistema utilice la auticonsistencia para auditar su propia confiabilidad en tiempo real. Señalan las limitaciones respecto a la dependencia de la pose 2D (perdiendo información de profundidad) y la necesidad de una evaluación adicional a gran escala en escenarios reales de largo alcance.