Robust Assembly State Reasoning from Action Recognition for Human-Robot Collaboration

Resumen Técnico: Razonamiento Robusto del Estado de Ensamblaje a partir del Reconocimiento de Acciones para la Colaboración Humano-Robot

Planteamiento del Problema
En el contexto de la Industria 5.0 y la Colaboración Humano-Robot (HRC), un desafío crítico persiste: permitir que los compañeros robóticos perciban con precisión la etapa actual de una tarea de ensamblaje colaborativo basándose en entradas de Reconocimiento de Acciones Humanas (HAR). Aunque los sistemas HAR pueden identificar con frecuencia el tipo de acción que se está realizando (por ejemplo, "atornillar"), a menudo fallan al mapear estas acciones al estado específico de una secuencia de ensamblaje compleja. Esto es particularmente difícil en escenarios realistas donde las tareas implican acciones repetidas del mismo tipo primitivo, comportamientos de usuario no lineales (saltarse o reordenar pasos) y datos de sensores imperfectos. Los enfoques actuales suelen depender de una lógica rígida y manual o de señales específicas que reducen la fluidez de la interacción, mientras que los métodos avanzados carecen de comparaciones robustas a través de entornos de tareas diversos, ruidosos y variables.

Metodología
Los autores investigan y comparan sistemáticamente cinco métodos distintos para rastrear los estados de ensamblaje dadas las entradas de reconocimiento de acciones. El estudio utiliza dos conjuntos de datos de código abierto diversos:

1. HA4M: Un tren de engranajes epicíclicos con 13 tipos de acciones y 19 estados, que presenta acciones repetidas.
2. IKEA ASM: Tres tareas de ensamblaje de muebles (mesa de café, mesa lateral, banco de TV) caracterizadas por variaciones naturales en el orden de las acciones, corrección de errores y acciones cíclicas repetidas.

Los cinco enfoques evaluados son:

• Lógica de Línea Base (Baseline Logic): Un algoritmo determinista que itera a través de los estados basándose en la coincidencia de acciones observadas y el decremento de un contador de tiempo (inicializado con la duración media de la acción). Avanza los estados si la acción observada coincide con la siguiente acción esperada o si se cumple un umbral de tiempo.
• Línea Base Mejorada Probabilística (Probabilistic Enhanced Baseline): Una extensión de la línea base que incorpora un modelo probabilístico. En lugar de un umbral de tiempo rígido, utiliza una Función de Distribución Acumulada (CDF) Normal basada en la media y la desviación estándar de las duraciones de las acciones para calcular la probabilidad de finalización, activando una transición de estado cuando esta probabilidad supera 0.9.
• Modelo Oculto de Markov (HMM): Un CategoricalHMM implementado con matrices de transición y emisión predefinidas. El modelo asume una estructura secuencial conocida, con probabilidades de transición que favorecen el estado actual (0.7) o el movimiento al siguiente (0.225), y probabilidades de emisión que favorecen la observación correcta (0.7). Este método no requiere datos de entrenamiento.
• LSTM Enfocado en la Tarea (Task-Focused LSTM): Una red neuronal entrenada específicamente para un único tipo de tarea. Recibe una secuencia de entradas de codificación one-hot y devuelve el índice del estado actual. Se entrena con ventanas de 5 segundos y un 20% de ruido simulado.
• LSTM Enfocado en la Acción (Action-Focused LSTM): Una arquitectura de red genérica diseñada para ser instanciada para cada acción en una secuencia. Predice las probabilidades de inicio y finalización de acciones específicas basándose en el tipo de acción actual, las estadísticas de duración y la salida del modelo de la acción anterior. Esto tiene como objetivo evitar el reentrenamiento para cada nueva tarea.

Los experimentos se realizaron en dos etapas:

1. Entradas Simuladas: Los métodos se probaron contra secuencias de acciones de verdad fundamental (ground-truth) con niveles variables de ruido inyectado (0% a 50%) para evaluar la robustez.
2. Entradas Realistas: Se utilizó un modelo ST-GCN preentrenado para generar predicciones de HAR a partir de datos de esqueleto, que luego se introdujeron en los métodos de seguimiento de estado para simular las imperfecciones de los sensores del mundo real.

Resultados Clave
El estudio revela que ningún método es óptimo en todos los escenarios; el rendimiento depende altamente de la variabilidad de la tarea y los niveles de ruido de entrada.

• Robustez al Ruido: En el conjunto de datos HA4M (que tiene acciones repetidas pero una secuencia fija), el Task-LSTM funcionó mejor bajo ruido bajo a moderado (F1 score de ~0.64 con 0-0.3 de ruido). Sin embargo, a medida que el ruido aumentó, los métodos basados en lógica mostraron mayor resiliencia.
• Tareas Variables: En los conjuntos de datos de IKEA (caracterizados por alta variabilidad y acciones cíclicas repetidas), los métodos de Línea Base y Línea Base Probabilística superaron significativamente a los enfoques de redes neuronales y HMM. El HMM, en particular, tuvo dificultades para distinguir entre acciones idénticas secuenciales en HA4M y tendió a "adelantarse" al final de la tarea en los escenarios de IKEA.
• Entradas de HAR Realistas: Al utilizar salidas reales de ST-GCN (que tenían una precisión menor, por ejemplo, F1 0.27 para IKEA), la Línea Base Probabilística logró el F1 score más alto para las tareas de IKEA (0.46), mientras que el Task-LSTM siguió siendo superior para HA4M (0.57).
• Modos de Fallo: Las matrices de confusión indicaron que las redes neuronales y los HMM a menudo se "quedan estancados" en estados o se saltan pasos cuando se enfrentan a acciones repetidas o ruido. Los métodos basados en lógica fueron más propensos a quedarse estancados, pero menos propensos a saltarse estados.

Significancia y Reivindicaciones
El artículo sostiene que el seguimiento robusto del estado en HRC requiere un enfoque matizado en lugar de una solución de "talla única". Los autores enfatizan que:

1. El Contexto Importa: Los métodos óptimos varían según la tarea. Los enfoques basados en la lógica son más robustos en escenarios con alta variabilidad y acciones repetidas, mientras que los métodos de NN y HMM pueden funcionar bien en tareas con variabilidad limitada.
2. El Modelado de la Duración es Crítico: Los métodos que modelan explícitamente la duración esperada de la acción (como la Línea Base Probabilística) son esenciales para manejar acciones repetidas donde no se proporciona detección adicional para distinguir entre instancias.
3. Generalización vs. Especificidad: Aunque el aprendizaje profundo ofrece un alto rendimiento en entornos controlados, tiene dificultades con el ruido y la varianza inherentes a la HRC del mundo real. Los autores abogan por arquitecturas generalizables que minimicen las reglas manuales, pero reconocen que los enfoques actuales basados en la lógica ofrecen una robustez necesaria para el despliegue en entornos complejos e ideales.

El trabajo concluye que la predicción precisa del estado sigue siendo un desafío no trivial, particularmente cuando los usuarios se desvían de los procedimientos ideales. El trabajo futuro debe centrarse en la integración de modalidades de datos adicionales (como el seguimiento del estado de los objetos) para mejorar aún más la robustez sin sacrificar la capacidad de desplegar sistemas con un reentrenamiento mínimo.