Stochastic Decision-Making Framework for Human-Robot Collaboration in Industrial Applications

Resumen Técnico: Marco de Toma de Decisiones Estocásticas para la Colaboración Humano-Robot en Aplicaciones Industriales

Planteamiento del Problema
La integración de robots colaborativos (cobots) en entornos industriales ha desplazado las operaciones de entornos solitarios y con restricciones de seguridad hacia entornos cooperativos donde los robots y los humanos comparten espacios de trabajo. Si bien la investigación existente utiliza eficazmente sensores (visión, proximidad, EMG) para detectar las intenciones humanas, persisten desafíos significativos en el manejo de la incertidumbre de los factores humanos, específicamente los estados emocionales (motivación y agresión) y las señales conductuales dinámicas. Los mecanismos de seguridad actuales suelen depender de modelos musculoesqueléticos estáticos o umbrales de distancia simples, que pueden ser insuficientes en entornos abiertos y no restringidos donde el comportamiento humano es estocástico. El problema central abordado es la necesidad de un marco de toma de decisiones que pueda anticipar las acciones y emociones humanas bajo incertidumbre para garantizar tanto la seguridad como la eficiencia en la Colaboración Humano-Robot (HRC).

Metodología
El artículo propone un marco de toma de decisiones estocásticas basado en un Proceso de Decisión de Markov Parcialmente Observable (POMDP). El enfoque va más allá de asumir un modelo humano fijo; en su lugar, aprende modelos humanos a partir de datos observados para manejar estados ocultos como la emoción y la motivación humana.

1. Formulación del Espacio de Estados: El modelo define un espacio de estados integral ($S$) que comprende cinco tipos de variables:

   • Asignación de Tareas ($\tau$): Incluye prioridad, duración, naturaleza (solo robot, solo humano o colaborativa) y estado de compromiso.
   • Distancia ($d$): Modelada mediante un novedoso enfoque de seguridad de "tri-círculo". Los círculos representan: (1) el espacio de trabajo del humano, (2) el humano con los brazos totalmente extendidos (acto agresivo), y (3) un humano cayéndose (accidente). El robot selecciona dinámicamente el círculo de seguridad apropiado según el contexto.
   • Emoción Humana ($e$): Incluye el nivel de motivación y el nivel de agresión, que son estados ocultos inferidos a partir de observaciones.
   • Actividad Humana ($h$) y Actividad del Robot ($b$): Representan la prioridad actual y el progreso de las tareas para ambos agentes.

2. Observación e Inferencia: Dado que los estados emocionales no son directamente observables, el sistema utiliza un espacio de observación ($O$) que consiste en la posición del cuerpo humano, ángulos articulares y velocidades angulares (por ejemplo, de sensores visuales). El marco POMDP utiliza estas observaciones para actualizar un estado de creencia (distribución de probabilidad sobre estados ocultos como la motivación y la agresión).

3. Variables de Decisión: El conjunto de acciones del robot ($D$) incluye:

   • Modo de trabajo normal ($nw$).
   • Solicitar al humano que trabaje solo ($rh1$) o colaborativamente ($rh2$).
   • Motivar al humano ($mh$).
   • Comprometerse con una tarea ($ct$).
   • Ajustar la distancia ($dp$ para aumentar, $dm$ para disminuir).
   • Modo de no hacer nada/inactivo ($dn$).

4. Función de Costo: La función objetivo ($J$) equilibra tres objetivos: evitar colisiones (mantener una distancia segura basada en los niveles de agresión), completar tareas de manera eficiente y respetar los estados emocionales humanos. La función de costo penaliza las distancias inseguras, las tareas no asignadas, la baja motivación y las asignaciones de tareas incorrectas.

5. Enfoque de Solución: Los autores emplean la Iteración de Valor para resolver el MDP subyacente y derivar una política óptima. Para manejar la observabilidad parcial, se utiliza un método de selección de acciones heurístico donde el robot agrega pesos de la distribución del estado de creencia para elegir la acción con la mayor probabilidad acumulada de ser óptima.

Contribuciones Clave

• Modelo de Seguridad de Tri-Círculo: Un novedoso enfoque de toma de decisiones de seguridad que ajusta dinámicamente la zona de seguridad del robot basándose en tres escenarios humanos distintos (trabajando, estirándose, cayéndose), en lugar de depender de un único radio de seguridad estático.
• HRC Consciente de la Emoción: La integración de los estados emocionales humanos (motivación y agresión) en el bucle de toma de decisiones, lo que permite al robot adaptar su comportamiento (por ejemplo, aumentar la distancia si la agresión es alta, motivar al humano si el compromiso es bajo).
• Predicción de Intención Bilateral: A diferencia de trabajos previos centrados únicamente en la detección de la intención humana, este marco utiliza un POMDP para razonar sobre la interacción bilateral, tratando las decisiones humanas como eventos exógenos mientras el robot optimiza su propia política para facilitar una colaboración segura y fluida.
• Marco Unificado: La combinación de gestión de tareas, restricciones de seguridad y razonamiento emocional dentro de un único marco de control estocástico.

Resultos
El marco propuesto fue validado mediante un estudio de caso numérico que involucró un escenario industrial simulado con un humano y un robot. La simulación introdujo tres tareas secuenciales con prioridades, duraciones y requisitos de colaboración variables (colaborativa, solo humano y solo robot).

• Ejecución de Tareas: El sistema identificó con éxito políticas óptimas para ejecutar las tareas en el menor tiempo posible manteniendo la seguridad.
• Adaptación Dinámica: Los resultados demostraron la capacidad del robot para ajustar su comportamiento según la naturaleza de la tarea. Para tareas colaborativas, el robot mantuvo una distancia cercana (círculo de seguridad pequeño) y motivó al humano. Para tareas de solo humano, el robot aumentó la distancia y motivó al humano antes de asignar la tarea.
• Gestión de la Seguridad: La simulación mostró que el robot gestionaba eficazmente las zonas de seguridad de "tri-círculo", aumentando la distancia cuando el humano no estaba participando en una tarea colaborativa y reduciéndola cuando se requería la colaboración.
• Actualizaciones del Estado de Creencia: El sistema infirió con éxito los estados emocionales ocultos (motivación y agresión) basándose en las velocidades observadas del humano, actualizando el estado de creencia para guiar la toma de decisiones.

Significancia y Reivindicaciones
El artículo afirma que su principal significancia radica en abordar la brecha en la investigación actual de HRC, que a menudo se centra en la detección de la intención sin considerar adecuadamente la naturaleza estocástica de las emociones humanas y los requisitos dinámicos de la seguridad. Al utilizar un POMDP, el marco ofrece un enfoque generalizado para manejar las incertidumbres derivadas de las acciones humanas ocultas y los datos imperfectos de los sensores. Los autores sostienen que este enfoque mejora la seguridad y la transparencia de los robots colaborativos, permitiéndoles anticipar las acciones humanas y adaptar su comportamiento en tiempo real. El estudio concluye que la incorporación tanto de los estados del robot como de los estados emocionales humanos inciertos en una estructura jerárquica unificada proporciona una solución integral para las interacciones dinámicas humano-robot, yendo más allá de la simple evitación de colisiones hacia una colaboración proactiva y consciente de la emoción.