Towards an Adaptive Social Game-Playing Robot: An Offline Reinforcement Learning-Based Framework

A continuación presento un resumen técnico detallado del artículo "Towards an Adaptive Social Game-Playing Robot: An Offline Reinforcement Learning-Based Framework", traducido y estructurado en español.

1. Planteamiento del Problema

La investigación en Interacción Humano-Robot (HRI) busca cada vez más robots que no solo ejecuten tareas, sino que respondan significativamente a las emociones del usuario, especialmente en escenarios de aprendizaje basados en juegos para estudiantes con dificultades.

El desafío principal radica en la adaptabilidad emocional. Los métodos tradicionales, como las mapeos directos de emociones a acciones o los enfoques basados en reglas, a menudo generan respuestas que parecen poco naturales o inapropiadas. Por otro lado, el Aprendizaje por Refuerzo (RL) en línea (online RL), donde el robot aprende mediante prueba y error con usuarios reales, presenta dos problemas críticos:

1. Costo y Escalabilidad: Requiere innumerables sesiones de interacción con humanos, lo cual es costoso y lento.
2. Riesgo de Seguridad: La exploración aleatoria necesaria para el aprendizaje en línea puede provocar comportamientos socialmente inapropiados o inseguros, generando incomodidad o desconfianza en los usuarios.

El objetivo del artículo es desarrollar un marco para un robot social adaptativo que aprenda comportamientos complejos y sensibles a las emociones exclusivamente a partir de datos pre-recopilados (offline), evitando los riesgos de la exploración en tiempo real.

2. Metodología

Arquitectura del Sistema

El sistema propuesto se basa en una arquitectura de cuatro capas que procesa datos multimodales en tiempo real:

1. Capa de Sensado: Utiliza tres componentes hardware:
   • Un dispositivo portátil (Empatica E4) para señales biométricas (arousal fisiológico).
   • Una cámara montada en la cabeza para capturar expresiones faciales (RGB).
   • Una cámara montada en el brazo para monitorear el tablero de juego y el progreso.
2. Capa de Interpretación: Convierte los datos brutos en información significativa mediante:
   • Reconocimiento de Emociones Multimodal: Detecta el arousal fisiológico y clasifica las expresiones faciales en categorías discretas (enojo, felicidad, neutral).
   • Analizador de Estado del Juego: Calcula la puntuación del juego basándose en las piezas restantes.
3. Capa de Toma de Decisiones:
   • Control Adaptativo Emocional: Genera respuestas contextuales (expresiones en pantalla y ajuste de dificultad) basadas en el estado emocional y la puntuación.
   • Control del Juego: Ajusta la dificultad y determina los movimientos físicos.
4. Capa de Actuación: Ejecuta las órdenes a través de la pantalla facial del robot y los brazos robóticos.

Formulación de RL Offline

El problema se formula como un Proceso de Decisión de Markov (MDP):

• Estado ($s_t$): Compuesto por el estado del juego (ganar/perder/empate), la emoción facial (enojo/feliz/neutral) y el arousal fisiológico (presente/ausente). Total: 18 estados.
• Acción ($a_t$): Compuesta por la expresión facial del robot y el ajuste de dificultad (más difícil/fácil/constante). Total: 9 acciones.
• Recompensa ($r_t$): Diseñada para equilibrar el rendimiento competitivo con el estado emocional. Se compone de una puntuación de juego (incentiva mantener un nivel de desafío) y una puntuación emocional (basada en la intensidad de la respuesta conductiva de la piel - SCR - y la valencia de la expresión facial).

Recolección de Datos y Experimentación

• Escenario: Se utilizó el juego de damas americanas con el robot Baxter.
• Participantes: 5 sujetos humanos.
• Datos: Se recopilaron 232 pasos (promedio de 46.4 por participante) durante sesiones de ~36 minutos. El conjunto de datos tiene una cobertura parcial de estados-acciones (63%), típico de datos HRI del mundo real.
• Algoritmos Evaluados: Se compararon seis algoritmos de RL offline: NFQ, DQN, DDQN, SAC, BCQ y CQL.
• Entrenamiento: Se utilizó la librería d3rlpy con búsqueda de cuadrícula (grid search) para hiperparámetros y validación cruzada (Stratified Group K-Fold) para asegurar generalización entre sujetos.

3. Contribuciones Clave

1. Marco Multimodal de RL Offline: Un sistema que integra señales fisiológicas y visuales para convertir interacciones sociales complejas en un espacio de estados de RL, utilizando un escenario de juego estructurado pero rico socialmente.
2. Estudio Comparativo de Algoritmos: Una evaluación exhaustiva que determina qué algoritmos de RL offline son más robustos frente a variaciones de hiperparámetros y cuáles son menos propensos a sesgos de sobreestimación en condiciones de escasez de datos.
3. Validación en HRI Real: Demostración de la viabilidad de entrenar agentes sociales adaptativos sin necesidad de exploración en línea, mitigando riesgos de seguridad y costos operativos.

4. Resultados Principales

Sensibilidad a Hiperparámetros

• Robustez: Los algoritmos DDQN y BCQ mostraron la menor desviación estándar (0.10 y 0.14 respectivamente) en la estimación de valores, indicando que son altamente robustos a cambios en los hiperparámetros. Esto los hace ideales para despliegues donde el ajuste fino es computacionalmente costoso.
• Inestabilidad: NFQ mostró una varianza extrema (desviación estándar de 51.47) y una sobreestimación masiva, lo que lo hace poco fiable para este tipo de aplicaciones.

Mitigación de Sesgos

• CQL (Conservative Q-Learning): Fue el algoritmo más efectivo para mitigar el sesgo de sobreestimación. Sus predicciones se agruparon más cerca de la verdad fundamental (ground truth) en comparación con los demás, gracias a su enfoque de acotar conservadoramente las estimaciones de valor.
• Rendimiento General: CQL logró el menor error absoluto (0.23) con su configuración óptima, seguido por BCQ (1.44) y DDQN (1.50).

Convergencia y Estabilidad

• Cinco de los seis algoritmos convergieron exitosamente. NFQ divergió debido a la falta de una red objetivo separada, lo que crea un "objetivo móvil" inestable.
• Se observó un pico en la función de pérdida en el paso 8k (sincronización de la red objetivo) en los algoritmos convergentes, siendo CQL el que mostró el pico más bajo.

5. Significado y Conclusión

Este trabajo establece una base fundamental para el desarrollo de agentes socialmente inteligentes que pueden aprender comportamientos adaptativos complejos sin poner en riesgo la comodidad del usuario durante la fase de entrenamiento.

• Implicaciones Prácticas: Los resultados sugieren que CQL es la mejor opción para precisión y mitigación de sesgos, mientras que DDQN y BCQ son preferibles cuando se prioriza la robustez ante la falta de ajuste fino de hiperparámetros.
• Limitaciones y Futuro: El estudio reconoce que el conjunto de datos es limitado en diversidad demográfica y cobertura de estados. Además, el enfoque actual asume un entorno totalmente observable, ignorando la naturaleza latente de las emociones. Futuras investigaciones deberían explorar modelos de MDP Parcialmente Observable (POMDP) para rastrear mejor las creencias sobre el estado afectivo del usuario y recopilar datos más diversos mediante teleoperación segura.

En resumen, el paper demuestra que el RL offline es una vía viable y segura para escalar la robótica social, permitiendo que los robots aprendan a responder empáticamente a partir de datos históricos en lugar de experimentar a costa de los usuarios.