Resumen Técnico: Formulación de Aprendizaje por Refuerzo para la Colaboración Humano-Robot mediante la Evaluación Fuera de Política

1. Planteamiento del Problema

El Aprendizaje por Refuerzo (RL, por sus siglas en inglés) posee un potencial significativo para optimizar la toma de decisiones secuenciales en entornos dinámicos, particularmente en la interacción humano-robot (HRI). Sin embargo, el despliegue de RL en entornos del mundo real y críticos para la seguridad (por ejemplo, atención médica, aeroespacial, conducción autónoma) enfrenta barreras sustanciales. Los enfoques tradicionales de RL dependen en gran medida de interacciones en línea extensas, de ensayo y error, y de la experiencia de dominio para definir representaciones de estado y funciones de recompensa efectivas. Este proceso suele ser costoso, lento e inseguro.

Si bien el Aprendizaje por Refuerzo Fuera de Política (ORL, por sus siglas en inglés) mitiga la necesidad de interacción en tiempo real al entrenar con datos previamente recolectados, persiste un desafío crítico: la selección de espacios de estados y funciones de recompensa óptimos sin experimentación en línea. Además, garantizar que las políticas entrenadas fuera de política sean seguras y efectivas en escenarios dinámicos de equipos humano-robot requiere métodos de evaluación robustos que no necesiten un mayor despliegue en el mundo real.

2. Metodología

Los autores proponen un marco novedoso que aprovecha la Evaluación Fuera de Política (OPE) para seleccionar sistemáticamente representaciones de espacio de estados y funciones de recompensa óptimas utilizando únicamente datos de interacción registrados. Este enfoque elimina la necesidad de acceso al entorno en tiempo real o de retroalimentación del humano en el bucle durante la fase de diseño.

2.1 Selección del Espacio de Estados mediante OPE

El marco evalúa múltiples candidatas representaciones de espacio de estados ($S_1, S_2, ..., S_K$) derivadas del conocimiento del dominio o de la selección de características.

1. Entrenamiento Fuera de Política: Un agente de RL fuera de política (específicamente, Q-Learning Restringido, CQL) se entrena para cada espacio de estados candidato utilizando el conjunto de datos registrados.
2. Estimación de OPE: Un estimador de OPE (utilizando métodos como el Muestreo de Importancia, el Método Directo o la Evaluación de Q Ajustada) estima el retorno esperado de cada política entrenada sin interacción en línea.
3. Selección: El espacio de estados óptimo ($S^*$) se selecciona basándose en el retorno estimado por OPE más alto, clasificando efectivamente las representaciones por su capacidad de inducir políticas de alto rendimiento.

2.2 Selección de la Función de Recompensa mediante OPE

El marco evalúa de manera similar funciones de recompensa candidatas ($r_1, r_2, ..., r_M$) mediante la evaluación de su capacidad para distinguir entre políticas de alto y bajo rendimiento.

1. Evaluación de Políticas: Se evalúan políticas predefinidas de alto rendimiento ($\pi^+$) y de bajo rendimiento ($\pi^-$) bajo cada función de recompensa candidata utilizando OPE.
2. Métricas de Separación: La efectividad de una función de recompensa se cuantifica mediante la divergencia entre los retornos estimados de $\pi^+$ y $\pi^-$. Los autores utilizan:
   • Diferencia de la media de retorno ($\Delta V$).
   • Divergencia de Kullback-Leibler (KL).
   • Divergencia de Jensen-Shannon (JS).
3. Selección: La función de recompensa óptima ($r^*$) es aquella que maximiza la separación entre las buenas y las malas políticas, asegurando una señal de aprendizaje fuerte.

3. Validación Experimental

La metodología propuesta fue validada en dos entornos distintos:

3.1 Entorno Controlado: OpenAI Gym Lunar Lander

• Objetivo: Evaluar la capacidad del marco para seleccionar espacios de estados y funciones de recompensa en un entorno controlado.
• Resultados del Espacio de Estados: Se probaron tres candidatos: el original ($S_{orig}$), expandido con ruido ($S_{more}$) y reducido ($S_{less}$). OPE identificó correctamente a $S_{orig}$ como la representación óptima, demostrando que la expansión innecesaria de características degrada el rendimiento mientras que la compresión excesiva omite información crítica.
• Resultados de la Función de Recompensa: El marco identificó con éxito una función de recompensa base que incorpora recompensas basadas en el estado, la acción y el término como superior a otras alternativas (por ejemplo, solo de término o solo de acción). La función seleccionada exhibió la mayor divergencia JS, confirmando su capacidad para proporcionar señales de aprendizaje efectivas.

3.2 Entorno del Mundo Real: Estudio de Sujetos Humanos NASA-MATB-II

• Objetivo: Evaluar la aplicabilidad a la formación de equipos humano-robot utilizando datos de una simulación de la Batería de Tareas Multiatributo-II (MATB-II) que involucró a nueve participantes bajo diversas condiciones de carga de trabajo.
• Selección del Espacio de Estados: Los candidatos incluyeron combinaciones de datos de la tarea, datos fisiológicos (frecuencia cardíaca, respiración) y carga de trabajo estimada.
  • Resultado: El espacio de estados multimodal ($S_{task+physio+wl}$) produjo el mayor retorno de OPE. Sin embargo, un análisis posterior indicó que los datos de carga de trabajo proporcionaban un beneficio marginal cuando los datos de la tarea y fisiológicos estaban presentes. En consecuencia, $S_{task+physio}$ fue seleccionado como la representación preferida, equilibrando el rendimiento con la eficiencia computacional.
• Selección de la Función de Recompensa: Se probaron tres funciones de recompensa: penalizar el mal comportamiento ($r_1$), recompensar el buen comportamiento ($r_2$) y una suma ponderada ($r_3$).
  • Resultado: La suma ponderada ($r_3$) fue seleccionada como óptima, mostrando las mayores divergencias KL y JS, lo que indica la mejor separación entre los desempeños de las políticas.

3.3 Validación con Sujetos Humanos en Línea

Un estudio posterior aprobado por un comité de ética (IRB) con 19 participantes comparó tres agentes:

1. Basado en Reglas (RB): Reglas predefinidas que activan la automatización durante la sobrecarga.
2. Agente de RL: Entrenado fuera de política utilizando el espacio de estados y la función de recompensa seleccionados mediante OPE.
3. Ajuste Fino de RL (RLFT): El agente de RL que se ajusta finamente mediante interacción en tiempo real.

Hallazgos Clave:

• Desempeño de la Tarea: El agente de RL demostró el desempeño más consistente en las tareas de seguimiento y monitoreo del sistema, superando significamente a RB y RLFT en tiempos de respuesta y tasas de falla bajo diversas cargas. El agente RLFT destacó en la tarea de comunicaciones pero mostró inestabilidad en la gestión de recursos y mayores tasas de falla bajo sobrecarga.
• Confianza y Carga de Trabajo: El agente de RL recibió las calificaciones de confianza más altas y resultó en la menor carga de trabajo percibida y la mayor fluidez. Por el contrario, el RLFT, a pesar de recibir altas puntuaciones de confianza post-ensayo respecto a la fiabilidad, indujo la mayor carga de trabajo subjetiva y frustración, sugiriendo que el ajuste fino en tiempo real puede introducir imprevisibilidad y tensión cognitiva.
• Frecuencia de Automatización: El agente de RL utilizó una automatización selectiva y bien cronometrada, mientras que el RLFT a menudo sobre-automatizaba o sub-automatizaba dependiendo de la tarea, lo que conducía a un desempeño inconsistente.

4. Contribuciones Clave

1. Marco de Diseño Impulsado por OPE: La introducción de un marco que utiliza la Evaluación Fuera de Política para seleccionar espacios de estados y funciones de recompensa óptimas a partir de datos registrados, evitando la necesidad de interacciones costosas en tiempo real.
2. Optimización Basada en Datos: Un método para optimizar las formulaciones de RL tanto para entornos controlados (Lunar Lander) como para escenarios complejos de interacción humano-robot (NASA-MATB-II) mediante la evaluación sistemática de configuraciones candidatas.
3. Validación Empírica: Demostración de que la selección basada en OPE conduce a agentes de RL que superan a los baselines basados en reglas y a las variantes de ajuste fino en términos de adaptabilidad, fiabilidad y confianza del usuario en entornos multitarea de seguridad crítica.

5. Significado y Reivindicaciones

El artículo afirma que este trabajo mejora la viabilidad y escalabilidad del RL fuera de política para entornos del mundo real al automatizar decisiones de diseño críticas. Al reducir la dependencia de ensayo y error e interacciones en línea, el marco ofrece un enfoque más fiable, efectivo y sostenible para formular el RL para entornos complejos de HRI.

Los autores enfatizan un compromiso crítico observado en sus resultados: si bien la personalización mediante el ajuste fino (RLFT) puede mejorar la alineación con tareas específicas, puede comprometer la estabilidad del sistema y aumentar la carga cognitiva. Por lo tanto, el enfoque propuesto basado en OPE ofrece una alternativa robusta que equilibra la adaptabilidad con la predictibilidad. El trabajo sugiere que para dominios de seguridad crítica, asegurar una evaluación de política robusta antes del despliegue mediante OPE es esencial, y que integrar datos fisiológicos en las representaciones de estado puede mejorar significativamente el desempeño de la colaboración humano-robot sin los riesgos asociados con la experimentación extensiva en línea.