Learning Safe Behaviour via Justified Human Preferences and Hypothetical Queries

Resumen Técnico: Aprendizaje de Comportamiento Seguro mediante Preferencias Humanas Justificadas y Consultas Hipotéticas

Planteamiento del Problema
El Aprendizaje por Refuerzo (RL) tradicional se basa en la exploración mediante ensayo y error, lo cual suele ser inviable en dominios del mundo real con implicaciones críticas de seguridad (por ejemplo, robótica, conducción autónoma) donde una única acción insegura puede causar un fallo catastrófico. Aunque el RL Seguro intenta abordar esto incorporando restricciones, se enfrenta al problema de la "exploración segura": los agentes no pueden explorar ingenuamente para aprender sin riesgo de causar daños. Además, el RL tradicional suele sufrir de ineficiencia de muestras y del "problema de la especificación de la recompensa", donde las funciones de recompensa diseñadas no logran alinearse con la intención humana.

Los enfoques con humanos en el bucle (human-in-the-loop) ofrecen una solución al aprovechar la retroalimentación humana para guiar el aprendizaje. Sin embargo, los métodos existentes que dependen únicamente de las preferencias humanas (por ejemplo, elegir entre dos acciones) suelen incurrir en una alta carga humana y pueden seguir fallando al mapear eficientemente las regiones inseguras del espacio de estados. El desafío central abordado en este trabajo es cómo aprender una política segura con un mínimo de eventos inseguros (muertes de entrenamiento) minimizando al mismo tiempo el tiempo y la carga cognitiva impuesta al entrenador humano.

Metodología: JPAL-HA
Los autores proponen JPAL-HA (Justified Human Preferences for Active Learning with Hypothetical Actions), un modelo que se basa en el enfoque de "Parentesco" (Parenting) [11]. En este paradigma, un agente no entrenado (hijo) consulta a un entrenador humano (padre) por guía antes de realizar acciones. JPAL-HA introduce dos mecanismos novedosos para mejorar la seguridad y la eficiencia:

1. Preferencias Justificadas:
   En lugar de simplemente pedir al humano que prefiera una acción sobre otra ($P$), el agente también solicita una justificación binaria ($J_P$). El humano indica si la preferencia viene acompañada de una "advertencia" (una acción es insegura/catastrófica) o "sin advertencia" (ambas son seguras).

   • Mecanismo: Esta señal binaria permite al agente mapear la preferencia y la justificación a una etiqueta de preferencia refinada ($\mu \in \{0, 0.25, 0.5, 0.75, 1\}$). Una señal de "advertencia" aumenta significamente la presión de aprendizaje en el modelo de la política para evitar la acción catastrófica, incluso si la magnitud de la preferencia es pequeña.
   • Beneficio: Esto proporciona señales de seguridad explícitas que ayudan al agente a distinguir entre acciones "seguras pero subóptimas" y acciones "catastróficas" de manera más efectiva que la preferencia por sí sola.

2. Acciones Hipotéticas (HAs):
   Cuando una justificación indica una "advertencia" (es decir, al menos una de las acciones muestreadas es catastrófica), el agente activa un bucle de Acciones Hipotéticas.

   • Mecanismo: En lugar de detenerse o volver a muestrear inmediatamente, el agente genera un conjunto de acciones hipotéticas ($a_{new}$) que podrían haberse tomado desde el estado actual. Consulta al humano por una única justificación ($J_{anew}$: segura o advertencia) para estas acciones hipotéticas.
   • Inferencia: Basándose en el estatus de seguridad de la nueva acción hipotética, el agente puede inferir automáticamente la seguridad relativa de las combinaciones entre la nueva acción y las acciones previamente identificadas como seguras o catastróficas, añadiendo estas al conjunto de datos de entrenamiento sin más consultas de preferencia humana.
   • Patrones Mortales: El agente también identifica y almacena "patrones mortales" (combinaciones de movimientos que conducen a la catástrofe) para evitarlos en estados futuros sin volver a consultar al humano.
   • Beneficio: Esto permite al agente mapear rápidamente las regiones inseguras del espacio de estados con una sola ráfaga de consultas, reduciendo la necesidad de interrupciones repetidas en el mismo estado.

El proceso de aprendizaje utiliza aprendizaje supervisado (minimizando la pérdida de entropía cruzada basada en el modelo de Bradley-Terry) sobre un conjunto de datos de preferencias y justificaciones humanas. El algoritmo también emplea "Consultas Después del Hecho" (ATFQs) para explorar acciones potencialmente buenas que no fueron muestreadas inicialmente, actuando como un mecanismo de exploración segura.

Contribuciones Clave

1. Nuevos Paradigmas de Aprendizaje: La introducción de las Justificaciones (advertencias de seguridad binarias junto con las preferencias) y las Acciones Hipotéticas (consultas proactivas de acciones no probadas al detectar peligro) como conceptos generalizables para el aprendizaje seguro a partir de preferencias humanas.
2. Algoritmo JPAL-HA: Un algoritmo unificado que integra estas características, demostrando que mejora significativamente la seguridad durante el entrenamiento en comparación con los métodos de preferencia existentes (Parenting, JPal) y logra una mejor eficiencia de muestra que otros algoritmos de aprendizaje seguro con humanos en el bucle.
3. Compromiso entre Seguridad y Carga Humana: El artículo proporciona un hiperparámetro ajustable ($p_{BTFQ}$) que permite a los usuarios equilibrar la seguridad (número de consultas) frente a la carga humana. Demuestra que JPAL-HA puede lograr casi cero muertes de entrenamiento manteniendo tiempos de entrenamiento razonables.
4. Validación en el Mundo Real: El método fue evaluado no solo en simulación (entorno de Navegación de Isla) sino también con un grupo diverso de participantes humanos entrenando un robot móvil físico Thymio.

Resultados

• Experimentos de Simulación:

  • Seguridad: JPAL-HA redujo significativamente las muertes de entrenamiento en comparación con Q-learning (que sufrió aproximadamente 16.5 muertes en promedio) y el enfoque base de Parenting. En configuraciones conservadoras, JPAL-HA logró un promedio de 0.02 muertes por ensayo, con el 98% de los ensayos con cero muertes.
  • Eficiencia: JPAL-HA encontró la política óptima en menos episodios (promedio de 3) en comparación con Q-learning (22.9).
  • Carga Humana: Aunque añadir justificaciones aumentó inicialmente el número de consultas en comparación con Parenting, la adición de Acciones Hipotéticas en JPAL-HA redujo el número total de consultas de preferencia y los pasos generales, compensando eficazmente la carga cognitiva adicional de las justificaciones.
  • Significancia Estadística: Pruebas no paramétricas confirmaron diferencias significativas en seguridad y eficiencia entre JPAL-HA y los métodos de referencia.

• Experimentos con Robots en el Mundo Real:

  • Tiempo de Entrenamiento: Un grupo diverso de 40 participantes (incluyendo personas sin formación en ciencias de la computación) entrenó con éxito al robot. Con la práctica inicial, los tiempos de entrenamiento para JPAL y JPAL-HA fueron ligeramente más largos que los de Parenting (30% más) pero convergieron a niveles similares (4 minutos) después de que los participantes se adaptaran a la interfaz.
  • Viabilidad: El estudio demostró que un grupo diverso de personas pudo completar el entrenamiento en pocos minutos, y que el mecanismo de acción hipotética no aumentó significamente el tiempo total de entrenamiento en comparación con métodos más simples, manteniéndolo dentro de niveles admisibles.

Significancia y Reivindicaciones
El artículo afirma que JPAL-HA ofrece una solución práctica para el aprendizaje seguro en entornos críticos donde el RL tradicional falla debido al riesgo de exploración catastrófica. Al aumentar las preferencias humanas con simples justificaciones binarias y utilizar consultas hipotéticas para mapear el peligro de forma proactiva, el método logra un equilibrio superior entre seguridad y esfuerzo humano.

Los autores señalan modestamente que, aunque el método está diseñado para espacios de acción discretos, las ideas centrales podrían extenderse. También reconocen que en dominios altamente complejos (por ejemplo, el vuelo de un helicóptero), la dependencia de los entrenadores humanos asume la disponibilidad de conocimiento experto, y en dominios continuos en tiempo real (por ejemplo, la conducción autónoma), se pueden requerir mecanismos de seguridad de respaldo complementarios junto con este método. La contribución principal es la demostración de que las preferencias justificadas y las consultas hipotéticas permiten a los agentes aprender comportamientos seguros de manera significativamente más rápida y segura que los enfoques actuales de humanos en el bucle, sin imponer costos de tiempo prohibitivos a los entrenadores humanos.