CRED: Counterfactual Reasoning and Environment Design for Active Preference Learning

Resumen Técnico: CRED – Razonamiento Contrafactual y Diseño de Entornos para el Aprendizaje Activo de Preferencias

Enunciado del Problema
A medida que los sistemas robóticos operan en entornos cada vez más complejos e impredecibles, especificar y equilibrar explícitamente los objetivos de optimización para lograr comportamientos deseados se vuelve inviable. Aunque el Aprendizaje Activo de Preferencias (APL) ofrece una solución al inferir funciones de recompensa humana a partir de clasificaciones de trayectorias, los métodos existentes enfrentan limitaciones significativas. Los enfoques actuales suelen muestrear consultas de trayectorias a partir de conjuntos de datos fijos o búferes de reproducción. Esta restricción limita la diversidad de las consultas, a menudo fallando en identificar comparaciones informativas necesarias para distinguir entre funciones de recompensa competidoras. Además, generar consultas dentro de un único entorno fijo acota el valor informativo de los datos, lo que potencialmente conduce a recompensas aprendidas que no se generalizan bien a escenarios no vistos. El desafío central es generar consultas de preferencia de manera eficiente que maximicen la ganancia de información, asegurando al mismo tiempo que la función de recompensa aprendida se generalice a través de diversos contextos.

Metodología
El artículo propone CRED (Razonamiento Contrafactual y Diseño de Entornos), un marco novedoso para APL que optimiza conjuntamente el diseño del entorno y la selección de trayectorias. El sistema opera como un problema de optimización de dos niveles (Fig. 2):

1. Razonamiento Contrafactual (Optimización Interna):
   En lugar de depender de ejecuciones aleatorias o búferes fijos, CRED mantiene una distribución de creencia bayesiana sobre los pesos de recompensa desconocidos $w$. Muestrea vectores de pesos diversos de esta creencia y formula preguntas contrafactuales: "¿Qué pasaría si este vector de pesos específico fuera la preferencia verdadera?". Para cada peso muestreado $w_i$, el sistema genera una trayectoria óptima $\xi_i$ (utilizando Aprendizaje por Refuerzo o métodos de optimización de trayectorias como CHOMP) que maximiza la recompensa bajo esa hipótesis específica. Al evaluar la ganancia de información (información mutua entre la consulta y los pesos de recompensa) a través de pares de estas trayectorias contrafactuales, CRED identifica la comparación más informativa para presentarla al usuario.

2. Diseño de Entorno (Optimización Externa):
   CRED reconoce que el entorno en sí mismo dicta qué trayectorias son factibles y qué características son observables. Para maximizar la informatividad de la consulta, el sistema trata los parámetros del entorno $\theta$ (por ejemplo, tipos de terreno, colocación de obstáculos, condiciones de viento) como variables optimizables. Utilizando Optimización Bayesiana, CRED busca configuraciones del entorno que, cuando se combinan con las trayectorias contrafactuales, produzcan la mayor ganancia de información esperada. Esto permite al sistema "imaginar" nuevos escenarios (por ejemplo, alterar el terreno de césped a grava) que exponen mejor las diferencias entre las hipótesis de recompensa competidoras.

Contribuciones Clave

• Marco de Generación de Consultas Novel: CRED integra el razonamiento contrafactual y el diseño de entornos para ir más allá de los conjuntos de trayectorias fijos, permitiendo la síntesis de consultas de preferencia diversas y altamente informativas.
• Formulación de Optimización de Dos Niveles: El artículo formaliza el problema como una optimización de dos niveles donde el bucle externo selecciona el entorno $\theta$ y el bucle interno selecciona el par de trayectorias $(\xi_A, \xi_B)$, acoplando efectivamente el diseño del entorno con la síntesis de consultas.
• Integración de Inferencia Bayesiana: El método utiliza un algoritmo de Metropolis adaptativo para mantener una creencia sobre los pesos de recompensa, muestreando hipótesis diversas para impulsar el proceso de generación contrafactual.

Resultados Experimentales
Los autores evaluaron CRED en tres dominios de simulación (Aterrizador Lunar, Manipulación en Mesa y Navegación) y un estudio con usuarios que involucró a 25 participantes.

• Precisión y Eficiencia de la Recompensa: En simulaciones, CRED superó consistentemente a las líneas base más avanzadas (Ejecuciones Aleatorias y Política de Creencia Media). Logró una mayor precisión final de recompensa (por ejemplo, 0.998 en Aterrizador Lunar, 0.979 en Manipulación en Mesa) y convergió significativamente más rápido, a menudo superando el 95% de precisión dentro de 10 iteraciones.
• Estudios de Ablación: Los experimentos confirmaron que tanto el razonamiento contrafactual como el diseño del entorno son complementarios; la eliminación de cualquiera de los componentes resultó en menor precisión o convergencia más lenta.
• Comparación con la Aleatorización de Dominio: CRED superó significativamente a la aleatorización de dominio (que muestrea entornos uniformemente al azar), demostrando que buscar activamente entornos informativos mediante Optimización Bayesiana es superior al muestreo aleatorio.
• Estudio con Usuarios: En tareas de interacción humano-robot, los participantes que interactuaron con CRED reportaron una menor carga mental (medida por NASA-TLX) y encontraron las comparaciones de trayectorias más fáciles de evaluar en comparación con los métodos de línea base. CRED también logró una mayor correlación de recompensa con las preferencias de verdad fundamental tanto en tareas de manipulación como de navegación.

Significado y Afirmaciones
El artículo afirma que CRED representa un avance significativo en el aprendizaje activo de preferencias al abordar las limitaciones de escalabilidad y generalización de los métodos existentes. Al optimizar conjuntamente el entorno y la consulta, CRED permite que los robots aprendan funciones de recompensa que no solo son más precisas, sino también robustas a través de diferentes escenarios. Los autores afirman que su enfoque permite un aprendizaje más eficiente con menos consultas de usuario y reduce la carga cognitiva sobre los usuarios humanos. El marco se presenta como generalizable a diferentes clases de políticas (por ejemplo, PPO, iteración de valor) y dominios, aunque los autores reconocen la complejidad computacional de la formulación de dos niveles como una limitación actual.