Resumen Técnico: Inferencia de Recompensa Supervisada (SRI)

Planteamiento del Problema

Los enfoques tradicionales para la inferencia de recompensas, como el Aprendizaje por Refuerzo Inverso (IRL), dependen típicamente del supuesto de que las demostraciones humanas se generan de acuerdo con un modelo de comportamiento específico y conocido (por ejemplo, optimalidad ruidosa o racionalidad limitada). Sin embargo, el comportamiento humano en el mundo real suele ser subóptimo debido a una mala planificación, errores de ejecución o gestos no óptimos utilizados intencionadamente solo para comunicar objetivos. Los métodos existentes tienen dificultades cuando el modelo de comportamiento asumido está mal especificado, lo que conduce a una inferencia de recompensa incorrecta. Si bien algunos trabajos previos intentan aprender modelos de comportamiento a partir de los datos, estos enfoques suelen enfrentar limitaciones, como estar restringidos a entornos tabulares o no poder manejar eficazmente comportamientos arbitrariamente subóptimos.

El problema central abordado es cómo inferir funciones de recompensa a partir de una amplia gama de comportamientos humanos —incluyendo aquellos que son arbitrariamente subóptimos o destinados a la comunicación en lugar de a la optimización— sin depender de supuestos fuertes y potencialmente incorrectos sobre el modelo de comportamiento subyacente.

Metodología: Inferencia de Recompensa Supervisada (SRI)

Los autores proponen la Inferencia de Recompensa Supervisada (SRI), un marco que replantea la inferencia de recompensa como un problema de aprendizaje supervisado. En lugar de aprender un modelo de comportamiento que mapee recompensas a acciones y luego invertirlo, SRI aprende directamente un mapeo de trayectorias de comportamiento a funciones de recompensa utilizando un conjunto de datos de comportamientos emparejados y recompensas de verdad fundamental (ground-truth) conocidas.

Marco Central

Dado un conjunto de datos de tareas donde cada tarea $k$ consiste en:

1. Un conjunto de trayectorias de comportamiento $\{\tau_{k,i}\}$ (que pueden ser arbitrariamente subóptimas).
2. Un conjunto de pares estado-recompensa $\{(s_{k,j}, r_{k,j})\}$ muestreados de la misma tarea.

SRI entrena una red neuronal para predecir la recompensa $r(s)$ para un estado dado $s$, condicionado a las trayectorias de comportamiento. La arquitectura consta de dos componentes principales:

• Codificador de Tarea ($f_{\theta_f}$): Codifica un conjunto de trayectorias de comportamiento en un embedding de tarea de dimensión fija $\psi$. En los experimentos, esto utiliza un Transformer para la codificación de la trayectoria y un Set Transformer para la agrupación (pooling) de múltiples trayectorias.
• Modelo de Recompensa ($g_{\theta_g}$): Toma el embedding de la tarea $\psi$ y un estado $s$ como entrada para predecir el valor de la recompensa.

El objetivo de entrenamiento es minimizar el error cuadrático medio entre las recompensas predichas y las recompensas de verdad fundamental sobre el conjunto de datos:
$$\arg \min_{\theta_f, \theta_g} \mathbb{E} \left[ L \left( g_{\theta_g}(S, f_{\theta_f}(\{\tau_n\})), R(S) \right) \right]$$

Garantías Teóricas

El artículo proporciona una prueba de que SRI es asintóticamente Bayes-óptimo. Bajo supuestos estándar (espacios de estado/acción compactos, retornos acotados y capacidad de modelo suficiente), a medida que el tamaño del conjunto de datos se acerca al infinito, la función de recompensa inferida converge uniformemente a la media posterior de la recompensa dado el comportamiento. Consecuentemente, la política óptima derivada de esta recompensa inferida converge a la política que maximiza el retorno esperado bajo la distribución posterior real de las recompensas. Esto se mantiene para cualquier clase de comportamiento fijo, siempre que la distribución del comportamiento en el despliegue coincida con la distribución de entrenamiento.

Extensiones

Los autores demuestran que este esquema de inferencia supervisada se generaliza a otras tareas de inferencia de intención:

• Inferencia de Objetivo Supervisada (SGI): Predicción de representaciones de objetivos latentes directamente desde el comportamiento.
• Inferencia de Acción Supervisada (SAI): Predicción de acciones óptimas directamente desde el comportamiento y el estado.

Contribuciones Clave

1. Marco Novedoso: Introducción de SRI, que elimina la necesidad de un modelado de comportamiento explícito al tratar la inferencia de recompensa como una tarea directa de aprendizaje supervisado.
2. Optimalidad Teórica: Prueba de que SRI logra la optimalidad Bayesiana asintótica para la inferencia de recompensa y el aprendizaje por imitación bajo supuestos estándar, sin requerir conocimiento del modelo de comportamiento.
3. Robustez a la Suboptimalidad: Demostración de que SRI puede inferir recompensas precisas a partir de comportamientos altamente subóptimos, ruidosos e incluso comportamientos que no son de demostración (por ejemplo, gestos que nunca completan la tarea) donde los métodos tradicionales de IRL fallan.
4. Generalización: Extensión del marco a la Inferencia de Objetivo Supervisada (SGI) y la Inferencia de Acción Supervisada (SAI), mostrando la versatilidad del enfoque de inferencia de intención supervisada.

Resultados Experimentales

Los autores evaluaron SRI en dos benchmarks distintos:

1. Tareas Robóticas Meta-World (Control Continuo)

• Configuración: Las tareas incluyeron "Reach" (Alcanzar) y "Pick-Place" (Recoger-Colocar) con objetivos distribuidos aleatoriamente.
• Clases de Comportamiento: El sistema fue probado en cinco clases de demostraciones, incluyendo acciones ruidosas, desfases sistemáticamente erróneos y demostraciones de "Gesto" donde el robot señalaba hacia el objetivo pero nunca recogía ni colocaba el objeto.
• Hallazgos:
  • SRI logró un rendimiento cercano al techo (0.822 de proximidad de objetivo normalizada) en las tareas de Pick-Place utilizando solo demostraciones de "Gesto", mientras que todos los baselines de aprendizaje por imitación (BC, GAIL, AIRL) fallaron (rendimiento $\le 0$).
  • SRI demostró robustez ante sub-optimalidades arbitrarias, infiriendo políticas cercanas a la óptima incluso cuando las demostraciones eran altamente ruidosas o sistemáticamente sesgadas.
  • El rendimiento escaló suavemente con la cantidad de datos, mostrando eficiencia de datos.

2. Benchmark de Gridworld de Shah et al. (2019) (Tabular)

• Configuración: Un benchmark tabular comparando SRI contra métodos previos para comportamiento arbitrariamente subóptimo, incluyendo el algoritmo de "Planificación Inversa" (IP) de Shah et al. (2019).
• Hallazgos:
  • SRI (adaptado para recibir entradas de política) logró un rendimiento cercano al techo en todas las clases de demostradores (óptimo, ingenuo, sofisticado, miope, etc.) y sus variantes ruidosas.
  • SRI superó o igualó a los métodos de estado del arte de IP, sugiriendo que aprender directamente el mapa inverso (política-a-recompensa) es más efectivo que aprender un planificador e invertirlo, incluso en entornos tabulares.

Significancia y Reivindicaciones

El artículo afirma que SRI representa un cambio de paradigma de la ingeniería de modelos de comportamiento al aprendizaje supervisado basado en datos. Al ver el comportamiento como una indicación de intención en lugar de un intento de optimización, SRI evita la fragilidad asociada con la mala especificación del modelo.

Los autores enfatizan que:

• SRI es una "solución parsimoniosa pero poderosa" que aprovecha las técnicas estándar de aprendizaje supervisado.
• Permite el uso de avances en el aprendizaje de representaciones y modelos preentrenados (por ejemplo, Transformers) sin necesidad de diseñar sesgos inductivos específicos de RL.
• El método es universalmente aplicable a cualquier distribución de comportamiento fijo, siempre que haya una supervisión de recompensa indexada por tarea disponible durante el entrenamiento.
• Aunque los experimentos actuales asumen el acceso a recompensas de simulador para el entrenamiento, el marco está diseñado para ser compatible con futuras extensiones donde las recompensas se estimen a partir de anotaciones dispersas o preferencias.

El artículo concluye que los algoritmos de aprendizaje menos sesgados, cuando se les proporciona suficiente información, pueden superar a los enfoques basados en modelos más sesgados, apoyando la "lección amarga" (bitter lesson) de que escalar datos y computación a menudo produce mejores resultados que los supuestos diseñados a mano.