Reward Learning through Ranking Mean Squared Error

Resumen Técnico: Aprendizaje de Recompensas mediante el Error Cuadrático Medio de Clasificación (R4)

Planteamiento del Problema
La aplicación del Aprendizaje por Refuerzo (RL) a problemas del mundo real se ve frecuentemente obstaculizada por la dificultad del diseño de recompensas. La ingeniería manual de recompensas es a menudo un proceso propenso a errores y de ensayo y error que puede conducir a una especificación errónea de la recompensa, donde los agentes aprenden comportamientos no deseados. Si bien el Aprendizaje de Recompensas (inferir recompensas a partir de la retroalimentación humana) ofrece una alternativa, los métodos existentes tienen limitaciones. El RL basado en preferencias (PbRL), que depende de comparaciones binarias, es ineficiente en términos de muestras y proporciona únicamente información relativa sin una evaluación de calidad absoluta. Por el contrario, los enfoques recientes de RL basados en calificaciones (RbRL) permiten que los humanos asignen calificaciones discretas y multiclasificación (por ejemplo, "malo", "neutral", "bueno"), ofreciendo una retroalimentación más rica. Sin embargo, los métodos de RbRL existentes, como los que utilizan pérdidas de entropía cruzada, imponen restricciones rígidas al modelado de recompensas, como requerir límites de clase explícitos y forzar que las trayectorias dentro de la misma clase de calificación tengan retornos predichos idénticos, ignorando así la diversidad intraclasificación.

Metodología: Regresión de Retorno Clasificado para RL (R4)
Los autores proponen R4, un nuevo algoritmo de RL basado en calificaciones que aprende funciones de recompensa a partir de pares trayectoria-calificación utilizando una pérdida de Error Cuadrático Medio de Clasificación (rMSE).

• Mecanismo Central: R4 trata las calificaciones discretas proporcionadas por humanos como objetivos ordinales. Durante el entrenamiento, el algoritmo muestrea una trayectoria de cada clase de calificación. Calcula los retornos descontados predichos para estas trayectorias bajo el modelo de recompensa actual ($\hat{r}_\theta$).
• Clasificación Diferenciable: En lugar de tratar las calificaciones como etiquetas de clasificación independientes, R4 utiliza un operador de ordenamiento diferenciable (específicamente, rangos suaves de Blondel et al., 2020) para clasificar los retornos predichos. Esto produce un vector de rangos suaves ($\hat{R}$) correspondientes a las trayectorias muestreadas.
• Función de Pérdida: El objetivo es minimizar el Error Cuadrático Medio entre los rangos suaves de los retornos predichos y las clases de calificación proporcionadas por el humano ($c$):
  $$L_{rMSE} = \frac{1}{n} \sum_{i=0}^{n-1} (\hat{R}(\tau_i) - c(\tau_i))^2$$
  Este enfoque permite que los gradientes se propaguen a través de la operación de clasificación, permitiendo que el modelo de recompensa se ajuste para que el orden relativo de los retornos predichos se alinee con las calificaciones ordinales humanas.

Contribuciones Clave

1. Innovación Algorítmica: La introducción de R4, que utiliza la novedosa pérdida rMSE para entrenar funciones de recompensa a partir de calificaciones ordinales sin requerir límites de clase definidos explícitamente.
2. Garantías Teóricas: Los autores establecen que, bajo supuestos leves (recompensa humana determinista, cobertura de la clase de hipótesis y clasificación diferenciable que aproxima los rangos duros), el conjunto de soluciones del objetivo rMSE es tanto mínimo como completo. Esto significa que el conjunto de funciones de recompensa que satisfacen la pérdida rMSE es equivalente al conjunto de funciones de recompensa que satisfacen perfectamente las restricciones ordinales impuestas por las calificaciones humanas. En contraste, los autores demuestran que la verdadera función de recompensa del humano no está garantizada en el conjunto de soluciones de los objetivos previos de RbRL.
3. Validación Empírica: R4 se valida tanto en entornos offline como online utilizando calificaciones simuladas y un estudio con usuarios humanos. Consistentemente iguala o supera a los métodos existentes de clasificación (RbRL) y de preferencia (PEBBLE, SURF, QPA) en pruebas de robótica (OpenAI Gym y DeepMind Control Suite).
4. Estudio Humano: Un estudio con aprobación ética con 8 participantes demostró que R4 supera a RbRL a pesar de la variabilidad significativa en el comportamiento de calificación entre participantes. Los participantes reportaron una baja carga cognitiva (puntuación media de NASA TLX de 2.05/7), lo que respalda la viabilidad de la retroalimentación basada en calificaciones.

Resultados

• Entorno Offline: En dominios de OpenAI Gym (Reacher, Inverted Double Pendulum, Half Cheetah), las funciones de recompensa entrenadas con R4 condujeron a un aprendizaje estadísticamente más rápido y mayores retornos finales en comparación con RbRL al entrenar un agente de Soft Actor-Critic (SAC).
• Entorno Online: En seis entornos de DeepMind Control Suite, los agentes entrenados con R4 aprendieron significativamente más rápido que todos los modelos base en tres entornos y lograron mayores retornos finales en cuatro entornos.
• Retroalimentación Humana: En el estudio de usuarios, R4 logró un aprendizaje significativamente más rápido y mayores retornos que RbRL tanto en las tareas de Reacher como de Hopper, incluso cuando los participantes utilizaron un número variable de clases de calificación y exhibieron desequilibrios de clase.
• Ablación: El estudio confirmó que R4 se mantiene estable a través de diferentes números de contenedores de calificación, mientras que el rendimiento de RbRL se degrada a medida que el número de contenedores se desvía de un rango óptimo.

Significancia
El artículo afirma que R4 representa un paso significativo hacia adelante en el aprendizaje de recompensas al proporcionar un método que es tanto teóricamente fundamentado como prácticamente efectivo. Al aprovechar la naturaleza ordinal de las calificaciones humanas a través de una pérdida basada en el orden, R4 evita las suposiciones restrictivas de los métodos anteriores basados en la clasificación (como los límites fijos y la homogeneidad intraclasificación). La prueba teórica de minimidad y completitud ofrece una justificación rigurosa para el diseño del algoritmo, mientras que los resultados empíricos, incluyendo el estudio humano, demuestran su robustez ante la variabilidad de la retroalimentación del mundo real y su capacidad para reducir la carga cognitiva de los evaluadores humanos en comparación con las alternativas basadas en preferencias.