Resumen Técnico: Aprendizaje por Refuerzo Fuera de Línea con Retroalimentación Humana Robusto a la Corrupción

Definición del Problema

Este artículo aborda el desafío de la robustez ante la corrupción en el Aprendizaje por Refuerzo Fuera de Línea (Offline RL) a partir de la Retroalimentación Humana (RLHF). Los autores consideran un escenario donde un conjunto de datos fuera de línea consiste en pares de trayectorias $(\tau^0, \tau^1)$ junto con una retroalimentación de preferencia humana $o \in \{+1, -1\}$. El problema central es que una fracción $\epsilon$ de estos datos está corrompida por un adversario. Esta corrupción puede manifestarse como:

1. Manipulación de la retroalimentación: Invertir la etiqueta de preferencia $o$.
2. Manipulación de las características de la trayectoria: Alterar las características de las trayectorias $\tau$.

El objetivo es diseñar algoritmos que puedan identificar una política casi óptima a partir de tales datos corruptos con garantías teóricas demostrables. Los autores operan bajo el supuesto de Procesos de Decisión de Markov Lineales (MDPs), donde las recompensas y las transiciones son funciones lineales de un mapa de características $\phi$ de dimensión $d$, con una longitud de horizonte $H$.

La literatura existente ha estudiado por separado el RL robusto ante la corrupción (aprendizaje a partir de recompensas escalares bajo corrupción) y el RLHF fuera de línea (aprendizaje a partir de preferencias bajo datos limpios). Sin embargo, estos enfoques son inaplicables a la intersección específica del aprendizaje a partir de datos de preferencia que están corruptos en un entorno fuera de línea.

Metodología

La metodología propuesta sigue un marco de tres pasos para reducir el problema del RLHF fuera de línea robusto al problema del RL fuera de línea robusto:

1. Estimación Robusta del Modelo de Recompensa: Los autores primero aprenden robustamente el parámetro de recompensa $\theta$ resolviendo un problema de Estimación de Máxima Verosimilitud (MLE) Recortada (Trimmed MLE). En lugar de usar todos los datos, el algoritmo selecciona un subconjunto de $(1-\epsilon)N$ muestras que maximiza la verosimilitud. Para manejar las características corruptas, el método emplea una estimación de covarianza robusta para blanquear las covariables antes de ejecutar un procedimiento de optimización alternante para encontrar un punto estacionario aproximado.
2. Construcción del Conjunto de Confianza: Se construye un conjunto de confianza $\Theta(\mathcal{D})$ alrededor del parámetro de recompensa estimado $\hat{\theta}$. Este conjunto se define basándose en la razón de verosimilitud entre el parámetro estimado y el verdadero, asegurando que el parámetro verdadero se encuentre dentro del conjunto con alta probabilidad a pesar de la corrupción.
3. Optimización de Política Pesimista: El paso final consiste en aprender una política óptima pesimista sobre el conjunto de confianza construido. Esto se logra reduciendo el problema al RL fuera de línea robusto ante la corrupción. El algoritmo específico utilizado para esta reducción depende de los supuestos de cobertura de la distribución de los datos fuera de línea.

El artículo instancia este marco general bajo tres distintos supuestos de cobertura de datos, utilizando diferentes oráculos de RL robusto para cada uno:

1. Cobertura Uniforme

Bajo el supuesto de que los datos fuera de línea cubren uniformemente el espacio de características (específicamente, que la matriz de covarianza de características de diferencia $\Sigma^{diff}$ está bien condicionada), los autores utilizan un algoritmo de RL fuera de línea robusto existente, R-LSVI [Zha+22], como un oráculo de orden cero.

• Mecanismo: El algoritmo trata el método de RL fuera de línea robusto como una caja negra que devuelve una política y una estimación de valor, pero no proporciona información de gradiente.
• Resultado: Esto produce una brecha de suboptimalidad de $O(\epsilon^{1-o(1)})$, que es casi óptima con respecto a la fracción de corrupción $\epsilon$.

2. Bajo Número de Condición Relativo

Reconociendo que la cobertura uniforme es un supuesto fuerte, los autores lo relajan a un supuesto de Bajo Número de Condición Relativo. Esta condición es más débil, requiriendo solo que la razón entre la covarianza de características de la política objetivo y la covarianza de la política de comportamiento esté acotada.

• Mecanismo: Dado que el oráculo de orden cero (R-LSVI) no puede proporcionar gradientes, los autores emplean una técnica de aproximación Gaussiana [NS17] para construir un subgradiente aproximado de la función de valor óptima $V^*(\theta)$. Tratan el oráculo de RL fuera de línea robusto como un oráculo de orden cero sesgado y realizan un Descenso de Subgradiente Proyectado sobre el conjunto de confianza.
• Resultado: Este enfoque logra una brecha de suboptimalidad de $\tilde{O}(H^2 d \sqrt{\alpha \epsilon} + H^{5/4} d^{3/4} (\alpha \epsilon)^{1/4})$, donde $\alpha$ es el número de condición relativo. La dependencia de $\epsilon$ es de $O(\epsilon^{1/4})$.

3. Relación de Cobertura Generalizada Acotada

Para mejorar significativamente la dependencia de $\epsilon$, los autores consideran un supuesto de Relación de Cobertura Generalizada Acotada, introducido recientemente por Gabbianelli et al. [Gab+24].

• Mecanismo: Bajo este supuesto, los autores diseñan un nuevo método de RL fuera de línea robusto ante la corrupción (Algoritmo 7) que actúa como un oráculo de primer orden. Este método, basado en un marco primal-dual para MDPs lineales, devuelve no solo una política aproximadamente óptima, sino también un subgradiente aproximado de la función de valor óptima. Esto permite que el algoritmo principal de RLHF realice un descenso de subgradiente proyectado directo sin necesidad de suavizado de orden cero.
• Resultado: Esto produce una brecha de suboptimalidad significativamente mejorada de $\tilde{O}(\nu \sqrt{\epsilon} H^2 d^{3/2})$, donde $\nu$ es la relación de cobertura generalizada. La dependencia de $\epsilon$ mejora a $O(\sqrt{\epsilon})$.

Contribuciones Clave y Resultados

El artículo proporciona los primeros métodos de RLHF fuera de línea robustos ante la corrupción. Las contribuciones clave y los resultados teóricos se resumen en la Tabla 1 del documento:

• Marco Novedoso: La reducción del RLHF robusto al RL fuera de línea robusto mediante la estimación de recompensa robusta y la construcción de conjuntos de confianza.
• Instanciaciones Algorítmicas:
  • Algoritmo 1: Para cobertura uniforme, logrando una suboptimalidad de $O(\epsilon^{1-o(1)})$ usando R-LSVI como un oráculo de orden cero.
  • Algoritmo 3: Para bajo número de condición relativo, logrando una suboptimalidad de $\tilde{O}(\epsilon^{1/4})$ usando aproximación Gaussiana con un oráculo de orden cero.
  • Algoritmo 4 y 7: Para relación de cobertura generalizada acotada, logrando una suboptimalidad de $\tilde{O}(\sqrt{\epsilon})$ usando un nuevo oráculo de RL fuera de línea robusto de primer orden.
• Eficiencia del Oráculo: El artículo destaca que pasar de un acceso de orden cero a uno de primer orden (Algoritmo 7) reduce significativamente el número de llamadas al oráculo y mejora la dependencia del parámetro de corrupción $\epsilon$.

Significancia y Reivindicaciones

Los autores afirman que este trabajo es el primero en combinar la robustez ante la corrupción con el RL fuera de línea (RLHF), proporcionando garantías teóricas rigurosas donde trabajos previos no podían hacerlo.

• Robustez ante Ataques Adversarios: Los métodos están diseñados para resistir la manipulación adversaria tanto de las etiquetas de preferencia como de las características de las trayectorias, un requisito crítico para el despliegue en el mundo real donde la fiabilidad de los datos está comprometida.
• Garantías Teóricas: El artículo proporciona límites explícitos sobre la brecha de suboptimalidad en términos de la fracción de corrupción $\epsilon$, el horizonte $H$, la dimensión de las características $d$ y las constantes de cobertura ($\xi, \alpha, \nu$).
• Alcance Modesto y Trabajo Futuro: Los autores son modestos respecto al alcance actual, señalando que los resultados son específicos para MDPs lineales. Reconocen que extender estos resultados a funciones de recompensa no convexas o a la aproximación de funciones generales (por ejemplo, redes neuronales profundas) es un desafío significativo, ya que la convexidad de la función de valor óptima $V^*(\theta)$ en $\theta$ —que es crucial para sus pruebas basadas en gradientes— podría no mantenerse en entornos no lineales. También señalan que, aunque proporcionan resultados de simulación preliminares, la aplicación de estos métodos a entornos prácticos como el ajuste fino de Grandes Modelos de Lenguaje (LLMs) sigue siendo una dirección abierta y desafiante para la investigación futura.