Resumen Técnico: Aprendizaje por Refuerzo con Regularización KL en Línea con Aproximación de Funciones bajo Especificación Errónea

1. Formulación del Problema

Este trabajo aborda el problema de los bandidos contextuales y el aprendizaje por refuerzo (RL) episódico con regularización KL bajo aproximación de funciones general cuando la clase de modelos elegida está especificada erróneamente.

En configuraciones estándar, las garantías teóricas suelen depender del supuesto de realizabilidad, que postula que la función de recompensa o de valor real reside exactamente dentro de la clase de funciones del aprendiz. Sin embargo, en aplicaciones prácticas como el Aprendizaje por Refuerzo a partir de Retroalimentación Humana (RLHF) y el post-entrenamiento de Modelos de Lenguaje Extensos (LLM), los aprendices emplean frecuentemente clases de funciones restringidas (por ejemplo, modelos lineales o de bajo rango) que no pueden capturar perfectamente estructuras de recompensa no lineales complejas. Esto conduce a una especificación errónea del modelo, donde incluso con datos infinitos, el mejor predictor en la clase elegida retiene un sesgo de aproximación no nulo.

Los objetivos específicos son:

• Bandidos Contextuales: Minimizar el regrete KL acumulado contra una política de Gibbs óptima para KL, definida por una política de referencia $\pi_{\text{ref}}$ y un parámetro de regularización $\eta$.
• RL Episódico: Minimizar el regrete KL acumulado en un entorno de MDP episódico, donde las actualizaciones de la política están regularizadas por una penalización KL respecto a las políticas de referencia por etapa.

El desafío central es que los análisis de especificación errónea existentes para las formulaciones estándar de regrete de recompensa no se transfieren directamente a los entornos de regularización KL debido a las diferencias estructurales en la geometría de optimización y en los objetivos de Bellman.

2. Metodología

2.1 Formulaciones de Especificación Errónea

Los autores introducen condiciones de especificación errónea específicas adaptadas al objetivo de regularización KL:

• Bandidos Contextuales: Una formulación de especificación errónea puntual donde el error cuadrático entre la recompensa real $R^\star$ y el mejor aproximador en la clase $\mathcal{R}$ está acotado por $\zeta_{\text{Bandit}}^2$.
• RL Episódico: Una condición de especificación errónea por etapa alineada con los objetivos de Bellman con regularización KL. Esto acota el error entre el retroceso de Bellman real (que involucra al operador de log-partición) y el mejor aproximador en la clase de funciones por etapa $\mathcal{R}_h$, acotado por $\zeta_{\text{RL}}$.

2.2 Algoritmos

El artículo propone dos algoritmos basados en regresión que incorporan optimismo para manejar la incertidumbre y la especificación errónea:

1. MR-KL-UCB (Bandidos Contextuales):

   • Ajusta un Minimizador de Riesgo Empírico (ERM) sobre los datos observados.
   • Calcula un bono de incertidumbre basado en la dimensión de eluder de la clase de funciones.
   • Añade el nivel de especificación errónea conocido $\zeta_{\text{Bandit}}$ al bono.
   • Actualiza la política utilizando una distribución de Gibbs derivada de la estimación de recompensa optimista: $\pi_t(a|x) \propto \pi_{\text{ref}}(a|x) \exp(\eta \hat{R}_t(x,a))$.

2. MR-KL-LSVI (RL Episódico):

   • Una extensión de la Iteración de Valor por Mínimos Cuadrados (LSVI) al entorno de regularización KL.
   • Realiza planificación hacia atrás: en cada etapa $h$, recomputa las etiquetas de regresión utilizando el valor de continuación de la etapa siguiente.
   • Ajusta un ERM por etapa, calcula un bono de incertidumbre y añade el nivel de especificación errónea $\zeta_{\text{RL}}$.
   • Actualiza la política mediante la mejora de la política de Gibbs relativa a la política de referencia por etapa.
   • Utiliza una actualización de valor suave (operador de log-partición) para manejar la regularización KL.

2.3 Técnicas de Análisis Teórico

El análisis combina varias técnicas avanzadas:

• Identidad Variacional de Gibbs: Utiliza la relación exacta entre la brecha KL y la diferencia en las funciones de puntuación (scores) para acotar el regrete.
• Auto-acotación Cuadrática: Establece que la brecha KL entre la política del aprendiz y la política óptima está acotada superiormente por la diferencia al cuadrado de sus funciones de puntuación (brecha de optimismo).
• Reducción a Residuos de Bellman: Convierte las brechas de Q de política on-policy al cuadrado en términos de residuos de Bellman al cuadrado, aislando las contribuciones específicas de KL.
• Desigualdad de Freedman: Utilizada para alinear las sumas predecibles de bonos al cuadrado con las sumas realizadas, asegurando garantías de alta probabilidad.

3. Contribuciones Clave

1. Nuevas Formulaciones de Especificación Errónea: El artículo define las primeras condiciones de especificación errónea alineadas con KL tanto para bandidos contextuales (puntual) como para RL episódico (por etapa a lo largo de los caminos de Bellman).
2. Diseño Algorítmico: Introduce MR-KL-UCB y MR-KL-LSVI, que calibran explícitamente los bonos de optimismo con los niveles de especificación errónea conocidos ($\zeta$) mientras mantienen la estructura de política de Gibbs requerida para los objetivos de regularización KL.
3. Garantías de Regrete de Alta Probabilidad: Los autores establecen límites de regrete KL de alta probabilidad que separan explícitamente la complejidad estadística (vía dimensión de eluder) del error de aproximación debido a la especificación errónea.
   • Para bandidos: $O(\eta \sqrt{\log(N_R T/\delta) \cdot d(\mathcal{R}, \lambda, T)} + T\zeta_{\text{Bandit}}^2)$.
   • Para RL: $\tilde{O}(\eta H^2 \sqrt{d_{\text{RL}}(\lambda, T)} + \eta H^3 T \zeta_{\text{RL}}^2)$.
4. Recuperación de Casos Realizables: El análisis demuestra que cuando el nivel de especificación errónea es cero ($\zeta = 0$), los límites recuperan las garantías de vanguardia para entornos de regularización KL realizables.

4. Resultados

Los principales resultados teóricos (Teorema 5.1 y Corolario 5.4) proporcionan las siguientes garantías:

• Bandidos Contextuales: Bajo el modelo de especificación errónea puntual, el regrete KL acumulado escala con la raíz cuadrada de la dimensión de eluder de la clase de funciones y linealmente con el horizonte de tiempo total $T$ multiplicado por el error de especificación errónea al cuadrado $\zeta_{\text{Bandit}}^2$.
• RL Episódico: Bajo la condición de especificación errónea por etapa, el regrete escala con el horizonte $H$, el parámetro de regularización $\eta$, la dimensión de eluder agregada y el error de especificación errónea al cuadrado $\zeta_{\text{RL}}^2$. El límite incluye un término explícito para la suma de los bonos al cuadrado, el cual es controlado por el nivel de especificación errónea.

Estos resultados se mantienen con alta probabilidad ($1-\delta$) y asumen ruido sub-Gaussiano condicional.

5. Significado y Reivindicaciones

El artículo afirma llenar un vacío crítico en la comprensión teórica de RLHF y el aprendizaje basado en preferencias, donde la especificación errónea del modelo es común pero a menudo se ignora en los análisis teóricos.

• Puente entre Teoría y Práctica: Al ir más allá del supuesto de realizabilidad, este trabajo proporciona un marco teórico más realista para las aplicaciones modernas de RL donde se emplean clases de funciones simples (como modelos lineales) para aproximar paisajes de recompensa complejos.
• Perspectiva Estructural: El análisis destaca que los objetivos con regularización KL introducen desafíos geométicos específicos (por ejemplo, operadores de log-partición y políticas de Gibbs) que requieren condiciones de especificación errónea distintas en comparación con las formulaciones estándar de regrete de recompensa.
• Robustez: Se demuestra que los algoritmos propuestos son robustos a los errores de aproximación, degradándose gradualmente a medida que aumenta el nivel de especificación errónea, en lugar de fallar completamente como podrían sugerir algunos límites dependientes de la realizabilidad.

Los autores señalan que su modelo asume especificación errónea puntual y ruido de cola ligera. Reconocen que extender estas garantías a medidas de especificación errónea on-policy, entornos de cola pesada y modelos de retroalimentación más amplios (como formulaciones basadas en preferencias más allá del alcance actual) sigue siendo una dirección importante para trabajos futuros.