Generalization in offline RL: The structure is more important than the amount of pessimism

Título: La generalización en el Aprendizaje por Refuerzo Fuera de Línea: La estructura es más importante que la cantidad de pesimismo

Planteamiento del problema
El Aprendizaje por Refuerzo (RL) fuera de línea (offline) tiene como objetivo aprender políticas óptimas a partir de conjuntos de datos fijos y estáticos sin mayor interacción con el entorno. Para mitigar el sesgo de sobreestimación en acciones fuera de la distribución (OOD), la mayoría de los métodos de vanguardia emplean un aprendizaje de valor pesimista o conservador. Sin embargo, la literatura reciente sugiere que ser excesivamente conservador puede dificultar la generalización a nuevos escenarios o impedir el ensamblaje de trayectorias (trajectory stitching). Si bien algunos enfoques abogan por un conservadurismo "leve" para mejorar la generalización, sigue sin estar claro si el grado de pesimismo o las propiedades estructurales de la función de valor pesimista es el determinante principal del rendimiento de la transferencia de política de cero disparos (ZSPT, por sus siglas en inglés). Específicamente, en entornos con simetrías subyacentes (por ejemplo, invariancia rotacional), se desconoce si una función de valor altamente pesimista pero simétrica generaliza mejor que una levemente pesimista pero asimétrica.

Metodología
Los autores investigan esta cuestión mediante una combinación de análisis teórico y validación empírica en el contexto de los Procesos de Decisión de Markov Contextuales (CMDP) bajo el marco de Generalización mediante Invariancia para ZSPT (GTI-ZSPT).

1. Marco Teórico:

   • Los autores formalizan la generalización como la capacidad de un agente para aprender el grupo de simetría $G$ correcto de la solución óptima, a pesar de observar únicamente un subgrupo $B \leq G$ en los datos de entrenamiento.
   • Utilizan la destilación de valores Q como un sustituto (proxy) de los mecanismos de RL fuera de línea. Esto aísla el efecto de aprender una función de valor pesimista específica de las complejidades del algoritmo de RL en sí.
   • El análisis asume un límite de red neuronal infinitamente ancha, aprovechando el Kernel de Tangente Neuronal (NTK) y los resultados de Gerken & Kessel (2024) respecto a la equivariancia de los conjuntos (ensembles) profundos.
   • Se demuestran dos teoremas clave:
     • Teorema 1: Si una función de valor pesimista respeta el grupo de simetría $B$ de los datos de entrenamiento, el agente puede lograr un rendimiento de generalización óptimo en el entorno de prueba, independientemente de cuán grande sea el nivel de pesimismo ($\eta_{max}$).
     • Teorema 2: Por el contrario, existen instancias donde una función de valor levemente pesimista que viola la estructura de simetría ($\hat{Q}_{asym}$) está garantizada para generalizar arbitrariamente peor que una función $\hat{Q}_{sym}$ que es excesivamente pesimista pero simétrica.

2. Validación Empírica:

   • Entorno: Un entorno de control continuo de "Reacher Rotacional" con simetría rotacional. Los contextos de entrenamiento cubren un subgrupo $C_4$ (rotaciones de 90°), mientras que el de prueba cubre el grupo completo $SO(2)$.
   • Algoritmos: El estudio evalúa el Aprendizaje Q Implícito (IQL) y el Aprendizaje Q Conservador (CQL).
   • Estrategias de Aumento de Datos (DA): El artículo compara el aumento de datos estándar (entrenar en conjuntos de datos aumentados) contra la regularización de Consistencia de Aumento de Datos (DAC). DAC impone la simetría añadiendo un término de pérdida que minimiza la diferencia entre las salidas de la red (o representaciones latentes) para entradas originales y aumentadas.
   • Hipótesis: Los autores argumentan que DAC es superior para el RL fuera de línea porque impone explícitamente la estructura (simetría) de la función de valor/política, priorizando la simetría sobre la precisión de las estimaciones de valor, lo cual se alinea con sus hallazgos teóricos.

Contribuciones Clave

• Perspectiva Teórica: El artículo establece que la estructura del pesimismo es más crítica que su magnitud para la generalización. Demuestra que es posible lograr una generalización óptima con un pesimismo arbitrariamente alto, siempre que la función de valor respete las simetrías del entorno.
• Hallazgo Contraintuitivo: Demuestra que un pesimismo leve no es una garantía de mejor generalización; si el pesimismo leve rompe las simetrías requeridas, el rendimiento puede ser arbitrariamente pobre en comparación con una alternativa simétrica altamente pesimista.
• Propuesta Metodológica: Los autores proponen aplicar el aumento de datos mediante una pérdida de consistencia durante la extracción de la política (específicamente para el actor en IQL) en lugar de la práctica estándar de entrenar en conjuntos de datos aumentados. Este enfoque impone directamente la estructura simétrica de la política/función de valor.
• Evidencia Empírica: Experimentos en IQL y CQL muestran que DAC-Output (imponer la consistencia en la salida de la red) produce el mejor rendimiento de generalización, superando tanto a los modelos de base sin aumento como al entrenamiento con aumento de datos (Aug-D).

Resultados

• Destilación de Valor Q: En la validación teórica utilizando el Reacher Rotacional, un objetivo simétrico pesimista ($\hat{Q}^*_{sym}$) mantuvo un rendimiento de prueba cercano al óptimo incluso cuando el pesimismo aumentó en un orden de magnitud. En contraste, un objetivo asimétrico ($\hat{Q}^*_{asym}$) vio cómo su rendimiento de prueba degradaba significativamente a medida que el pesimismo aumentaba.
• Experimentos de RL Fuera de Línea:
  • Para ambos algoritmos, IQL y CQL, la aplicación de DAC-Output logró consistentemente los retornos de prueba más altos a través de conjuntos de datos expertos, mixtos y subóptimos.
    imponiendo la simetría en el componente de extracción de la política es crucial.
  • Aplicar DA solo al crítico (sin el actor) en IQL no mostró mejoras sobre la línea base, confirmando que imponer la simetría en el componente de extracción de la política es fundamental.

Significado y Reivindicaciones
El artículo sostiene que la intuición prevaleciente —que reducir el conservadurismo es necesario para la generalización— es incompleta. En su lugar, los autores argumentan que imponer las simetrías estructurales correctas es el motor principal de una transferencia exitosa de cero disparos en el RL fuera de línea.

La importancia de este trabajo radica en desplazar el enfoque de "¿qué tan conservadores debemos ser?" a "¿nuestro conservadurismo respeta las simetrías del entorno?". Los autores postulan que, en el RL fuera de línea, donde la cobertura del conjunto de datos suele inducir sesgos no simétricos, las técnicas como la Consistencia de Aumento de Datos (DAC) son esenciales. Al priorizar la simetría sobre la precisión del valor durante la extracción de la política, DAC permite que los agentes generalicen de manera óptima incluso cuando la función de valor es altamente pesimista. Esto desafía la práctica estándar de usar el aumento de datos simplemente para aumentar el tamaño del conjunto de datos para el entrenamiento regular, sugiriendo que debería usarse en su lugar como un regularizador para imponer la invariancia estructural.

Limitaciones
Los autores reconocen varias limitaciones:

• Las pruebas teóricas dependen del límite de anchura infinita de las redes neuronales, aunque los resultados empíricos en redes de anchura finita respaldan la teoría.
• El análisis se centra en simetrías de grupo intrínsecas consistentes con la distribución de los datos. No se ha demostrado si estas conclusiones se mantienen para transformaciones extrínsecas o inconsistentes (por ejemplo, ruido aleatorio) utilizadas únicamente para la regularización.
• Los hallazgos se validan actualmente en la tarea del Reacher Rotacional y en dos algoritmos específicos (IQL, CQL); se requiere una validación más amplia en entornos y algoritmos complejos.