Resumen Técnico: Aprendizaje por Refuerzo en Política Escalable mediante Escalado Adaptativo de Lotes

1. Declaración del Problema

La sabiduría convencional en el Aprendizaje por Refuerzo (RL) postula que el entrenamiento con lotes grandes es fundamentalmente incompatible con este campo. A diferencia del aprendizaje supervisado, donde aumentar los tamaños de lote estabiliza la estimación del gradiente y permite el entrenamiento de modelos masivos (Leyes de Escalado), los practicantes de RL suelen depender de tamaños de lote modestos (por ejemplo, 256–1024). Esta limitación se atribuye a la no estacionariedad inherente de la distribución de datos en RL; a medida que la política ($\pi_\theta$) se actualiza, la distribución de datos cambia, creando una compensación entre sesgo y varianza.

La visión predominante sugiere que aumentar los tamaños de lote más allá de un umbral crítico produce rendimientos decrecientes o degradación del rendimiento. Se cree que los lotes grandes causan que los agentes se sobreajusten a trayectorias transitorias e inestables durante las etapas tempranas y volátiles del entrenamiento. En consecuencia, la práctica estándar favorece los lotes pequeños para mantener la plasticidad del modelo y adaptarse a distribuciones cambiantes, incluso al utilizar arquitecturas a gran escala. Este trabajo desafía la naturaleza estática de esta visión, argumentando que el grado de no estacionariedad no es constante, sino que evoluciona a lo largo del entrenamiento.

2. Metodología: Escalado Adaptativo de Lotes (ABS)

Los autores proponen el Escalado Adaptativo de Lotes (ABS), un marco que ajusta dinámicamente el tamaño de lote efectivo basándose en la estabilidad de la política de aprendizaje. La hipótesis central es que el entrenamiento de RL consiste en dos regímenes distintos:

1. Etapa Temprana (Alta No Estacionariedad): Caracterizada por cambios conductuales rápidos. Se requieren lotes pequeños para preservar la plasticidad y evitar el sobreajuste a trayectorias inestables.
2. Etapa Tardía (Casi Estacionariedad): A medida que la política converge, la distribución de datos se estabiliza. Los lotes grandes se vuelven beneficiosos para suprimir el ruido del gradiente y permitir una convergencia precisa.

Componentes Clave

• Divergencia Conductual ($\delta_\pi$): Una métrica novedosa introducida para cuantificar la no estacionariedad de la política. Mide la fracción de estados donde la acción preferida cambia entre la política actual ($\pi_\theta$) y la política anterior ($\pi_{\theta_{old}}$) en un lote de referencia.
  • Formalmente: $\delta_\pi(\theta', \theta) := \frac{1}{M} \sum_{i=1}^{M} \mathbb{I} [\pi_{\theta'}(s_i) \neq \pi_{\theta}(s_i)]$.
  • Un $\delta_\pi$ alto indica alta volatilidad (etapa temprana); un $\delta_\pi$ bajo indica estabilidad (etapa tardía).
• Programa de Escalado Dinámico: El tamaño de lote efectivo ($|B|$) se escala inversamente proporcional a la divergencia conductual.
  • La longitud de despliegue ($L_{adapt}$) se ajusta logarítmicamente entre un mínimo ($L_{min}$) y un máximo ($L_{max}$) basándose en la divergencia normalizada.
  • Cuando $\delta_\pi$ es alto (cambio rápido), $L_{adapt}$ se establece en $L_{min}$ (lote pequeño).
  • Cuando $\delta_\pi$ es bajo (estable), $L_{adapt}$ escala a $L_{max}$ (lote grande).
• Integración: El método se integra con el algoritmo de Red Q Paralelizada (PQN). El cálculo de la Divergencia Conductual depende únicamente de pasadas hacia adelante, lo que lo hace computacionalmente eficiente en comparación con métodos que requieren pasadas hacia atrás (por ejemplo, Escala de Ruido del Gradiente).

3. Contribuciones Clave

1. Cuantificación de la No Estacionariedad en RL: La introducción de la Divergencia Conductual como una métrica práctica de pasada hacia adelante para medir cambios a nivel de acción entre actualizaciones de política sucesivas.
2. Marco de Escalado Adaptativo de Lotes: Un algoritmo simple pero efectivo que escala dinámicamente los tamaños de lote (longitudes de despliegue) en respuesta a la estabilidad de la política, cerrando la brecha entre la necesidad de plasticidad en el entrenamiento temprano y la estabilidad en el entrenamiento tardío.
3. Verificación de Escalabilidad: Demostración empírica de que ABS permite mejoras de rendimiento con tamaños de lote más grandes en la referencia ALE, particularmente cuando se combina con arquitecturas de red más grandes (por ejemplo, modelos multi-salto estilo ResNet), un comportamiento de escalado previamente considerado inalcanzable en RL.

4. Resultados Experimentales

El método fue evaluado en las referencias Atari-57 y Atari-10 utilizando el algoritmo PQN, y extendido a control continuo (MuJoCo) y configuraciones fuera de política (BTR).

• Rendimiento vs. Lotes Fijos: ABS superó a PQN estándar y a las líneas base de lotes pequeños/grandes fijos en la mayoría de los entornos. Logró puntuaciones más altas en la etapa temprana (debido a lotes pequeños) y menor varianza en la etapa tardía (debido a lotes grandes).
• Comparación con GNS: ABS superó al enfoque de Escala de Ruido del Gradiente (GNS) tanto en eficiencia de muestras como en rendimiento final, siendo significativamente más eficiente computacionalmente al evitar pasadas hacia atrás adicionales.
• Escalabilidad con Modelos Grandes: Cuando se aplicó a arquitecturas más grandes (PQN-L y PQN-XL), ABS mejoró consistentemente el rendimiento. Crucialmente, mientras que el uso de un lote grande fijo degradó el rendimiento en modelos grandes, ABS (escalando de pequeño a grande) desbloqueó el potencial de estos modelos, logrando el mejor rendimiento. Esto confirma una correlación positiva entre la escala del modelo y la eficacia del agrupamiento adaptativo.
• Generalización:
  • Control Continuo: Aplicado a PPO en MuJoCo utilizando la Divergencia KL como proxy de no estacionariedad, ABS mejoró la eficiencia de muestras y el rendimiento final.
  • RL Fuera de Política: Aplicado a BTR con modificación mínima (reemplazando la longitud de despliegue con un rango de tamaños de lote), ABS mejoró el rendimiento en 4 de los 5 entornos de Atari-5.

5. Significado y Afirmaciones

El trabajo afirma desafiar la "sabiduría convencional" de que el entrenamiento con lotes grandes es incompatible con RL. Al demostrar que la no estacionariedad es una propiedad evolutiva y no una restricción fija, los autores muestran que las redes más grandes y los tamaños de lote más grandes pueden lograr el mejor rendimiento en RL cuando se gestionan de forma adaptativa.

El significado de este trabajo radica en su potencial para desbloquear el potencial de escalado del aprendizaje por refuerzo, permitiendo que los agentes de RL de alta capacidad utilicen las mismas ventajas del entrenamiento con lotes grandes que han impulsado el éxito en el aprendizaje supervisado (por ejemplo, LLM y Transformadores de Visión). Los autores posicionan a ABS como un paso fundamental hacia un RL escalable, cerrando la brecha de rendimiento entre RL y aprendizaje supervisado a gran escala.

Limitaciones y Direcciones Futuras:
Los autores señalan que, aunque el trabajo actual se centra en algoritmos en política, el trabajo futuro incluye extender ABS a RL offline, validar en arquitecturas basadas en Transformadores e integrar el método en técnicas de alineación de Modelos de Lenguaje Grandes (por ejemplo, GRPO) para RLHF escalable.