Actor-Curator: Co-adaptive Curriculum Learning via Policy-Improvement Bandits for RL Post-Training

Resumen Técnico: ACTOR-CURATOR

1. El Problema

El entrenamiento posterior (post-training) de modelos de lenguaje grandes (LLMs) mediante Aprendizaje por Refuerzo (RL) enfrenta un desafío crítico: la selección de datos. Los conjuntos de datos de entrenamiento son masivos, heterogéneos y evolutivos.

• Limitaciones actuales: Los enfoques tradicionales de aprendizaje curricular dependen de anotaciones manuales de dificultad, "cubos" de problemas diseñados a mano o estadísticas por problema. Estos métodos no escalan, no generalizan a problemas no vistos y son frágiles cuando la utilidad de un problema cambia a medida que mejora la política del modelo.
• Desafío central: Diseñar una estrategia de selección de datos adaptativa que determine qué problemas entrenar en cada iteración para maximizar la mejora general del rendimiento, equilibrando la exploración de problemas sub-muestreados con la explotación de aquellos que impulsan la mejora de la política actual, todo bajo retroalimentación parcial y dinámica no estacionaria.

2. Metodología: ACTOR-CURATOR

El authors proponen ACTOR-CURATOR (AC), un marco completamente automatizado y escalable que entrena conjuntamente un "Actor" (el LLM) y un "Curador" (una red neuronal) de manera on-policy y en línea.

Componentes Clave:

1. El Curador como Problema de Bandido:

   • La selección de problemas se formula como un problema de bandido estocástico no estacionario. Cada problema es un "brazo" con una utilidad variable en el tiempo.
   • El curador no selecciona problemas basándose en heurísticas (como la dificultad absoluta), sino que aprende a maximizar directamente la mejora esperada de la política.

2. Señal de Aprendizaje basada en Mejora de Política:

   • Utilizan una identidad de diferencia de rendimiento para definir la utilidad de un problema $x$ en la iteración $t$ como:
     $$u_t^x = p_X(x) \mathbb{E}_{y \sim \pi_t} \left[ \frac{\pi_{t+1}(y|x)}{\pi_t(y|x)} A_{\pi_t}(y|x) \right]$$
   • Esta señal asigna una probabilidad más alta a los problemas que se espera que induzcan la mayor mejora en el actor, proporcionando una señal de aprendizaje teóricamente fundamentada y consciente del actor.

3. Optimización con Descenso de Espejo Estocástico en Línea (OSMD):

   • Para optimizar el curador bajo retroalimentación parcial (solo se observa la utilidad de los problemas seleccionados), utilizan OSMD (Online Stochastic Mirror Descent).
   • Aproximación Funcional: Dado que el espacio de problemas es enorme, no mantienen una tabla de probabilidades. En su lugar, parametrizan el curador como una red neuronal que mapea problemas a puntuaciones positivas, definiendo implícitamente una distribución de probabilidad.
   • Muestreo en Dos Etapas: Para hacer viable el muestreo sobre grandes bancos de problemas:
     1. Se selecciona un lote candidato $\tilde{X}_t$ de una distribución propuesta fija.
     2. El curador repondera y selecciona el lote de entrenamiento $X_t$ dentro de este candidato.
     • Esto permite estimadores imparciales de la utilidad y escalabilidad.

4. Estabilización (Clipping Proximal):

   • Para evitar actualizaciones inestables en el curador (similar a PPO en el actor), se introduce un objetivo de "clipping" proximal en la función de pérdida del curador, limitando la razón de importancia entre políticas consecutivas del curador.

3. Contribuciones Principales

• Marco de Curación Automatizada: Introducen ACTOR-CURATOR, el primer marco escalable que aprende un curador neuronal para seleccionar problemas de entrenamiento de manera adaptativa sin necesidad de anotaciones humanas ni estructuración manual de datos.
• Formulación de Bandidos basada en Mejora de Política: Reformulan la selección de datos como un problema de bandido no estacionario con una señal de aprendizaje derivada de la teoría de mejora de políticas, optimizada mediante OSMD con garantías de regret bajo retroalimentación parcial.
• Escalabilidad y Robustez: Demuestran que el enfoque funciona eficazmente con conjuntos de datos de más de 10,000 problemas y es compatible con diversos algoritmos de actualización de actores (GRPO, GSPO, etc.).

4. Resultados Experimentales

El método se evaluó en cinco benchmarks de razonamiento y matemáticas: Countdown, Zebra, ARC-1D, MATH500 y AIME24.

• Rendimiento Superior: ACTOR-CURATOR superó consistentemente al muestreo uniforme y a baselines fuertes (como SEC y PCL).
  • Ganancias Relativas: Logró mejoras del 28.6% en AIME2024 y del 30.5% en ARC-1D sobre el baseline más fuerte.
  • Rendimiento en Tareas Difíciles: Las ganancias fueron particularmente notables en subconjuntos difíciles (ej. +58.97% en ARC-HARD).
• Eficiencia de Muestras: El método alcanzó niveles de rendimiento comparables o superiores utilizando significativamente menos pasos de entrenamiento.
  • Aceleración: Se reportó una aceleración de hasta el 80% en Zebra y un 28% en AIME24 en términos de tiempo de convergencia.
• Estabilidad: Las curvas de entrenamiento mostraron una optimización más estable y una capacidad de continuar mejorando incluso cuando otros métodos se estancaban.
• Análisis de Dinámica: El curador aprendió naturalmente a priorizar problemas más fáciles al inicio y a desplazarse gradualmente hacia problemas más difíciles a medida que el actor mejoraba, sin etiquetas de dificultad explícitas.

5. Significado e Impacto

ACTOR-CURATOR representa un cambio de paradigma en el entrenamiento posterior de LLMs:

• De Datos Estáticos a Dinámicos: Propone tratar la selección de datos no como un recurso estático, sino como un componente optimizable en línea que se adapta junto con la política evolutiva.
• Eliminación de Cuellos de Botella Humanos: Reduce la dependencia de ingeniería de datasets meticulosa y anotaciones manuales de dificultad, permitiendo curricula adaptativos en entornos de datos masivos y heterogéneos.
• Fundamento Teórico: Proporciona una base teórica sólida (teoría de bandidos y mejora de políticas) para el aprendizaje curricular, superando las limitaciones de las heurísticas ad-hoc.

En resumen, ACTOR-CURATOR ofrece un enfoque práctico y principista para la escalabilidad del aprendizaje curricular en RL, logrando una mayor eficiencia, estabilidad y rendimiento final en tareas de razonamiento complejo.