Resumen Técnico: Bandidos de Despliegue Contextual para Aprendizaje por Refuerzo con Recompensas Verificables

Enunciado del Problema

El Aprendizaje por Refuerzo con Recompensas Verificables (RLVR) ha surgido como un paradigma crítico para mejorar las capacidades de razonamiento de los Modelos de Lenguaje Grandes (LLM), particularmente en dominios como las matemáticas y la generación de código. Sin embargo, los métodos existentes de RLVR adolecen de dos limitaciones fundamentales que conducen a una supervisión ruidosa, una eficiencia de muestra deficiente y actualizaciones de política subóptimas:

1. Utilización Indiscriminada Intragrupo: Los enfoques actuales, como la Optimización de Política Relativa por Grupos (GRPO), generan múltiples respuestas (despliegues) para un solo prompt pero las tratan de manera uniforme durante el cálculo del gradiente. Esto ignora la heterogeneidad significativa de calidad dentro de un grupo, donde muchas respuestas pueden ser de baja utilidad, ruidosas o engañosas (por ejemplo, soluciones adivinadas correctamente o trayectorias con pasos de razonamiento redundantes).
2. Horizontes de Datos Restringidos: La mayoría de los métodos dependen exclusivamente del último lote de despliegues para la optimización, descartando las trayectorias históricas después de un solo uso. Este paradigma de entrenamiento miope impide la reutilización de datos históricos de alto valor, limitando el rendimiento de la política alcanzable y la eficiencia de muestra.

Los intentos existentes de abordar estos problemas a menudo dependen de heurísticas estáticas y diseñadas a mano que carecen de adaptabilidad a las dinámicas de entrenamiento en evolución.

Metodología: Bandidos de Despliegue Contextual (CBS)

Los autores proponen CBS, un marco unificado de programación neuronal que formula la programación de despliegues como un problema de bandido contextual. En esta formulación, cada despliegue se trata como un "brazo", y la recompensa se define por la ganancia de rendimiento inducida entre pasos de optimización consecutivos.

Componentes Principales

1. Arquitectura del Programador Neuronal:

   • Representación del Brazo: Cada despliegue se codifica en un vector compacto de 10 dimensiones que captura las dinámicas de entrenamiento. Estas características incluyen:
     • Señales relacionadas con la recompensa: Recompensa cruda, ventaja, recompensa media del grupo y desviación estándar de la recompensa del grupo.
     • Señales relacionadas con la longitud: Longitud de respuesta normalizada y banderas de truncamiento.
     • Métricas de percepción de la política: Entropía y ratios de recorte (clip).
     • Historial de interacción con datos: Conteo de usos y antigüedad de la muestra (frescura).
   • Modelo del Programador: Una Red Neuronal de Perceptrón Multicapa (MLP) predice la utilidad futura de cada despliegue basándose en su representación y retroalimentación en línea.
   • Estrategia de Selección: El programador emplea una estrategia $\epsilon$-greedy para equilibrar la exploración y la explotación, seleccionando los despliegues con mayor puntuación mientras muestrea ocasionalmente datos más nuevos.

2. Dos Regímenes de Programación:

   • Programación Intragrupo (CBS):* Aborda la heterogeneidad de calidad de las respuestas realizando una selección de grano fino dentro de cada grupo de despliegues. El programador selecciona un subconjunto superior al $p\%$ de despliegues de alto valor de cada grupo, filtrando muestras ruidosas o de baja utilidad antes de la optimización de la política.
   • Reutilización Global Adaptativa (CBS): Aborda la restricción de horizonte limitado manteniendo un búfer de reproducción FIFO de despliegues históricos (de las últimas $L$ iteraciones). El programador realiza una selección global a través de este búfer para reutilizar trayectorias de alto valor a lo largo de las rondas de entrenamiento, mejorando significativamente la eficiencia de muestra.

3. Definición y Actualización de la Recompensa:

   • Recompensa de Ganancia de Rendimiento: La función de recompensa se define como la ganancia de métrica entre datos de despliegue consecutivos, incorporando cambios en la recompensa promedio ($V$) y la entropía ($E$). Un término de penalización de entropía previene el colapso del entrenamiento penalizando aumentos de entropía más allá de un umbral.
   • Adaptación en Línea: Los parámetros del programador se actualizan en línea utilizando recompensas a nivel de muestra derivadas de la ganancia de rendimiento a nivel de grupo. Para garantizar la estabilidad, las recompensas del grupo se normalizan utilizando un Promedio Móvil Exponencial (EMA) y se escalan mediante una función Sigmoide.

Contribuciones Clave

1. Marco Unificado de Bandido de Despliegue Contextual: El artículo formula la programación de despliegues en RLVR como un problema de bandido contextual, proporcionando un único marco principista que soporta tanto la selección intragrupo consciente del ruido como la reutilización global adaptativa de despliegues históricos.
2. Garantías Teóricas:
   • Los autores establecen una conexión formal entre la programación de datos en RLVR y los bandidos contextuales.
   • Derivan límites de arrepentimiento sublineales ($\tilde{O}(\sqrt{T})$) para el programador neuronal propuesto bajo un escenario simplificado de selección de una sola muestra, basándose en el marco del Núcleo Tangente Neuronal (NTK).
   • Demuestran que ampliar el búfer de reproducción mejora el límite superior alcanzable del rendimiento de la política, proporcionando justificación teórica para la reutilización global de despliegues.
3. Efectividad Empírica: Extensos experimentos demuestran que CBS mejora consistentemente tanto el rendimiento final como la eficiencia de entrenamiento a través de múltiples métodos de optimización de RLVR (GRPO, DAPO, GSPO) y tamaños de modelo.

Resultados Experimentales

El método se evaluó en seis benchmarks de razonamiento matemático (AIME24, AIME25, AMC23, MATH500, Minerva, Olympiad) utilizando modelos Qwen3 (1.7B, 4B, 8B).

• Ganancias de Rendimiento: La integración de CBS resultó en mejoras relativas consistentes a través de diferentes métodos de optimización de política. Por ejemplo, en el modelo Qwen3-1.7B, CBS mejoró a GRPO en un 4.4% y a DAPO en un 15.7% en promedio.
• Eficiencia de Entrenamiento: CBS redujo significativamente el tiempo promedio de optimización de la política (hasta un 50.4% de reducción) al requerir menos trayectorias de entrenamiento por actualización del actor.
• Sobrecarga Computacional: El costo computacional del programador es negligible, representando menos del 4% del tiempo total de entrenamiento, y esta proporción disminuye a medida que aumenta el tamaño del modelo.
• Estudios de Ablación: La eliminación de componentes como el programador neuronal (reemplazado por selección aleatoria), la normalización de recompensas EMA o el término de penalización de entropía condujo a una degradación del rendimiento o inestabilidad en el entrenamiento (por ejemplo, crecimiento de entropía descontrolado), validando la necesidad de cada componente.

Significado y Afirmaciones

El artículo afirma que CBS ofrece una solución principista a los problemas de ineficiencia de datos y ruido inherentes a las tuberías actuales de RLVR. Al tratar la selección de despliegues como un problema de aprendizaje adaptativo en lugar de una heurística estática, CBS permite:

• Filtrado de supervisión de grano fino: Priorizar automáticamente respuestas informativas mientras suprime las ruidosas.
• Reutilización de datos de largo horizonte: Aprovechar sistemáticamente trayectorias históricas de alto valor para refinar las políticas con el tiempo.

Los autores enfatizan que su enfoque proporciona un paradigma de auto-mejora escalable que no depende de heurísticas manuales específicas del método. Si bien la implementación actual utiliza una representación ligera de 10 dimensiones para la eficiencia, el marco está diseñado para ser extensible, permitiendo potencialmente la integración de representaciones semánticas más profundas en trabajos futuros. El trabajo se posiciona como un paso hacia un entrenamiento RLVR más eficiente y robusto para modelos de razonamiento grandes.