Reference-Sampled Boltzmann Projection for KL-Regularized RLVR: Target-Matched Weighted SFT, Finite One-Shot Gaps, and Policy Mirror Descent

A continuación se presenta un resumen técnico detallado del artículo "Proyección de Boltzmann Muestreada por Referencia para RLVR Regularizado por KL: SFT Ponderada Coincidente con el Objetivo, Brechas de Una Sola Vez Finitas y Descenso del Espejo de la Política".

Enunciado del Problema

El Aprendizaje por Refuerzo en Línea con Recompensas Verificables (RLVR) transforma resultados verificables (por ejemplo, pruebas matemáticas, pruebas unitarias de código) en señales de entrenamiento escalables. Sin embargo, los métodos en línea estándar (como PPO o GRPO) mantienen la generación de trayectorias, la puntuación del verificador y las evaluaciones de la política de referencia en la ruta crítica de optimización, lo que conduce a altos costos computacionales y uso de memoria.

Una alternativa natural es desacoplar la generación de la optimización: muestrear trayectorias verificadas una vez, asignar pesos y entrenar mediante Ajuste Fino Supervisado (SFT) estático. No obstante, el artículo identifica una ambigüedad fundamental en este enfoque: la SFT ponderada no es un único objetivo. La política inducida por la SFT ponderada depende conjuntamente del muestreador que produjo las trayectorias y de los pesos asignados a ellas. Simplemente adjuntar pesos a datos precalculados no garantiza que la política resultante coincida con el optimizador del objetivo original de RLVR en línea regularizado por KL. Sin una condición específica de coincidencia con el objetivo, la SFT ponderada estática puede ajustar una política diferente a la solución RLVR pretendida, incluso con datos infinitos y optimización exacta.

Metodología: Teoría de la Proyección de Boltzmann

El artículo desarrolla un marco teórico para identificar la coincidencia exacta a nivel de política entre la SFT ponderada estática y el RLVR regularizado por KL de referencia fija.

1. La Política Objetivo (Objetivo de Boltzmann de Referencia Fija)
El artículo establece que el optimizador del objetivo de RLVR regularizado por KL (maximizar la recompensa menos la divergencia KL respecto a una política de referencia $\pi_{ref}$) es una política condicional específica, el objetivo de Boltzmann $\pi^*$:
$$\pi^*(y | x) \propto \pi_{ref}(y | x) \exp(r(x, y) / \beta)$$
donde $r(x, y)$ es la recompensa del verificador y $\beta$ es la temperatura. Este objetivo es una inclinación exponencial de la política de referencia.

2. La Identidad del Objetivo Inducido
Utilizando la Proposición 1, los autores muestran que cualquier objetivo de SFT ponderada induce una política objetivo $\tilde{\pi}_w$ proporcional al producto del muestreador $q$ y el peso $w$: $\tilde{\pi}_w \propto q(y|x)w(x,y)$.
Para reemplazar fielmente el RLVR en línea, la política inducida $\tilde{\pi}_w$ debe ser igual al objetivo de Boltzmann $\pi^*$.

3. La Ley de Coincidencia con el Objetivo
El artículo deriva la condición necesaria para esta coincidencia (Teorema 4). Para un muestreador fijo $q$, los pesos deben ser proporcionales a la relación de densidad $\pi^*/q$.
Críticamente, en la subclase muestreada por referencia donde las trayectorias se generan desde la política de referencia ($q = \pi_{ref}$), la condición se simplifica de manera única al peso de Boltzmann normalizado por el prompt:
$$w(x, y) = \frac{\exp(r(x, y) / \beta)}{Z(x)}$$
donde $Z(x)$ es la función de partición (normalizador). Este peso es exactamente la derivada de Radon–Nikodym que convierte las trayectorias de referencia en trayectorias objetivo.

4. El Algoritmo BOLT
Basado en esta teoría, los autores proponen BOLT (SFT Dirigida a Boltzmann). Opera en dos fases:

• Fase 1 (Precálculo): Muestrear trayectorias desde la política de referencia, evaluarlas con un verificador y calcular los pesos empíricos de Boltzmann normalizados por el prompt utilizando la estimación de Monte Carlo de $Z(x)$.
• Fase 2 (Optimización): Entrenar el modelo utilizando SFT multi-época estándar sobre este conjunto de datos ponderado fijo.
  Dado que el trabajo pesado (muestreo, puntuación, normalización) se precalcula, la fase de optimización no requiere pasadas hacia adelante del modelo de referencia, reduciendo significativamente los costos de memoria y computación en comparación con el RLVR en línea.

Análisis de Una Sola Vez Finita y Limitaciones

El artículo proporciona un análisis riguroso de muestras finitas (Secciones 5 y 6) que descompone el error del reemplazo estático en componentes distintos:

• Brecha Restringida por Soporte: Si la política de referencia $\pi_{ref}$ nunca muestrea una finalización de alta recompensa, ninguna cantidad de ponderación u optimización puede recuperarla. El artículo prueba un límite inferior exacto sobre la pérdida de valor: $\beta \log(1/\pi^*(S_N | x))$, donde $S_N$ es el soporte almacenado. Esto explica por qué épocas adicionales de SFT no pueden reparar la cobertura faltante.
• Frente Temperatura-Cobertura-Varianza: Existe un compromiso donde reducir $\beta$ (afilar el objetivo) aumenta el costo del tamaño de muestra efectivo (ESS) y la varianza del normalizador, haciendo la estimación más difícil si la probabilidad de paso de referencia es baja.
• Refresco Iterativo como Descenso del Espejo de la Política KL: Cuando la cobertura es débil pero no nula, el artículo muestra que BOLT iterativo (donde la política actualizada se convierte en la nueva referencia para la siguiente ronda) es matemáticamente equivalente al Descenso del Espejo de la Política KL (KL-PMD). Este proceso acumula inclinaciones de recompensa y mejora la cobertura futura de trayectorias, algo que el reuso estático de una sola vez no puede hacer.

Resultados Clave y Evidencia Empírica

Los autores validan su teoría utilizando modelos Qwen en los benchmarks GSM8K (matemáticas) y HumanEval (código). Los experimentos están diseñados para aislar mecanismos teóricos específicos en lugar de reclamar dominio en tablas de clasificación.

• Coincidencia del Objetivo: Comparar BOLT (pesos de Boltzmann) contra "Refit" (pesos de recompensa crudos) en las mismas trayectorias de referencia muestra que BOLT logra una precisión significativamente mayor (por ejemplo, +1.44 en GSM8K, +3.60 en MATH). Esto confirma que es la relación de densidad específica, y no solo la fuente de datos, la que determina el objetivo inducido.
• Eficiencia: BOLT logra una precisión comparable o ligeramente superior a GRPO en línea mientras reduce el tiempo de entrenamiento en ~75–85% y la memoria pico en ~18–31%, ya que elimina el bucle en línea.
• Saturación de Una Sola Vez vs. Refresco: Los experimentos muestran que BOLT de una sola vez a menudo se satura después de unas pocas épocas si el soporte de referencia es limitado. Sin embargo, BOLT iterativo (renovando el muestreador) continúa mejorando el rendimiento, validando la interpretación de KL-PMD.
• Retención: Los métodos que utilizan trayectorias de referencia (BOLT, Refit) muestran menos olvido catastrófico en benchmarks generales (PIQA, HellaSwag) en comparación con la SFT solo con demostraciones, lo que sugiere que las trayectorias de referencia ayudan a anclar la distribución.

Significado y Reclamaciones

El artículo afirma proporcionar una comprensión a nivel de mecanismo del reemplazo estático de RLVR, avanzando más allá de las comparaciones heurísticas de las pérdidas de entrenamiento. Sus contribuciones principales son:

1. Identificación del Objetivo: Establece que la SFT ponderada estática es solo un reemplazo fiel del RLVR de referencia fija si el producto muestreador-peso induce el objetivo de Boltzmann específico. Identifica la relación de densidad de Boltzmann normalizada por el prompt como el peso único para datos muestreados por referencia.
2. Descomposición de la Brecha Finita: Separa el "precio de soporte" irrecuperable (cobertura faltante) de los errores de estimación finitos (varianza del normalizador, deriva de optimización). Esto aclara que los métodos estáticos no pueden solucionar brechas de cobertura que la política de referencia no logró muestrear.
3. Interpretación Iterativa: Reencuadra el muestreo y la ponderación iterativos no meramente como "más optimización", sino como una forma de Descenso del Espejo de la Política KL que mejora activamente la cobertura.
4. Eficiencia Práctica: Demuestra que precalcular las cantidades que definen el objetivo (pesos) permite un procedimiento de SFT estático que coincide con el objetivo teórico del RLVR en línea con una sobrecarga computacional significativamente reducida.

Los autores permanecen modestos, señalando que sus resultados se basan en experimentos de ejecución única y tamaños de modelo específicos. Enfatizan que la teoría identifica cuándo es válido el reemplazo estático (regímenes cubiertos) y por qué falla (brechas de soporte), en lugar de reclamar superioridad universal sobre todos los métodos en línea. El trabajo sirve como un puente teórico entre la geometría del RL regularizado por KL y la implementación práctica del aprendizaje supervisado estático y ponderado.