💬 NLP

Beyond Normalization: Rethinking the Partition Function as a Difficulty Scheduler for RLVR

Este artículo presenta PACED-RL, un marco de post-entrenamiento que reinterpreta la función de partición de GFlowNet como una señal de precisión por prompt para priorizar los prompts informativos y optimizar la reproducción, mejorando así significativamente la eficiencia de las muestras y el rendimiento del razonamiento en los LLM sin incurrir en sobrecarga computacional adicional.

Autores originales: Dohyung Kim, Minbeom Kim, Jeonghye Kim, Sangmook Lee, Sojeong Rhee, Kyomin Jung

Publicado 2026-05-29

📖 5 min de lectura🧠 Análisis profundo

CC BY 4.0

Autores originales: Dohyung Kim, Minbeom Kim, Jeonghye Kim, Sangmook Lee, Sojeong Rhee, Kyomin Jung

Artículo original bajo licencia CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta es una explicación generada por IA del artículo a continuación. No ha sido escrita ni avalada por los autores. Para mayor precisión técnica, consulte el artículo original. Leer descargo de responsabilidad completo

Imagina que estás enseñando a un estudiante brillante pero muy literal (la IA) cómo resolver acertijos complejos, como problemas matemáticos o desafíos de programación. Quieres que mejore en el razonamiento, pero también quieres que mantenga su creatividad y no solo memorice una única forma de resolverlo todo.

Este artículo presenta un nuevo método de enseñanza llamado PACED-RL. Para entender cómo funciona, veamos los problemas de los métodos actuales y cómo este nuevo enfoque los soluciona mediante un truco ingenioso.

El Problema: El Estudiante "Demasiado Seguro"

Los métodos de enseñanza actuales (como PPO o GRPO) son como un sargento estricto. Le dicen al estudiante: "¡Si obtienes la respuesta correcta, genial! Si te equivocas, intenta más la próxima vez."

El Resultado: El estudiante se vuelve muy bueno en obtener la respuesta correcta, pero se vuelve rígido. Deja de probar diferentes enfoques y solo genera la única cosa que considera "segura". Pierde su diversidad de pensamiento.

La Solución Anterior: El Método "Flujo"

Recientemente, los investigadores probaron un método llamado GFlowNets. En lugar de solo perseguir la puntuación más alta, este método intenta enseñar al estudiante a igualar una "distribución ideal" específica de respuestas. Es como decir: "No solo encuentres la única respuesta correcta; encuentra todas las respuestas posibles correctas en las proporciones adecuadas."

El Truco: Para que esto funcione, el sistema debe calcular un número complejo llamado Función de Partición. Hasta ahora, todos trataban este número como un botón aburrido de calculadora: algo que debes presionar para que las matemáticas funcionen, pero luego inmediatamente tiras el resultado a la basura.

La Gran Idea: La Función de Partición es un "Medidor de Dificultad"

Los autores de este artículo tuvieron un momento "¡Eureka!". Se dieron cuenta de que este número "aburrido" (la Función de Partición) en realidad guarda un secreto: te dice exactamente qué tan difícil es una pregunta específica para el estudiante en este momento.

Piensa en la Función de Partición no como una calculadora, sino como un Programador de Dificultad.

Si el número es alto, la pregunta es fácil para el estudiante.
Si el número es bajo, la pregunta es demasiado difícil.
Si el número está en el medio, la pregunta es "justa" (el punto ideal para aprender).

Cómo Funciona PACED-RL: El Tutor Inteligente

En lugar de tirar este "Medidor de Dificultad", PACED-RL lo utiliza para ejecutar una sesión de tutoría superinteligente. Hace dos cosas principales:

1. Elegir las Preguntas "Justas" (Selección Adaptativa de Prompts)
Imagina a un profesor con una pila de 10.000 problemas de práctica.

Antiguo Método: El profesor elige preguntas al azar. Algunas son demasiado fáciles (el estudiante se aburre) y otras demasiado difíciles (el estudiante se rinde).
Método PACED-RL: El profesor mira el "Medidor de Dificultad" de cada pregunta. Solo elige aquellas que tienen un 50% de probabilidad de ser resueltas correctamente.
- ¿Por qué? Esta es la "zona de Oro". No es demasiado fácil, ni demasiado difícil. Es el desafío perfecto donde el estudiante aprende más.
- La Magia: ¡El profesor obtiene esta información gratis! No tuvo que pedirle al estudiante que resolviera los problemas primero para conocer la dificultad; el "Medidor" (Función de Partición) ya se lo había dicho durante el proceso de entrenamiento.

2. La Sesión de "Revisión de Errores" (Reproducción Priorizada)
Cuando el estudiante hace una suposición, el sistema verifica: "¿Nuestro Medidor de Dificultad predijo esto correctamente?"

Si el Medidor dijo "Esto es fácil" pero el estudiante se equivocó, eso es una gran sorpresa.
Si el Medidor dijo "Esto es difícil" pero el estudiante acertó, eso también es una sorpresa.
PACED-RL guarda estos momentos de "sorpresa" en una libreta especial (Memoria de Reproducción). Más tarde, revisa estos casos específicos nuevamente porque son los más valiosos para corregir la comprensión del estudiante.

Los Resultados: Más Rápido y Más Inteligente

El artículo probó esto en tareas de matemáticas y programación. Esto es lo que sucedió:

Velocidad: Como PACED-RL solo se enfoca en las preguntas más útiles, aprendió mucho más rápido. En algunas pruebas, alcanzó el mismo nivel de rendimiento en menos de la mitad del tiempo en comparación con otros métodos.
Creatividad: A diferencia de los métodos de "sargento" que hacían al estudiante rígido, PACED-RL mantuvo la capacidad del estudiante de encontrar soluciones diversas. No solo aprendió una forma de resolver un problema; aprendió muchas formas.
Eficiencia: No necesitó computadoras adicionales ni tiempo extra para decidir qué preguntas elegir. Utilizó la información que ya estaba generando.

Analogía de Resumen

Imagina entrenar para un maratón.

Método Antiguo: Corres las mismas 10 millas todos los días, independientemente de cómo te sientas.
GFlowNets (Anterior): Intentas correr una mezcla específica de colinas y terrenos planos, pero no sabes qué mezcla es mejor para hoy.
PACED-RL: Tienes un entrenador inteligente que mira tu frecuencia cardíaca y tus niveles de fatiga (la Función de Partición) en tiempo real. El entrenador dice: "Hoy, no corras por la carretera plana y fácil (aburrida) ni por la montaña empinada (demasiado difícil). Vamos a correr por la colina que sea lo suficientemente desafiante para hacerte más fuerte."

Al utilizar el "Medidor de Dificultad" que ya estaba allí, PACED-RL entrena a la IA para ser más inteligente, más rápida y más creativa sin desperdiciar tiempo ni energía.

Resumen Técnico: Más allá de la Normalización: Replanteando la Función de Partición como un Programador de Dificultad para RLVR

Enunciado del Problema
El Aprendizaje por Refuerzo con Recompensas Verificables (RLVR) ha demostrado ser efectivo para mejorar las capacidades de razonamiento de los Modelos de Lenguaje Grandes (LLM). Sin embargo, los métodos estándar de maximización de recompensas, como PPO y GRPO, a menudo conducen a distribuciones de salida excesivamente afiladas, reduciendo la diversidad de generación. Aunque enfoques recientes que utilizan GFlowNets abordan esto entrenando políticas para igualar una distribución objetivo inducida por la recompensa, generalmente tratan la función de partición aprendida ( $Z$ ) únicamente como una constante de normalización requerida para la estabilidad del entrenamiento. Este artículo argumenta que esta perspectiva subutiliza la información codificada dentro de $Z$ , perdiendo una oportunidad para mejorar la eficiencia de las muestras sin incurrir en costos computacionales adicionales.

Metodología: PACED-RL
Los autores proponen RL Guiado por la Función de Partición (PACED-RL), un marco de post-entrenamiento que reinterpreta la función de partición de GFlowNet no solo como un normalizador, sino como una señal de precisión en línea por prompt. La metodología consta de tres componentes principales:

Reinterpretación Teórica de la Función de Partición:
El artículo establece un vínculo teórico entre la función de partición óptima $Z^*(x)$ y la precisión en línea $p_{old}(x)$ de un prompt de pregunta $x$ bajo la política previa a la actualización. Al modificar la pérdida de Equilibrio de Trayectorias (TB) para anclar la divergencia KL en la política actual ( $\pi_{old}$ ) en lugar de un modelo de referencia fijo, los autores derivan que $Z^*(x)$ codifica directamente información de precisión. Específicamente, $p_{old}(x) \approx \beta \log Z^*(x)$ , donde se ha demostrado empíricamente que el término de divergencia KL es despreciable durante la dinámica de entrenamiento estándar. Esto permite que la función de partición, que ya se está aprendiendo para la normalización, sirva como un estimador de precisión en línea gratuito.
Selección Adaptativa de Prompts:
Aprovechando las estimaciones de precisión derivadas de $Z_\phi(x)$ , PACED-RL implementa una estrategia de selección de prompts consciente de la dificultad. En lugar de muestrear prompts uniformemente, el método selecciona codiciosamente los $m$ prompts superiores cuyas precisiones estimadas están más cerca de un valor objetivo $\tau$ (típicamente 0.5). Esto centra el entrenamiento en muestras de "dificultad intermedia", lo que trabajos anteriores sugieren que ofrecen las señales de aprendizaje más informativas, maximizando así la eficiencia de las muestras.
Reproducción Priorizada por Error de Estimación de Precisión:
Para mejorar aún más la eficiencia y calibrar la función de partición, el marco introduce un mecanismo de reproducción. Un búfer almacena pares prompt-salida con recompensas correctas ( $r=1$ ). Dentro de este búfer, las muestras se priorizan en función de la magnitud de su error de estimación de precisión: $| \frac{N_{correct}}{N} - \hat{p}_{old}(x) |$ . Esto asegura que el modelo revise muestras donde la predicción de la función de partición diverge más de la realidad observada, refinando las estimaciones de precisión y la normalización de la distribución objetivo.

Crucialmente, tanto la selección de prompts como la priorización de la reproducción reutilizan la información generada durante el entrenamiento estándar de GFlowNet, amortizando la sobrecarga computacional en el proceso de optimización existente.

Contribuciones Clave

Perspectiva Teórica: El artículo demuestra que la función de partición de GFlowNet para el post-entrenamiento de LLM está intrínsecamente vinculada a las precisiones en línea, permitiendo su uso directo como estimador de precisión sin mecanismos auxiliares.
Marco PACED-RL: La introducción de un marco de entrenamiento novedoso que utiliza estas estimaciones de precisión para la selección adaptativa de prompts y la reproducción priorizada por error, mejorando la eficiencia de las muestras mientras preserva los beneficios de diversidad de GFlowNets.
Validación Empírica: Evaluaciones extensas en benchmarks de razonamiento matemático y generación de código muestran que PACED-RL logra ganancias de rendimiento significativas sobre bases sólidas (GRPO, FlowRL) y métodos de muestreo adaptativo (DS, LILO, MoPPS) sin la sobrecarga computacional asociada al sobremuestreo.

Resultados Experimentales
Los experimentos se realizaron en generación de código (conjunto de datos DeepCoder, DeepSeek-R1-Distill-Qwen-1.5B) y razonamiento matemático (conjunto de datos DeepScaleR, Qwen2.5-Math-1.5B/7B).

Ganancias de Rendimiento: En el benchmark AIME 24, PACED-RL mejoró el rendimiento promedio de pass@1 en un 29.1% sobre GRPO y un 40.0% sobre FlowRL utilizando el modelo Qwen2.5-Math-7B.
Eficiencia de Muestras: PACED-RL logró el mejor rendimiento de GRPO y FlowRL en significativamente menos tiempo (por ejemplo, 0.42× el tiempo de entrenamiento en LiveCodeBench). A diferencia de los métodos que requieren sobremuestreo (DS, LILO), PACED-RL mantuvo una relación de despliegue de 1.0× en relación con el entrenamiento estándar, evitando las penalizaciones de latencia asociadas con la generación de muestras adicionales para la estimación de precisión.
Diversidad: Medido mediante métricas de pass@k, PACED-RL superó consistentemente a las bases, mostrando mejoras de hasta un 14.2% sobre GRPO y un 9.1% sobre FlowRL, confirmando que el método preserva la diversidad de salida y la capacidad de exploración.
Estudios de Ablación: Los autores verificaron que omitir el término de divergencia KL en el estimador de precisión tiene un impacto despreciable en la dinámica de muestreo mientras ahorra una computación significativa. También mostraron que el método desplaza naturalmente el entrenamiento hacia preguntas más difíciles a medida que el modelo mejora, evitando el colapso en un subconjunto estrecho del conjunto de datos.

Significado y Afirmaciones
El artículo afirma que PACED-RL ofrece una "manera principista y práctica" de mejorar el entrenamiento de coincidencia de distribuciones para LLMs. Al reinterpretar la función de partición como una señal de precisión en línea, el método permite un entrenamiento más eficiente en muestras sin la carga computacional de estimadores de precisión auxiliares o la generación excesiva de despliegues. Los autores posicionan este trabajo como un paso hacia un post-entrenamiento RLVR más eficiente, sugiriendo que el papel de la función de partición se extiende más allá de la normalización para actuar como un programador de dificultad dinámico. Se sugiere trabajo futuro para explorar estrategias en tiempo de inferencia (por ejemplo, autoconsistencia adaptativa) y extender el marco a configuraciones de GFlowNet asíncronas.