🤖 machine learning

Parameter Exploration for RLVR via Variational Learning

Este artículo presenta la Optimización de Política de Parámetros Perturbados (3PO), un método que mejora el aprendizaje por refuerzo para los LLM al explorar el espacio de parámetros para generar políticas diversas, mejorando así el rendimiento en tareas posteriores y la estabilidad del entrenamiento en comparación con las técnicas estándar de exploración del espacio de acciones como GRPO.

Autores originales: Vatsal Venkatkrishna, Nico Daheim, Iryna Gurevych

Publicado 2026-08-11

📖 5 min de lectura🧠 Análisis profundo

CC BY 4.0

Autores originales: Vatsal Venkatkrishna, Nico Daheim, Iryna Gurevych

Artículo original bajo licencia CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta es una explicación generada por IA del artículo a continuación. No ha sido escrita ni avalada por los autores. Para mayor precisión técnica, consulte el artículo original. Leer descargo de responsabilidad completo

Imagina que estás intentando enseñarle a un robot superinteligente a resolver un rompecabezas difícil, como un problema matemático complejo o escribir una pieza de código. No puedes simplemente sentarte y mostrarle la respuesta; en su lugar, dejas que el robot lo intente, y si lo logra, le das un "choca esos cinco" (una recompensa). Si se equivoca, le dices suavemente "inténtalo de nuevo". Esto se llama Aprendizaje por Refuerzo. La parte difícil es que el robot tiene que descubrir por sí mismo cómo conseguir ese "choca esos cinco". A veces, se queda estancado en una rutina, repitiendo los mismos errores una y otra vez porque tiene demasiado miedo de intentar algo nuevo. Para solucionar esto, los científicos suelen intentar que el robot sea un poco más "caótico" o "aleatorio" cuando piensa, con la esperanza de que tropiece con una solución brillante y nueva.

Durante mucho tiempo, la forma estándar de añadir este caos fue ajustar la "temperatura" del robot. Piensa en esto como subir el volumen de la estática de una radio: hace que las elecciones del robot sean un poco más impredecibles, pero no cambia realmente lo que sabe o cómo piensa; solo baraja ligeramente el orden de sus conjeturas. Es como decirle a un chef que eche más especias a una sopa sin cambiar la receta en sí. El problema es que, a veces, la sopa sigue sabiendo fatal, y el robot sigue haciendo las mismas malas conjeturas, solo que en un orden diferente. Este artículo explora una idea diferente y más radical: ¿qué pasaría si no solo barajamos las especias, sino que realmente retocamos el cerebro del chef? ¿Qué pasaría si le damos al robot una pequeña "niebla mental" temporal o un ligero "cambio de personalidad" para cada intento? Esto permite que el robot explore formas de pensar completamente nuevas, no solo nuevas formas de adivinar.

Los investigadores detrás de este estudio, Vatsal Venkatkrishna, Nico Daheim e Iryna Gurevych, decidieron probar esta idea de "retocar el cerebro" en grandes modelos de lenguaje (el tipo de IA que escribe texto y resuelve problemas). Llaman a su nueva familia de métodos 3PO (Optimización de Política de Parámetros Perturbados). En lugar de simplemente hacer que las conjeturas del robot sean aleatorias (exploración en el espacio de acciones), en realidad añaden un poco de ruido a los pesos internos del robot (exploración en el espacio de parámetros). Imagina que tienes un equipo de 16 chefs intentando resolver un rompecabezas. La forma antigua (llamada GRPO) sería que los 16 chefs usen exactamente el mismo libro de recetas, simplemente adivinando al azar. Si todos fallan, todo el equipo se queda estancado.

El equipo de 3PO probó tres formas diferentes de agitar las cosas. Primero, B3PO es como darle a todo el equipo una versión del libro de recetas ligeramente diferente y nublada para toda la ronda. Segundo, M3PO es como hacer que el equipo pruebe cuatro versiones diferentes del libro, una tras otra, y promediar los resultados. Pero la verdadera estrella del espectáculo es C3PO. En C3PO, el equipo se divide. En lugar de que todos usen el mismo libro, dividen a los 16 chefs en grupos más pequeños, y cada grupo recibe una versión de la niebla del libro de recetas completamente diferente. Esto significa que el equipo está explorando muchos "universos" de soluciones diferentes al mismo tiempo.

Los resultados fueron bastante prometedores. Cuando probaron estos métodos en problemas matemáticos difíciles (como la competencia AIME) y desafíos de programación, el método C3PO superó consistentemente a los métodos estándar. El artículo sugiere que, al usar estas diferentes versiones "nubladas" del modelo, el equipo pudo encontrar respuestas correctas que el método estándar pasó por alto. Específicamente, C3PO logró "rescatar" más grupos de intentos que de otro modo habrían sido callejones sin salida (donde cada uno de los intentos obtenía la misma respuesta incorrecta). También produjo menos respuestas "malformadas", que son esas respuestas extrañas y rotas donde el robot simplemente repite tonterías.

Curiosamente, el artículo argumenta que simplemente hacer al robot más aleatorio (como subir la temperatura) no es suficiente. De hecho, descubrieron que hacer al robot demasiado aleatorio a menudo solo conducía a más respuestas basura. La clave era la estructura de la exploración: tener múltiples versiones diferentes del modelo trabajando juntas en el mismo grupo. Aunque el artículo no afirma que esto sea una solución mágica que lo solucione todo, sugiere fuertemente que retocar los parámetros internos del modelo es una herramienta poderosa. Es como darse cuenta de que, para encontrar un tesoro escondido, no basta con caminar en direcciones aleatorias; necesitas enviar a todo un equipo de exploradores, cada uno con un mapa ligeramente diferente, para cubrir más terreno. Los investigadores descubrieron que este enfoque funciona bien sin necesitar significativamente más potencia de cómputo, lo que lo convierte en una mejora práctica para entrenar IAs más inteligentes.

Resumen Técnico: Optimización de Política de Parámetros Perturbados (3PO) para RLVR

Planteamiento del Problema

El Aprendizaje por Refuerzo con Recompensas Verificables (RLVR) es un paradigma de post-entrenamiento prominente para mejorar las capacidades de razonamiento de los Modelos de Lenguaje de Gran Escala (LLMs) sin depender de demostraciones humanas. Sin embargo, los algoritmos actuales de RLVR, particularmente la Optimización de Política de Grupo Relativo (GRPO), enfrentan desafíos significos relacionados con el compromiso entre exploración y explotación.

La limitación principal radica en la exploración del espacio de acciones. Los métodos estándar controlan la exploración ajustando la temperatura softmax durante la generación de tokens. Como ilustra el artículo, el escalado de temperatura solo altera la varianza de la distribución de tokens mientras preserva el orden relativo de los mismos. Esto restringe al modelo a explorar trayectorias dentro de la misma "forma" del espacio de soluciones, fallando a menudo en el descubrimiento de rutas novedosas y de alta recompensa que tienen una probabilidad inicial baja. Consecuentemente, esto conduce a:

Colapso Prematuro de la Entropía: La política se vuelve excesivamente determinista, generando rollouts homogéneos.
Grupos de Ventaja Cero: En GRPO, si todos los $G$ rollouts para un prompt reciben la misma recompensa (por ejemplo, todos correctos o todos incorrectos), la señal de ventaja se vuelve cero, estancando el aprendizaje.
Degeneración: La exploración del espacio de acciones de alta temperatura suele derivar en salidas malformadas o incorrectas (por ejemplo, repetición de tokens) en lugar de soluciones alternativas válidas.

Las soluciones existentes como la regularización de la entropía o el modelado de la ventaja buscan estabilizar el entrenamiento, pero no alteran fundamentalmente los parámetros del generador para permitir una exploración más profunda.

Metodología: Optimización de Política de Parámetros Perturbados (3PO)

Los autores proponen la Optimización de Política de Parámetros Perturbados (3PO), una familia de métodos que desplaza el eje de exploración del espacio de acciones (tokens) al espacio de parámetros (pesos). En lugar de simplemente reordenar tokens, 3PO muestrea diferentes políticas de una distribución posterior aproximada durante la fase de generación de rollouts.

Mecanismo Central

El método utiliza el Aprendizaje Variacional, específicamente el optimizador IVON (Newton Online Variacional Iterativo), para aprender una distribución sobre los parámetros de la red neuronal $\theta$ .

Muestreo de la Posterior: En cada paso de entrenamiento, los parámetros del modelo son perturbados añadiendo ruido aprendido: $\hat{\theta} = m + \sigma \odot z$ , donde $z \sim \mathcal{N}(0, I)$ .
Control de Ruido: La varianza $\sigma$ es inversamente proporcional a la diagonal de la Hessiana $h$ y a un factor de escala $\lambda$ (Tamaño Efectivo de la Muestra, ESS). Un $\lambda$ más pequeño aumenta el ruido, promoviendo la exploración, mientras que un $\lambda$ mayor reduce el ruido, enfocándose en la explotación.
Ortogonalidad: Este enfoque es compatible con las técnicas existentes de espacio de acciones (por ejemplo, escalado de temperatura, regularización de la entropía) ya que opera en un eje diferente.

Tres Variantes de 3PO

El artículo introduce tres estrategias para integrar el ruido de parámetros en el marco de GRPO:

B3PO (Perturbación por Lotes - Batched Noising):
- Muestrea una única perturbación de peso $\hat{\theta}$ por paso de gradiente.
- Este único modelo perturbado genera todos los rollouts para el lote.
- Limitación: Similar a GRPO estándar, si la política única muestreada es deficiente, todo el lote carecerá de diversidad.
M3PO (Múltiples Muestreos de Monte Carlo - Multiple Monte-Carlo Samples):
- Muestrea $M$ perturbaciones de peso distintas de la posterior.
- Genera rollouts para cada perturbación y acumula la pérdida de GRPO a través de todas las $M$ muestras antes de realizar una única actualización de pesos.
- Compromiso: Para mantener un costo computacional igual, el tamaño del grupo $G$ se reduce por perturbación ( $G/M$ ), lo que puede limitar la diversidad dentro de los grupos de ventaja individuales.
C3PO (Perturbación por Fragmentos - Chunked Noising):
- Muestrea $N$ perturbaciones de peso distintas por lote.
- El grupo total de $G$ rollouts se particiona a través de estos $N$ modelos (por ejemplo, $G/N$ rollouts por modelo).
- Las ventajas se calculan sobre el grupo completo de $G$ respuestas, que ahora incluye trayectorias de $N$ políticas distintas.
- Objetivo: Maximiza la diversidad del grupo asegurando que el cálculo de la ventaja aproveche múltiples configuraciones de parámetros distintas, abordando directamente el problema de la ventaja cero.

Contribuciones Clave

Exploración del Espacio de Parámetros para LLMs: El artículo establece que perturbar los pesos del modelo (en lugar de solo las probabilidades de los tokens) es un mecanismo efectivo para RLVR, permitiendo que los modelos exploren diferentes regiones del espacio de soluciones que el ruido del espacio de acciones no puede alcanzar.
El Marco 3PO: La introducción de B3PO, M3PO y C3PO, con un enfoque específico en C3PO como la estrategia más efectiva para maximizar la diversidad del grupo sin aumentar el costo computacional.
Validación Empírica: Experimentos exhaustivos en OLMo-3-1025-7B y Qwen2.5-Math-7B a través de tareas de razonamiento matemático (AIME, MATH-500, AMC) y generación de código (LiveCodeBench).
Análisis de Grupos de Ventaja Cero: Demostración de que la exploración del espacio de parámetros reduce significativamente la frecuencia de grupos de ventaja cero y de rollouts malformados en comparación con las líneas base de espacio de acción.

Resultados Experimentales

Ganancias de Rendimiento: Las variantes de 3PO superan consistentemente a GRPO estándar y a las líneas base de espacio de acción (Regularización de la Entropía, Polaris, KLCov).
- C3PO logró el mejor rendimiento promedio en ambas familias de modelos.
- Las ganancias fueron más pronunciadas en benchmarks más difíciles (por ejemplo, AIME 2024–26, LiveCodeBench), donde los modelos pre-RL son menos capaces y más propensos a generar rollouts inválidos.
- En Qwen2.5-Math, C3PO mejoró el Pass@1 promedio aproximadamente un 1.5% sobre GRPO estándar, con ganancias específicas de hasta un 5.83% en tareas de AIME.
Calidad de la Exploración:
- Rescate de Grupos Muertos: Los métodos 3PO, particularmente C3PO y M3PO, "rescataron" consistentemente más grupos de ventaja cero (produciendo al menos un rollout correcto donde GRPO no produjo ninguno) que las líneas base de espacio de acción.
- Reducción de la Degeneración: A diferencia de los métodos basados en temperatura (Polaris) que suelen producir salidas malformadas, y la Regularización de la Entropía que produce salidas incorrectas pero bien formadas, 3PO produjo menos rollouts malformados e incorrectos manteniendo una alta diversidad.
Sensibilidad de Hiperparámetros:
- El factor de escala ESS $\lambda$ es crítico. Se encontró que $\lambda = 10^9$ es un valor por defecto robusto. $\lambda = 10^8$ (demasiado ruido) causó el colapso del entrenamiento, mientras que $\lambda = 10^{10}$ (muy poco ruido) estancó el rendimiento.
- C3PO se beneficia de $N \ge 2$ perturbaciones, siendo $N=4$ el que muestra resultados sólidos.
- M3PO se beneficia de eliminar la restricción de "computación igual"; cuando se le permite usar tamaños de grupo completos con múltiples muestras, el rendimiento mejora significativamente.

Significado y Reivindicaciones

El artículo postula que la exploración del espacio de parámetros proporciona una palanca de control necesaria y complementaria para RLVR que los métodos de espacio de acción no poseen. Al aprender una posterior aproximada sobre los pesos, el modelo puede inyectar ruido de forma adaptativa para explorar alteraciones prometedoras en las distribaciones de tokens que son estructuralmente diferentes de la política actual.

Los autores afirman que:

La Diversidad es la Clave: El principal motor del éxito es el aumento de la diversidad dentro de los grupos de GRPO, lo que evita el estancamiento causado por los grupos de ventaja cero.
Eficiencia: 3PO logra estas mejoras con un costo de FLOPs casi idéntico al de GRPO estándar (específicamente C3PO), lo que lo convierte en un reemplazo práctico y directo.
Generalizabilidad: El método no requiere un prior de ruido aprendido de una fase específica de SFT; inicializar la Hessiana con un valor constante permite que el método funcione eficazmente en checkpoints estándar.

El trabajo concluye que, si bien la exploración del espacio de parámetros tiene una historia en el RL clásico, su aplicación a los LLMs mediante el aprendizaje variacional (3PO) ofrece una solución robusta a los cuellos de botella de la exploración que actualmente limitan el rendimiento de RLVR, particularmente en tareas complejas de razonamiento y codificación.