Resumen Técnico: RL sin Verificador para LLMs mediante Recompensa Intrínseca de Norma de Gradiente (VIGOR)

1. Enunciado del Problema

El Aprendizaje por Refuerzo con Recompensas Verificables (RLVR) ha surgido como un paradigma potente de post-entrenamiento para Modelos de Lenguaje Grandes (LLMs), particularmente en tareas de razonamiento como matemáticas y programación. Sin embargo, el RLVR depende en gran medida de verificadores externos y específicos del dominio (por ejemplo, comprobadores de coincidencia exacta para respuestas matemáticas o pruebas unitarias para código). Esta dependencia limita la escalabilidad a nuevas tareas o dominios donde dichos verificadores no están disponibles o son difíciles de construir.

Las alternativas existentes sin verificador enfrentan desafíos significativos:

• Métodos de Votación Mayoritaria: Estos derivan pseudoetiquetas del consenso entre múltiples muestras. A menudo asumen que las respuestas finales pueden extraerse y normalizarse de manera confiable, lo que limita su aplicabilidad a la generación abierta.
• Métodos de Señal Intrínseca: Estos utilizan señales internas del modelo como la entropía o la auto-certeza. Aunque prometedores, pueden volverse frágiles a medida que avanza el entrenamiento, lo que lleva a la degeneración de la recompensa, inestabilidad y colapso del rendimiento.

El desafío central es desarrollar una señal de recompensa sin verificador que sea ampliamente aplicable a salidas de forma libre, estable durante el aprendizaje por refuerzo y que dependa únicamente del modelo de política sin componentes auxiliares.

2. Metodología: VIGOR

Los autores proponen VIGOR (Recompensa Intrínseca de Norma de Gradiente sin Verificador), un método que calcula recompensas utilizando únicamente la dinámica interna de entrenamiento del modelo de política.

Intuición Central

El método se basa en la teoría de optimización de primer orden. En un paisaje de pérdida, una norma de gradiente más pequeña indica típicamente que los parámetros actuales están cerca de una región estacionaria, lo que implica actualizaciones más suaves y dinámicas de entrenamiento más estables. VIGOR postula que las finalizaciones que inducen normas $\ell_2$ más pequeñas de los gradientes de la verosimilitud negativa (NLL) forzados por el profesor están más alineadas con la política actual y deberían recibir recompensas más altas.

Pasos Algorítmicos

Para un prompt dado $x$, la política $\pi_\theta$ muestrea un grupo de $G$ finalizaciones $\{y_i\}_{i=1}^G$. El cálculo de la recompensa procede de la siguiente manera:

1. Cálculo de la Norma del Gradiente: Para cada finalización $y$, se calcula la NLL promedio a nivel de token $\ell_{mean}(x, y)$. El gradiente $g(x, y) = \nabla_\theta \ell_{mean}(x, y)$ se calcula con respecto a los parámetros actuales $\theta$ (sin actualizar el modelo). El gradiente se desconecta del grafo de cálculo para servir como una señal escalar.
2. Corrección de Longitud (Escala $\sqrt{T}$): La norma de gradiente cruda $\|g\|_2$ exhibe un sesgo sistemático donde disminuye a medida que aumenta la longitud de la secuencia $T$, incluso si la calidad no mejora. Para contrarrestar este "hackeo de longitud", la señal se escala por $\sqrt{T}$:
   $$S_{GN}(x, y) = -\sqrt{T} \|g(x, y)\|_2$$
   El signo negativo convierte la minimización de las normas de gradiente en un objetivo de maximización de recompensas.
3. Normalización Basada en Rangos: Para estabilizar las escalas de recompensa entre diferentes prompts y asegurar la comparabilidad, las señales crudas dentro de un grupo se ordenan y se mapean a una recompensa basada en rangos $R_{GN} \in [-1, +1]$. La peor finalización (mayor norma de gradiente) recibe $-1$, y la mejor (menor norma de gradiente) recibe $+1$.
4. Optimización de la Política: Estas recompensas normalizadas por rangos se utilizan para calcular ventajas relativas al grupo $\hat{A}_i$ dentro del marco de Optimización de Política Relativa de Grupo (GRPO). La política se actualiza para maximizar el objetivo, fomentando finalizaciones con normas de gradiente más bajas.

3. Contribuciones Clave

• Marco VIGOR: Un mecanismo novedoso de recompensa intrínseca sin verificador que utiliza la norma $\ell_2$ de los gradientes forzados por el profesor como proxy para la alineación de la política y la estabilidad del entrenamiento.
• Corrección de Longitud: La introducción de un factor de escala $\sqrt{T}$ para neutralizar el sesgo de longitud sistemático inherente a las normas de gradiente a nivel de token promediadas, evitando que el modelo explote la inflación de longitud para maximizar recompensas.
• Moldeado Basado en Rangos: Una técnica de normalización que estabiliza las escalas de recompensa entre prompts al depender del ordenamiento relativo dentro del grupo en lugar de las magnitudes absolutas de los gradientes.
• Validación Empírica: Experimentos extensos que demuestran que VIGOR supera a las líneas base sin verificador más avanzadas (específicamente RLIF/INTUITOR) en benchmarks de razonamiento matemático y generación de código, manteniendo al mismo tiempo dinámicas de entrenamiento estables.

4. Resultados Experimentales

Los experimentos se realizaron en los modelos Qwen2.5-3B-Base y Qwen2.5-7B-Base, entrenados en el conjunto de datos MATH y el conjunto de datos CodeContests, respectivamente.

Rendimiento en Matemáticas (Entrenado en MATH)

• Qwen2.5-7B: VIGOR mejoró la precisión matemática promedio en +3.31% sobre la línea base INTUITOR. Específicamente, alcanzó 76.20% en MATH500 y 44.42% en AMC.
• Transferencia Interdominio: Cuando se entrenó únicamente con datos matemáticos, VIGOR mejoró la precisión de código promedio en +1.91% sobre la línea base INTUITOR, demostrando una transferencia interdominio efectiva.
• Estabilidad: A diferencia de INTUITOR, que mostró regresión en la precisión en etapas tardías, VIGOR mantuvo una mejora estable durante todo el entrenamiento.

Rendimiento en Código (Entrenado en CodeContests)

• Qwen2.5-3B: VIGOR mejoró el rendimiento promedio de código de 16.98% a 23.64%.
• Transferencia Interdominio: El entrenamiento con datos de código mejoró el promedio matemático de 48.34% a 56.57%.
• Nota: En la métrica CodeAvg, VIGOR (23.64%) tuvo un rendimiento ligeramente inferior al de INTUITOR (25.43%), particularmente en el benchmark CRUX. Los autores atribuyen esto a la naturaleza de la programación competitiva, donde la corrección a menudo depende de elecciones algorítmicas discretas que no son capturadas completamente por la suavidad del gradiente.

Análisis de Dinámicas de Entrenamiento

• Estabilidad: VIGOR exhibió dinámicas de entrenamiento más estables en comparación con INTUITOR, que sufrió de degeneración de recompensas (donde las muestras de alta recompensa se volvieron menos alineadas con la corrección con el tiempo).
• Control de Longitud: VIGOR frenó efectivamente la inflación de longitud. Mientras que INTUITOR mostró un aumento pronunciado en la longitud de generación, VIGOR produjo salidas sustancialmente más cortas, enfocando la optimización en la calidad del razonamiento en lugar del hackeo de longitud.
• Monotonía Rango-Precisión: El análisis confirmó una fuerte relación monótona entre la clasificación por norma de gradiente y la precisión de la tarea; las finalizaciones clasificadas más alto por VIGOR alcanzaron consistentemente una mayor precisión.

Estudios de Ablación

• Sin Corrección $\sqrt{T}$: Eliminar este componente causó una degradación catastrófica, particularmente en el modelo de 3B, resultando en una precisión cercana a cero y un severo hackeo de longitud.
• Sin Moldeado por Rangos: Eliminar la normalización por rangos llevó a inestabilidad, particularmente en el modelo de 7B, causando una caída significativa (8.90%) en el rendimiento de MMLU-Pro debido a la influencia de valores atípicos extremos en las magnitudes de gradiente crudas.

5. Significado y Limitaciones

Significado:
El artículo afirma que VIGOR proporciona una alternativa robusta y sin verificador para el post-entrenamiento por RL que no depende de etiquetas externas ni de modelos auxiliares. Al aprovechar la geometría intrínseca del paisaje de pérdida (normas de gradiente), ofrece una señal estable para la optimización de la política que se generaliza entre dominios (de matemáticas a código y viceversa) y mantiene la estabilidad del entrenamiento donde otros métodos intrínsecos fallan.

Limitaciones:

• Alcance de la Tarea: El estudio se dirige principalmente a tareas de razonamiento verificables. Los autores señalan que no está claro qué tan bien VIGOR se transfiere a configuraciones de generación más abiertas (por ejemplo, escritura de largo formato o diálogo) sin restricciones adicionales.
• Costo Computacional: VIGOR requiere el cálculo de la norma de gradiente por muestra mediante diferenciación automática, lo que introduce una sobrecarga no trivial en comparación con señales solo hacia adelante como la verosimilitud o la entropía.
• Naturaleza de Proxy: La norma de gradiente es un objetivo proxy. Los autores reconocen que puede no rastrear consistentemente la utilidad downstream, dejando espacio para un posible desalineamiento o explotación de recompensas.