Resumen Técnico: Sobreajuste de Recompensa Implícita y Dinámicas de Bajo Rango en RLVR

Declaración del Problema

A pesar del éxito ingenieril del Aprendizaje por Refuerzo con Recompensas Verificables (RLVR) en la mejora de las capacidades de razonamiento de los Modelos de Lenguaje de Gran Tamaño (LLMs), los mecanismos microscópicos mediante los cuales el RL altera los parámetros del modelo permanecen poco comprendidos. La investigación existente se centra mayoritariamente en la dinámica macroscópica del entrenamiento o en el diseño de recompensas, dejando un vacío en la comprensión de la estructura específica y el significado físico de las actualizaciones de parámetros ($\Delta W$).

Observaciones recientes sugieren que las mejoras de RLVR se concentran dentro de componentes de bajo rango, específicamente actualizaciones de Rango-1. Sin embargo, un hallazgo disruptivo indica que el RL podría no estar impartiendo una nueva lógica de razonamiento subyacente, sino más bien optimizando estrategias de muestreo para elicitar respuestas correctas latentes. Esto plantea preguntas críticas: ¿Está RLVR aprendiendo genuinamente a razonar, o está sobreajustándose a la función de recompensa? Además, ¿cuál es la función de los componentes no Rango-1 en la matriz de actualización de parámetros?

Metodología

Los autores emplean una combinación de estudios empíricos y análisis teórico centrados en las propiedades espectrales de las actualizaciones de pesos.

1. Sustitución Periódica de Rango-1: Para investigar la contribución de los componentes no Rango-1, los autores introducen una técnica donde, en intervalos fijos (por ejemplo, cada 10 pasos), la actualización de pesos acumulada se descompone mediante Descomposición en Valores Singulares (SVD). Solo se retiene el componente de Rango-1 (asociado al valor singular más grande) y se añade a los parámetros del modelo base, mientras que los componentes residuales no Rango-1 se descartan. El modelo continúa luego el entrenamiento desde este estado "purificado a Rango-1".
2. Análisis Espectral: Los autores realizan SVD en las matrices de diferencia de pesos ($\Delta W$) de los modelos entrenados con RLVR para analizar la distribución de los valores singulares (espectros singulares) a través de las capas lineales.
3. Análisis de Alineación LoRA: Utilizando LoRA con rango $r=1$, los autores comparan la alineación geométrica entre los adaptadores LoRA y el verdadero subespacio de Rango-1 de la actualización completa de pesos. Utilizan la Similitud del Coseno de Frobenius y los Ángulos Principales (Izquierdo y Derecho) para cuantificar la alineación en los espacios de entrada y salida.
4. Análisis Teórico del Gradiente: El artículo deriva la estructura del gradiente de los objetivos de RL (GRPO, DAPO, GSPO), mostrando que pueden formularse como sumas ponderadas de matrices de rango-1, lo que respalda la observación empírica de la dominancia de Rango-1.

Hallazgos y Resultados Clave

1. Sobreajuste de Recompensa Implícita

El estudio revela un fenómeno contra intuitivo: Sobreajuste de Recompensa Implícita. Los modelos entrenados con Sustitución Periódica de Rango-1 logran un rendimiento en el conjunto de prueba comparable al de los modelos totalmente ajustados (RL Completo), a pesar de exhibir recompensas de entrenamiento significativamente más bajas.

• Observación: El entrenamiento estándar de RLVR impulsa consistentemente las recompensas de entrenamiento hacia arriba, pero esto no se traduce en una generalización superior.
• Implicación: Los componentes no Rango-1 aumentan significativamente las recompensas de entrenamiento pero no logran mejorar la generalización. El modelo parece estar sobre-optimizando su estrategia de muestreo para ajustarse a la distribución de recompensas de los datos de entrenamiento en lugar de aprender una lógica de razonamiento robusta.

2. Función de los Componentes No Rango-1

Mientras que los componentes de Rango-1 capturan las capacidades de razonamiento, los componentes no Rango-1 no son funcionalmente redundantes.

• Preservación de Capacidades Generales: La eliminación de los componentes no Rango-1 mediante la extracción de Rango-1 conduce a una degradación significativa en las capacidades fuera de dominio, incluyendo el seguimiento de instrucciones (IF-Eval), el conocimiento del mundo (MMLU, MMLU-Pro) y la seguridad (SafetyBench).
• Olvido Catastrófico: Los componentes no Rango-1 son cruciales para mantener el conocimiento general y la alineación de seguridad del modelo, previniendo el olvido catastrófico que a menudo se observa en el ajuste fino supervisado (SFT).

3. Patrón Espectral Universal

Los espectros singulares de las actualizaciones de parámetros en modelos entrenados con RLVR siguen un patrón consistente:

• Pico Principal: Un primer valor singular dominante ($\sigma_1$) correspondiente al componente de Rango-1.
• Distribución de Cola Pesada: Tras el pico inicial, los valores singulares restantes exhiben un decaimiento uniforme, cuasi-lineal, formando una cola pesada.
• Distribución de Energía: Aunque el componente de Rango-1 impulsa el razonamiento, la cola no Rango-1 contiene la mayor parte de la "energía" (norma de Frobenius) de la actualización, codificando seguridad, robustez y alineación de características sutiles.

4. Asimetría Geométrica en la Dinámica LoRA

El análisis de la dinámica de entrenamiento de LoRA revela una Asimetría Geométrica entre los subespacios de entrada y salida:

• Alineación en el Espacio de Salida: Los vectores singulares izquierdos (espacio de salida) del componente de Rango-1 muestran una fuerte alineación con los adaptadores LoRA. Esto se alinea con el hallazgo de que RLVR optimiza principalmente la estrategia de muestreo (representación de salida).
• Desalineación en el Espacio de Entrada: Los vectores singulares derechos (espacio de entrada) muestran una alineación más débil. Las actualizaciones de entrada implican una reorganización compleja de características contextuales que es difícil de capturar con matrices simples de bajo rango.
• Base Teórica: El análisis del gradiente muestra que la dirección de actualización para el vector de salida está determinada por el error retropropagado (que se alinea bien), mientras que la actualización del vector de entrada está determinada por activaciones altamente dependientes del contexto, lo que dificulta la alineación.

Significado y Contribuciones

El artículo afirma ofrecer una comprensión mecánica más profunda de RLVR, desafiando la suposición de que el RL inherentemente "aprende" a razonar en el sentido tradicional.

• Reencuadre de RLVR: Los hallazgos sugieren que RLVR actúa más como un mecanismo para optimizar la eficiencia del muestreo y elicitar capacidades de razonamiento latentes que como una alteración fundamental de la lógica de razonamiento subyacente del modelo. Esto explica por qué aumentar $k$ en las métricas pass@k a veces puede hacer que los modelos RL estándar tengan un rendimiento inferior en comparación con los modelos base.
• Desacoplamiento de Capacidades: El trabajo desacopla con éxito la capacidad de razonamiento (Rango-1) del conocimiento general y la seguridad (No Rango-1), proporcionando una base teórica para por qué el "sobreajuste" a las recompensas podría ocurrir sin dañar la generalización si se preserva el componente de Rango-1.
• Perspectivas Espectrales: La identificación del patrón espectral "pico principal + cola pesada" proporciona una nueva lente para analizar las actualizaciones de RL, sugiriendo que RL induce una forma espectral altamente estructurada en lugar de una actualización estrictamente de bajo rango.
• Implicaciones Prácticas: Los hallazgos ofrecen perspectivas potenciales para mejorar los paradigmas de RL, como el diseño de estrategias de entrenamiento que mitiguen el sobreajuste de recompensa implícita mientras preservan los componentes no Rango-1 necesarios para la seguridad y el conocimiento general.

Los autores reconocen limitaciones, señalando que sus observaciones se basan en tamaños y arquitecturas de modelos específicos, y que se necesita más investigación para determinar la universalidad de estos hallazgos en diferentes escalas de parámetros y familias de modelos.