💬 NLP

The Invisible Leash: Why RLVR May or May Not Escape Its Origin

Este artículo demuestra empíricamente que, si bien el Aprendizaje por Refuerzo con Recompensas Verificables (RLVR) mejora significativamente la precisión de los LLM, en última instancia no logra expandir los límites del razonamiento porque su optimización restringida por el soporte estrecha el espacio de soluciones del modelo, causando a menudo que este pase por alto respuestas correctas que antes eran accesibles para el modelo base.

Autores originales: Fang Wu, Weihao Xuan, Ximing Lu, Mingjie Liu, Yi Dong, Zaid Harchaoui, Yejin Choi

Publicado 2026-02-05

📖 5 min de lectura🧠 Análisis profundo

CC BY 4.0

Autores originales: Fang Wu, Weihao Xuan, Ximing Lu, Mingjie Liu, Yi Dong, Zaid Harchaoui, Yejin Choi

Artículo original bajo licencia CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta es una explicación generada por IA del artículo a continuación. No ha sido escrita ni avalada por los autores. Para mayor precisión técnica, consulte el artículo original. Leer descargo de responsabilidad completo

La visión general: La "correa invisible"

Imagina que tienes a un estudiante muy talentoso (el Modelo Base) que ha leído una biblioteca de libros y conoce muchos datos. Puede resolver problemas matemáticos, pero a veces se queda atascado o da una respuesta algo desordenada.

Para hacerlo mejor, introduces a un entrenador estricto (el sistema RLVR). Este entrenador no le enseña al estudiante nuevas materias desde cero. En su lugar, el entrenador observa al estudiante resolver problemas y, cada vez que el estudiante obtiene la respuesta exacta y correcta, el entrenador le da un "choca esos cinco" (una recompensa). Si la respuesta es incorrecta, el entrenador le dice suavemente: "inténtalo de nuevo".

El artículo plantea una pregunta crucial: ¿Realmente este entrenamiento le enseña al estudiante nuevas formas de pensar, o solo lo entrena para repetir las respuestas específicas que ya conocía, pero con más confianza?

Los autores llaman a esto una "correa invisible". Descubrieron que, aunque el estudiante mejora mucho en obtener la primera respuesta correcta, en realidad está atado al mismo conjunto limitado de ideas con las que empezó. No puede saltar fácilmente la valla para descubrir soluciones totalmente nuevas que no tuviera ya un indicio previo.

Explicación de los hallazgos clave

1. La trampa del "Soporte": Mantener el mapa antiguo

Piensa en el conocimiento del estudiante como un mapa de una ciudad. El "Modelo Base" tiene un mapa que muestra muchas rutas posibles hacia un destino, incluyendo algunas rutas oscuras y sinuosas.

Lo que hace el RLVR: Mira el mapa y dice: "¡Oye, esta ruta funciona perfectamente! Pavimentémosla con oro y hagamos que sea la única carretera por la que conduzcamos".
El resultado: El estudiante se vuelve increíblemente rápido y preciso en esa única carretera pavimentada. Sin embargo, comienza a olvidar las otras rutas válidas y sinuosas que estaban en el mapa original.
El hallazgo del artículo: En casi todas las pruebas (matemáticas, lógica, programación), los modelos entrenados con RLVR mantuvieron las respuestas "buenas" que ya conocían (aproximadamente el 93–99%) pero perdieron el acceso a otras respuestas correctas que el modelo original sí podría haber encontrado. No añadieron nuevas carreteras al mapa; simplemente estrecharon el tráfico a un solo carril.

2. El equilibrio entre "Precisión vs. Diversidad"

Imagina que estás pescando en un lago.

El Modelo Base lanza una red amplia. Atrapa algunos peces grandes, pero también atrapa algunos peces más pequeños y de tipos diferentes. Es un poco desordenado, pero encuentra todo lo que hay allí.
El Modelo RLVR usa una lanza. Es increíblemente preciso. Si ve un pez, le da cada vez. Pero debido a que está tan concentrado en dar en el blanco, deja de lanzar la red de forma amplia.

El problema: Si solo necesitas un pez (una respuesta correcta), la lanza (RLVR) es mejor. Pero si necesitas atrapar cualquier pez en un cubo grande (intentar muchas veces para encontrar una solución), la red amplia (Modelo Base) es en realidad mejor porque cubre más terreno. El artículo encontró que, aunque el RLVR es excelente para acertar al primer intento, el modelo original suele ganar si se le dan muchas oportunidades para intentarlo.

3. La ilusión del "Ruido Confuso"

A veces, el estudiante entrenado con RLVR parece estar pensando con más intensidad. Puede que haga pausas más largas, diga más palabras o parezca más "incierto" mientras habla (esto se llama Entropía a nivel de Token).

La analogía: Imagina a un chef que corta verduras de forma muy ruidosa y caótica. Parece que está experimentando con nuevas técnicas.
La realidad: A pesar del ruido, sigue preparando exactamente los mismos tres platos de siempre. No está inventando una nueva receta; solo está preparando las de siempre con un toque más dramático.
El hallazgo del artículo: Aunque los modelos suenan más "inciertos" paso a paso, en realidad convergen en un conjunto de respuestas finales mucho más reducido. Son menos diversos al final.

4. ¿Cuándo aprende realmente algo nuevo?

El artículo sí encontró algunas excepciones raras donde el modelo RLVR sí encontró una solución nueva. Esto solo ocurrió en dos escenarios específicos:

Reensamblar piezas de un rompecabezas: El estudiante ya conocía las piezas individuales del rompecabezas (sub-habilidades), pero no sabía cómo unirlas correctamente. El entrenador les ayudó a encajar las piezas.
Corregir el formato: El estudiante conocía la respuesta, pero no sabía cómo escribirla en el formato específico que el entrenador quería. El entrenador le enseñó las reglas de formato, desbloqueando la respuesta que ya estaba allí.

En estos casos, el modelo no estaba descubriendo un nuevo universo de pensamiento; solo estaba puliendo lo que ya estaba oculto en las sombras de su conocimiento original.

La conclusión: Romper la correa

El artículo concluye que los métodos actuales de RLVR son como una herramienta de precisión, no un motor de creatividad. Son excelentes para refinar y perfeccionar lo que un modelo ya sabe, pero están "atados por una correa" a la distribución inicial del modelo base. No pueden descubrir fácilmente soluciones que el modelo base tenía una probabilidad de cero de encontrar.

Para expandir verdaderamente las capacidades de razonamiento de un modelo —para permitirle descubrir cosas que nunca ha visto antes— necesitamos añadir algo nuevo a la mezcla: exploración explícita. Necesitamos empujar deliberadamente la masa de probabilidad hacia los "rincones oscuros" del espacio de soluciones, en lugar de simplemente agudizar el enfoque en los puntos brillantes que ya conocemos.

En resumen: El RLVR hace que el modelo sea un mejor ejecutor de ideas conocidas, pero no necesariamente lo convierte en un mejor pensador de ideas nuevas.

Resumen Técnico: ¿La correa invisible? Por qué el RLVR puede o no escapar de su origen

Planteamiento del problema

Los avances recientes en los Modelos de Lenguaje de Gran Escala (LLM), particularmente en el razonamiento matemático y lógico, han sido impulsados por el Aprendizaje por Refuerzo con Recompensas Verificables (RLVR, por sus siglas en inglés). Si bien el RLVR ha demostrado mejoras significativas en la precisión de un solo intento (pass@1), persiste un debate fundamental: ¿el RLVR expande genuinamente las fronteras de razonamiento de un modelo para descubrir soluciones novedosas, o simplemente amplifica las salidas de alta recompensa que el modelo base ya posee, mejorando la precisión a costa de la diversidad?

La literatura actual ofrece visiones contradictorias. Algunos estudios sugieren que el RLVR realiza una optimización conservadora dentro de las capacidades existentes, mientras que otros argumentan que expande el razonamiento en dominios específicos. Además, las métricas de evaluación estándar como pass@k capturan principalmente la recuperación de soluciones en lugar de la capacidad de razonamiento novedoso. Existe una falta de investigación empírica sistemática sobre cómo el RLVR reconfigura el soporte de razonamiento efectivo de un modelo a lo largo del entrenamiento, específicamente si puede descubrir soluciones que antes eran inaccesibles para el modelo base.

Metodología

Los autores introducen un marco centrado en el Soporte Empírico, definido como el conjunto de soluciones correctas que un modelo puede descubrir de manera realista bajo un muestreo finito. Formalizan la dinámica de la accesibilidad de las soluciones categorizando las completaciones correctas en cuatro regiones basadas en si el modelo base ( $q$ ) y el modelo entrenado con RLVR ( $\pi_\theta$ ) asignan una masa de probabilidad no despreciable (por encima de un umbral $\epsilon$ ) a ellas:

Preservación de Soporte: Soluciones correctas accesibles para ambos modelos.
Expansión de Soporte: Soluciones correctas recién accesibles para RLVR (despreciables en el base, no despreciables en RLVR).
Contracción de Soporte: Soluciones correctas accesibles para el modelo base pero perdidas en RLVR.
Fuera de Soporte: Soluciones correctas omitidas por ambos.

Para cuantificar estas dinámicas, el artículo propone cuatro métricas:

Tasa de Retención de Soporte (SRR): Mide la preservación de las soluciones del modelo base.
Tasa de Descubrimiento Neto (NDR): Mide la fracción de nuevos descubrimientos genuinos.
Puntuación Dinámica de Soporte (SDS): Una media armónica que equilibra la retención y el descubrimiento.
Tasa de Cambio de Soporte Neto (NSCR): Captura la expansión o contracción neta del espacio de soluciones.

El estudio emplea extensos experimentos empíricos a través de diversos escales de modelos (de 1.5B a 32B de parámetros) y dominios (matemáticas, razonamiento lógico, QA factual, generación de código y razonamiento visual). Los modelos evaluados incluyen variantes de ProRL, Nemotron, Skywork, AceReason, Phi4 y DAPO. Los autores también analizan la dinámica de la entropía, distinguiendo entre entropía a nivel de token (incertidumbre local durante la generación) y entropía a nivel de respuesta (diversidad global de las salidas finales). Además, proporcionan pruebas teóricas respecto a los límites de las actualizaciones de RL on-policy.

Contribuciones Clave y Resultados

1. Preservación Predominante con Expansión Limitada

Los resultados empíricos indican que el RLVR actúa principalmente como un mecanismo de optimización restringido por el soporte. En todos los modelos y dominios probados:

Alta Retención, Bajo Descubrimiento: Las Tasas de Retención de Soporte (SRR) son consistentemente altas (0.90–0.99), lo que indica que el RLVR preserva de manera fiable las soluciones accesibles del modelo base. Sin embargo, las Tasas de Descubrimiento Neto (NDR) son extremadamente bajas (a menudo $\le 0.04$ ), lo que significa que el descubrimiento genuino de nuevas rutas de razonamiento es raro.
Contracción Neta: En casi todos los casos, el número de soluciones correctas perdidas (Contracción) supera al número de nuevas soluciones encontradas (Expansión). La Tasa de Cambio de Soporte Neto (NSCR) es consistentemente negativa, lo que sugiere que el RLVR estrecha sistemáticamente el conjunto de soluciones accesibles.
Paradoja de Rendimiento: Aunque los modelos RLVR suelen superar a los modelos base en presupuestos de muestreo bajos (por ejemplo, pass@1), los modelos base frecuentemente dominan en presupuestos de muestreo altos (por ejemplo, pass@8192) debido a su cobertura de soluciones más amplia.

2. El Compromiso entre Precisión y Diversidad

El estudio identifica un compromiso fundamental donde el RLVR mejora la precisión al concentrar la masa de probabilidad en trayectorias de alta recompensa conocidas, pero reduce la diversidad de las soluciones globales.

Dinámica de la Entropía: Aunque algunos modelos RLVR exhiben un aumento en la entropía a nivel de token (pareciendo más inciertos durante la generación), muestran consistentemente una disminución en la entropía a nivel de respuesta. Esto indica que, a pesar de la estocasticidad local, los modelos convergen hacia un conjunto más pequeño de respuestas finales distintas.
Análisis de Perplejidad: Los modelos RLVR muestran una mayor perplejidad cuando se evalúan contra trazas de razonamiento externas diversas (por ejemplo, de DeepSeek-R1 o Claude Sonnet), confirmando que reducen la capacidad del modelo para asignar probabilidad a estilos de solución diversos.

3. Mecanismos de Expansión Rara

Cuando ocurre la expansión (por ejemplo, en tareas como Dice, Arc 1D o Boxnet), el artículo identifica dos mecanismos específicos:

Recomposición de Sub-habilidades: El modelo base posee los componentes necesarios (fragmentos) pero falla al ensamblarlos globalmente. El RLVR amplifica estos componentes débilmente representados.
Alineación de Formato de Prompt: El RLVR corrige desalineaciones en el formato de respuesta, desbloqueando capacidades que estaban presentes pero suprimidas debido a fallos en el seguimiento de instrucciones.
Crucialmente, estas expansiones no representan el descubrimiento de soluciones verdaderamente ausentes de la distribución base; son reponderaciones de capacidades existentes en la cola larga.

4. Límites Teóricos

El artículo proporciona pruebas teóricas (Teorema C.1 y Corolario C.2) que demuestran que las actualizaciones estándar de RLVR on-policy no pueden expandir el soporte de la política más allá del soporte inicial del modelo base. Si el modelo base asigna probabilidad cero a una solución correcta, el RLVR no puede descubrirla. Además, el rendimiento asintótico pass@k de un modelo RLVR está limitado por el de su modelo base.

Significado y Reivindicaciones

El artículo afirma revelar una "correa invisible" que restringe las prácticas actuales de RLVR. La significancia principal de este trabajo radica en:

Reencuadre del Rol del RLVR: Posiciona al RLVR no como un expansor de capacidades que desbloquea nuevos horizontes de razonamiento, sino como un mejorador de precisión que agudiza la distribución alrededor de los modos conocidos de alta recompensa.
Limitaciones de los Paradigmas Actuales: Desafía la suposición de que el RLVR conduce inherentemente a un razonamiento más profundo o a la resolución de problemas novedosos. En cambio, sugiere que sin estrategias de exploración explícitas, el RLVR está fundamentalmente limitado por la inicialización del modelo base.
Implicaciones para la Evaluación: Los hallazgos sugieren que confiar únicamente en métricas de pass@1 o de bajo presupuesto puede sobreestimar las capacidades del RLVR, ya que estas métricas favorecen las distribuciones concentradas que produce el RLVR, ignorando la pérdida de diversidad que perjudica el rendimiento en escenarios de alto presupuesto o de múltiples soluciones.
Direcciones Futuras: Los autores concluyen que romper esta "correa invisible" requiere innovaciones futuras que siembren explícitamente masa de probabilidad en regiones de soluciones subrepresentadas, yendo más allá de la optimización on-policy estándar hacia estrategias híbridas o mecanismos de exploración explícitos.

El trabajo no pretende resolver estas limitaciones, sino que busca proporcionar una base empírica y teórica rigurosa para comprender los compromisos inherentes entre precisión y diversidad en el aprendizaje por refuerzo basado en recompensas verificables.