💬 NLP

Rethinking RL for LLM Reasoning: It's Sparse Policy Selection, Not Capability Learning

Este artículo sostiene que el aprendizaje por refuerzo mejora el razonamiento de los LLM no mediante la enseñanza de nuevas capacidades, sino al realizar correcciones escasas y predecibles en puntos de decisión de alta entropía, lo que conduce al desarrollo de ReasonMaxxer, un método altamente eficiente y libre de RL que iguala el rendimiento del RL completo con un costo de entrenamiento mínimo.

Autores originales: Ömer Faruk Akgül, Rajgopal Kannan, Willie Neiswanger, Viktor Prasanna

Publicado 2026-05-08

📖 5 min de lectura🧠 Análisis profundo

CC BY 4.0

Autores originales: Ömer Faruk Akgül, Rajgopal Kannan, Willie Neiswanger, Viktor Prasanna

Artículo original bajo licencia CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta es una explicación generada por IA del artículo a continuación. No ha sido escrita ni avalada por los autores. Para mayor precisión técnica, consulte el artículo original. Leer descargo de responsabilidad completo

La Gran Idea: El Modelo Ya Conoce la Respuesta

Imagina que tienes un estudiante muy inteligente (el Modelo Base) que está tomando un examen de matemáticas. Este estudiante, en realidad, conoce las respuestas correctas la mayoría de las veces, pero es un poco indeciso. Cuando llega a un paso complicado, podría dudar y lanzar una moneda entre dos o tres caminos posibles.

Durante mucho tiempo, los investigadores pensaron que el Aprendizaje por Refuerzo (RL) era como un entrenador súper estricto que enseñaba al estudiante nuevas formas de resolver problemas, inventando estrategias completamente nuevas desde cero.

Este artículo argumenta que eso es incorrecto.

Los autores descubrieron que el "entrenador" (RL) no está enseñando trucos nuevos al estudiante. En cambio, el entrenador solo susurra: "Oye, cuando dudabas en el paso 5, elegiste el camino equivocado. Solo elige la segunda mejor opción que ya estabas considerando".

El estudiante ya conocía la respuesta correcta; solo necesitaba un pequeño empujón para comprometerse con ella.

El Descubrimiento: Todo Se Trata de la "Encrucijada"

Los investigadores observaron exactamente lo que sucede dentro de la computadora cuando una IA aprende mediante RL. Descubrieron tres cosas sorprendentes:

Es increíblemente raro: El entrenador de RL solo cambia la opinión del estudiante en aproximadamente 1% a 3% de los pasos. Para el 97% del examen, el estudiante hace exactamente lo que quería hacer de todos modos.
Siempre es un cambio "seguro": El entrenador nunca le dice al estudiante que elija una respuesta loca o extraña que nunca haya considerado. Solo le dice que cambie a la segunda o tercera mejor opción que el estudiante ya estaba pensando.
Solo ocurre en momentos de "Encrucijada": Estos cambios solo suceden cuando el estudiante está confundido (alta "entropía"). Si el estudiante está seguro, el entrenador permanece en silencio. Si el estudiante no está seguro, el entrenador señala la bifurcación correcta.

La Analogía:
Imagina que conduces un coche por una carretera familiar. Conoces la ruta perfectamente.

El Modelo Base eres tú conduciendo.
El Entrenador RL es un GPS.
La Vieja Visión: Pensábamos que el GPS te estaba enseñando a conducir un coche que nunca habías visto antes.
La Nueva Visión: El GPS solo está diciendo: "Estás en una intersección confusa. Estabas a punto de girar a la izquierda, pero deberías girar a la derecha en su lugar". Ya sabías cómo girar a la derecha; solo necesitabas que te lo recordaran.

El Problema: El Entrenador Es Demasiado Caro

Actualmente, entrenar a estos "entrenadores" (RL) es como contratar a un equipo masivo de ingenieros para vigilar al estudiante mientras hace el examen, simular millones de escenarios y calcular matemáticas complejas para determinar ese pequeño empujón. Cuesta miles de dólares y requiere semanas de tiempo de computadora.

El artículo pregunta: Si el entrenador solo está señalando unos pocos puntos específicos en un mapa que ya tenemos, ¿necesitamos a todo el equipo costoso de entrenadores?

La Solución: REASONMAXXER (El "Empujón Inteligente")

Los autores desarrollaron un nuevo método, súper barato, llamado REASONMAXXER. En lugar de un entrenador masivo, utiliza una herramienta diminuta y barata.

Así es como funciona, paso a paso:

Encontrar la Confusión: El sistema observa los propios pensamientos del estudiante (del Modelo Base). Pregunta: "¿Dónde estás confundido?". Utiliza un truco matemático simple llamado Entropía para encontrar los momentos de "Encrucijada" donde el estudiante no está seguro.
El Empujón Contrastivo: Toma algunos ejemplos de cuando el estudiante acertó la respuesta y algunos ejemplos de cuando se equivocó. Luego dice: "En estos momentos confusos, cuando acertaste, elegiste este camino. Cuando te equivocaste, elegiste ese camino. Recuerda elegir el primero".
Cambios Mínimos: Solo actualiza una parte microscópica del cerebro del modelo (menos del 1% de sus parámetros) para recordar esta regla.

Los Resultados: La Misma Inteligencia, Costo Mínimo

El artículo probó este nuevo método contra los costosos entrenadores RL estándar en seis diferentes puntos de referencia matemáticos.

Rendimiento: REASONMAXXer funcionó tan bien como, o incluso mejor que, los modelos RL costosos.
Costo: Este es el gran shock.
- RL Estándar: Cuesta entre $200 y$ 100,000 para entrenar.
- REASONMAXXER: Cuesta aproximadamente $4 a$ 25 para entrenar.
- Tiempo: Toma minutos en una sola tarjeta de computadora, mientras que el RL toma días o semanas.

La Conclusión

El artículo concluye que la gran tendencia de la industria de utilizar Aprendizaje por Refuerzo masivo y costoso para enseñar el razonamiento a la IA podría ser excesivo.

El "Razonamiento" no es un nuevo superpoder que estamos desbloqueando; es simplemente una cuestión de ayudar a la IA a comprometerse con la elección correcta cuando no está segura.

No necesitamos una cuadrilla de construcción gigante para construir una casa que ya está mayormente construida; solo necesitamos un manitas para apretar unos cuantos tornillos sueltos en los momentos críticos. REASONMAXXER es ese manitas, y hace el trabajo por centavos.

Resumen Técnico: Repensar el RL para el Razonamiento de LLM

Declaración del Problema

El Aprendizaje por Refuerzo con Recompensas Verificables (RLVR) se ha convertido en el paradigma estándar para mejorar las capacidades de razonamiento en Modelos de Lenguaje Grandes (LLM), con sistemas como DeepSeek-R1 y OpenAI o1 demostrando ganancias significativas. La suposición predominante es que el RL permite a los modelos adquirir estrategias de razonamiento genuinamente nuevas mediante la exploración impulsada por recompensas. Sin embargo, la evidencia emergente sugiere que el RL podría no estar enseñando nuevas capacidades, sino redistribuyendo la masa de probabilidad sobre soluciones que el modelo base ya posee.

Este artículo aborda una brecha crítica: si bien trabajos anteriores han identificado que los efectos del RL se concentran en puntos específicos, estos estudios aún operan dentro del marco del RL. Los autores se preguntan si el propio bucle de optimización del RL es necesario si el mecanismo subyacente es simplemente dirigir al modelo hacia caminos que ya conoce. Hipotetizan que la mejora del razonamiento no es una cuestión de adquisición de capacidades, sino de selección de políticas dispersas.

Metodología

1. Análisis Mecanístico de los Efectos del RL

Los autores realizaron un análisis sistemático a nivel de token en múltiples familias de modelos (Qwen, Mistral, DeepSeek) y algoritmos de RL (GRPO, PPO, RLOO). Compararon las salidas de los modelos base con sus contrapartes entrenadas con RL en prompts idénticos para caracterizar la naturaleza de los cambios.

Discrepancia Dispersa: Descubrieron que los modelos de RL discrepan con los modelos base en solo 1–3% de las posiciones de tokens.
Reordenamiento Conservador: Los tokens "promocionados" elegidos por los modelos de RL están casi exclusivamente dentro de los cinco mejores candidatos del modelo base (rango medio ~2.2). El RL rara vez introduce tokens novedosos; eleva alternativas existentes.
Localización de la Entropía: Estas discrepancias ocurren casi exclusivamente en puntos de decisión de alta entropía (tokens de bifurcación) donde el modelo base es incierto sobre qué rama de razonamiento tomar. La entropía en estas posiciones es de 5 a 12 veces mayor que en las posiciones sin cambios.
Verificación Causal: Utilizando una "intervención oráculo", los autores reemplazaron los tokens del modelo base con los tokens preferidos del maestro de RL solo en estos puntos de discrepancia. Esta intervención recuperó exactamente la precisión del modelo de RL, demostrando que las ediciones dispersas son causalmente responsables de la ganancia de rendimiento. Las sustituciones aleatorias en estos puntos no lograron mejorar el rendimiento.
Baja Dimensionalidad: Los autores destilaron el comportamiento del maestro de RL en un adaptador LoRA de rango bajo entrenado en solo 100 problemas. Un adaptador de rango 32 (modificando <0.5% de los parámetros) fue suficiente para capturar todo el cambio distribucional, lo que indica que la corrección es de baja dimensionalidad en el espacio de parámetros.

2. REASONMAXXER: Un Método Libre de RL

Basándose en estos hallazgos, los autores proponen REASONMAXXER, un método mínimo de post-entrenamiento libre de RL que elude por completo el bucle de optimización del RL.

Selección de Datos: El método muestrea trayectorias (rollouts) de un modelo base congelado y retiene solo los problemas donde el modelo base exhibe éxito mixto (algunos correctos, algunos incorrectos). Esto asegura la presencia de una señal contrastiva de dos caras.
Identificación de Puntos de Decisión: En lugar de usar un maestro de RL para identificar tokens críticos, REASONMAXXER utiliza la propia entropía de tokens del modelo base como puerta. Las posiciones donde la entropía supera un umbral $\tau$ se marcan como puntos de decisión.
Ajuste Fino Contrastivo:
- En Puntos de Decisión: Se aplica una pérdida contrastiva ponderada por ventaja. Las trayectorias correctas refuerzan los tokens observados, mientras que las trayectorias incorrectas los penalizan.
- En Puntos No de Decisión: Una pérdida de divergencia Kullback-Leibler (KL) ancla el modelo a la distribución base, evitando el sobreajuste y preservando el comportamiento del modelo base donde no se necesita corrección.
Arquitectura: El método utiliza un adaptador LoRA adjunto al modelo base, manteniendo los pesos base congelados.

Resultados Clave

Los autores evaluaron REASONMAXXER en tres familias de modelos, seis escalas y seis benchmarks de razonamiento matemático (MATH-500, GSM8K, AIME, etc.), comparándolo con líneas base de RL completo.

Paridad de Rendimiento: REASONMAXXER iguala o supera el rendimiento de los modelos entrenados con RL completo. Por ejemplo, en Qwen2.5-7B, REASONMAXXER logró un 70.6% en MATH-500, superando a SimpleRL-Zoo (65.6%) y acercándose a Open-Reasoner-Zero (73.2%).
Reducción Drástica de Costos: El método reduce los costos de entrenamiento en dos a tres órdenes de magnitud.
- Computación: REASONMAXXER requiere minutos de entrenamiento en una sola GPU (decenas de horas-GPU en total), mientras que las líneas base de RL requieren cientos a decenas de miles de horas-GPU.
- Datos: REASONMAXXER se entrena con 50 problemas (generando ~1,000 secuencias), mientras que las líneas base de RL a menudo se entrenan con decenas de miles de problemas (por ejemplo, 57,000 para Open-Reasoner-Zero).
- Costo Monetario: Los costos de entrenamiento estimados para REASONMAXXER oscilan entre $4 y$ 25, en comparación con $200 y$ 103,000 para las líneas base de RL.
Generalización: El método funciona bien incluso frente a líneas base que utilizan mejoras sofisticadas (por ejemplo, RL iterativo, verificadores basados en modelos, datos de múltiples dominios), lo que sugiere que las ganancias centrales en estas pipelines provienen del mismo mecanismo de selección de políticas dispersas.

Significado y Afirmaciones

El artículo reencuadra el problema de mejorar el razonamiento de los LLM de la adquisición de capacidades a la selección de políticas dispersas.

El RL No es Necesario para las Ganancias de Razonamiento: Los autores afirman que el bucle de optimización del RL no es un prerrequisito para la mejora del razonamiento. La "señal" que captura el RL es una corrección dispersa y predecible en puntos de decisión de alta entropía, la cual puede aprenderse directamente mediante ajuste fino contrastivo sin exploración en línea.
El Modelo Base Contiene la Solución: Los hallazgos sugieren que el modelo base ya posee las rutas de razonamiento y el vocabulario necesarios; simplemente necesita ser dirigido a comprometerse con la rama correcta en momentos de incertidumbre.
Eficiencia sobre Infraestructura: El artículo desafía la inversión predeterminada de la comunidad en infraestructura pesada de RL. Argumenta que la complejidad del problema (selección dispersa) no justifica la complejidad de la solución (pipelines masivas de RL), abriendo la puerta a métodos de post-entrenamiento mucho más eficientes.

En conclusión, los autores demuestran que al identificar y corregir solo los puntos de decisión críticos y de alta entropía utilizando las propias señales del modelo base, se pueden replicar los beneficios del RL con una fracción de los datos y la computación, alterando fundamentalmente el análisis costo-beneficio del entrenamiento de modelos de razonamiento.