🤖 AI

RL Squeezes, SFT Expands: A Comparative Study of Reasoning LLMs

Este artículo presenta un marco novedoso que analiza las trayectorias de razonamiento a nivel de trayectoria y de paso para revelar que el Aprendizaje por Refuerzo con Recompensas Verificables (RLVR) comprime las trayectorias incorrectas y concentra el razonamiento en menos pasos, mientras que el Ajuste Fino Supervisado (SFT) expande las trayectorias correctas y distribuye el razonamiento a lo largo de muchos pasos, explicando así el éxito complementario del paradigma actual de entrenamiento en dos etapas.

Autores originales: Kohsei Matsutani, Shota Takashiro, Gouki Minegishi, Takeshi Kojima, Yusuke Iwasawa, Yutaka Matsuo

Publicado 2026-05-28

📖 6 min de lectura🧠 Análisis profundo

CC BY 4.0

Autores originales: Kohsei Matsutani, Shota Takashiro, Gouki Minegishi, Takeshi Kojima, Yusuke Iwasawa, Yutaka Matsuo

Artículo original bajo licencia CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta es una explicación generada por IA del artículo a continuación. No ha sido escrita ni avalada por los autores. Para mayor precisión técnica, consulte el artículo original. Leer descargo de responsabilidad completo

La Gran Imagen: Dos Maneras de Enseñar a un Robot a Pensar

Imagina que tienes un robot que es bueno hablando, pero no muy bueno resolviendo problemas complejos de matemáticas o programación. Para hacerlo más inteligente, los investigadores utilizan dos métodos principales de entrenamiento:

SFT (Ajuste Fino Supervisado): Esto es como la imitación. Le muestras al robot un ejemplo perfecto de cómo un experto humano resuelve un problema, paso a paso, y le dices: "Haz exactamente esto".
RL (Aprendizaje por Refuerzo): Esto es como el ensayo y error con una tarjeta de puntuación. Dejas que el robot intente resolver el problema por sí mismo. Si obtiene la respuesta correcta, recibe una "estrella de oro" (recompensa). Si se equivoca, no recibe nada. Con el tiempo, aprende a evitar los caminos que conducen al fracaso.

El artículo pregunta: ¿Qué sucede realmente dentro del cerebro del robot cuando usamos estos dos métodos diferentes? ¿Cambian cómo piensa el robot o solo qué responde?

Los autores descubrieron que estos dos métodos hacen cosas opuestas al "proceso de pensamiento" del robot.

Analogía 1: El "Sendero de Razonamiento" (Nivel de Trayectoria)

Imagina el proceso de pensamiento del robot como un excursionista caminando por un bosque masivo y neblinoso para encontrar un tesoro oculto (la respuesta correcta). Hay muchos caminos: algunos llevan al tesoro, y muchos conducen a callejones sin salida o acantilados.

SFT (El Imitador) "Expande" los Buenos Caminos:
Cuando le muestras al robot el mapa de un experto (SFT), aprende a caminar por el camino correcto. Pero aquí está el truco: también empieza a caminar por muchas variaciones diferentes de ese camino correcto. Se vuelve muy creativo y diverso en cómo encuentra el tesoro.
- El Truco: No deja de caminar por los malos caminos. Si el robot ya estaba vagando por un pantano (cometiendo errores), SFT le enseña nuevas formas de caminar, pero podría seguir vagando por el pantano ocasionalmente. "Expande" el número de rutas correctas, pero no necesariamente elimina las malas.
RL (El Puntador) "Apretura" los Malos Caminos:
Cuando dejas que el robot juegue el juego con recompensas (RL), se da cuenta rápidamente de que los caminos del pantano conducen a cero puntos. Así que deja de caminar por allí. "Apretura" todos los caminos incorrectos, confusos o sin salida hasta hacerlos desaparecer.
- El Truco: También tiende a "apreturar" los buenos caminos. Puede dejar de explorar variaciones creativas de la respuesta correcta y simplemente ceñirse al único camino que sabe que funciona mejor. Se vuelve muy enfocado, pero menos diverso.
La Combinación Ganadora (SFT + RL):
El artículo explica por qué la mejor práctica actual es hacer SFT primero, luego RL.
1. Primero, usa SFT para enseñar al robot nuevas formas de encontrar el tesoro (expandiendo los caminos correctos).
2. Luego, usa RL para castigar al robot por vagar por el pantano (apreturando los caminos incorrectos).
- Resultado: Obtienes un robot que conoce muchas formas de resolver el problema, pero es muy disciplinado para evitar errores.

Analogía 2: La "Ciudad de Pensamientos" (Nivel de Paso)

Ahora, veamos el pensamiento del robot no como un solo camino, sino como un mapa de ciudad. Cada "paso" en el razonamiento (como "calcular el área" o "verificar la fórmula") es un edificio en esta ciudad. Las conexiones entre los pasos son las carreteras.

RL Crea una Ciudad de "Eje y Radios":
Después del entrenamiento con RL, la ciudad cambia. El robot empieza a depender en gran medida de unos pocos edificios específicos, súper importantes (hubs). Visita estos pasos clave una y otra vez.
- El Efecto: La ciudad se vuelve muy eficiente, pero muy concurrida alrededor de estos pocos puntos. El robot concentra su "poder de pensamiento" en un pequeño número de pasos críticos. Es como un conmutador que solo usa tres puentes específicos para cruzar el río, ignorando todos los demás.
SFT Crea una Ciudad "Distribuida":
Después del entrenamiento con SFT, la ciudad se ve diferente. El robot dispersa su pensamiento. Visita muchos edificios diferentes, y ningún edificio individual es visitado de manera tan abrumadora como en la ciudad de RL.
- El Efecto: El pensamiento se "homogeneiza" o se distribuye uniformemente. Es como una ciudad donde todos usan una amplia variedad de calles, y ninguna calle única es un embotellamiento.

El Hallazgo Clave:

RL hace que el pensamiento del robot sea intenso y enfocado en unos pocos pasos clave (Apretura).
SFT hace que el pensamiento del robot sea amplio y distribuido a través de muchos pasos (Expande).

La Forma de la Ciudad (Topología)

Los investigadores también observaron la "forma" de estas ciudades de pensamiento utilizando geometría.

El Modelo Base (Antes del entrenamiento): La ciudad está dividida en barrios aislados (comunidades). Es difícil pasar de un barrio a otro. El robot se queda atrapado en bucles locales.
RL: Derrumba los muros entre los barrios. Crea una ciudad dominada por unos pocos "hubs" masivos que conectan todo. Esto hace que el robot sea muy rápido para encontrar la respuesta si golpea el hub correcto, pero depende de esos hubs específicos.
SFT: También derrumba los muros, pero en lugar de crear hubs, construye una red donde todo está conectado con todo lo demás. Esto hace que la ciudad sea muy robusta y fácil de navegar desde cualquier punto hacia cualquier otro punto.

Resumen de las Afirmaciones del Artículo

RL es un "Apretador": Aplasta los caminos de pensamiento incorrectos y concentra el razonamiento del robot en unos pocos pasos altamente eficientes y de alto tráfico. Hace que el robot sea muy bueno para obtener la respuesta correcta en el primer intento (Pass@1) eliminando las malas opciones.
SFT es un "Expansor": Enseña al robot nuevas formas correctas de pensar y distribuye la carga del razonamiento a través de muchos pasos. Sin embargo, no elimina automáticamente los malos caminos que el robot podría haber estado usando antes.
Por qué Funciona SFT + RL: Los mejores resultados provienen de usar SFT para enseñar al robot cómo pensar correctamente (expandiendo los buenos caminos) y luego usar RL para obligarlo a dejar de cometer errores (apreturando los malos caminos).
La Estructura Importa: RL crea una estructura de razonamiento "cargada de hubs", mientras que SFT crea una estructura "distribuida". Ambas son diferentes de la estructura "fragmentada" de un modelo no entrenado.

El artículo concluye que comprender estas diferencias mecánicas ayuda a explicar por qué la receta actual de entrenamiento de "dos etapas" (SFT luego RL) es tan exitosa para crear IA de razonamiento inteligente.

Resumen Técnico: RL APLASTA, SFT EXPANDE: UN ESTUDIO COMPARATIVO DE MODELOS DE LENGUAJE GRANDE CON RAZONAMIENTO

Declaración del Problema

Aunque el Aprendizaje por Refuerzo con Recompensas Verificables (RLVR) y el Ajuste Fino Supervisado (SFT) son los paradigmas dominantes para el entrenamiento posterior de Modelos de Lenguaje Grande (LLM) con el fin de mejorar las capacidades de razonamiento, los mecanismos específicos mediante los cuales estos métodos moldean los procesos de razonamiento subyacentes siguen siendo esquivos. Estudios anteriores se han centrado en gran medida en métricas basadas en resultados (por ejemplo, Pass@k), concluyendo a menudo que RL simplemente elicita capacidades base preexistentes o que SFT conduce a la memorización mientras que RL promueve la generalización. Sin embargo, estos estudios carecen de una comprensión granular de cómo RL y SFT alteran fundamentalmente la estructura de los caminos de razonamiento y la topología del espacio de razonamiento. Este artículo aborda la pregunta: ¿Cómo moldean RL y SFT el proceso de razonamiento más allá de las mediciones de precisión?

Metodología

Los autores introducen un marco de análisis novedoso que cuantifica los caminos de razonamiento y captura sus cambios cualitativos bajo diferentes regímenes de entrenamiento. El estudio emplea modelos de tamaños variables (1.5B, 7B y 14B parámetros) en dominios matemáticos (AIME24, AIME25, AMC23) y de código (HumanEval). El análisis se realiza en dos niveles de granularidad:

Análisis a Nivel de Trayectoria:
- Método: Se muestrean múltiples salidas (M=256) de modelos Base, RL, SFT y SFT+RL. Las trayectorias de razonamiento únicas se identifican aplicando agrupamiento jerárquico (UPGMA) a las salidas basadas en la similitud de n-gramas a nivel de caracteres (chrF).
- Objetivo: Contar y comparar el número de trayectorias únicas correctas e incorrectas antes y después del entrenamiento.
Análisis a Nivel de Paso (Gráficos de Razonamiento):
- Construcción: Las salidas del modelo se segmentan en oraciones, se incrustan en un espacio vectorial (usando BGE-large-en-v1.5) y se agrupan (K-means) para definir nodos. Las transiciones entre oraciones forman aristas dirigidas, creando un "gráfico de razonamiento" para cada problema.
- Métricas: El estudio analiza propiedades topológicas globales y locales, incluyendo:
  - Tasas de Decaimiento Exponencial: Ajuste de gráficos de rango de la frecuencia de visita de nodos, grado y centralidad de intermediación a una ley exponencial ( $X(R) \propto e^{-\lambda R}$ ) para determinar la tasa de decaimiento $\beta$ .
  - Topología Global: Densidad de aristas, coeficiente de agrupamiento, assortatividad, modularidad, centralización de Freeman, longitud promedio de camino, eficiencia global y conectividad algebraica.
  - Estructura Local: Análisis de grafetos (conteo de subgrafos de 4 nodos) para detectar estructuras cíclicas vs. acíclicas.

Contribuciones Clave

El artículo establece una "perspectiva de camino de razonamiento" que explica los roles complementarios de SFT y RL:

Dinámicas a Nivel de Trayectoria:
- RL Aplasta: El entrenamiento con RL comprime significativamente el número de trayectorias incorrectas únicas, podando efectivamente el espacio de búsqueda de errores. Sin embargo, también reduce el número de trayectorias correctas únicas, concentrando la masa de probabilidad en menos caminos.
- SFT Expande: El entrenamiento con SFT aumenta el número de trayectorias correctas únicas, introduciendo nuevas estrategias de solución ausentes en el modelo base. Crucialmente, SFT por sí solo tiende a preservar las trayectorias incorrectas, no logrando garantizar mejoras en Pass@1.
- Sinergia: El éxito del enfoque de dos etapas SFT+RL se atribuye a que SFT expande el espacio de soluciones correctas, seguido de RL comprimiendo el espacio de las incorrectas.
Cambios Estructurales a Nivel de Paso:
- Tasas de Decaimiento: RL empina las tasas de decaimiento ( $\beta$ ) de las distribuciones de frecuencia de visita, grado y centralidad de intermediación. Esto indica que RL consolida la funcionalidad de razonamiento (por ejemplo, hubs, nodos centrales) en un subconjunto pequeño de pasos. Por el contrario, SFT aplanas estas tasas de decaimiento, homogeneizando la funcionalidad a través de muchos pasos diversos.
- Topología Global:
  - Modelos Base: Exhiben alta modularidad y baja eficiencia global, indicando que el razonamiento queda atrapado en comunidades distintas y débilmente conectadas.
  - Modelos RL: Transforman los gráficos en estructuras centralizadas en hubs con alta densidad de aristas y baja modularidad, permitiendo un recorrido eficiente a través de unos pocos nodos centrales.
  - Modelos SFT: Debilitan los límites comunitarios para formar gráficos globalmente conectados con alta robustez y eficiencia de alcanzabilidad, aunque pueden retener algunos caminos incorrectos.
- Estructura Local: Tanto RL como SFT aumentan la proporción de subgrafos cíclicos (reflejando retroceso y verificación), lo que sugiere que las estructuras cíclicas locales por sí solas no pueden explicar las diferencias de rendimiento; la topología global es el diferenciador.

Resultados

Dominios Matemáticos y de Código: Los hallazgos se mantienen consistentemente en conjuntos de datos matemáticos (AIME, AMC) y generación de código (HumanEval).
Pass@k vs. Pass@1: La reducción de trayectorias correctas únicas por parte de RL explica por qué los modelos Base a veces pueden superar a los modelos RL en Pass@k (con $k$ grande) debido a la cobertura más amplia de la distribución del modelo base, mientras que RL sobresale en Pass@1 al concentrar la masa en el camino correcto más probable.
Correlaciones Topológicas: La eficiencia global y la conectividad algebraica están positivamente correlacionadas con las relaciones Pass@1/Pass@k, mientras que la modularidad está negativamente correlacionada. Esto sugiere que los gráficos de razonamiento que facilitan un recorrido eficiente a través de todo el espacio de soluciones son críticos para un alto rendimiento.
Estudios de Ablación: Los resultados con respecto a las tasas de decaimiento y los cambios topológicos permanecen robustos a través de diferentes conteos de clústeres ( $K$ ), métricas de distancia (Euclídea vs. Coseno) y codificadores de oraciones.

Significado y Afirmaciones

El artículo afirma proporcionar soporte empírico para la hipótesis de "RL aplasta, SFT expande", ofreciendo una explicación mecánica de por qué la mejor práctica actual de entrenamiento en dos etapas (SFT seguido de RL) es exitosa.

Interpretación del Entrenamiento: Postula que SFT actúa como un "expansor" del espacio de razonamiento (aprendiendo nuevas estrategias), mientras que RL actúa como un "compresor" (optimizando la distribución para suprimir errores y enfocarse en caminos correctos de alta probabilidad).
Curación de Datos: Los hallazgos sugieren que la construcción de datos para el razonamiento debe considerar métricas de grafos (por ejemplo, asegurar baja modularidad y alta eficiencia global) en lugar de solo la precisión.
Direcciones Futuras: Los autores sugieren que aplicar RL solo a pasos funcionales (hubs) podría mejorar la eficiencia y que explorar si los bonos de exploración en RL previenen un "aplastamiento excesivo" es una dirección valiosa.

El trabajo no afirma inventar nuevos algoritmos de entrenamiento, sino más bien ofrece un marco de diagnóstico para entender los existentes, interpretando por qué funcionan las recetas actuales de entrenamiento posterior y sugiriendo direcciones para enfoques de aprendizaje más eficientes y curación de datos.