🤖 AI

How Much Backtracking is Enough? Exploring the Interplay of SFT and RL in Enhancing LLM Reasoning

Este artículo demuestra que incorporar explícitamente el retroceso (backtracking) en la fase de calentamiento del ajuste fino supervisado es esencial para optimizar el aprendizaje por refuerzo en los modelos de lenguaje extensos, con la profundidad óptima del retroceso escalando directamente con la dificultad de la tarea para permitir un razonamiento de búsqueda en árbol no lineal efectivo.

Autores originales: Hongyi James Cai, Junlin Wang, Xiaoyin Chen, Bhuwan Dhingra

Publicado 2026-08-11

📖 6 min de lectura🧠 Análisis profundo

CC BY 4.0

Autores originales: Hongyi James Cai, Junlin Wang, Xiaoyin Chen, Bhuwan Dhingra

Artículo original bajo licencia CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta es una explicación generada por IA del artículo a continuación. No ha sido escrita ni avalada por los autores. Para mayor precisión técnica, consulte el artículo original. Leer descargo de responsabilidad completo

Imagina que le estás enseñando a un robot a resolver un laberinto. En los viejos tiempos, podrías simplemente decirle al robot: "Camina hacia adelante hasta que choques con una pared, luego gira a la derecha". Esto es como el Ajuste Fino Supervisado (SFT): le muestras al robot un ejemplo perfecto de cómo hacerlo, y él intenta copiarte. Pero, ¿qué pasa si el laberinto es un laberinto gigante y retorcido donde el camino "correcto" no es obvio? El robot podría caminar hacia un callejón sin salida, seguir caminando y quedarse atrapado.

Para solucionar esto, los científicos empezaron a usar el Aprendizaje por Refuerzo (RL). Piensa en esto como un entrenador de un videojuego. El robot intenta resolver el laberinto y, si obtiene la respuesta correcta, el entrenador le da un "choca esos cinco" (una recompensa). Si falla, el entrenador dice: "Inténtalo de nuevo". Con el tiempo, el robot aprende a explorar diferentes caminos, incluso retrocediendo a veces cuando se da cuenta de que va por el camino equivocado. Recientemente, hemos visto a los robots volverse increíblemente buenos en esto, pero los investigadores estaban desconcertados: ¿Cómo exactamente aprende el robot a "retroceder"? ¿Es solo adivinando, o hay un ingrediente secreto en el entrenamiento que le enseña a decir: "¡Espera!, cometí un error, déjame volver atrás"? Esta pregunta es importante porque si podemos descubrir la receta perfecta para entrenar estos cerebros, podemos hacer que resuelvan problemas mucho más difíciles, desde matemáticas complejas hasta acertijos de lógica, sin que se pierdan irremediablemente.

Este artículo, titulado "¿Cuánto retroceso es suficiente?", profundiza en ese misterio exacto. Los autores, un equipo de la Universidad de Duke y Mila, querían encontrar la zona "Goldilocks" (el punto ideal) para entrenar a la IA en tareas de razonamiento. Se preguntaron: ¿Cuánto "retroceso" (el acto de darse cuenta de un error y volver atrás) debemos mostrarle a la IA antes de empezar el juego de aprendizaje por refuerzo?

Probaron sus ideas en ocho tipos diferentes de juegos de lógica, que van desde los fáciles como "Arc 1D" (detectar patrones en cuadrículas) hasta los medianos como "Countdown" (hacer que los números sumen un objetivo) y los súper difíciles como el "Sudoku" (llenar una cuadrícula con números).

Aquí está lo que descubrieron, usando una analogía divertida: Entrenar a la IA es como enseñarle a un excursionista a navegar por un bosque.

El enfoque de "Solo camina" (RL Puro)

Primero, intentaron enviar al excursionista (la IA) al bosque sin un mapa y sin práctica, simplemente dejándolo aprender mediante ensayo y error (RL Puro).

El Resultado: El excursionista podía aprender a caminar en línea recta y a veces incluso tropezar con una solución. Pero para los bosques realmente densos y complicados (como el Sudoku), el excursionista simplemente deambulaba en círculos o se quedaba atrapado. No podía averiguar cómo volver atrás cuando llegaba a un callejón sin salida.

El enfoque de "Copia el mapa" (SFT de muestreo propio)

Después, le dieron al excursionista un mapa de un viaje exitoso (SFT de auto-muestreo). Dejaron que la IA practicara con sus propios caminos generados antes de que comenzara el entrenamiento de RL.

El Resultado: ¡Esto ayudó un poco! El excursionista mejoró un poco su forma de caminar. Pero para los bosques más difíciles, esto no fue suficiente. El excursionista seguía sin saber cómo manejar el hecho de perderse. Era como darle a un excursionista un mapa de un camino sencillo, pero luego dejarlo en medio de una selva.

El enfoque de "Aprender a volver atrás" (Retroceso Sintético)

Aquí es donde ocurrió la magia. Los investigadores se dieron cuenta de que el secreto no era solo mostrarle a la IA un camino correcto, sino mostrarle un camino donde la IA comete un error, se da cuenta y vuelve atrás. Crearon datos de entrenamiento "sintéticos" donde la IA se veía obligada a practicar esta habilidad específica:

Seguir un camino.
Darse cuenta de que es erróneo.
Decir: "¡Espera!" y volver al último punto seguro.
Probar un camino diferente.

Probaron diferentes "profundidades" de esta práctica:

Para el bosque fácil (Arc 1D): El excursionista no necesitaba practicar el retroceso en absoluto. De hecho, ¡mostrarle cómo retroceder lo hacía más lento! La mejor estrategia era simplemente mostrarle el camino perfecto y recto. Cero retrocesos fue el ganador.
Para el bosque medio (Countdown): El excursionista necesitaba practicar el retroceso una sola vez. Necesitaban aprender que si un cálculo matemático parece extraño, deben hacer una pausa e intentar una combinación diferente. Un retroceso era el punto ideal.
Para la selva súper difícil (Sudoku): El excursionista necesitaba practicar el retroceso cinco o más veces. Estos acertijos son tan complejos que tienes que estar dispuesto a deshacer tu trabajo muchas, muchas veces para encontrar la solución. Si solo les enseñabas a retroceder una vez, se quedarían estancados.

La gran conclusión

El artículo encontró que un solo tamaño no sirve para todos.

Si le enseñas a una IA a retroceder demasiado en una tarea fácil, se confunde y rinde peor.
Si no le enseñas a retroceder lo suficiente en una tarea difícil, se rinde.
La cantidad "perfecta" de retroceso depende enteramente de qué tan difícil sea el acertijo.

También descubrieron algo sorprendente: No importa si el mapa de práctica es incorrecto, siempre y cuando la estructura de "retroceso" esté presente. Incluso si le mostraron a la IA un camino lleno de errores pero que aún incluía los pasos de "Espera, volvamos atrás", la IA aprendió a resolver el acertijo mejor que si solo le hubieran mostrado una línea recta. Es como enseñarle a un niño a montar en bicicleta dejándolo caer y levantarse, en lugar de solo mostrarle un video de alguien montando perfectamente. El acto de recuperarse de la caída es lo que construye la memoria muscular.

Al final, los autores sugieren que para que la IA sea verdaderamente inteligente en el razonamiento complejo, debemos dejar de solo mostrarles la respuesta y empezar a enseñarles cómo recuperarse de sus errores. Al ajustar la perilla de "retroceso" para que coincida con la dificultad de la tarea, podemos desbloquear un nivel de inteligencia mucho más alto, permitiendo que incluso los modelos más pequeños resuelvan acertijos que antes requerían computadoras masivas y superpotentes.

Resumen Técnico: ¿Cuánto retroceso es suficiente? Explorando la interacción de SFT y RL en la mejora del razonamiento de los LLM

Planteamiento del problema

Los avances recientes en los Modelos de Lenguaje de Gran Tamaño (LLM), como DeepSeek-R1 y o1 de OpenAI, demuestran que el Aprendizaje por Refuerzo (RL) puede mejorar significamente las capacidades de razonamiento mediante la internalización de estrategias de búsqueda a través de cadenas de pensamiento (CoT) extendidas. Si bien el retroceso (backtracking) —la revisión explícita de pasos de razonamiento anteriores— es reconocido ampliamente como un mecanismo central para esta mejora, su dinámica precisa sigue siendo poco comprendida. Específicamente, no está claro cómo los calentamientos de Ajuste Fino Supervisado (SFT) interactúan con el RL para optimizar el retroceso, si los calentamientos estándar de CoT auto-muestreados son suficientes para tareas complejas, y cuál es la frecuencia o profundidad óptima de retroceso para diferentes niveles de dificultad de las tareas. Los enfoques existentes a menudo dependen de un RL de "arranque en frío" (cold-start) o de CoTs auto-muestreados simples, los cuales, según los autores, se estancan en tareas combinatoriamente complejas como el Sudoku.

Metodología

Los autores llevan a cabo experimentos controlados en ocho tareas de razonamiento (Countdown, Sudoku, Arc 1D, Geometría Avanzada, Rotación de Cubo de Color, Funciones de Lista, Acertijos de Zebra y Autorreferencia) utilizando los modelos Qwen2.5 y Llama3.2. El estudio aísla los efectos de diferentes estrategias de calentamiento SFT sobre el entrenamiento de RL subsiguiente:

Comparaciones de Línea Base: Los autores comparan el "RL Puro" (sin calentamiento SFT) contra el "RL de arranque en frío" (usando CoTs auto-muestreados del modelo base como calentamiento). Además, distinguen entre calentamientos derivados de trayectorias correctas frente a trayectorias incorrectas.
Conjuntos de Datos de Retroceso Sintético: Para estudiar sistemáticamente el retroceso, los autores construyen conjuntos de datos sintéticos para tres tareas representativas (Countdown, Arc 1D, Sudoku) con profundidades de retroceso ( $k$ $k$ ) ajustables.
- Para Countdown y Sudoku, utilizan resolvedores de Búsqueda en Profundidad (DFS) para generar árboles de operaciones o llenados de cuadrículas, creando trayectorias que incluyen "desvíos" explícitos (ramas incorrectas) seguidos de una recuperación hacia la ruta correcta.
- Para Arc 1D, utilizan búsqueda heurística con funciones de transformación diseñadas a mano para generar patrones de retroceso similares.
- Definen una trayectoria de $k$ -retrocesos como aquella que contiene $k$ eventos de recuperación explícitos donde el modelo regresa a un estado válido después de un error.
Pipeline de Entrenamiento: Los modelos son primero entrenados mediante SFT en estos conjuntos de datos sintéticos o auto-muestreados, y luego sometidos a entrenamiento de RL (usando PPO o GRPO) con recompensas basadas en reglas (precisión de formato + coincidencia exacta de la respuesta).
Estudios de Ablación: Los autores prueban el impacto de barajar (shuffling) los prompts y las completaciones para analizar la sensibilidad del RL al ruido semántico frente a la estructura sintáctica.

Contribuciones Clave

Limitaciones de los Calentamientos Estándar: El estudio demuestra que, si bien los calentamientos de CoT auto-muestreados proporcionan un impulso modesto sobre el RL Puro, no logran escalar eficazmente en tareas combinatorias difíciles (ej. Sudoku), donde el modelo base no puede generar suficientes datos de inicialización correctos.
El Retroceso como un Hiperparámetro Ajustable: Los autores establecen que el retroceso es un operador crítico para la transición de la generación lineal a la búsqueda en árbol no lineal. Muestran que la profundidad de retroceso óptima depende de la tarea:
- Arc 1D (Fácil): Cero retrocesos (demostraciones óptimas) es lo mejor.
- Countdown (Medio): Exactamente un retroceso es óptimo.
- Sudoku (Difícil): Se requieren cinco o más retrocesos para un entrenamiento de RL estable y efectivo.
Eficacia de los Datos Sintéticos: Una receta de entrenamiento "centrada en el retroceso", donde los datos de SFT se generan sintéticamente con profundidades de retroceso calibradas, impulsa consistentemente a los modelos más allá de sus capacidades de razonamiento base y supera a modelos de razonamiento pre-entrenados más grandes (ej. QwQ-32B) en tareas específicas.
Robustez ante Trayectorias Incorrectas: El artículo encuentra que el RL aún puede beneficiarse de calentamientos que contienen CoTs semánticamente incorrectos pero alineados en formato, lo que sugiere que el andamiaje sintáctico (la estructura de búsqueda y recuperación) es suficiente para preparar al modelo para el refinamiento de RL. Por el contrario, el RL es altamente sensible a los datos barajados (semánticamente incoherentes), lo que causa el estancamiento del entrenamiento.

Resultados

Ganancias de Rendimiento: En Sudoku, inicializar el RL con cinco retrocesos mejoró la precisión del 14.4% (cero retrocesos) al 28.9% para Qwen2.5-3B, y del 11.8% al 32.1% para Qwen2.5-7B. Estos resultados superaron la línea base de QwQ-32B, que logró un 0.0% en Sudoku.
Optimización Específica de la Tarea:
- Countdown: Los calentamientos de un solo retroceso produjeron las mayores recompensas y la precisión final más alta (hasta 69.7% para Qwen2.5-3B), superando tanto las configuraciones de cero como las de alto retroceso.
- Arc 1D: Las trayectorias de cero retrocesos (óptimas) funcionaron mejor; el retroceso de hecho degradó el rendimiento.
Generalización: El entrenamiento en una tarea (ej. Geometría Avanzada) indujo la generalización a tareas relacionadas (ej. Acertijos de Zebra), aunque esto fue limitado para problemas altamente combinatorios.
Eficiencia de Tokens: El estudio señala que, aunque los conjuntos de datos de retroceso sintético son más largos, permiten una convergencia de RL más eficiente en comparación con el estancamiento observado en el RL Puro o los escenarios de arranque en frío incorrectos.

Significado y Reivindicaciones

El artículo argumenta que el retroceso principiado es esencial para mejorar las capacidades de razonamiento de los LLM en tareas complejas. Postula que el retroceso actúa como un operador general para la búsqueda en árbol, permitiendo que los modelos detecten soluciones parciales defectuosas y se recuperen, en lugar de simplemente generar de forma lineal.

Los autores afirman que la "receta" para un RL efectivo no es meramente tener CoTs más largos, sino datos de SFT sintéticos que contengan un número apropiado de retrocesos adaptados a la dificultad de la tarea. Este enfoque permite al modelo internalizar estrategias de búsqueda que el RL Puro o los calentamientos estándar no logran descubrir. El trabajo sugiere que la interacción entre SFT y RL no se trata solo del volumen de datos, sino de la estructura de las trazas de razonamiento proporcionadas durante la fase de calentamiento. Al tratar la frecuencia de retroceso como un hiperparámetro, los autores proporcionan un control ajustable para optimizar el comportamiento de búsqueda, cerrando la breancia entre la generación lineal y la búsqueda en árbol efectiva en los LLM.