🤖 AI

Base Models Know How to Reason, Thinking Models Learn When

Este artículo revela que, si bien los modelos base ya poseen los mecanismos subyacentes para el razonamiento, los modelos de "pensamiento" entrenados con Aprendizaje por Refuerzo aprenden principalmente las heurísticas para orquestar estas capacidades preexistentes, mientras que aquellos entrenados mediante destilación SFT adquieren mecanismos de razonamiento completamente nuevos.

Autores originales: Constantin Venhoff, Iván Arcuschin, Philip Torr, Arthur Conmy, Neel Nanda

Publicado 2026-07-08

📖 5 min de lectura🧠 Análisis profundo

CC BY 4.0

Autores originales: Constantin Venhoff, Iván Arcuschin, Philip Torr, Arthur Conmy, Neel Nanda

Artículo original bajo licencia CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta es una explicación generada por IA del artículo a continuación. No ha sido escrita ni avalada por los autores. Para mayor precisión técnica, consulte el artículo original. Leer descargo de responsabilidad completo

La Gran Pregunta

Imagina que tienes a un estudiante muy inteligente y culto (el Modelo Base) que conoce muchos datos y puede hacer matemáticas básicas. Luego, entrenas a este estudiante para que se convierta en un "Modelo de Pensamiento" (como los nuevos modelos de IA que se toman un tiempo extra para resolver problemas difíciles).

El gran misterio que este artículo intenta resolver es: ¿Qué aprendió exactamente el estudiante durante ese entrenamiento?

¿Aprendió nuevas formas de pensar que no tenía antes?
¿O simplemente aprendió cuándo usar las habilidades de pensamiento inteligente que ya poseía?

El Trabajo de Detective: "Diferenciación Constructiva de Modelos" (Constructive Model Diffing)

Para responder a esto, los investigadores construyeron una herramienta de detective especial llamada Diferenciación Constructiva de Modelos. Piensa en ello como desarmar una máquina compleja para ver cómo funciona y luego intentar reconstruirla usando solo dos partes específicas:

El "Cómo" (Mecanismos de Razonamiento): Estas son las habilidades reales, como "hacer una división larga", "revisar tu propio trabajo" o "retroceder cuando cometes un error". Los investigadores las encontraron observando el cerebro del Modelo Base e identificando "interruptores" específicos (vectores) que pueden obligarlo a hacer estas cosas.
El "Cuándo" (Heurística de Razonamiento): Esta es la parte de la toma de decisiones. Es un pequeño gerente interno que dice: "Bien, el problema es difícil, ahora es el momento de revisar tu trabajo" o "Estamos atascados, ahora es el momento de retroceder".

Los investigadores intentaron reconstruir el "Modelo de Pensamiento" tomando el Modelo Base (que tiene las habilidades) y dándole el Gerente del Modelo de Pensamiento (que sabe cuándo usar las habilidades).

Los Dos Tipos de Entrenamiento

El artículo analizó dos formas diferentes en las que se entrenaron estos Modelos de Pensamiento:

1. El Grupo de "Aprendizaje por Refuerzo" (RL)

Estos modelos fueron entrenados jugando un juego donde recibían puntos por obtener la respuesta correcta y penalizaciones por las incorrectas. Tenían que descubrir la estrategia por sí mismos.

El Resultado: Cuando los investigadores reconstruyeron estos modelos usando la receta "Modelo Base + Gerente", funcionó increíblemente bien. Recuperaron aproximadamente el 76% de la brecha de rendimiento.
La Analogía: Imagina a un pianista talentoso que ya sabe tocar cada nota perfectamente. El entrenamiento por RL fue como contratar a un director de orquesta que le enseñó cuándo tocar rápido, cuándo ir más lento y cuándo hacer una pausa para dar efecto. El pianista no necesitaba aprender notas nuevas; solo necesitaba aprender el ritmo.
Conclusión: El RL enseña al modelo cómo orquestar las habilidades de razonamiento que ya posee.

2. El Grupo de "SFT-Distillación" (SFT-Distillation)

Estos modelos fueron entrenados copiando a un modelo "maestro". Se les mostraron ejemplos de cómo una IA inteligente resuelve un problema y se les dijo que imitaran ese proceso.

El Resultado: Cuando los investigadores intentaron reconstruir estos modelos usando la misma receta de "Modelo Base + Gerente", falló. Solo recuperaron aproximadamente el 11% de la brecha de rendimiento.
La Analogía: Imagina a un estudiante al que se le enseña a copiar la letra de un maestro. Pero el maestro está usando un bolígrafo que el estudiante nunca ha sostenido. El estudiante aprende a copiar la forma de las letras, pero no ha aprendido realmente cómo sostener el bolígrafo o la memoria muscular necesaria para escribir. El "Gerente" (el ritmo) está ahí, pero el "Modelo Base" (la mano del estudiante) en realidad no sabe cómo realizar los movimientos específicos que el maestro está haciendo.
Conclusión: La SFT-distillación obliga al modelo a aprender nuevos mecanismos de razonamiento (nuevas formas de pensar) que el modelo base no tenía. No basta con decirle al modelo base cuándo hacerlos; primero hay que enseñarle cómo hacerlos.

El Momento "¡Ajá!"

El artículo encontró una diferencia sorprendente:

Los Modelos de RL son como un chef maestro que ya sabe picar, saltear y hornear. El entrenamiento solo les enseñó cuándo usar cada técnica para hacer un plato perfecto.
Los Modelos de Distillación son como un chef al que se le mostró un video de un chef maestro preparando un plato usando una especia secreta que el estudiante no conocía. El estudiante aprendió a copiar las acciones de usar la especia, pero tuvo que cambiar fundamentalmente su estilo de cocina para incluir este nuevo ingrediente.

¿Por qué es esto importante?

El artículo concluye que el Aprendizaje por Refuerzo (RL) es una forma muy eficiente de obtener razonamiento de un modelo porque desbloquea lo que ya está ahí. Le enseña al modelo a ser un mejor director de su propia orquesta.

En contraste, la Distillación (copiar a un maestro) a menudo intenta enseñar al modelo habilidades completamente nuevas. Si el maestro utiliza un estilo de razonamiento que el modelo base no posee de forma natural, el modelo base tiene dificultades para aprenderlo solo con observar, lo que lleva a una tasa de éxito mucho menor al intentar "dirigirlo" de vuelta a su estado original.

Resumen en una frase

Los modelos base ya saben cómo razonar; el Aprendizaje por Refuerzo les enseña cuándo usar esas habilidades, mientras que la Distillación intenta enseñarles nuevas habilidades que el modelo base no sabía que podía hacer.

Resumen Técnico: Los modelos base saben razonar, los modelos de pensamiento aprenden CUÁNDO

Declaración del Problema

Los Grandes Modelos de Lenguaje (LLMs) han demostrado mejoras significativas en sus capacidades de razonamiento cuando se entrenan para "pensar" (por ejemplo, mediante la Cadena de Pensamiento o Chain-of-Thought) antes de responder. Sin embargo, una pregunta fundamental permanece: ¿Qué es exactamente lo que estos "modelos de pensamiento" aprenden que sus contrapartes base carecen? Las hipótesis previas sugieren que podrían adquirir capacidades enteramente nuevas, aprender a estructurar el razonamiento de manera más efectiva, reaprovechar representaciones existentes o, simplemente, beneficiarse de un mayor cómputo en el tiempo de inferencia. Este artículo busca determinar empíricamente la naturaleza de la brecha de conocimiento entre los modelos base y sus versiones de pensamiento ajustadas (fine-tuned), comparando específicamente modelos entrenados mediante Aprendizaje por Refuerzo (RL) frente a aquellos entrenados mediante destilación de Ajuste Fino Supervisado (SFT).

Metodología

Los autores introducen una metodología de dos partes para analizar y reconstruir las diferencias entre los modelos base y los modelos de pensamiento:

1. Descubrimiento No Supervisado de Taxonomías de Razonamiento

Para evitar la inspección manual subjetiva, los autores emplean Autoencoders Dispersos (SAEs) entrenados en activaciones a nivel de oración extraídas de trazas de razonamiento.

Arquitectura: Utilizan SAEs Top-K con un tamaño de diccionario deliberadamente pequeño (5–50 categorías) y una dispersión baja ( $k=3$ ) para forzar al modelo a aprender ejes fundamentales de variación del razonamiento en lugar de detalles lingüísticos incidentales.
Entrenamiento: Los SAEs se entrenan en activaciones promedio a nivel de oración de ejecuciones de razonamiento generadas por modelos de pensamiento sobre prompts de MMLU-Pro.
Interpretación: Una canalización de interpretabilidad basada en LLM genera títulos y descripciones legibles para humanos de cada clúster (mecanismo de razonamiento) basándose en ejemplos de oraciones con mayor activación.
Evaluación: Las taxonomías se califican según su Consistencia (puntuación F1 de clasificación), Completitud (confianza en la asignación) e Independencia (ortogonalidad semántica entre categorías).

2. Diferenciación Constructiva de Modelos (Constructive Model Diffing)

La contribución central es un marco para reconstruir explícitamente la brecha de rendimiento entre un modelo base y un modelo de pensamiento utilizando dos componentes interpretables:

Mecanismos de Razonamiento (El "QUÉ"): Vectores de categoría (vectores de dirección o steering vectors) optimizados dentro del modelo base para inducir comportamientos de razonamiento específicos identificados por la taxonomía del SAE. Estos representan las operaciones cognitivas (por ejemplo, retroceso o backtracking, aritmética).
Heurísticas de Razonamiento (El "CUÁNDO"): Un clasificador extraído del modelo de pensamiento que determina cuándo activar un mecanismo específico. Este se deriva de las activaciones del SAE y de los puntos de desacuerdo entre las predicciones de tokens del modelo base y el de pensamiento.

El Modelo Híbrido: Los autores construyen un "modelo híbrido" que combina las capacidades de generación del modelo base con las heurísticas del modelo de pensamiento y los vectores de categoría optimizados del modelo base. Si este híbrido recupera el rendimiento del modelo de pensamiento, implica que el modelo de pensamiento aprendió principalmente heurísticas para orquestar las capacidades preexistentes del modelo base. Si falla en recuperar el rendimiento, sugiere que el modelo de pensamiento aprendió nuevos mecanismos que no están presentes en el modelo base.

Principales Contribuciones

Taxonomía de Razonamiento No Supervisada: Un método para descubrir mecanismos de razonamiento interpretables y comprensibles para humanos (por ejemplo, "Retroceso", "Cómputo Aritmético", "Prompts Metacognitivos de Autocontrol") sin etiquetado manual, validado a través de nueve configuraciones de modelos diferentes.
Marco de Diferenciación Constructiva de Modelos: Un enfoque novedoso para descomponer la diferencia base-ajuste fino en "mecanismos" (vectores) y "heurísticas" (clasificadores de tiempo), permitiendo una reconstrucción causal del comportamiento del modelo ajustado.
Distinción Empírica entre Paradigmas de Entrenamiento: La aplicación de este marco revela una divergencia fundamental en lo que aprenden los modelos entrenados por RL frente a los destilados por SFT.

Resultados

El estudio evaluó nueve pares de modelos base/pensamiento (cuatro entrenados por RL, cuatro destilados por SFT, uno mixto) a través de GSM8K, MATH500 y un conjunto de control Hendrycks-MATH.

Modelos Entrenados por RL (Open-Reasoner-Zero): Los modelos híbridos construidos a partir de pares entrenados por RL recuperaron aproximadamente el 76% de la brecha de rendimiento entre el modelo base y el de pensamiento en promedio. En algunos casos (por ejemplo, ORZ-0.5B), la recuperación superó el 100% de la brecha.
Modelos Destilados por SFT (DeepSeek-R1-Distill): Los modelos híbridos recuperaron significativamente menos, promediando solo un 11% de la brecha. La recuperación fue cercana a cero para los modelos más pequeños y mejoró a aproximadamente un 15–30% para los modelos más grandes (14B/32B), pero permaneció muy por debajo del rendimiento de RL.
Modelos Mixtos (QwQ-32B): Los modelos entrenados con SFT seguido de RL recuperaron aproximadamente el 20% de la brega, comportándose de manera más similar a los modelos destilados por SFT que a los modelos puramente de RL.
Convergencia de Vectores de Categoría: Los vectores de categoría entrenados en pares de RL convergieron a una pérdida de entropía cruzada significativamente menor que los entrenados en pares de SFT, lo que indica que los modelos de RL utilizan comportamientos de razonamiento que ya existen (o son fácilmente accesibles) en el espacio de activación del modelo base.
Dispersión de Dirección (Steering Sparsity): Los híbridos de RL exitosos requirieron la dirección de solo el 5–12% de los tokens, mientras que los híbridos de SFT a menudo requirieron tasas de intervención más altas, aunque aun así no lograron recuperar el rendimiento.

Significado y Reivindicaciones

El artículo sostiene que la diferencia en la recuperación del rendimiento proviene de la naturaleza del paradigma de entrenamiento:

El RL enseña Heurísticas: El Aprendizaje por Refuerzo enseña principalmente al modelo cuándo desplegar mecanismos de razonamiento que el modelo base ya posee. El modelo base "sabe cómo razonar", y el RL optimiza la orquestación de estas capacidades preexistentes. Es por esto que el diferencial constructivo (mecanismos base + heurísticas de pensamiento) reconstruye con éxito el comportamiento del modelo de RL.
El SFT destila Nuevos Mecanismos: El Ajuste Fino Supervisado (destilación) a menudo obliga al modelo estudiante a adoptar comportamientos o mecanismos de razonamiento que el modelo base no posee naturalmente o no puede acceder fácilmente. En consecuencia, el simple hecho de dirigir el modelo base con las heurísticas del modelo de pensamiento es insuficiente para replicar el rendimiento del modelo SFT, ya que los "mecanismos" subyacentes (vectores) son fundamentalmente distintos o inexistentes.
Dependencia de la Escala: El artículo señala que los modelos base más grandes (por ejemplo, 32B) recuperan más de la brecha de SFT que los más pequeños, lo que sugiere que los modelos más grandes contienen inherentemente un repertorio más amplio de mecanismos de razonamiento latentes que el SFT puede activar, mientras que los modelos más pequeños carecen de estos mecanismos por completo.

Limitaciones: Los autores reconocen que sus taxonomías están actualmente sesgadas hacia el razonamiento matemático debido a los datos de entrenamiento (MMLU-Pro) y que la menor recuperación de los modelos SFT podría reflejar limitaciones en la optimización de sus vectores de categoría más que una falta fundamental de mecanismos en el modelo base.

Conclusión: El artículo proporciona una nueva perspectiva sobre los paradigmas de entrenamiento, sugiriendo que el desarrollo eficiente de modelos de razonamiento puede beneficiarse de enfoques basados en RL que orquesten las capacidades latentes del modelo base, en lugar de enfoques de SFT que intentan instalar patrones de razonamiento completamente nuevos.