💬 NLP

Teaching Language Models to Think in Code

El artículo presenta ThinC, un marco que desplaza el razonamiento de los modelos de lenguaje desde una mezcla de lenguaje natural y código hacia un paradigma centrado en el código donde el código mismo actúa como el razonador principal, logrando un rendimiento de vanguardia en benchmarks de matemáticas de nivel competitivo mediante la destilación de trayectorias de código y el empleo de ajuste fino supervisado seguido de aprendizaje por refuerzo.

Autores originales: Hyeon Hwang, Jiwoo Lee, Jaewoo Kang

Publicado 2026-05-11

📖 5 min de lectura🧠 Análisis profundo

CC BY 4.0

Autores originales: Hyeon Hwang, Jiwoo Lee, Jaewoo Kang

Artículo original bajo licencia CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta es una explicación generada por IA del artículo a continuación. No ha sido escrita ni avalada por los autores. Para mayor precisión técnica, consulte el artículo original. Leer descargo de responsabilidad completo

Imagina que estás intentando resolver un acertijo matemático muy complicado. Tienes dos formas de hacerlo:

La Vieja Forma (Razonamiento Intercalado): Te hablas a ti mismo en inglés, deduciendo los pasos. "Vale, primero necesito multiplicar 500 por 0.12..." Luego, te sientes un poco inseguro, así que le pides a una calculadora (la herramienta de código) que verifique tu trabajo. Pero aquí está la trampa: si cometiste un error en tu razonamiento en inglés (como decir que 500 veces 0.12 es 50 en lugar de 60), podrías escribir accidentalmente ese número incorrecto en la calculadora. La calculadora solo hace lo que le dices; no sabe que cometiste un error. Calcula basándose en tu número incorrecto, y obtienes una respuesta incorrecta.
La Nueva Forma (THINC): Tomas un breve momento para planificar tu estrategia en inglés ("Necesito encontrar el área de esta forma"), y luego le entregas inmediatamente todo el trabajo a un programador robot. El robot escribe código, lo ejecuta, ve el resultado, escribe más código basado en ese resultado y continúa hasta que aparece la respuesta. No haces ninguna matemática en tu cabeza ni en oraciones en inglés; el robot hace todo el trabajo pesado.

Este artículo introduce THINC (Pensar en Código), una nueva forma de enseñar a los modelos de IA a resolver problemas matemáticos permitiendo que el código mismo sea el pensador, en lugar de ser simplemente una herramienta que la IA usa para verificar su trabajo.

El Problema con la Vieja Forma

Los autores afirman que los modelos de IA actuales que combinan el pensamiento en inglés con código (llamado Razonamiento Integrado con Herramientas) tienen tres defectos principales, a los que denominan "limitaciones estructurales":

El Verificador "Post-Hoc": La IA a menudo escribe toda la solución en inglés primero, y luego ejecuta código solo para decir: "Sí, eso es correcto". El código no está realmente pensando; es solo un sello de aprobación al final.
El "Error Silencioso": Si la IA comete un error matemático en sus pensamientos en inglés (como calcular el 12% de 500 como 50 en lugar de 60), podría copiar ese número incorrecto en el código. El código luego calcula con el número incorrecto, y la IA nunca se da cuenta. El error es "silencioso" porque el código simplemente sigue órdenes.
El "Doble Trabajo": La IA a menudo escribe una larga explicación en inglés sobre cómo resolver el problema, y luego escribe código que hace exactamente lo mismo. Es como escribir una receta en inglés y luego escribir la misma receta exacta en francés, solo para demostrar que sabes cocinar. Es redundante y confuso.

La Solución THINC

THINC cambia las reglas del juego. En lugar de que la IA hable sobre las matemáticas, la IA habla en las matemáticas (a través del código).

El Plan: La IA comienza con una sola oración corta en inglés para establecer la estrategia (por ejemplo, "Voy a iterar sobre números para encontrar la respuesta").
El Trabajo: Después de esa única oración, todo ocurre en bloques de código. La IA escribe un fragmento de código, lo ejecuta, ve la salida y luego escribe el siguiente fragmento de código basado en esa salida.
El Resultado: La respuesta final proviene directamente de la calculadora de la computadora (el intérprete), no de la IA adivinando en inglés.

Cómo Enseñaron a la IA

Los investigadores no solo le dijeron a la IA que hiciera esto; la enseñaron mediante un proceso de tres pasos:

Destilación (El Maestro): Tomaron un modelo de IA muy inteligente y grande y le pidieron que resolviera problemas matemáticos usando este nuevo estilo "Código Primero". Recopilaron 12.200 ejemplos de estas soluciones perfectas "Código Primero".
Ajuste Fino Supervisado (El Estudiante): Enseñaron a dos modelos de IA más pequeños (uno con 1.7 mil millones de "células cerebrales" y otro con 4 mil millones) a imitar estos ejemplos. Esto enseñó a los modelos el hábito de pensar en código.
Aprendizaje por Refuerzo (El Entrenador): Dejaron que los modelos practicaran en miles de problemas matemáticos. Si el modelo obtenía la respuesta correcta, recibía una "recompensa". Si fallaba, aprendía a probar una estrategia de código diferente. Esto hizo que los modelos fueran mucho más inteligentes y confiables.

Los Resultados: Modelos Pequeños, Grandes Victorias

El artículo probó estos nuevos modelos en concursos matemáticos muy difíciles y de nivel competitivo (como AIME y HMMT).

Derrotando a los Gigantes: El modelo THINC pequeño de 4 mil millones de parámetros obtuvo un promedio del 78.1%. Esto es mejor que el modelo de 1.7B, mejor que otros modelos "Integrados con Herramientas" e incluso mejor que un modelo masivo de 235 mil millones de parámetros que solo piensa en inglés.
Fiabilidad: En el 99.2% de los casos, la respuesta final se extrajo directamente de la salida del código de la computadora. La IA no adivinó; calculó.
Recuperación: Si el código cometía un error y fallaba (un error), el modelo THINC era sorprendentemente bueno corrigiéndolo en el siguiente bloque de código sin necesidad de "hablar" para salir del problema. Otros modelos que mezclan inglés y código tienden a desmoronarse cuando se topan con un error de código.

La Conclusión

El artículo afirma que al obligar a la IA a dejar de "hablar" sobre las matemáticas y empezar a "hacer" las matemáticas en código, los modelos se vuelven más precisos, cometen menos errores aritméticos tontos y resuelven problemas difíciles de manera más eficiente. Es como cambiar de una persona que intenta hacer una división larga en su cabeza a una persona que sabe cómo programar una calculadora para que lo haga por ella, paso a paso, sin cometer nunca un error de cálculo mental.

Resumen Técnico: Enseñar a los Modelos de Lenguaje a Pensar en Código (THINC)

Declaración del Problema

Aunque el Razonamiento Integrado con Herramientas (TIR) se ha convertido en un paradigma dominante para la resolución de problemas matemáticos en Modelos de Lenguaje Grande (LLM), la configuración "entrelazada" predominante —donde el razonamiento en lenguaje natural (LN) alterna con la ejecución de código— adolece de tres limitaciones estructurales:

Verificación a posteriori: Los modelos a menudo completan derivaciones en LN y utilizan el código meramente para confirmar la respuesta, convirtiendo al intérprete en un verificador pasivo en lugar de un razonador activo.
Cálculo en LN poco fiable: Los pasos aritméticos o algebraicos intermedios realizados en LN son propensos a errores. Cuando estos valores erróneos se copian en bloques de código posteriores como constantes codificadas, el intérprete no puede detectar el error, lo que conduce a una propagación silenciosa de errores.
Roles mal asignados: El LN y el código a menudo realizan tareas superpuestas. El LN describe frecuentemente algoritmos paso a paso que el código reimplementa posteriormente, sin aprovechar las fortalezas distintivas de cada modalidad (LN para la planificación de alto nivel, código para la ejecución precisa).

Metodología

Los autores proponen THINC (Pensando en Código), un marco de entrenamiento diseñado para desplazar la carga principal del razonamiento del lenguaje natural a la ejecución de código.

1. El Formato de Trayectoria THINC

A diferencia de las trayectorias TIR estándar ( $q, t_1, c_1, o_1, t_2, c_2, o_2, \dots$ ), una trayectoria THINC ( $q, t_1, c_1, o_1, c_2, o_2, \dots$ ) impone una separación estructural estricta:

Un Solo Paso de Planificación ( $t_1$ ): El modelo genera un único bloque breve en LN al inicio para definir la estrategia de alto nivel o la reestructuración algebraica del problema. Crucialmente, este bloque no contiene derivación paso a paso ni cálculo numérico.
Razonamiento Centrado en Código: Todo razonamiento subsiguiente se desarrolla a través de bloques de código ( $c_i$ ) conectados únicamente por sus salidas de ejecución ( $o_i$ ). No hay bloques de pensamiento en LN intermedios entre las ejecuciones de código.
Intérprete como Razonador: Los bloques de código realizan las derivaciones, autocorrecciones y verificaciones. La respuesta final se deriva directamente de la salida del intérprete.

2. Pipeline de Entrenamiento

El marco se realiza a través de tres etapas:

Destilación de Trayectorias: Un modelo docente (Qwen3.5-27B) se solicita con ejemplos few-shot para generar 12.200 trayectorias centradas en código. Estas se filtran para asegurar corrección, ejecución exitosa, un mínimo de tres bloques de código, y que el pensamiento de planificación constituya menos del 50% de los tokens totales.
Ajuste Fino Supervisado (SFT): Los modelos estudiantes (Qwen3-1.7B y Qwen3-4B-Thinking-2507) se ajustan finamente en el conjunto de datos THINC-SFT destilado. Esto establece el "prior de comportamiento centrado en código", enseñando al modelo a adherirse al formato de trayectoria específico.
Aprendizaje por Refuerzo (RL): Utilizando Optimización de Política Relativa por Grupos (GRPO) con recompensas verificables (coincidencia exacta con la verdad fundamental), los modelos se refinan aún más en el conjunto de datos DAPO-Math-17k. El proceso de RL emplea un currículo de tres etapas con longitudes de contexto crecientes (de 16K a 32K) y límites de llamadas a herramientas para manejar problemas más difíciles.

Contribuciones Clave

Marco THINC: Un paradigma de entrenamiento novedoso que trata el código como el razonador principal en lugar de una herramienta invocada por LN. Resuelve las limitaciones estructurales del TIR entrelazado por diseño.
Conjunto de Datos THINC-SFT: Un conjunto de datos curado de 12,2k trayectorias centradas en código que demuestra el formato de razonamiento deseado.
Modelos THINC: Dos modelos entrenados, THINC-1.7B y THINC-4B, que demuestran que los modelos a pequeña escala pueden lograr capacidades de razonamiento de alto nivel cuando se entrenan con este paradigma específico.

Resultados Experimentales

Los modelos se evaluaron en cinco puntos de referencia matemáticos de nivel competitivo: AIME 2024–2026, HMMT 2025 y BeyondAIME.

Rendimiento:
- THINC-4B logró una precisión promedio del 78,1%, superando a todas las líneas base TIR (incluyendo ASTER-4B, ReTool-32B y rStar2-Agent-14B) y superando al mucho más grande Qwen3-235B-A22B-Thinking (75,2%) en cuatro de los cinco puntos de referencia.
- THINC-1.7B alcanzó una precisión promedio del 42,8%, una mejora de 10,6 puntos porcentuales sobre su modelo base (Qwen3-1.7B) y superando significativamente a otras líneas base TIR a pequeña escala.
Eficiencia: THINC-4B requirió menos llamadas a herramientas por trayectoria (6,1 frente a 11,1 para ASTER-4B) y produjo respuestas más cortas, indicando una mayor eficiencia.
Robustez: En experimentos que miden la recuperación tras fallos iniciales de ejecución de código (Recuperación@k), THINC-4B mantuvo una tasa de recuperación del 64–69% incluso después de tres fallos consecutivos de código. Por el contrario, las líneas base TIR entrelazadas se degradaron bruscamente, con algunas cayendo a una recuperación cercana al 0%.
Anclaje al Código: El análisis reveló que el 99,2% de las respuestas finales de THINC-4B estaban ancladas en la salida del intérprete, en comparación con tasas significativamente más bajas para las líneas base (por ejemplo, 88,4% para ReTool, 74,3% para rStar2).

Significado

El artículo afirma que THINC demuestra que el razonamiento centrado en código es un paradigma superior para la resolución de problemas matemáticos en comparación con el TIR entrelazado. Al restringir el lenguaje natural a la planificación de alto nivel y forzar todas las derivaciones a código ejecutable, el marco elimina la propagación de errores aritméticos y asegura que la respuesta final sea verificada por el intérprete. Los resultados sugieren que este cambio estructural permite que modelos más pequeños (4 mil millones de parámetros) superen a razonadores exclusivamente en lenguaje natural significativamente más grandes (235 mil millones de parámetros) y a agentes integrados con herramientas establecidos, destacando la eficacia de "pensar en código" frente a "pensar con código".