🤖 machine learning

Leveraging Instruction Tuning and Merging for Reasoning Model Adaptation

Este artículo propone un método rentable que mejora los modelos de lenguaje de razonamiento tanto en dominios verificables como no verificables mediante la aplicación previa de un ajuste de instrucciones clásico a soluciones escritas por humanos y, posteriormente, la fusión del modelo resultante con el modelo de razonamiento original para recuperar las capacidades de razonamiento específicas del dominio.

Autores originales: Yu-Du Feng, Niels Mündler-Sasahara, Mark Vero, Martin Vechev

Publicado 2026-07-17

📖 3 min de lectura☕ Lectura para el café

CC BY 4.0

Autores originales: Yu-Du Feng, Niels Mündler-Sasahara, Mark Vero, Martin Vechev

Artículo original bajo licencia CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta es una explicación generada por IA del artículo a continuación. No ha sido escrita ni avalada por los autores. Para mayor precisión técnica, consulte el artículo original. Leer descargo de responsabilidad completo

Imagina que estás intentando enseñarle a un estudiante brillante y que piensa demasiado cómo resolver un nuevo tipo de rompecabezas. Este estudiante, un "Modelo de Lenguaje de Razonamiento", es un tipo especial de programa informático entrenado para mostrar su trabajo. Antes de darte la respuesta final a un problema matemático o un desafío de programación, escribe un largo proceso de pensamiento paso a paso, como un detective resolviendo un misterio. Este hábito de "pensar en voz alta" es lo que lo hace tan bueno en tareas complicadas.

Sin embargo, hay un inconveniente. Para enseñarle nuevas habilidades a estos estudiantes, normalmente necesitas una forma de comprobar instantáneamente si su respuesta es correcta (como una clave de respuestas matemáticas) o un profesor superinteligente que le muestre la forma correcta de pensar. Pero, ¿qué pasa si quieres enseñarle algo donde no hay una clave de respuestas, como escribir el resumen de una historia divertida o corregir un error específico en un programa de computadora que no tiene una prueba? Tienes muchos ejemplos de las respuestas correctas escritas por humanos, pero ninguno de ellos muestra la parte del "pensamiento". Si simplemente obligas al estudiante a memorizar estas respuestas sin los pasos de pensamiento, podría obtener la respuesta correcta para ese rompecabezas específico, pero olvidará cómo pensar en general. Se convierte en un loro que repite respuestas en lugar de un detective que resuelve problemas.

Este es el rompecabezas que los investigadores de la ETH Zurich abordaron en su nuevo artículo. Descubrieron un truco ingenioso de dos pasos para enseñar estas nuevas habilidades a estos modelos de "pensamiento" sin hacer que olviden cómo pensar. Primero, dejan que el modelo aprenda de los ejemplos simples de "solo respuesta", tal como un estudiante que estudia intensamente para un examen. Esto hace que el modelo sea mejor en la tarea específica, pero comienza a perder su hábito de mostrar su trabajo. Luego, realizan una "fusión" mágica. Toman este modelo recién entrenado y lo mezclan de nuevo con el modelo original de pensamiento inteligente. Es como mezclar una taza de café fresco y específico para la tarea con una taza del espresso original y fuerte. Al ajustar cuidadosamente la proporción de la mezcla, descubrieron un "punto ideal" donde el modelo conserva sus nuevas habilidades pero recuerda cómo razonar problemas nuevamente.

Los investigadores probaron esto en cuatro modelos inteligentes diferentes y dos tareas muy distintas: escribir código en el lenguaje de programación Rust y resumir artículos de noticias largos. Descubrieron que su método funcionaba de maravilla. Los modelos mejoraron mucho en las tareas específicas (mejorando las puntuaciones de codificación hasta en 12 puntos y las de resumen ligeramente) mientras recuperaban casi por completo su capacidad de razonar, que usualmente se destruye con el entrenamiento estándar. Mejor aún, todo este proceso fue increíblemente barato y rápido. Los investigadores calcularon que podían adaptar un modelo por menos de $3 y en menos de una hora, mientras que otros métodos que intentan solucionar el mismo problema cuestan significativamente más y tardan más tiempo.

En resumen, el artículo sugiere que no necesitas un sistema de "verificación de respuestas" supercostoso o un profesor genio para actualizar estos modelos de razonamiento. Puedes usar las enormes cantidades de datos simples de "pregunta y respuesta" que ya existen, y con un poco de mezcla matemática, puedes darles a estos modelos nuevas habilidades sin romper sus cerebros. Es una forma de bajo costo y alta recompensa para mantener a nuestros detectives de IA afilados, incluso cuando están aprendiendo a resolver misterios que no tienen soluciones obvias.

Problema
Los Modelos de Lenguaje de Razonamiento (RLM) han alcanzado un rendimiento de vanguardia en dominios con verificadores fiables, como las matemáticas y la programación, principalmente a través del Aprendizaje por Refuerzo con Recompensas Verificables (RLVR). Sin embargo, adaptar los RLM a dominios que carecen de verificadores fiables (por ejemplo, el resumen de textos o la programación sin pruebas unitarias exhaustivas) sigue siendo un desafío. Aunque existen grandes cantidades de datos de ajuste fino supervisado (SFT) de alta calidad para estos dominios, estos suelen consistir en pares de entrada-salida sin trazas de razonamiento. La aplicación directa del Ajuste Fino de Instrucción (IFT) estándar a los RLM utilizando estos datos crea un desajuste de distribución: el modelo es entrenado para producir respuestas directas, lo que provoca que su comportamiento de razonamiento se "colapse". Esto resulta en la pérdida de la capacidad del modelo para generar trazas de razonamiento, lo que posteriormente degrada el rendimiento en la tarea objetivo y conduce a un olvido catastrófico de las capacidades de razonamiento general en conjuntos de datos no utilizados para el entrenamiento, como MATH500.

Metodología
Los autores proponen un flujo de trabajo ligero de dos pasos para adaptar los RLM utilizando datos de IFT estándar mientras se preserva el comportamiento de razonamiento:

Ajuste Fino de Instrucción Estándar (IFT): El RLM base se ajusta finamente en un conjunto de datos específico de la tarea que contiene solo pares de entrada-salida (sin trazas de razonamiento). Esto produce un modelo ( $M_{IFT}$ ) con un rendimiento de tarea mejorado pero con un comportamiento de razonamiento comprometido o colapsado.
Fusión de Modelos (Model Merging): El modelo ajustado ( $M_{IFT}$ $M_{I F T}$ ) se fusiona linealmente con el modelo de razonamiento original no ajustado ( $M$ $M$ ). El modelo fusionado se define como $M_\alpha = (1-\alpha)M + \alpha M_{IFT}$ $M_{α} = (1 - α) M + α M_{I F T}$ , donde $\alpha$ $α$ es la razón de fusión.
- Selección de la Razón: La razón de fusión óptima $\alpha$ se selecciona utilizando un pequeño conjunto de datos de calibración ( $D_{cal}$ ) para la tarea objetivo. El criterio de selección es encontrar el $\alpha$ más grande tal que la tasa de razonamiento (la fracción de ejemplos donde el modelo produce una traza de razonamiento no vacía) en $D_{cal}$ permanezca por encima de un umbral mínimo ( $\rho_{min}$ , establecido en 0.9 en los experimentos).
- Optimización: Para reducir el coste computacional, el proceso de calibración evalúa solo los primeros tokens de la respuesta del modelo para determinar si se inicia el razonamiento, en lugar de generar respuestas completas. Se emplea una búsqueda binaria para encontrar eficientemente el $\alpha$ óptimo.

Contribuciones Clave

Identificación de un Escenario de Adaptación Práctico: El trabajo aborda el escenario específico donde solo se dispone de supervisión de entrada-salida para los RLM, sin acceso a trazas de razonamiento verificadas o modelos maestros más fuertes.
Método de IFT y Fusión Ligero: Los autores proponen un procedimiento sencillo que adapta los RLM a nuevas tareas mientras recupera el comportamiento de razonamiento. Crucialmente, este método no requiere un verificador, un modelo de recompensa o un modelo maestro más fuerte.
Evaluación Exhaustiva: El método se evalúa en cuatro RLM diversos (OpenThinker 7B, Apriel Nemotron 15B Thinker, Olmo3 7B Think y DeepSeek R1 Qwen 7B Distilled) en dos tareas objetivo (programación en Rust y resumen de textos) y una tarea de razonamiento matemático no utilizada para el entrenamiento (MATH500).

Resultados

Recuperación del Rendimiento: El IFT estándar a menudo causa una caída significativa en el rendimiento de MATH500 (por ejemplo, OpenThinker 7B cayó del 79% al 35.9% en MATH500 tras el IFT de Rust) y colapsa las trazas de razonamiento. La técnica de fusión propuesta recupera la mayor parte o la totalidad de las capacidades de razonamiento general perdidas (puntuaciones de MATH500) mientras retiene la mayor parte de las ganancias de rendimiento de la tarea objetivo logradas por el IFT.
Comparación con Baselines: El método supera o iguala a baselines competitivos como la Destilación On-Policy (IFT+OPD) y el IFT con regularización de divergencia KL (IFT+KL). En varios casos, los baselines no lograron recuperar el rendimiento de la tarea objetivo o fueron menos efectivos al preservar el razonamiento.
Rentabilidad: El enfoque es altamente eficiente. Todo el proceso de adaptación (IFT, búsqueda y fusión) toma aproximadamente 52 minutos en una sola GPU NVIDIA H200, con un coste de menos de 3 USD. Esto es significativamente más barato que los baselines que requieren inferencia de un maestro adicional o bucles de destilación complejos.

Significancia
El artículo afirma que este método proporciona una vía rentable y accesible para adaptar potentes modelos de razonamiento a dominios donde el RLVR es inviable debido a la falta de verificadores. Al aprovechar conjuntos de datos de IFT ampliamente disponibles y recuperar el comportamiento de razonamiento mediante una simple fusión de modelos, la técnica permite que los RLM mantengan sus capacidades de razonamiento general mientras adquieren nuevas habilidades específicas de la tarea. Los autores señalan que, si bien el método es efectivo para tareas donde los datos de IFT proporcionan una señal suficiente (como la programación y el resumen), puede no ser suficiente para dominios donde el proceso de razonamiento en sí mismo es el motor principal del rendimiento (por ejemplo, demostraciones matemáticas complejas), donde la supervisión sobre la propia traza de razonamiento podría seguir siendo necesaria.

Más como este