💬 NLP

Multi-task Code LLMs: Data Mix or Model Merge?

Este artículo compara las estrategias de mezcla de datos y de fusión de modelos para la creación de LLMs de código multitarea eficientes, encontrando que la fusión de modelos supera a la mezcla de datos en escalas mayores (7B) al retener o incluso superar el rendimiento especializado, mientras que la mezcla de datos es preferida en escalas menores (2B).

Autores originales: Mingzhi Zhu, Boris Sobolev, Rahul Krishna, Raju Pavuluri, Stacy Patterson, Michele Merler

Publicado 2026-01-30

📖 4 min de lectura☕ Lectura para el café

CC BY 4.0

Autores originales: Mingzhi Zhu, Boris Sobolev, Rahul Krishna, Raju Pavuluri, Stacy Patterson, Michele Merler

Artículo original bajo licencia CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta es una explicación generada por IA del artículo a continuación. No ha sido escrita ni avalada por los autores. Para mayor precisión técnica, consulte el artículo original. Leer descargo de responsabilidad completo

Imagina que tienes un pequeño pero brillante robot asistente que necesita aprender dos habilidades muy diferentes: escribir código (como un programador) y explicar código (como un profesor). Quieres que este robot sea bueno en ambas, pero no tienes el presupuesto ni el tiempo para entrenar a dos robots distintos. Tienes dos formas principales de enseñarle:

La Clase "Mezcla y Combina" (Mezcla de Datos): Arrojas todos los problemas de programación y todas las lecciones de explicación en un gran cubo y le enseñas todo al robot a la vez.
El "Intercambio de Especialistas" (Fusión de Modelos): Primero entrenas a un robot para que sea un maestro programador y a otro para que sea un maestro profesor. Luego, tomas sus cerebros (sus "pesos") y los mezclas cuidadosamente para crear un super-robot.

Este artículo hace una pregunta simple: ¿Qué método funciona mejor? Y la respuesta depende enteramente de qué tan grande es el robot.

El Gran Descubrimiento: El Tamaño Importa

Los investigadores probaron esto con robots de diferentes tamaños (pequeños con unos 2 mil millones de "neuronas" y más grandes con 7 mil millones). Esto es lo que encontraron:

1. Los Robots Pequeños (2 Mil Millones de Parámetros): La "Mezcla y Combina" Gana

Para los robots más pequeños, intentar mezclar dos cerebros expertos fue un desastre. Fue como intentar mezclar aceite y agua; las dos habilidades luchaban entre sí, y el robot se confundía, olvidando cómo hacer bien cualquiera de los dos trabajos.

La Analogía: Imagina a un estudiante pequeño intentando aprender cálculo y poesía simultáneamente en una sola clase. Si intentas obligarlo a ser un "poeta-matemático" simplemente mezclando dos lecciones separadas, podría abrumarse y no aprender bien ninguna de las dos.
La Solución: Para los robots pequeños, es mejor poner todos los libros de matemáticas y poesía en una sola pila y estudiarlos juntos. El enfoque de "Mezcla y Combina" (Mezcla de Datos) mantuvo al pequeño robot competente en ambas tareas sin que se confundiera.

2. Los Robots Grandes (7 Mil Millones de Parámetros): El "Intercambio de Especialistas" Gana

Para los robots más grandes, la historia cambió por completo. Mezclar los cerebros de dos expertos funcionó de maravilla. De hecho, el robot fusionado era a veces mejor que los expertos individuales.

La Analogía: Imagina a un profesor genio que ya es un maestro de las matemáticas y un maestro de la literatura. Si tomas su "cerebro matemático" y su "cerebro literario" y los combinas, no se confunden. En cambio, encuentran una manera de usar su vasto conocimiento para resolver problemas de una forma que ninguno de los especialistas podría hacer por sí solo.
El Resultado: El robot grande fusionado mantuvo el 96% del rendimiento de los expertos especializados. En algunos casos, ¡el robot fusionado incluso obtuvo una puntuación más alta en pruebas de programación que el robot entrenado específicamente para programar!

¿Por qué sucede esto? (El "Escaneo Cerebral")

Los investigadores no solo miraron las puntuaciones de las pruebas; miraron dentro de los cerebros de los robots para ver cómo cambiaban durante el entrenamiento.

Robots Pequeños: Cuando los robots pequeños intentaban aprender dos cosas a la vez, sus cerebros cambiaban de maneras muy similares para ambas tareas. Era como si estuvieran usando exactamente las mismas neuronas para matemáticas y poesía. Cuando intentabas fusionar dos robots pequeños, esas neuronas luchaban por decidir quién hacía qué, causando un "atasco de tráfico" en el cerebro.
Robots Grandes: Los robots grandes tienen suficiente "espacio cerebral" para usar diferentes partes de su cerebro para las matemáticas y otras partes para la poesía. Son como tener dos habitaciones separadas en una casa. Cuando los fusionas, las habitaciones no colisionan; simplemente se sientan una al lado de la otra, permitiendo que el robot sea un maestro de ambas sin interferencias.

La Conclusión

Si estás construyendo un sistema de IA pequeño y eficiente (tal vez para un dispositivo con batería o memoria limitadas), no intentes fusionar expertos. Simplemente entrena un modelo con una mezcla de todos los datos que necesites.

Sin embargo, si tienes un modelo más grande y potente, adelante, fusiona los expertos. Puedes entrenar a un especialista en codificación y a un especialista en resumen por separado, luego combinarlos para obtener un modelo versátil y de alto rendimiento que ahorre el costo de entrenar un modelo multitareas masivo desde cero.

En resumen:

¿Modelo Pequeño? Mezcla los datos.
¿Modelo Grande? Fusiona los expertos.

El artículo proporciona una regla clara para que los desarrolladores elijan la estrategia adecuada según el tamaño de su modelo, asegurando que obtengan el mejor rendimiento sin desperdiciar recursos.

Resumen Técnico: LLMs de Código Multitarea: ¿Mezcla de Datos o Fusión de Modelos?

Planteamiento del Problema

El auge de los marcos de trabajo agénticos ha creado una demanda de modelos de lenguaje de código (LLMs) pequeños y especializados que puedan operar junto a modelos de frontera para equilibrar el rendimiento, el coste y las restricciones de inferencia. Sin embargo, el despliegue práctico a menudo requiere que estos modelos pequeños gestionen múltiples tareas de codificación simultáneamente (por ejemplo, generación de código y resumen de código). Existen dos estrategias principales para crear tales modelos multitarea:

Mezcla de Datos (Data Mixture): Realizar un ajuste fino (fine-tuning) de un modelo base una sola vez en un conjunto de datos combinado de todas las tareas deseadas.
Fusión de Modelos (Model Merging): Entrenar modelos "especialistas" por separado para cada tarea y fusionar sus pesos a posteriori.

Aunque tanto la mezcla de datos como la fusión de modelos son áreas de investigación activas, su eficacia comparativa específicamente para los LLMs de código sigue siendo poco estudiada. No está claro qué estrategia produce un mejor rendimiento multitarea, cómo influye la escala del modelo en esta elección y si el análisis del espacio de pesos puede predecir la estrategia óptima.

Metodología

Los autores llevaron a cabo experimentos extensos comparando el ajuste fino supervisado (SFT) de mezcla de datos frente a cuatro técnicas de vanguardia de fusión de modelos a través de dos familias de modelos (Qwen2.5-Coder y DeepSeekCoder) en dos escalas (aproximadamente 1.5B/1.3B y 7B de parámetros).

Tareas: El estudio se centró en dos tareas de codificación distintas: Generación de Código (usando KodCode, HumanEval, MBPP) y Resumen de Código (usando CodeXGLUE Code-to-Text).
Estrategias:
- Mezcla de Datos: SFT sobre una combinación mezclada de conjuntos de datos de generación y resumen.
- Fusión de Modelos: Entrenamiento de especialistas separados para generación y resumen, y posterior fusión mediante Linear, TIES (Trim, Elect Sign & Merge), DARE (Drop And Rescale) y DELLA (Deep Linear Learning Alignment).
Análisis: Los autores introdujeron un enfoque de diagnóstico en el espacio de pesos, midiendo la distancia $L_2$ por capa desde el modelo base y computando las correlaciones de Pearson entre las actualizaciones de pesos específicas de cada tarea para comprender la interferencia y el solapamiento representacional.

Contribuciones Clave

Comparación por Escala: El artículo proporciona una comparación empírica exhaustiva de la mezcla de datos frente a la fusión de modelos para LLMs de código en escalas de 2B y 7B.
Diagnóstico del Espacio de Pesos: Los autores proponen el uso de desplazamientos de peso por capa y correlaciones de actualización entre tareas como un diagnóstico mecanístico. Descubrieron que los modelos más pequeños exhiben una alta correlación entre las actualizaciones de las tareas (indicando interferencia), mientras que los modelos más grandes muestran una baja correlación (indicando representaciones ortogonales).
Guías Prácticas: El estudio establece una regla de oro clara basada en la escala del modelo:
- Modelos Pequeños (~2B): El SFT de mezcla de datos es la estrategia preferida, ya que la fusión de especialistas conduce a una degradación significativa del rendimiento debido a las limitaciones de capacidad.
- Modelos Grandes (7B): La fusión de modelos es superior, igualando a menudo o superando a los especialistas individuales con una degradación media mínima (<2.1%).

Resultados

La evaluación en los benchmarks HumanEval, MBPP y CodeXGlue reveló una divergencia distinta en la efectividad de la estrategia según la escala:

Modelos Pequeños (1.3B/1.5B):
- El SFT de mezcla de datos superó consistentemente a las estrategias de fusión. Por ejemplo, en Qwen 1.5B, la mezcla de datos logró solo una degradación de -1.26% en comparación con los especialistas, mientras que los métodos de fusión (Linear, TIES, DELLA) sufrieron pérdidas que oscilaron entre el -7% y el -27%.
- El análisis de pesos mostró una alta correlación de Pearson entre las actualizaciones de generación y resumen en los modelos pequeños, lo que sugiere que modifican parámetros similares, provocando una interferencia destructiva cuando se fusionan.
Modelos Grandes (7B):
- La fusión de modelos superó significativamente a la mezcla de datos. En Qwen 7B, la fusión DELLA logró el mejor rendimiento general (-2.08% de pérdida media), superando ligeramente al SFT de mezcla de datos (-2.57%).
- En DeepSeek 7B, la fusión DARE logró una retención de rendimiento casi perfecta (-0.01% de pérdida media), superando incluso a los especialistas en métricas específicas (por ejemplo, el MBPP pass@1 mejoró de 0.775 a 0.799).
- El análisis de pesos reveló una baja correlación entre las actualizaciones de las tareas en los modelos de 7B, lo que indica que utilizan vías representacionales distintas, permitiendo una combinación exitosa sin conflictos.
Especificidad de la Arquitectura: El algoritmo de fusión óptimo varió según la arquitectura; DELLA funcionó mejor para Qwen-Coder 7B, mientras que DARE destacó para DeepSeek-Coder 7B.

Significancia y Reivindicaciones

El artículo afirma proporcionar conocimientos accionables para profesionales que despliegan sistemas agénticos con recursos limitados. La principal significancia reside en el hallazgo de que la estrategia óptima de aprendizaje multitarea está determinada fundamentalmente por la escala del modelo y no solo por las características de la tarea.

Para Modelos Pequeños: Invertir en estrategias cuidadosas de mezcla de datos durante el entrenamiento ofrece resultados superiores en comparación con la fusión a posteriori, evitando la "interferencia catastrófica" causada por la limitada capacidad de parámetros.
Para Modelos Grandes: La fusión de especialistas de tareas específicas ofrece ventajas convincentes, permitiendo un desarrollo modular donde los equipos pueden optimizar los modelos de forma independiente antes de combinarlos. Este enfoque reduce los costes de entrenamiento al evitar el entrenamiento redundante multitarea y permite la adición de nuevas capacidades sin necesidad de reentrenar desde cero.

Los autores concluyen que, con una selección cuidadosa de la estrategia, los sistemas agénticos pequeños pueden disfrutar de inteligencia de código multitarea sin un sobreentrenamiento innecesario, y que el análisis del espacio de pesos puede servir como una herramienta predictiva para seleccionar la estrategia adecuada antes del despliegue.