💬 NLP

Multi-task Code LLMs: Data Mix or Model Merge?

Este artigo compara estratégias de mistura de dados e de fusão de modelos para a criação de LLMs de código multitarefa eficientes, constatando que a fusão de modelos supera a mistura de dados em escalas maiores (7B) ao reter ou até mesmo superar o desempenho especializado, enquanto a mistura de dados é preferida em escalas menores (2B).

Autores originais: Mingzhi Zhu, Boris Sobolev, Rahul Krishna, Raju Pavuluri, Stacy Patterson, Michele Merler

Publicado 2026-01-30

📖 4 min de leitura☕ Leitura rápida

CC BY 4.0

Autores originais: Mingzhi Zhu, Boris Sobolev, Rahul Krishna, Raju Pavuluri, Stacy Patterson, Michele Merler

Artigo original sob licença CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta é uma explicação gerada por IA do artigo abaixo. Não foi escrita nem endossada pelos autores. Para precisão técnica, consulte o artigo original. Ler aviso legal completo

Imagine que você tem um pequeno e brilhante robô assistente que precisa aprender duas habilidades muito diferentes: escrever código (como um programador) e explicar código (como um professor). Você quer que este robô seja bom em ambos, mas não tem orçamento ou tempo para treinar dois robôs separados. Você tem duas maneiras principais de ensiná-lo:

A "Mistura de Tudo" (Mistura de Dados): Você joga todos os problemas de programação e todas as lições de explicação em um grande balde e ensina tudo ao robô de uma só vez.
A "Troca de Especialistas" (Fusão de Modelos): Primeiro, você treina um robô para ser um mestre programador e outro para ser um mestre professor. Então, você pega os cérebros deles (seus "pesos") e os mistura cuidadosamente para criar um super-robô.

Este artigo faz uma pergunta simples: Qual método funciona melhor? E a resposta depende inteiramente do tamanho do robô.

A Grande Descoberta: O Tamanho Importa

Os pesquisadores testaram isso em robôs de diferentes tamanhos (pequenos com cerca de 2 bilhões de "neurônios" e maiores com 7 bilhões). Aqui está o que eles descobriram:

1. Os Robôs Pequenos (2 Bilhões de Parâmetros): A "Mistura de Tudo" Vence

Para os robôs menores, tentar fundir dois cérebros especialistas foi um desastre. Era como tentar misturar óleo e água; as duas habilidades lutavam entre si, e o robô ficava confuso, esquecendo como fazer bem qualquer um dos dois trabalhos.

A Analogia: Imagine um aluno pequeno tentando aprender cálculo e poesia simultaneamente em uma única aula. Se você tentar forçá-lo a ser um "matemático-poeta" apenas misturando duas lições separadas, ele pode ficar sobrecarregado e não aprender bem nenhum dos dois.
A Solução: Para robôs pequenos, é melhor apenas colocar todos os livros de matemática e poesia em uma pilha e estudá-los juntos. A abordagem de "Mistura de Tudo" (Mistura de Dados) manteve o pequeno robô competente em ambas as tarefas sem que ele ficasse confuso.

2. Os Robôs Grandes (7 Bilhões de Parâmetros): A "Troca de Especialistas" Vence

Para os robôs maiores, a história mudou completamente. Fundir os cérebros de dois especialistas funcionou maravilhosamente. Na verdade, o robô fundido foi às vezes melhor do que os especialistas individuais.

A Analogia: Imagine um professor gênio que já é mestre em matemática e mestre em literatura. Se você pegar o "cérebro de matemática" e o "cérebro de literatura" dele e combiná-los, eles não ficam confusos. Em vez disso, eles encontram uma maneira de usar seu vasto conhecimento para resolver problemas de uma forma que nenhum especialista conseguiria fazer sozinho.
O Resultado: O robô grande fundido manteve 96% do desempenho dos especialistas individuais. Em alguns casos, o robô fundido até obteve pontuações mais altas em testes de codificação do que o robô treinado especificamente para codificação!

Por Que Isso Acontece? (O "Escaneamento Cerebral")

Os pesquisadores não olharam apenas para as pontuações nos testes; eles olharam dentro dos cérebros dos robôs para ver como eles mudavam durante o treinamento.

Robôs Pequenos: Quando os robôs pequenos tentavam aprender duas coisas ao mesmo tempo, seus cérebros mudavam de maneiras muito semelhantes para ambas as tarefas. Era como se estivessem usando exatamente os mesmos neurônios para matemática e poesia. Quando você tentava fundir dois robôs pequenos, esses neurônios lutavam para decidir quem faria o quê, causando um "engarrafamento" no cérebro.
Robôs Grandes: Robôs grandes têm "espaço cerebral" suficiente para usar partes diferentes de seu cérebro para matemática e partes diferentes para poesia. Eles são como ter dois quartos separados em uma casa. Quando você os funde, os quartos não colidem; eles apenas ficam lado a lado, permitindo que o robô seja um mestre de ambos sem interferência.

A Conclusão

Se você estiver construindo um sistema de IA pequeno e eficiente (talvez para um dispositivo com bateria ou memória limitadas), não tente fundir especialistas. Apenas treine um modelo em uma mistura de todos os dados que você precisa.

No entanto, se você tiver um modelo maior e mais poderoso, vá em frente e funda os especialistas. Você pode treinar um especialista em codificação e um especialista em sumarização separadamente, e depois combiná-los para obter um modelo versátil e de alto desempenho, economizando o custo de treinar um modelo multitarefa massivo do zero.

Em resumo:

Modelo Pequeno? Misture os dados.
Modelo Grande? Funda os especialistas.

O artigo fornece um livro de regras claro para desenvolvedores escolherem a estratégia certa com base no tamanho do seu modelo, garantendo que obtenham o melhor desempenho sem desperdiçar recursos.

Resumo Técnico: LLMs de Código Multi-tarefa: Mistura de Dados ou Fusão de Modelos?

Declaração do Problema

A ascensão de frameworks agentes criou uma demanda por modelos de linguagem de código (LLMs) menores e especializados que possam operar ao lado de modelos de fronteira para equilibrar desempenho, custo e restrições de inferência. No entanto, a implantação prática exige frequentemente que esses modelos pequenos lidem com múltiplas tarefas de codificação simultaneamente (ex: geração de código e sumarização de código). Duas estratégias primárias existem para criar tais modelos multi-tarefa:

Mistura de Dados (Data Mixture): Ajuste fino (SFT) de um modelo base uma única vez em um conjunto de dados combinado de todas as tarefas desejadas.
Fusão de Modelos (Model Merging): Treinar modelos "especialistas" separados para cada tarefa e fundir seus pesos a posteriori.

Embora tanto a mistura de dados quanto a fusão de modelos sejam áreas de pesquisa ativas, a eficácia comparativa especificamente para LLMs de código permanece pouco estudada. Não está claro qual estratégia produz melhor desempenho multi-tarefa, como a escala do modelo influencia essa escolha e se a análise do espaço de pesos pode prever a estratégia ideal.

Metodologia

Os autores conduziram experimentos extensos comparando o SFT de mistura de dados contra quatro técnicas de fusão de modelos de última geração através de duas famílias de modelos (Qwen2.5-Coder e DeepSeekCoder) em duas escalas (aproximadamente 1.5B/1.3B e 7B parâmetros).

Tarefas: O estudo focou em duas tarefas distintas de codificação: Geração de Código (usando KodCode, HumanEval, MBPP) e Sumarização de Código (usando CodeXGLUE Code-to-Text).
Estratégias:
- Mistura de Dados: SFT em uma combinação embaralhada de conjuntos de dados de geração e sumarização.
- Fusão de Modelos: Treinar especialistas separados para geração e sumarização, e então fundi-los usando Linear, TIES (Trim, Elect Sign & Merge), DARE (Drop And Rescale) e DELLA (Deep Linear Learning Alignment).
Análise: Os autores introduziram uma abordagem de diagnóstico de espaço de pesos, medindo a distância $L_2$ camada por camada em relação ao modelo base e computando correlações de Pearson entre as atualizações de pesos específicas de cada tarefa para entender a interferência e a sobreposição representacional.

Principais Contribuições

Comparação por Escala: O artigo fornece uma comparação empírica abrangente da mistura de dados versus fusão de modelos para LLMs de código em escalas de 2B e 7B.
Diagnósticos de Espaço de Pesos: Os autores propõem o uso de deslocamentos de peso camada por camada e correlações de atualização inter-tarefa como um diagnóstico mecanístico. Eles descobriram que modelos menores exibem alta correlação entre atualizações de tarefas (indicando interferência), enquanto modelos maiores mostram baixa correlação (indicando representações ortogonais).
Diretrizes Práticas: O estudo estabelece uma regra de bolso clara baseada na escala do modelo:
- Modelos Pequenos (~2B): O SFT de mistura de dados é a estratégia preferida, pois a fusão de especialistas leva a uma degradação significativa de desempenho devido às restrições de capacidade.
- Modelos Grandes (7B): A fusão de modelos é superior, muitas vezes igualando ou superando os especialistas individuais com degradação mínima (<2,1%).

Resultados

A avaliação nos benchmarks HumanEval, MBPP e CodeXGlue revelou uma divergência distinta de eficácia de estratégia dependente da escala:

Modelos Pequenos (1.3B/1.5B):
- O SFT de mistura de dados superou consistentemente as estratégias de fusão. Por exemplo, no Qwen 1.5B, a mistura de dados alcançou apenas uma degradação média de -1,26% em comparação aos especialistas, enquanto os métodos de fusão (Linear, TIES, DELLA) sofreram perdas variando de -7% a -27%.
- A análise de pesos mostrou alta correlação de Pearson entre as atualizações de geração e sumarização em modelos pequenos, sugerindo que eles modificam parâmetros semelhantes, levando à interferência destrutiva quando fundidos.
Modelos Grandes (7B):
- A fusão de modelos superou significativamente a mistura de dados. No Qwen 7B, a fusão DELLA alcançou o melhor desempenho geral (-2,08% de perda média), superando ligeiramente o SFT de mistura de dados (-2,57%).
- No DeepSeek 7B, a fusão DARE alcançou uma retenção de desempenho quase perfeita (-0,01% de perda média), superando até mesmo os especialistas em métricas específicas (ex: o pass@1 do MBPP melhorou de 0,775 para 0,799).
- A análise de pesos revelou baixa correlação entre as atualizações de tarefas em modelos de 7B, indicando que eles utilizam caminhos representacionais distintos, permitindo a combinação bem-sucedida sem conflitos.
Especificidade de Arquitetura: O algoritmo de fusão ideal variou por arquitetura; DELLA teve o melhor desempenho para Qwen-Coder 7B, enquanto DARE se destacou para DeepSeek-Coder 7B.

Significância e Alegações

O artigo afirma fornecer insights acionáveis para profissionais que implantam sistemas agentes com recursos limitados. A principal significância reside na descoberta de que a estratégia ideal de aprendizado multi-tarefa é fundamentalmente determinada pela escala do modelo, e não apenas pelas características da tarefa.

Para Modelos Pequenos: Investir em estratégias cuidadosas de mistura de dados durante o treinamento produz resultados superiores em comparação à fusão a posteriori, evitando a "interferência catastrófica" causada pela capacidade limitada de parâmetros.
Para Modelos Grandes: A fusão de especialistas de tarefas específicas oferece vantagens convincentes, permitindo o desenvolvimento modular onde equipes podem otimizar modelos independentemente antes de combiná-los. Essa abordagem reduz os custos de treinamento ao evitar o treinamento multi-tarefa redundante e permite a adição de novas capacidades sem necessidade de retreinar do zero.

Os autores concluem que, com a seleção cuidadosa de estratégia, sistemas agentes pequenos podem desfrutar de inteligência de código multi-tarefa sem o treinamento excessivo desnecessário, e que a análise do espaço de pesos pode servir como uma ferramenta preditiva para selecionar a estratégia apropriada antes da implantação.