To Mix or To Merge: Toward Multi-Domain Reinforcement Learning for Large Language Models

O artigo M2RL investiga e compara os paradigmas de RLVR misto versus separado com fusão de modelos para aprendizado por reforço em múltiplos domínios em LLMs, descobrindo que as tarefas de raciocínio intensivo exibem efeitos sinérgicos e pouca interferência mútua, conforme detalhado em sua análise de mecanismos internos.

O essencial

Imagine que você quer criar um "Super-Intelecto" artificial, um modelo de linguagem (como um cérebro digital gigante) que seja um gênio em Matemática, um programador de elite em Código, um cientista brilhante, um seguidor de instruções perfeito e um agente capaz de usar ferramentas do mundo real.

O artigo que você enviou, chamado M2RL, investiga como treinar esse cérebro para ser excelente em todas essas áreas ao mesmo tempo. Eles testaram duas grandes estratégias para chegar lá:

As Duas Estratégias: "A Turma Mista" vs. "Os Especialistas Separados"

Para resolver esse problema, os pesquisadores compararam dois métodos de ensino:

1. O Método da "Turma Mista" (Mixed Multi-Task RL):

   • A Analogia: Imagine uma sala de aula onde o professor mistura todas as matérias (Matemática, Código, Ciência) em uma única aula gigante. O aluno estuda tudo ao mesmo tempo, alternando entre equações, linhas de código e redações.
   • O que o papel diz: O modelo aprende tudo de uma vez só, misturando os dados.

2. O Método dos "Especialistas Separados" (Separate Training + Merging):

   • A Analogia: Imagine que você cria cinco alunos diferentes. Um estuda só Matemática, outro só Código, outro só Ciência, etc. Cada um se torna um mestre na sua área. Depois, você pega esses cinco mestres e "funde" seus cérebros em uma única pessoa usando uma técnica de "colagem" (fusão de pesos).
   • O que o papel diz: Treina modelos separados para cada tarefa e depois os combina.

O Grande Descoberta: Eles se Ajudam, Não se Atrapalham!

A grande surpresa do estudo foi que ambos os métodos funcionam muito bem, e o método da "Turma Mista" é até mais eficiente (gasta menos energia de computador).

• A Mágica da Sinergia: O estudo descobriu que, ao contrário do que se pensava, aprender Matemática não "apaga" a memória de Código. Pelo contrário! As áreas de raciocínio (Matemática, Código, Ciência) se ajudam mutuamente. É como se aprender a lógica da matemática tornasse o cérebro mais afiado para resolver bugs no código.
• O "Pegadinha" do Agente: A única área que não se misturou perfeitamente foi a de "Agentes" (uso de ferramentas). Aprender a usar ferramentas não ajudou tanto a resolver equações matemáticas, mas também não estragou o aprendizado.

Como Funciona a "Fusão" dos Cérebros?

Os pesquisadores olharam dentro do "cérebro" do modelo (os pesos matemáticos) para entender o que estava acontecendo:

• Pegadas Sobrepostas: Eles viram que, quando o modelo aprende Matemática e Código, ele muda os mesmos "neurônios" (pesos) do cérebro. As mudanças se sobrepõem, como se as duas matérias estivessem usando a mesma estrada no cérebro.
• Vizinhança de Políticas: Eles descobriram que os modelos de Matemática e Código são "vizinhos". O conhecimento de um se transfere facilmente para o outro, criando um efeito de melhoria mútua.

O Dilema do "Verificador Interno" (A Intuição vs. O Raciocínio)

Uma das partes mais interessantes do artigo fala sobre como o modelo verifica se está certo.

• A Intuição (Verificação de Resultado): É como olhar apenas para a resposta final de uma prova. "A resposta é 42? Ok, está certo."
• O Raciocínio (Verificação de Processo): É olhar para todo o passo a passo, a lógica usada para chegar ao 42.

O Problema: Quando o modelo treina muito em várias tarefas ao mesmo tempo (o método da "Turma Mista"), ele fica muito bom em dar a resposta certa (intuição), mas começa a perder a capacidade de verificar se o passo a passo faz sentido. É como um aluno que chuta a resposta certa, mas não consegue explicar como chegou lá.

A Solução: O método de "Especialistas Separados" (treinar um de cada vez e depois fundir) manteve o modelo mais equilibrado. Ele continua sendo um gênio nas respostas, mas também consegue verificar seu próprio raciocínio com mais cuidado.

Conclusão Simples

O artigo nos diz que:

1. Não precisamos ter medo de misturar tarefas: Treinar um modelo em várias áreas ao mesmo tempo funciona surpreendentemente bem e é mais barato.
2. O Raciocínio é contagioso: Aprender lógica em uma área ajuda a aprender em outras.
3. Cuidado com o excesso: Se você empurrar o modelo para aprender tudo de uma vez de forma muito intensa, ele pode perder a capacidade de "pensar com cuidado" (verificar o processo), focando apenas no resultado final.

Em resumo, para criar um assistente de IA verdadeiramente inteligente e versátil, podemos misturar os treinamentos, mas precisamos ter cuidado para não deixar o modelo perder a habilidade de raciocinar passo a passo. A fusão de especialistas separados é uma ótima maneira de garantir que ele seja tanto um gênio quanto um pensador cuidadoso.

Resumo técnico

Resumo Técnico: M2RL (Mixed Multi-task vs. Separate Training + Merging)

Título: To Mix or To Merge: Toward Multi-Domain Reinforcement Learning for Large Language Models
Autores: Haoqing Wang, Xiang Long, et al. (Samsung Research Beijing & Peking University)
Data: Fevereiro de 2026

1. O Problema

O Aprendizado por Reforço com Recompensas Verificáveis (RLVR) tem sido fundamental para estimular capacidades de raciocínio explícito em Grandes Modelos de Linguagem (LLMs), alcançando desempenho de nível especialista em domínios específicos como matemática e programação. No entanto, criar um modelo geral de nível especialista que domine múltiplos domínios simultaneamente apresenta um desafio de colaboração entre tarefas.

Existem duas paradigmas principais de treinamento para RLVR multi-domínio no estado da arte (SOTA):

1. RLVR Multi-tarefa Misto (Mixed): Treinar o modelo simultaneamente em dados heterogêneos de diferentes domínios.
2. RLVR Separado + Fusão de Modelos (Separate + Merging): Treinar especialistas separados por domínio e, em seguida, fundi-los usando fusão de pesos ou destilação.

A literatura atual carece de uma comparação detalhada e análise dos mecanismos internos entre essas duas abordagens, especialmente quanto à interferência de gradientes e sinergia entre domínios.

2. Metodologia

Os autores realizaram experimentos extensivos comparando os dois paradigmas utilizando o modelo base Qwen3-4B e conjuntos de dados de código aberto (Nemotron 3 Nano).

• Domínios Alvo: Matemática, Programação (Coding), Ciência, Seguimento de Instruções (Instruction Following - IF) e Agentes (Agentic).
• Abordagens Comparadas:
  • RL Multi-tarefa (Mixed): Treinamento conjunto em dados mistos.
  • RL Separado + Fusão: Treinamento individual seguido por fusão usando métodos como:
    • Fusão de Pesos: Média simples, Aritmética de Tarefas (Task Arithmetic), Ties-Merging, SCE.
    • Destilação: Destilação On-Policy Multi-professor (MT-OPD).
• Métricas de Avaliação: Utilizaram 9 benchmarks (AIME, LiveCodeBench, GPQA, IFEval, BFCL, etc.) e a métrica Avg@K.
• Análise Interna: Investigaram a geometria do espaço de pesos (similaridade de cosseno, sobreposição de máscaras de mudança de peso), divergência KL (vizinhança de políticas) e comportamento de auto-verificação (verificação de resultado vs. processo).

3. Principais Contribuições e Descobertas

A. Desempenho e Eficiência

• O RL Multi-tarefa Misto alcançou desempenho comparável ao paradigma de RL Separado + Fusão, mas com 63,7% menos horas de GPU.
• A interferência de gradientes entre domínios foi mínima. Pelo contrário, domínios intensivos em raciocínio (Matemática, Código, Ciência) demonstraram efeitos sinérgicos, melhorando mutuamente o desempenho.
• O domínio de "Seguimento de Instruções" ajudou os domínios de raciocínio, mas os domínios de raciocínio não melhoraram significativamente tarefas de agentes (devido à falta de tradução de lógica formal para sequências pragmáticas de ferramentas).

B. Mecanismos Internos (Geometria e Políticas)

• Sobreposição de Pesos: As "pegadas" (footprints) da mudança de pesos (weight shift) entre diferentes domínios apresentam sobreposição significativa (Jaccard overlap alto) e similaridade de cosseno positiva, indicando que os domínios ajustam os mesmos parâmetros do modelo de forma compatível.
• Vizinhança de Políticas: A análise da Divergência KL revelou que especialistas de domínios diferentes podem formar "vizinhanças de políticas" (policy neighborhoods). A fusão de modelos de domínios vizinhos (ex: Matemática e Código) gera ganhos de desempenho, enquanto a fusão de não-vizinhos não garante benefícios extras.

C. Natureza das Habilidades Aprendidas

• Fusão de Pesos: Preserva predominantemente as capacidades originais dos modelos de tarefa única.
• Treinamento Multi-tarefa e Destilação: Desenvolvem capacidades emergentes que divergem das habilidades aprendidas em tarefas únicas, indicando uma promoção mútua durante o aprendizado.

D. Dinâmica de Auto-Verificação (Trade-off Robustez)

• Descobriu-se uma compensação (trade-off) crítica ao escalar o RL multi-tarefa:
  • RL Multi-tarefa Extensivo: Melhora a qualidade de geração (resposta final), mas causa um colapso severo na verificação de processo (raciocínio passo a passo). O modelo otimiza para padrões de texto superficiais em vez de rigor lógico.
  • Integração Desacoplada (Fusão/MT-OPD): Mantém um equilíbrio robusto entre geração e verificação de processo.
• Verificação Baseada em Processo vs. Resultado:
  • Para tarefas lógicas (Mat/Código), a verificação de processo é superior.
  • Para tarefas de restrição (Instruções), a verificação de resultado é superior.
  • Modelos treinados especificamente em Agentes (interação multi-turno) desenvolveram a capacidade mais robusta de verificação de processo, atuando como catalisadores para validação rigorosa.

4. Resultados Quantitativos Chave

• Eficiência: O método misto (Mixed) atingiu resultados equivalentes ao método separado com 36,3% de economia de recursos computacionais.
• Benchmarks: O modelo misto obteve pontuações de ponta em benchmarks como AIME'24 (81.20) e LiveCodeBench (63.21), competindo diretamente com modelos proprietários como o Qwen3-4B (Modo Thinking).
• Colapso de Robustez: Enquanto o modelo misto (RL-Multi) teve uma pontuação média de geração de 72.89, sua pontuação de verificação de processo caiu drasticamente (ex: 27.5 no IFEval), demonstrando a fragilidade do treinamento contínuo misto na manutenção do raciocínio lógico interno.

5. Significado e Conclusão

O trabalho M2RL fornece evidências empíricas e teóricas de que:

1. Sinergia vs. Interferência: O RLVR multi-domínio não sofre necessariamente de interferência negativa; domínios de raciocínio são altamente sinérgicos.
2. Escolha de Paradigma: Embora o treinamento misto seja mais eficiente em termos de custo, a fusão de especialistas (separado + merge) ou a destilação on-policy oferecem maior estabilidade na verificação de processos e robustez, evitando o colapso observado no treinamento misto extensivo.
3. Futuro do RLVR: A colaboração de recompensas verificáveis entre domínios é uma fronteira promissora para o pós-treinamento de LLMs, sugerindo que a integração desacoplada de especialistas pode ser a chave para modelos gerais que são tanto capazes quanto rigorosos.

O projeto é de código aberto e disponível em: https://github.com/Mosi-AI/M2RL.