🤖 machine learning

When Model Merging Rivals Joint Multi-Task Reinforcement Learning: A Task-Vector Geometry Analysis

Este artigo demonstra que a fusão de agentes de aprendizado por reforço treinados de forma independente alcança um desempenho estatisticamente indistinguível do treinamento multitarefa conjunto, um resultado atribuído à quase ortogonalidade dos vetores de tarefa, o que torna estratégias de fusão complexas equivalentes à média simples.

Autores originais: S. Aaron McClendon

Publicado 2026-07-20

📖 4 min de leitura☕ Leitura rápida

CC BY 4.0

Autores originais: S. Aaron McClendon

Artigo original sob licença CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta é uma explicação gerada por IA do artigo abaixo. Não foi escrita nem endossada pelos autores. Para precisão técnica, consulte o artigo original. Ler aviso legal completo

Imagine que você esteja tentando ensinar um robô a fazer tarefas domésticas. Você tem duas opções. A primeira é contratar um professor superinteligente e mostrar a ele todas as tarefas de uma vez, esperando que ele aprenda a equilibrar tudo perfeitamente. Isso é chamado de "treinamento conjunto" (joint training). A segunda opção é contratar dois especialistas diferentes: um que aprende apenas a lavar a louça e outro que aprende apenas a dobrar a roupa. Uma vez que eles se tornem especialistas, você tenta "fundir" os cérebros deles em um único robô que possa fazer ambas as coisas. Isso é chamado de "fusão de modelos" (model merging).

No mundo da inteligência artificial, a fusão é como um truque de mágica. Ela promete combinar as habilidades de especialistas separados sem a necessidade de treiná-los juntos, o que é ótimo se você não puder compartilhar os dados ou se os especialistas foram treinados por pessoas diferentes. Mas há uma grande questão pairando sobre esse truque de mágica: a fusão realmente funciona tão bem quanto treinar um robô para fazer tudo desde o início? A maioria das pessoas assume que a fusão é um contorno inteligente, mas ninguém testou isso de forma justa contra o "padrão ouro" do treinamento conjunto no mesmo ambiente. Este artigo entra nesse vazio para ver se o truque de mágica é real ou apenas um palpite de sorte.

Os pesquisadores configuraram um experimento controlado usando um parquinho digital chamado AppWorld, onde um agente de IA tem que completar várias tarefas, como reservar um voo ou pedir comida. Eles pegaram um modelo de IA base e treinaram dois "especialistas" sobre ele: um focado apenas em tarefas fáceis (Dificuldade-1) e outro em tarefas ligeiramente mais difíceis (Dificuldade-2). Eles também treinaram um modelo "conjunto" em ambos os conjuntos de tarefas ao mesmo tempo. Depois, pegaram os dois especialistas e os misturaram usando duas receitas de fusão diferentes (chamadas TIES e RAM+). Por fim, colocaram os modelos fundidos contra o modelo conjunto para ver quem realmente realizava o trabalho.

Os resultados foram surpreendentemente planos, mas de uma forma muito específica. Quando observaram a pontuação principal — quantas tarefas foram concluídas perfeitamente — todos os modelos empataram. Os especialistas fundidos tiveram um desempenho tão bom quanto o modelo conjunto. Na verdade, as diferenças entre eles foram tão minúsculas que caíram na "parede de ruído" (noise wall), o que significa que eram estatisticamente indistinguíveis. Não importava se usavam uma receita de fusão sofisticada ou se apenas faziam a média dos cérebros; o resultado era o mesmo. O artigo sugere que isso aconteceu porque os dois especialistas aprenderam de maneiras tão diferentes que seus "padrões de pensamento" (matematicamente conhecidos como vetores de tarefa) estavam quase em ângulos retos entre si. Imagine duas pessoas caminhando em direções completamente diferentes; quando você tenta combinar seus caminhos, você não obtém uma colisão desordenada, você apenas obtém uma média suave que cobre ambas as bases.

Os autores também olharam mais profundamente para ver se haviam perdido algo. Eles descobriram que, embora os modelos fundidos tivessem o mesmo número de pontuações perfeitas, às vezes eles se saíam ligeiramente pior na escala de "crédito parcial" — significando que poderiam ter feito 90% de uma tarefa corretamente em vez de 100%, enquanto o modelo conjunto poderia ter feito 95%. No entanto, o artigo argumenta que isso não é um sinal de que a fusão falhou. É apenas uma peculiaridade de como se mede o sucesso. Os modelos fundidos não descobriram novas habilidades sobre-humanas que nenhum dos especialistas possuía; eles apenas fizeram a média das habilidades existentes.

Crucialmente, o artigo descarta a ideia de que um método de fusão mais inteligente poderia resolver isso. Eles testaram se escolher um momento específico no treinamento para parar e fundir ajudaria, mas descobriram que, nesta configuração específica, a "interferência" entre os modelos já era tão baixa que não restava nada para consertar. O artigo conclui que, para este tipo de configuração de IA, a fusão é um substituto perfeitamente válido para o treinamento conjunto, mas não oferece um impulso mágico. É um plano de contingência sólido e confiável que funciona tão bem quanto o modo difícil, mas não quebra as leis da física para fazer isso.

Resumo Técnico: Quando a Fusão de Modelos Rivaliza com o Aprendizado por Reforço Multi-tarefa Conjunto

Declaração do Problema

A fusão de modelos (model merging) é frequentemente proposta como um substituto para o treinamento multi-tarefa conjunto, particularmente em cenários de aprendizado por reforço (RL), onde agentes independentes são lançados e seus dados de treinamento não podem ser agrupados. No entanto, a afirmação de que a fusão iguala o treinamento conjunto raramente foi testada empiricamente contra o baseline que busca substituir, uma vez que modelos conjuntos são tipicamente indisponíveis nos cenários de domínios cruzados onde a fusão é aplicada. Este artigo aborda essa lacuna construindo uma comparação controlada: treinar especialistas de RL em subconjuntos de tarefas disjuntos, fundi-los e confrontar o resultado contra um modelo treinado conjuntamente nos mesmos dados.

Metodologia

O estudo utiliza o benchmark AppWorld, um ambiente de agente digital interativo com tarefas anotadas por dificuldade. A configuração experimental envolve os seguintes componentes:

Modelo Base e Arquitetura: Todos os modelos são ajustados (fine-tuned) a partir do Qwen3-8B usando LoRA (Low-Rank Adaptation) com rank $r=16$ nas matrizes de projeção de atenção e MLP.
Regime de Treinamento: Os especialistas são treinados usando LOOP (Leave-One-Out Policy Optimization), um método de gradiente de política livre de crítico que combina as vantagens do RLOO com o clipping estilo PPO.
- Especialista de Dificuldade-1: Treinado apenas em tarefas de dificuldade-1.
- Especialista de Dificuldade-2: Treinado apenas em tarefas de dificuldade-2.
- Modelo Conjunto: Treinado na união das tarefas de dificuldade-1 e dificuldade-2.
Estratégias de Fusão: Os vetores de tarefa dos especialistas (offsets de parâmetros em relação ao modelo base) são fundidos usando:
- TIES: Realiza o corte (trimming) de coordenadas de baixa magnitude e resolve conflitos de sinal via votação de magnitude.
- RAM+: Particiona coordenadas por coocorrência de suporte (compartilhado vs. único) e amplifica direções únicas.
Avaliação: Os modelos são avaliados em um conjunto de teste mantido fora do treinamento (168 tarefas) usando Conclusão de Objetivo da Tarefa (TGC) (sucesso binário) e uma métrica contínua de crédito parcial (fração de testes unitários passados).
Análise Geométrica: O artigo introduz um diagnóstico geométrico calibrado para medir a relação entre os vetores de tarefa dos especialistas. Isso inclui similaridade de cosseno global, concordância de sinal e sobreposição de suporte. Crucialmente, os autores calibraram essas medições contra um piso (adaptadores de rank-16 aleatórios) e um teto (checkpoints da mesma execução) para distinguir sinais de aprendizado de artefatos de parametrização de baixo rank.

Principais Contribuições

Hipótese Nula Empírica: O artigo estabelece que, dentro deste cenário controlado, a fusão de modelos é estatisticamente indistinguível do RL multi-tarefa conjunto na métrica primária de TGC. Além disso, métodos de fusão conscientes de comportamento (RAM+, TIES) são indistinguíveis da média ingênua.
Explicação Geométrica: Os autores demonstram que a falta de interferência que exigiria uma fusão complexa se deve à quase-ortogonalidade dos vetores de tarefa dos especialistas. Apesar de uma sobreposição de suporte de 65% (uma consequência dos módulos alvo LoRA idênticos), o alinhamento direcional (similaridade de cosseno) permanece baixo (0.06–0.10). Este pequeno componente compartilhado se desenvolve durante o treinamento, mas permanece distinto do piso de inicialização de baixo rank.
Desacoplamento de Suporte e Direção: O estudo revela que, em especialistas de RL baseados em LoRA, a coocorrência de suporte (base para o RAM) não implica alinhamento direcional. Como os vetores são quase ortogonais, estratégias de fusão baseadas em suporte colapsam para uma média simples, tornando desnecessária a resolução complexa de sinais ou subespaços.
Análise de Sensibilidade de Métrica: Embora a métrica contínua de crédito parcial mostre modelos fundidos pontuando abaixo de modelos conjuntos, os autores argumentam que isso não indica uma falha da fusão como substituta para o treinamento conjunto. A reversão da métrica (fusões superando o conjunto em TGC, mas sendo inferiores em pontuações contínuas) e a falta de capacidade emergente trans-tarefa (o desempenho conjunto não excede o melhor especialista) sugerem que a diferença é uma consequência mecânica da média de vetores quase ortogonais, em vez de uma perda de capacidade.

Resultados

Paridade de Desempenho: Na métrica primária (TGC), o especialista de Dificuldade-1, o especialista de Dificuldade-2, o modelo Conjunto, a fusão TIES e a fusão RAM+ todos caem dentro de uma faixa estatisticamente sobreposta (12.5% – 16.1% de TGC agregado). Nenhum contraste de pares entre os modelos de RL é significativo ( $p \geq 0.56$ ).
Descobertas Geométricas:
- Similaridade de Cosseno: O cosseno global entre os especialistas é 0.06–0.10, crescendo monotonicamente de quase zero durante o treinamento, mas saturando bem abaixo do teto (0.78–0.81 para checkpoints da mesma execução).
- Concordância de Sinal: A concordância de sinal no suporte compartilhado é de ~52%, consistente com o acaso.
- Sobreposição de Suporte: Alta (~65%) devido aos módulos LoRA compartilhados, mas isso não se traduz em interferência direcional.
Dinâmica de Fusão: Como os vetores são quase ortogonais, TIES e RAM+ efetivamente reduzem-se à média uniforme. Os conjuntos "únicos" no RAM são pequenos demais para impulsionar uma amplificação significativa, e os conflitos de sinal no TIES são resolvidos arbitrariamente devido à falta de consenso.
Seleção de Checkpoint: Uma análise de parada antecipada "consciente da fusão" (selecionando checkpoints para minimizar a interferência enquanto maximiza a recompensa) revela que não há alavancagem neste regime. A interferência e a capacidade crescem juntas; o ponto ideal para a fusão coincide com o checkpoint de pico de capacidade, não deixando uma alternativa de alta capacidade e baixa interferência.

Significância e Alegações

O artigo enquadra suas descobertas como uma nulidade calibrada: uma caracterização cuidadosamente delimitada de onde a fusão de modelos é suficiente.

Para Profissionais: Em configurações onde os dados podem ser agrupados, a fusão não oferece vantagem estatística sobre o RL conjunto nesta escala (8B de parâmetros, ~10 iterações). No entanto, para profissionais que não podem agrupar dados, os resultados fornecem a garantia de que a fusão não sacrifica obviamente o desempenho que o RL conjunto teria entregado.
Insight Mecanístico: O estudo esclarece que o sucesso da fusão neste contexto não se deve à sofisticação do algoritmo de fusão (ex: RAM ou TIES), mas sim à geometria inerente dos vetores de tarefa aprendidos. A quase-ortogonalidade dos especialistas de RL baseados em LoRA minimiza a interferência, tornando desnecessária a desintegração complexa.
Limitações e Escopo: Os autores são modestos quanto ao escopo, observando que estes resultados são específicos para a configuração dentro do benchmark, a parametrização LoRA e as divisões de dificuldade específicas utilizadas. Eles reconhecem que modelos maiores, diferentes regimes de treinamento ou ajuste fino completo (full fine-tuning) poderiam gerar propriedades geométricas diferentes, onde os métodos de fusão poderiam ter mais alavancagem. O artigo evita explicitamente alegar que a fusão é universalmente superior ou que o "nulo" observado se aplica a todos os cenários multi-tarefa, focando nas condições específicas sob as quais a fusão iguala o treinamento conjunto.