💬 NLP

MeRoTune: RoPE-Safe Merging with a Tunable Dial

O MeRoTune introduz uma técnica de fusão de modelos que resolve o desalinhamento de subespaço de atenção em modelos equipados com RoPE através da aprendizagem de matrizes de correção restritas e comutativas com RoPE, permitindo a mistura ajustável post-hoc de modelos ajustados sem modificar os pesos base.

Autores originais: Salman Faroz

Publicado 2026-09-09✓ Author reviewed ⓘ

📖 5 min de leitura🧠 Leitura aprofundada

CC BY 4.0

Autores originais: Salman Faroz

Artigo original sob licença CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta é uma explicação gerada por IA do artigo abaixo. Não foi escrita pelos autores. Para precisão técnica, consulte o artigo original. Ler aviso legal completo

No mundo da inteligência artificial, os pesquisadores frequentemente enfrentam um dilema: eles possuem um cérebro computacional poderoso e de uso geral, e treinaram versões separadas e especializadas dele para se destacarem em tarefas específicas, como escrever código em uma linguagem ou responder perguntas em outra. O objetivo é combinar esses especialistas em um único modelo versátil sem o custo de executar vários programas ao mesmo tempo. A maneira padrão de fazer isso é simplesmente misturar os pesos matemáticos dos dois modelos, como se misturasse dois lotes de tinta. No entanto, essa mistura simples assume que a lógica interna de ambos os modelos está perfeitamente alinhada. Se um modelo pensa sobre um conceito usando um sistema de coordenadas internas ligeiramente diferente do outro, fundi-los diretamente pode criar um resultado confuso que é pior do que qualquer um dos modelos originais. Isso é particularmente complicado em modelos modernos que usam um mecanismo específico para entender a ordem das palavras, um sistema que rotaciona a informação com base na posição. Se o processo de mistura ignorar essa rotação, ele quebra silenciosamente a capacidade do modelo de entender o contexto, muitas vezes de formas invisíveis durante o treinamento.

Um pesquisador desenvolveu um novo método chamado MeRoTune para resolver esse problema. Em vez de fazer a média cega dos dois modelos, ele primeiro ensina cada modelo a ajustar seu próprio sistema de coordenadas internas para que possam concordar sobre como lidar com a ordem das palavras antes de serem misturados. Eles descobriram que, para que esse ajuste funcione sem quebrar o modelo, as mudanças devem seguir um conjunto de regras muito específico e restrito. Eles provaram matematicamente que a única maneira segura de corrigir esses modelos é aplicar um tipo específico de rotação que respeite a maneira única como o modelo lida com a posição. Eles construíram um sistema onde dois modelos especializados aprendem esses ajustes precisos por conta própria e, então, podem ser combinados em qualquer proporção que o usuário desejar, agindo como um dial ajustável em vez de uma mistura fixa.

Eles testaram essa abordagem em duas versões distintas de um modelo de linguagem: uma treinada para ser especialista em indonésio e codificação, e outra treinada para ser especialista em japonês. Antes de tentar fundir os modelos, aplicaram uma verificação matemática rigorosa para garantir que os dois modelos eram realmente diferentes o suficiente para justificar o processo complexo. Eles verificaram que cada modelo era genuinamente melhor em sua própria especialidade e pior na outra, confirmando que existia um conflito real que precisava de solução. Eles rejeitaram vários outros pares candidatos que não atendiam a esse critério, garantindo que estivessem trabalhando apenas em um problema real. Assim que confirmaram que o par era adequado, treinaram os modelos para aprender seus próprios fatores de correção únicos. Esses fatores foram projetados para serem rotações simples, garantindo que os modelos permanecessem estáveis e não se tornassem distorcidos durante o processo.

Quando combinaram os modelos usando seu novo método, os resultados foram superiores às técnicas existentes. Eles testaram o modelo fundido através de uma ampla gama de razões de mistura, desde predominantemente indonésio até predominantemente japonês, e descobriram que sua abordagem nunca teve um desempenho inferior aos métodos padrão usados por outros pesquisadores. Na verdade, na maioria dos testes, o método deles superou uma barra alta de confiabilidade estatística, enquanto um método concorrente teve um desempenho inferior ao modelo base original, não fundido, em pelo menos uma tarefa. Eles também exploraram se a razão de mistura poderia ser dividida em dois controles independentes, permitindo que cada modelo contribuísse mais livremente. Descobriram que fazer isso causava o colapso do desempenho, provando que manter a razão de mistura unida era essencial para o funcionamento do método.

O estudo também revelou detalhes interessantes sobre o que os modelos realmente aprenderam durante o processo. A maioria dos ajustes que os modelos fizeram foi de rotações muito pequenas, de apenas alguns graus, sugerindo que os modelos já estavam majoritariamente alinhados. No entanto, um pequeno número de partes específicas dos modelos exigiu mudanças muito maiores, de até oitenta e seis graus, e essas partes também diminuíram em magnitude. Isso indica que, embora a estrutura geral fosse semelhante, havia desacordos profundos e específicos sobre como os modelos lidavam com certos conceitos, o que exigiu um realinhamento significativo. Eles observaram que este método não é uma solução mágica para todos os pares possíveis de modelos; ele só funciona quando os modelos são verdadeiramente especializados de formas conflitantes e quando a estrutura interna do modelo inclui o mecanismo específico de manipulação de posição que eles abordaram.

Em última análise, este trabalho demonstra que fundir modelos de IA não é apenas uma questão de tirar a média de números. Requer a compreensão da geometria oculta de como o modelo processa a informação. Ao respeitar as regras específicas de como esses modelos lidam com a ordem das palavras, eles criaram uma ferramenta que permite ao usuário girar suavemente entre diferentes capacidades especialistas sem perder a qualidade de qualquer uma delas. O método fornece uma maneira confiável de combinar cérebros de IA especializados, garantindo que o resultado final seja um modelo coerente e de alto desempenho, em vez de uma mistura confusa. O código e os dados deste trabalho estão disponíveis publicamente, permitindo que outros verifiquem as descobertas e apliquem a mesma abordagem cuidadosa e fundamentada matematicamente às suas próprias combinações de modelos.

Resumo Técnico: MEROTUNE: MERGING (FUSÃO) ROPE-SAFE COM UM DIAL AJUSTÁVEL

1. Definição do Problema

O agrupamento de modelos (model merging) visa combinar múltiplos modelos ajustados (fine-tuned) em um único conjunto de pesos, preservando as capacidades especializadas de cada um sem o custo de servir múltiplos modelos. Métodos padrão (ex: média de pesos, TIES, DARE) operam diretamente sobre tensores de pesos brutos, assumindo implicitamente que os sistemas de coordenadas internos (especificamente os subespaços de atenção) dos modelos que estão sendo fundidos já estão alinhados.

Um trabalho recente [13] tentou corrigir desalinhamentos aprendendo uma matriz de correção invertível, $M$ , para as projeções de consulta ( $W_q$ ) e chave ( $W_k$ ). Teoricamente, aplicar $M$ a $W_q$ e $M^{-\top}$ a $W_k$ é uma operação nula (no-op) isolada porque $(Mq)^\top (M^{-\top}k) = q^\top k$ . No entanto, esse cancelamento depende da suposição de que nada intervém entre a projeção e o produto escalar.

O Conflito Central: Quase todos os modelos de linguagem modernos com pesos abertos (ex: Qwen, Llama 3) utilizam Rotary Position Embeddings (RoPE) exatamente nesse espaço interveniente. O RoPE aplica uma rotação dependente da posição aos vetores de consulta e chave. Se a matriz de correção $M$ aprendida não comutar com a rotação RoPE, a propriedade de "no-op" é quebrada. A correção inadvertidamente distorce as dependências de posição relativa que o RoPE foi projetado para codificar, uma distorção que é invisível para as perdas de treinamento padrão que não derivam explicitamente a interação RoPE.

2. Metodologia

2.1 Derivação Teórica: A Classe de Comutatividade com RoPE

O artigo deriva a classe específica de matrizes $M$ para as quais o cancelamento $(Mq)^\top R(\Delta\theta) (M^{-\top}k) = q^\top R(\Delta\theta) k$ ocorre exatamente na presença de RoPE.

Condição: $M$ deve comutar com a matriz de rotação RoPE $R(\Delta\theta)$ para todas as posições relativas $\Delta$ .
Resultado: As matrizes válidas formam um subconjunto estrito e de baixa dimensão de matrizes invertíveis. Especificamente, para cada par de frequências RoPE (um subespaço 2D), $M$ deve ser uma rotação escalonada atuando independentemente dentro desse par.
Estrutura: $M$ é uma matriz diagonal em blocos onde cada bloco $2\times2$ assume a forma $aI + bJ$ (onde $J$ é a rotação por $\pi/2$ ). Isso reduz o espaço de busca de $d^2$ parâmetros por cabeça para $d$ parâmetros (uma escala e um ângulo de rotação por par de frequência).
Propriedades:
- Segurança (Safety): Aplicar tal transformação a um único modelo é um no-op exato (Corolário 1).
- Estabilidade: Estas matrizes sempre possuem um número de condição exatamente igual a 1, prevenindo os problemas de má condição comuns no aprendizado de matrizes não restringidas (Corolário 2).

2.2 O Algoritmo MeRoTune

Baseando-se nesta classe, o autor propõe o MeRoTune (Merging + RoPE + Tunable):

Alinhamento de Lados Duplos: Dois modelos ajustados ( $A$ e $B$ ) cada um aprende suas próprias matrizes de correção compatíveis com RoPE ( $M_a$ e $M_b$ ).
Operador de Fusão (Merging Operator): Os pesos fundidos em uma razão de mistura $\alpha$ $α$ são computados como:
- $W_k^{merge}(\alpha) = (1-\alpha) M_a^{-\top} W_k^A + \alpha M_b^{-\top} W_k^B$
- $W_q^{merge}(\alpha) = (1-\alpha) M_a W_q^A + \alpha M_b W_q^B$
- Outros pesos (MLP, embeddings, etc.) são interpolados linearmente.
Dial Ajustável (Tunable Dial): O método permite que a razão de mistura final $\alpha$ seja ajustada post-hoc. O objetivo de treinamento minimiza a perda sobre um intervalo escolhido de $\alpha$ (por padrão, um $\alpha$ fixo de $0.5$, semelhante ao escalonamento fixo do LoRA), permitindo que o modelo fundido seja ajustado para diferentes pontos de operação sem retreinamento.
Validação de Pré-Treinamento: O artigo introduz uma condição matemática (Eq. 7) para verificar se um par de ajustes finos realmente vale a pena alinhar. Um par é um alvo válido apenas se cada modelo melhora em relação ao modelo base em sua própria especialidade ( $\Delta > 0$ ), mas performa pior ou igual na especialidade do outro ( $\Gamma \le 0$ ). Se este "gap genuíno de capacidade bidirecional" não existir, o processo de alinhamento adiciona ruído sem benefício.

3. Principais Contribuições

Prova de Correções Seguras para RoPE: Uma prova autossuficiente identificando a classe exata de matrizes (rotações escalonadas dentro de pares de frequência) que preservam a estrutura de posição relativa do RoPE durante a fusão.
Método MeRoTune: Um algoritmo de fusão de dois lados que treina essas correções restritas para agir como um dial de tempo de execução, permitindo o ajuste post-hoc da razão de mistura.
Condição de Validação: Uma condição matemática de forma fechada para verificar empiricamente a existência de um gap de capacidade genuíno entre dois ajustes finos antes de comprometer o treinamento, evitando desperdício de computação em pares inválidos.
Avaliação Abrangente: Uma avaliação contra TIES e DARE-TIES em um par verificado de fine-tunes do Qwen2.5-1.5B-Instruct (Indonésio/Código vs. Japonês), demonstrando robustez através de razões de mistura.

4. Resultados Experimentais

O método foi testado em um par de modelos Qwen2.5-1.5B-Instruct: um especializado em indonésio e código, o outro em japonês.

Desempenho vs. Baselines:
- O MeRoTune nunca perdeu para as implementações oficiais do mergekit para TIES ou DARE-TIES em qualquer razão de mistura testada.
- O DARE-TIES performou significativamente pior do que o modelo base não fundido em pelo menos um eixo de benchmark.
- O MeRoTune superou o piso de ruído estatístico na maioria dos benchmarks (MMLU, Indonésio, Japonês), enquanto o TIES caiu abaixo do modelo base em três de quatro benchmarks.
Comportamento da Razão de Mistura (Blend Ratio):
- A razão de mistura $\alpha$ funcionou efetivamente como um dial. As métricas geralmente tenderam monotonicamente para o modelo mais forte para aquela tarefa específica conforme $\alpha$ mudava.
- O treinamento com uma razão de mistura fixa ( $\alpha=0.5$ ) geralmente superou ou igualou uma variante onde $\alpha$ era reamostrado aleatoriamente a cada passo.
Ablação de Desacoplamento:
- O artigo testou o relaxamento da restrição de razão de mistura vinculada ( $\alpha$ ) em dois fatores de escala independentes ( $s_a, s_b$ ).
- Resultado: O desacoplamento causou uma degradação confiável do desempenho em todos os benchmarks. Empurrar ambos os fatores para o alto simultaneamente complicou deltas descontrolados, levando a um desempenho pior do que o acaso em alguns casos. Isso confirma que a restrição convexa vinculada é necessária para a estabilidade.
Transformações Aprendidas:
- As correções aprendidas foram predominantemente pequenas rotações (mediana $\approx 10^\circ$ ) com escalas próximas de 1.
- Uma pequena cauda de blocos exibiu rotações maiores ( $>45^\circ$ ) acompanhadas de escalonamento significativo (encolhimento), sugerindo que, embora o método seja teoricamente seguro, o otimizador ocasionalmente utilizou a capacidade para remodelar o comportamento além do simples realinhamento geomético.

5. Significância e Alegações

O artigo afirma que os Rotary Position Embeddings não são um detalhe menor, mas uma restrição fundamental que dita quais correções de fusão são matematicamente seguras. Ao derivar a classe de "comutatividade com RoPE", o MeRoTune fornece um método que:

Garante Segurança: Ao contrário de métodos não restritos, ele não pode corromper silenciosamente a lógica de posição relativa do modelo.
Oferece Flexibilidade: Produz um modelo que pode ser ajustado post-hoc como um dial, em vez de ficar preso a uma única fusão fixa.
Evita Desperdício: A condição de pré-treinamento garante que os recursos só sejam gastos em pares com especializações conflitantes genuínas.

O autor enfatiza a modéstia em suas alegações: os resultados são específicos para a arquitetura Qwen2.5-1.5B e o par verificado testado. Eles observam que, embora o método seja robusto, as margens de desempenho específicas dependem do piso de ruído estatístico dos benchmarks utilizados, e o "imposto de alinhamento" (onde os ajustes finos regridem abaixo do modelo base) continua sendo um filtro crítico para aplicabilidade. O código, dados e scripts estão publicamente disponíveis.