Bridging Domains through Subspace-Aware Model Merging

O artigo propõe o método SCORE, que resolve conflitos de subespaço entre modelos treinados em domínios distintos ao projetá-los em uma base ortogonal compartilhada, melhorando significativamente a generalização de domínio em tarefas de fusão de modelos.

O essencial

Imagine que você tem vários chefs de cozinha incríveis. Cada um deles é um especialista em um tipo específico de comida:

• O Chef A é mestre em cozinhar na montanha (usa ingredientes de neve e rochas).
• O Chef B é mestre em cozinhar na praia (usa ingredientes de areia e sol).
• O Chef C é mestre em cozinhar na floresta (usa ingredientes de terra e plantas).

Cada um deles faz pratos deliciosos no seu próprio ambiente. Mas, e se você precisar de um prato que funcione bem em uma ilha tropical com montanhas de neve (um lugar que nenhum deles viu antes)?

O Problema: A "Sopa" Confusa

Até agora, a maneira comum de juntar esses chefs era simples: pegar a receita de cada um, misturar tudo numa panela grande e esperar que a "sopa" resultante fosse boa.

O problema é que, quando você mistura as receitas diretamente, os ingredientes entram em conflito. O sal do Chef da montanha pode anular o açúcar do Chef da praia. O resultado é um prato sem graça ou estragado. Na linguagem da Inteligência Artificial, isso acontece porque os "pesos" (as decisões matemáticas) que cada modelo aprendeu para o seu domínio específico estão "brigando" entre si quando tentamos fundi-los.

A Descoberta: O Conflito Escondido

Os autores deste papel descobriram algo interessante: quando tentamos juntar modelos treinados em diferentes ambientes (como neve vs. praia), a briga é muito mais forte do que quando juntamos modelos para tarefas diferentes (como contar números vs. reconhecer paisagens).

É como se os chefs da montanha e da praia estivessem tentando usar a mesma faca ao mesmo tempo, mas de lados opostos. Eles ocupam o mesmo "espaço" na mente do modelo, mas de formas que se chocam.

A Solução: O "SCORE" (O Maestro da Orquestra)

Para resolver isso, eles criaram um método chamado SCORE. Pense no SCORE como um Maestro de Orquestra genial.

1. O Ensaio (Análise): O Maestro olha para a partitura de cada chef (os dados matemáticos de cada modelo) e identifica quais notas (direções matemáticas) são as mais importantes para cada um.
2. A Sinfonia Compartilhada (Base Comum): Em vez de misturar as notas aleatoriamente, o Maestro cria uma nova "sala de ensaio" (uma base matemática comum) onde todos podem tocar juntos sem se atrapalhar. Ele organiza as notas para que a música faça sentido.
3. Cortar o Ruído (Poda): Às vezes, dois chefs querem tocar a mesma nota, mas de um jeito que cria um ruído terrível (conflito). O Maestro é esperto: ele mantém as notas principais que todos concordam (a melodia principal) e corta as notas laterais que estão causando apenas barulho e confusão. Ele remove o que é "ruído" e mantém o que é "sinal".

O Resultado: Um Super-Chef Universal

Depois que o Maestro (SCORE) organiza a orquestra, o resultado é um único modelo que:

• Não precisa de mais nenhum treinamento (não precisa de novos ingredientes).
• Não precisa de dados de teste (não precisa provar a comida antes de servir).
• Funciona muito melhor em lugares novos e estranhos do que qualquer outro método de mistura.

Em resumo:
O papel diz que, para criar uma Inteligência Artificial que se adapta a qualquer lugar (seja uma cidade fria, um deserto ou um hospital), não basta apenas "juntar" os modelos. É preciso organizar como eles pensam, removendo as partes que brigam e mantendo o que é útil. O método SCORE faz exatamente isso: ele limpa o conflito entre as "mentes" dos modelos para criar um especialista universal que funciona em cenários que nunca viu antes.

É como transformar uma bagunça de chefs gritando em uma orquestra perfeitamente afinada, pronta para tocar qualquer música, em qualquer lugar do mundo.

Resumo técnico

1. O Problema: Generalização de Domínio em Fusão de Modelos

A fusão de modelos (model merging) é uma técnica eficiente que combina múltiplos modelos ajustados (fine-tuned) em um único modelo unificado, sem a necessidade de dados compartilhados ou re-treinamento. Embora existam avanços significativos na fusão para cenários de múltiplas tarefas (multi-task) ou dentro da mesma distribuição (in-distribution), a generalização de domínio (desempenho em domínios não vistos) permanece pouco explorada.

O problema central identificado pelos autores é que, ao fundir modelos ajustados em diferentes distribuições de dados (ex: animais em terrenos rochosos vs. neve), ocorre um conflito de subespaços singulares muito mais forte do que em cenários de múltiplas tarefas tradicionais.

• Cenário Tradicional: Tarefas diferentes (ex: classificação de dígitos vs. paisagens) têm subespaços de parâmetros mais ortogonais.
• Cenário de Domínio: Modelos ajustados para o mesmo tipo de tarefa, mas em domínios diferentes, tendem a aprender representações que se sobrepõem fortemente nas direções singulares dominantes. Ao fundi-los diretamente, essas direções concorrentes causam interferência, degradando a capacidade do modelo fundido de generalizar para um domínio de teste não visto.

2. Metodologia: SCORE (Subspace COnflict-Resolving mErging)

Para mitigar esses conflitos, os autores propõem o SCORE, um método de fusão consciente do subespaço. A abordagem não requer dados de validação nem otimização adicional (é data-free e optimization-free).

O algoritmo SCORE funciona da seguinte maneira:

1. Decomposição SVD: Para cada modelo ajustado, calcula-se a Decomposição em Valores Singulares (SVD) das matrizes de diferença de pesos ($\Delta w$).
2. Concatenação e Ortogonalização: Os vetores singulares principais (esquerda e direita) de todos os modelos são concatenados. Em seguida, aplica-se uma nova SVD a essas matrizes concatenadas para encontrar uma base ortogonal compartilhada ($U_\perp$ e $V_\perp$) que melhor representa todos os subespaços dos domínios.
3. Mudança de Base: Cada matriz de tarefa original é projetada nesta base compartilhada. Isso transforma a matriz, separando explicitamente:
   • Diagonal: Representa o acordo entre o domínio e as direções principais compartilhadas.
   • Fora da Diagonal (Off-diagonal): Representa o conflito ou acoplamento entre as direções compartilhadas (interferência entre domínios).
4. Poda de Conflitos (Trimming): O método calcula uma matriz de pontuação ($\Sigma_{score}$) somando as matrizes transformadas. Ele mantém os elementos diagonais (acordo) e aplica um filtro nos elementos fora da diagonal:
   • Elementos fora da diagonal com magnitude significativa (informação útil de variabilidade compartilhada) são mantidos.
   • Elementos fora da diagonal que são "outliers" (ruído ou conflitos destrutivos) são zerados.
5. Reconstrução: O modelo fundido final é reconstruído usando a base compartilhada e a matriz de pontuação processada.

3. Contribuições Principais

1. Investigação de Generalização de Domínio: Os autores são os primeiros a estudar a fusão de modelos sob um protocolo de "deixar um domínio de fora" (leave-one-domain-out), onde o modelo fundido é testado em um domínio nunca visto durante a fusão.
2. Análise de Sobreposição de Subespaços: Demonstram empiricamente que a sobreposição de subespaços singulares em cenários de generalização de domínio é significativamente maior do que em cenários de múltiplas tarefas, explicando por que métodos de fusão tradicionais falham nesses casos.
3. Proposta do SCORE: Introdução de um método que resolve conflitos de subespaços singulares através de uma base ortogonal compartilhada e poda seletiva de componentes conflitantes.
4. Validação Abrangente: O método foi testado em 8 benchmarks de generalização de domínio (incluindo datasets naturais e médicos) e 3 escalas de modelos (ViT-B/32, ViT-B/16, ViT-L/14), superando consistentemente o estado da arte.

4. Resultados Experimentais

Os experimentos compararam o SCORE contra métodos existentes como Task Arithmetic, TIES, MagMax, PCB, TSV e ISO-C.

• Desempenho Superior: O SCORE alcançou a maior precisão média em todos os benchmarks.
  • No modelo ViT-B-32, superou o segundo melhor método em 0,74 pontos percentuais (p.p.) em média.
  • No modelo ViT-L-14, superou o segundo melhor em 0,58 p.p..
  • Em datasets específicos como DomainNet e NICO++, as melhorias foram ainda mais pronunciadas (até +1,18 p.p. em TerraIncognita com ViT-L-14).
• Comparação com Ensembles: O SCORE superou o logit ensemble (agrupamento de previsões de múltiplos modelos), que é o padrão-ouro para desempenho, mas com o custo computacional de um único modelo. O SCORE foi 1,12 a 1,90 p.p. melhor que o ensemble, mantendo o custo de inferência de um único modelo.
• Robustez Médica: Em datasets médicos desbalanceados (FedISIC e RetinaDomains), o SCORE demonstrou adaptabilidade superior, superando a linha de base zero-shot em mais de 6-8 pontos percentuais.
• Ablação: O estudo mostrou que manter apenas a diagonal (acordo) é bom, mas manter a matriz inteira (sem poda) causa queda drástica de desempenho devido ao ruído. A estratégia de "trimming" (poda de outliers) do SCORE oferece o melhor equilíbrio.

5. Significado e Impacto

Este trabalho é significativo porque redefine a fusão de modelos como um mecanismo composicional viável para generalização de domínio, um desafio central em aprendizado de máquina.

• Eficiência: Permite criar modelos robustos que generalizam para cenários não vistos sem a necessidade de re-treinamento, acesso a dados de validação ou aumento do custo de inferência (diferente de ensembles).
• Aplicabilidade Prática: É particularmente útil em cenários onde os dados são sensíveis ou escassos, e onde apenas checkpoints de modelos ajustados estão disponíveis (ex: reutilização de modelos em repositórios públicos).
• Fundamento Teórico: A análise da sobreposição de subespaços singulares fornece uma nova perspectiva teórica sobre por que a fusão falha em certos cenários e como corrigi-la estruturalmente.

Em resumo, o SCORE demonstra que é possível fundir "especialistas" de diferentes domínios para criar um modelo generalista superior, resolvendo os conflitos de representação através de uma manipulação inteligente da geometria dos subespaços dos parâmetros.