🤖 machine learning

Generalizing the Geometry of Model Merging Through Frechet Averages

Este artigo propõe um quadro geral para a fusão de modelos baseado na média de Fréchet sobre variedades apropriadas para garantir invariância de simetria, demonstrando sua capacidade de abranger métodos existentes como a fusão de Fisher e fornecendo um algoritmo prático para a fusão de adaptadores de baixo posto (LoRA) que aborda as limitações das abordagens atuais.

Autores originais: Marvin F. da Silva, Mohammed Adnan, Felix Dangel, Sageev Oore

Publicado 2026-05-01

📖 5 min de leitura🧠 Leitura aprofundada

CC BY 4.0

Autores originais: Marvin F. da Silva, Mohammed Adnan, Felix Dangel, Sageev Oore

Artigo original sob licença CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta é uma explicação gerada por IA do artigo abaixo. Não foi escrita nem endossada pelos autores. Para precisão técnica, consulte o artigo original. Ler aviso legal completo

Imagine que você tem uma equipe de chefs especialistas. Cada chef domina um prato específico: um faz a lasanha perfeita, outro o sushi ideal e um terceiro o soufflé mais refinado. Agora, você quer criar um "Super Chef" capaz de cozinhar os três pratos perfeitamente, mas não tem tempo para treinar um novo chef do zero. Você apenas deseja combinar o conhecimento dos chefs existentes.

No mundo da IA, isso é chamado de Fusão de Modelos (Model Merging). Você pega os "pesos" (as configurações internas) de diferentes modelos de IA e tenta fundi-los em um só.

O Problema: O "Mapa Errado"

O artigo argumenta que a maneira antiga de fazer isso é como tentar misturar as receitas desses chefs simplesmente calculando a média dos números em um pedaço de papel. Isso funciona bem se todos estiverem escrevendo no mesmo idioma e usando as mesmas unidades.

Mas os modelos de IA têm uma peculiaridade oculta: Simetria.
Pense assim: o Chef A pode escrever "2 xícaras de farinha", enquanto o Chef B escreve "1 xícara de farinha + 1 xícara de farinha". Eles significam exatamente a mesma coisa, mas os números parecem diferentes. Ou, o Chef C pode ter trocado a ordem dos ingredientes no caderno, mas o sabor do prato é idêntico.

Na IA, há muitas maneiras de escrever exatamente a mesma "receita" (modelo) usando números diferentes. Se você apenas calcular a média dos números (Média Ingênua), pode acabar com uma receita que diz "0 xícaras de farinha" porque os números positivos e negativos se cancelaram. Você criou um modelo quebrado que não consegue cozinhar nada.

Os autores chamam isso de sair da órbita. Imagine que a "verdadeira" receita existe em uma pista circular (uma órbita). Se você apenas traçar uma linha reta entre dois pontos na pista, corta pelo meio do círculo e acaba na lama (um modelo quebrado), em vez de permanecer na pista onde as boas receitas vivem.

A Solução: A "Bússola Inteligente" (GeoMerge)

O artigo propõe um novo método chamado GeoMerge. Em vez de apenas calcular a média dos números, eles tratam o espaço dos modelos de IA como uma paisagem curva (uma variedade Riemanniana).

O Mapa: Eles percebem que, devido à simetria (as diferentes maneiras de escrever a mesma receita), o "verdadeiro" mapa não é uma folha de papel plana. É uma superfície dobrada e curva onde pontos diferentes representam, na verdade, a mesma coisa.
A Bússola: Eles usam uma ferramenta matemática chamada Média de Fréchet. Pense nisso não como uma média simples, mas como encontrar o "centro de gravidade" em uma superfície curva.
Alinhamento: Antes de misturar os modelos, eles primeiro "alinhá-los". É como garantir que o Chef A e o Chef B estejam usando as mesmas xícaras de medição e escrevendo na mesma ordem. Eles encontram a versão específica da receita de cada chef que está mais próxima das outras, ignorando as diferenças cosméticas na forma como os números são escritos.
O Caminho: Em vez de cortar em linha reta pela lama, eles caminham ao longo do caminho curvo (uma geodésica) que permanece na pista das "boas receitas".

Por Que Isso Importa para "LoRA" (Os Chefs Especializados)

O artigo foca intensamente em uma técnica popular chamada LoRA (Adaptação de Baixo RANK). Imagine que estes não são chefs completos, mas sous-chefs especializados que apenas ajustam alguns ingredientes específicos para melhorar um prato.

Os autores descobriram que, quando você tenta fundir esses ajustes especializados usando métodos antigos, o problema da "simetria" é ainda pior. As anotações dos sous-chefs são tão flexíveis que podem ser escritas de milhares de maneiras diferentes que significam todas a mesma coisa.

Método Antigo (KnOTS): Tenta forçar as anotações para o alinhamento usando um truque matemático rígido e passo a passo (SVD). Funciona razoavelmente, mas é como tentar enfiar pregos quadrados em buracos redondos.
GeoMerge: Reconhece que as anotações vivem naturalmente em uma superfície curva. Usa a "Bússola Inteligente" para encontrar o verdadeiro centro do grupo sem forçá-los a uma forma rígida.

Os Resultados

Os pesquisadores testaram isso em um grande modelo de IA (Llama 3) que havia sido especializado para diferentes tipos de quebra-cabeças de linguagem (Inferência de Linguagem Natural).

O Resultado: O GeoMerge criou um "Super Chef" que teve um desempenho melhor que o método anterior mais eficaz (KnOTS).
A Eficiência: Ainda melhor, o GeoMerge fez isso mantendo o "tamanho" da receita pequeno. O método antigo acabou com uma receita massiva e inchada (alto rank), enquanto o GeoMerge a manteve enxuta e eficiente, provando que compreendeu melhor a geometria do problema.

Em Poucas Palavras

O artigo diz: Não faça apenas a média dos números. Os modelos de IA são como receitas que podem ser escritas em muitos idiomas diferentes. Se você quer fundi-los, primeiro precisa traduzi-los para um idioma comum (alinhamento) e depois encontrar o centro do grupo usando um mapa que respeita a forma do mundo (geometria), em vez de uma régua plana. Isso impede que o "Super Chef" se torne uma bagunça quebrada.

1. Formulação do Problema

A fusão de modelos (model merging) visa combinar múltiplas redes neurais treinadas em um único modelo sem treinamento adicional de ponta a ponta. Embora a simples média no espaço de parâmetros (por exemplo, Model Soups) funcione bem para modelos ajustados finamente de posto completo, ela falha significativamente quando aplicada a métodos de Ajuste Fino Eficiente em Parâmetros (PEFT) como o LoRA (Adaptação de Baixo Posto).

O problema central é a simetria arquitetural:

Os parâmetros de redes neurais não são coordenadas canônicas; configurações distintas de parâmetros podem representar exatamente a mesma função de entrada-saída devido a simetrias (por exemplo, permutações de neurônios, redimensionamento ou simetrias de calibre em fatorações de baixo posto).
A média ingênua (Euclidiana) ignora essas simetrias. Ela pode "sair" da órbita geométrica correta, levando a interferência destrutiva onde o modelo fundido colapsa ou desempenha mal.
Métodos de alinhamento existentes (como KnOTS) tentam corrigir isso alinhando atualizações de tarefas via SVD, mas frequentemente dependem de escolhas específicas de calibre ou heurísticas dependentes de coordenadas que não respeitam plenamente a geometria subjacente.

2. Metodologia: GeoMerge

Os autores propõem o GeoMerge, um quadro que reformula a fusão de modelos como o cálculo de uma média de Fréchet em uma variedade Riemanniana.

Mudança Conceitual Central

Em vez de calcular a média de parâmetros no espaço Euclidiano, o GeoMerge trata o espaço de parâmetros como uma variedade quociente ( $\mathcal{M} = \bar{\mathcal{M}} / G$ ), onde $G$ é o grupo de simetria (por exemplo, $GL(r)$ para LoRA).

Média Intrínseca: O objetivo é encontrar um ponto na variedade quociente que minimize a soma das distâncias geodésicas aos modelos de entrada.
Invariância de Simetria: Ao operar no quociente, a fusão torna-se invariante à parametrização específica (calibre) dos modelos de entrada.

Formulação Matemática

Média de Fréchet: Dados os modelos $\theta_1, \dots, \theta_T$ , o modelo fundido $\mu^*$ é o minimizador do funcional de Fréchet:
$\mu^* \in \arg\min_{\mu \in \mathcal{M}} \sum_{i=1}^T w_i d_{\mathcal{M}}(\mu, \theta_i)^2$
onde $d_{\mathcal{M}}$ é a distância geodésica na variedade.
Geometria de Quociente para LoRA:
- As atualizações do LoRA são representadas como $\Delta W = GH^\top$ . Esta fatoração possui uma simetria $GL(r) $:$ (G, H) \sim (GA^{-1}, HA^\top)$.
- Os autores propõem usar uma Fatoração Polar ( $\Delta W = UBV^\top$ ) para mapear o problema para um produto de variedades de Stiefel ($St$) e variedades de Definitas Positivas Simétricas (SPD).
- Eles definem métricas Riemannianas específicas:
  - Métrica invariante afim para o fator SPD ( $B$ ).
  - Métrica canônica de Stiefel para os fatores ortogonais ( $U, V$ ).
Algoritmo (GeoMerge de Quociente):
O algoritmo alterna entre duas etapas para calcular a média:
- Alinhamento (Minimização de Órbita): Para uma estimativa atual $\mu_t$ , encontra-se a transformação de simetria $G_i$ para cada entrada $\theta_i$ que minimiza a distância a $\mu_t$ . Isso alinha as entradas ao mesmo "calibre" (espaço horizontal).
- Média Intrínseca: Calcula-se o mapa logarítmico (vetores tangentes) de $\mu_t$ até as entradas alinhadas. Esses vetores são garantidos como sendo horizontais (ortogonais às órbitas de simetria). A média é atualizada movendo-se ao longo da geodésica definida pela soma ponderada desses vetores horizontais.

3. Contribuições Principais

Unificação Geométrica: O artigo estabelece que a fusão de modelos é fundamentalmente um problema de cálculo de médias de Fréchet em variedades Riemannianas. Ele unifica várias estratégias de fusão sob essa lente geométrica.
Fusão Consciente de Simetria: Oferece uma solução principial para o problema de "desalinhamento" no PEFT, modelando explicitamente o espaço de parâmetros como uma variedade quociente, garantindo que a fusão seja invariante às escolhas de calibre.
Conexão com Fisher Merging: Os autores demonstram que a fusão ponderada por Fisher é uma aproximação tratável da média de Fréchet sob a geometria Fisher-Rao (geometria da informação), especificamente ao usar um substituto quadrático e ignorar mudanças na covariância. No entanto, observam que a fusão padrão por Fisher ainda sofre de problemas de simetria porque o próprio mecanismo de média não é invariante de simetria.
Algoritmo Prático para LoRA: Derivam um algoritmo concreto para adaptadores LoRA usando a fatoração polar e métricas Riemannianas específicas, permitindo o cálculo eficiente de geodésicas e alinhamento sem dados.
Análise de Modelo de Brinquedo: Fornecem uma solução analítica de forma fechada para um modelo simples com simetria de redimensionamento, provando que a média Euclidiana ingênua falha (colapsando para zero) enquanto o GeoMerge recupera corretamente o preditor intrínseco.

4. Resultados Experimentais

Os autores avaliaram o GeoMerge no Llama-3 8B com adaptadores LoRA ajustados finamente em seis conjuntos de dados de Inferência de Linguagem Natural (NLI) (SNLI, MNLI, SICK, QNLI, RTE, SciTail).

Linha de Base: Compararam com o KnOTS, um método de última geração que alinha atualizações do LoRA via SVD conjunta antes da fusão.
Desempenho: O GeoMerge superou consistentemente o KnOTS em todos os conjuntos de dados em termos de acurácia normalizada (a razão entre a acurácia do modelo fundido e a do melhor especialista).
- Acurácia Normalizada Média: O GeoMerge alcançou 91,88% contra 90,38% do KnOTS.
Eficiência: Uma descoberta crítica é que o GeoMerge alcança desempenho superior com um posto efetivo muito menor.
- O KnOTS tipicamente aumenta o posto do modelo fundido para $T \times r$ (onde $T$ é o número de tarefas).
- O GeoMerge mantém o posto original $r$ , sugerindo que utiliza a capacidade de pesos de forma mais eficiente, respeitando a geometria da variedade em vez de expandir o espaço de parâmetros.

5. Significado e Impacto

Avanço Teórico: O artigo muda o paradigma da fusão de modelos de "média heurística de parâmetros" para "otimização geométrica em variedades". Destaca que a escolha da geometria (métrica e variedade) é a decisão de design mais crítica na fusão.
Robustez: Ao abordar simetrias intrinsecamente, o GeoMerge oferece uma solução mais robusta para a fusão de modelos especializados, particularmente na era do PEFT, onde atualizações de baixo posto são padrão.
Direções Futuras: O quadro abre portas para a integração de outros conceitos geométricos (por exemplo, medianas Riemannianas, médias de Huber) e extensão para outros métodos PEFT ou modelos de posto completo onde simetrias estão presentes. Também sugere que o "alinhamento" não é apenas uma etapa de pré-processamento, mas parte integrante do processo de média no espaço quociente.

Em resumo, o GeoMerge resolve a fragilidade da fusão de modelos sob simetrias arquitetônicas tratando o problema como uma tarefa de média geométrica em uma variedade quociente, resultando em desempenho de última geração para fusão de LoRA com eficiência aprimorada de parâmetros.