🤖 machine learning

Model Fusion via Retrofitting

Este artigo apresenta um framework de fusão de modelos centrado em neurônios que trata a fusão como um problema de correspondência de representações, agrupando neurônios intermediários e utilizando pontuações de atribuição para alinhar características salientes, alcançando desempenho superior aos métodos existentes — particularmente em cenários zero-shot e não IID — em diversas arquiteturas como VGGs, ResNets e ViTs, sem necessidade de retreinamento.

Autores originais: Phoomraphee Luenam, Andreas Spanopoulos, Amit Sant, Thomas Hofmann, Sotiris Anagnostidis, Sidak Pal Singh

Publicado 2026-05-29

📖 5 min de leitura🧠 Leitura aprofundada

CC BY 4.0

Autores originais: Phoomraphee Luenam, Andreas Spanopoulos, Amit Sant, Thomas Hofmann, Sotiris Anagnostidis, Sidak Pal Singh

Artigo original sob licença CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta é uma explicação gerada por IA do artigo abaixo. Não foi escrita nem endossada pelos autores. Para precisão técnica, consulte o artigo original. Ler aviso legal completo

Imagine que você tem dois chefs especialistas que passaram anos aperfeiçoando suas próprias receitas únicas. O Chef A se especializa em culinária italiana, e o Chef B se especializa em culinária japonesa. Eles nunca trabalharam juntos, usam ferramentas diferentes e podem até medir ingredientes em unidades distintas.

Agora, imagine que você deseja criar um único "Chef Mestre" capaz de cozinhar pratos italianos e japoneses perfeitamente, mas você não pode pedir que eles voltem à escola de culinária para reaprender tudo do zero. Você apenas quer combinar seus conhecimentos existentes em uma única pessoa imediatamente.

Este é o problema da Fusão de Modelos. No mundo da Inteligência Artificial (IA), frequentemente possuímos diferentes redes neurais (os "chefs") treinadas separadamente. Desejamos mesclá-las em um único modelo poderoso sem o processo caro e demorado de re treiná-las em novos dados.

O Problema: A "Barreira de Idioma"

O artigo explica que simplesmente calcular a média dos pesos desses dois modelos (como misturar seus livros de receitas página por página) geralmente falha. Por quê? Porque mesmo que sejam treinados em dados semelhantes, eles aprendem as coisas de maneiras diferentes.

O Problema da "Permutação": Pense na "gaveta de temperos" do Chef A, onde o "cominho" está no topo da gaveta, enquanto o "cominho" do Chef B está no fundo da gaveta. Se você apenas calcular a média de suas gavetas, acaba com uma mistura bagunçada que não faz sentido. Os neurônios da IA (os "ingredientes") estão em ordens e localizações diferentes.
O Desafio "Zero-Shot": A maioria dos métodos existentes funciona razoavelmente bem se os chefs tiverem formações semelhantes. Mas se eles foram treinados em dados completamente diferentes (como um em comida italiana e outro em comida japonesa), os métodos existentes falham miseravelmente. O modelo combinado fica confuso e performa pior do que os chefs individuais.

A Solução: "Readequação" com um "Alvo"

Os autores propõem um novo método chamado Fusão de Modelos via Readequação. Em vez de apenas calcular a média dos chefs, eles utilizam um processo inteligente de dois passos que atua como um tradutor e um treinador.

Passo 1: O "Agrupamento" (Encontrando os Gêmeos)

Primeiro, o algoritmo observa o que os neurônios (os neurônios são como os neurônios individuais no cérebro humano, ou as "habilidades" específicas dos chefs) estão realmente fazendo quando veem dados.

Ele agrupa neurônios semelhantes do Chef A e do Chef B juntos.
O Toque Criativo: O artigo introduz Pontuações de Atribuição de Neurônios. Imagine que nem todos os ingredientes são igualmente importantes. Alguns temperos são críticos para o sabor; outros são apenas enfeites. O algoritmo identifica quais neurônios são os "jogadores principais" (alta importância) e quais são os "reservas" (baixa importância).
Em seguida, ele cria um "Alvo" para cada grupo. Pense nisso como um cartão de receita "Padrão Ouro" que representa a média perfeita dos neurônios agrupados, ponderada pela importância deles.

Passo 2: A "Readequação" (O Treinador)

Agora, o algoritmo constrói o novo "Chef Mestre" (o modelo fundido). Ele não apenas copia os chefs antigos; ele treina as camadas do novo modelo para corresponder a esses "Alvos Padrão Ouro" que acabou de criar.

É como pegar um novo aprendiz e dizer: "Não copie apenas o Chef A ou o Chef B. Olhe para este prato-alvo específico que projetamos. Ajuste sua culinária até que sua saída corresponda perfeitamente a este alvo."
Isso acontece camada por camada, do fundo da rede até o topo.

Por Que Isso é Melhor (Os Resultados)

O artigo testou isso em várias arquiteturas de IA (como VGG, ResNet e Vision Transformers) e descobriu:

Funciona Quando Outros Falham: Em cenários "Zero-Shot" (onde os modelos são mesclados sem qualquer treinamento extra em novos dados), os métodos existentes frequentemente colapsam em palpites aleatórios. O método dos autores mantém alta precisão, mesmo quando os modelos foram treinados em dados completamente diferentes e não sobrepostos (como a configuração "Sharded" onde um modelo vê apenas carros vermelhos e o outro vê apenas carros azuis).
Respeita a Importância: Ao usar essas "Pontuações de Atribuição de Neurônios", o método garante que as características mais críticas dos modelos originais sejam preservadas, em vez de se perderem no ruído de características menos importantes.
É Flexível: Funciona em diferentes tipos de arquiteturas de IA, não apenas em um tipo específico.

O Trade-off

O artigo admite que este método é um pouco mais lento e computacionalmente mais pesado do que os métodos de média "rápidos e sujos". No entanto, eles argumentam que isso vale a pena porque:

Produz um modelo utilizável imediatamente (Zero-Shot), enquanto outros métodos frequentemente exigem horas ou dias de ajuste fino extra para funcionar de todo.
A longo prazo, o tempo economizado ao corrigir modelos quebrados supera o tempo extra gasto na fusão inicial.

Analogia de Resumo

Antigo Jeito: Você pega dois idiomas diferentes, traduz palavra por palavra para um terceiro idioma e espera que o significado permaneça. Geralmente resulta em nonsense.
Novo Jeito (Readequação): Você identifica os conceitos centrais (os "alvos") que ambos os chefs entendem, atribui a eles um valor baseado na importância e, em seguida, ensina um novo chef a falar essa linguagem específica e unificada perfeitamente.

O artigo conclui que essa abordagem permite combinar modelos de IA independentes de forma eficaz, mesmo quando são muito diferentes, sem necessidade de re treiná-los do zero.

Resumo Técnico: Fusão de Modelos via Retrofitting

Declaração do Problema

A fusão de modelos visa combinar redes neurais treinadas independentemente em um único modelo sem re-treinamento, oferecendo uma solução para cenários onde o re-treinamento é proibitivamente caro ou inviável devido a restrições de privacidade de dados (por exemplo, Aprendizado Federado). No entanto, essa tarefa é complicada pela divergência representacional causada pela invariância de permutação, inicialização aleatória e distribuições heterogêneas de dados de treinamento.

Métodos existentes, como OTFusion (Singh & Jaggi, 2020) e Git Re-Basin (Ainsworth et al., 2023), baseiam-se na conjectura de Conectividade Linear de Modo (LMC), que postula que redes treinadas independentemente residem no mesmo vale de baixa perda. Embora a LMC se mantenha para modelos treinados em dados idênticos, estudos anteriores indicam que mesmo modelos treinados nos mesmos dados podem aprender características internas divergentes. Consequentemente, os métodos de fusão existentes lutam significativamente em cenários de zero-shot (fusão sem treinamento adicional) e sob regimes de dados não-IID (não Independentes e Identicamente Distribuídos), frequentemente colapsando para desempenho próximo ao aleatório. Além disso, as abordagens atuais frequentemente carecem de generalidade entre arquiteturas (por exemplo, tendo dificuldades com Transformers) e dependem de modelos base que podem não estar totalmente otimizados, obscurecendo o verdadeiro potencial dos algoritmos de fusão.

Metodologia

Os autores propõem uma família de algoritmos de fusão centrada em neurônios que reformula a fusão de modelos como um problema de correspondência de representações principista. Em vez de simplesmente ponderar pesos ou encontrar matrizes de permutação, o método trata a fusão como um processo de duas etapas: agrupar neurônios de modelos pais em representações-alvo e, em seguida, treinar as sub-redes do modelo fundido para aproximar esses alvos.

Framework Central

Custo de Representação: O objetivo é definido pela distância $L_2$ ao quadrado entre as ativações dos neurônios do modelo base e os neurônios mais próximos no modelo fundido, ponderadas por pontuações de importância de neurônios (pontuações de atribuição). Isso penaliza a má representação de características salientes.
Decomposição (Teorema 1): Os autores introduzem um vetor de alvo auxiliar $T$ $T$ para decompor o custo de representação em dois componentes interpretáveis:
- Erro de Agrupamento: Mede o quão bem os neurônios do modelo base se agrupam em torno de centróides ponderados por importância ( $T_k$ ).
- Erro de Aproximação: Mede o quão bem os neurônios de saída do modelo fundido aproximam esses centróides.
Algoritmo de Duas Etapas:
- Etapa 1 (Agrupamento): Neurônios dos modelos base são agrupados para minimizar o erro de agrupamento. Isso produz centróides ponderados por importância que servem como alvos.
- Etapa 2 (Retrofitting): Os pesos do modelo fundido no nível atual são otimizados (via solução de forma fechada para camadas lineares ou SGD para camadas não lineares) para minimizar o erro de aproximação contra esses alvos. Esse processo é realizado de baixo para cima através dos níveis da rede.

Variantes do Algoritmo

O artigo introduz dois algoritmos primários baseados na estratégia de agrupamento:

Fusão Húngara (HF): Projetada para modelos de tamanho igual com correspondência um para um por nível. Utiliza o algoritmo húngaro para encontrar a atribuição ótima.
Fusão K-means (KF): Projetada para o caso geral, incluindo modelos de larguras e profundidades arbitrárias. Utiliza agrupamento heurístico K-means para agrupar neurônios.

Ambos os algoritmos possuem variantes Lineares (solução de forma fechada para camadas afins) e Baseadas em Gradiente (SGD/Adam para camadas não lineares).

Inovações Chave

Atribuição de Neurônios: Diferentemente de trabalhos anteriores, esta abordagem incorpora pontuações de importância de neurônios (por exemplo, Conductância, DeepLIFT) para enviesar o alinhamento em direção a características salientes, melhorando o desempenho em cenários heterogêneos.
Flexibilidade Arquitetural: O método é aplicável a qualquer arquitetura modularizável como um Grafo Acíclico Direcionado (DAG) de níveis, validado empiricamente em VGGs, ResNets e Vision Transformers (ViTs).
Capacidade Zero-Shot: Ao otimizar explicitamente a aproximação de representações agrupadas, o método alcança desempenho robusto sem o extenso ajuste fino exigido por métodos anteriores.

Resultados Experimentais

Os autores avaliaram seus métodos em três regimes de treinamento: Fragmentado (conjuntos de classes disjuntos), Não-IID (distribuições de classes enviesadas) e Conjunto de Dados Completo.

Regimes Fragmentado/Não-IID: Em configurações extremas não-IID (por exemplo, divisões de 6 vias em CIFAR-100), métodos existentes como OTFusion e Git Re-Basin colapsaram para precisão próxima ao aleatório (frequentemente <5%). Em contraste, KF-Gradient e HF-Gradient mantiveram precisão zero-shot robusta (por exemplo, 34,7% no CIFAR-100 para divisões de 6 vias vs. <1,5% para baselines).
Regimes de Conjunto de Dados Completo: Mesmo quando os modelos são treinados no conjunto de dados completo, os métodos propostos superam as baselines na fusão zero-shot. Por exemplo, no CIFAR-100, o KF-Gradient alcançou 63,0% de precisão zero-shot comparado a 4,3% para o Transformer OTFusion. Após o ajuste fino, os métodos propostos consistentemente se aproximaram do desempenho de ensemble enquanto mantinham custos de inferência de modelo único.
Compressão e Heterogeneidade: O método fundiu com sucesso modelos de diferentes larguras e comprimiu modelos maiores (ResNet-50) em modelos menores (ResNet-18) com precisão significativamente maior do que a Distilação de Conhecimento (KD) padrão quando os dados eram limitados.
Robustez: A abordagem demonstrou robustez a tamanhos variados de conjuntos de dados de fusão, com aumento de dados mitigando efetivamente a necessidade de grandes conjuntos de fusão.

Significado e Alegações

O artigo alega abordar três lacunas-chave na pesquisa anterior:

Reprodutibilidade: Fornecer uma reimplementação flexível e de código aberto que facilita a avaliação sistemática entre arquiteturas.
Qualidade do Modelo Base: Demonstrar que métodos de fusão podem produzir melhorias significativas mesmo quando os modelos base são bem treinados, desafiando a noção de que resultados ruins de fusão são devidos exclusivamente a baselines fracas.
Dados Heterogêneos: Mostrar que métodos existentes falham na fusão zero-shot sob condições não-IID, enquanto a abordagem centrada em neurônios proposta integra com sucesso modelos treinados em distribuições de dados disjuntas ou enviesadas.

Os autores enfatizam que sua abordagem é a primeira a incorporar com sucesso pontuações de importância de neurônios na fusão de modelos, levando a melhorias consistentes sobre as baselines existentes, particularmente em cenários zero-shot e não-IID onde outros métodos falham. Eles posicionam o método como uma solução prática para Aprendizado Federado e agregação de modelos que preservam a privacidade, onde o re-treinamento não é uma opção. Embora reconheçam que as variantes baseadas em gradiente são computacionalmente mais caras do que baselines leves, os autores argumentam que esse sobrecusto é justificado pela capacidade de produzir modelos fundidos viáveis em regimes onde os concorrentes produzem resultados inutilizáveis.