Resumo Técnico: Fusão de Modelos Bayesiana (BMM)

Definição do Problema

A fusão de modelos visa combinar múltiplos modelos especialistas específicos de tarefas em uma única arquitetura, sem retreinamento conjunto ou acesso aos dados originais de treinamento. Este paradigma aborda a sobrecarga de armazenamento e implantação de manter especialistas separados e os custos proibitivos da aprendizagem multi-tarefa sob silos de dados ou restrições de privacidade.

Os métodos de fusão existentes enfrentam duas limitações primárias:

1. Subutilização do Viés Indutivo: A maioria dos métodos estima pesos fundidos do zero, falhando em aproveitar o conhecimento prévio valioso embutido em modelos "âncora" fortes (por exemplo, soluções de fusão existentes como Task Arithmetic ou TSV).
2. Falta de Otimização Global: Métodos avançados frequentemente operam módulo a módulo em isolamento ou dependem de hiperparâmetros compartilhados entre módulos de rede heterogêneos, carecendo de uma estratégia para coordenar globalmente as forças de regularização a fim de maximizar o desempenho de ponta a ponta.

Além disso, muitos métodos requerem dados de calibração auxiliares (assistidos por dados), que frequentemente estão indisponíveis devido a restrições de privacidade ou armazenamento, enquanto métodos livres de dados frequentemente carecem de fundamentação teórica para aproximar estatísticas de ativação efetivamente.

Metodologia

O artigo introduz a Fusão de Modelos Bayesiana (BMM), um framework de otimização bi-nível plug-and-play.

1. Regressão Bayesiana Baseada em Ativação (Loop Interno)

A BMM formula a fusão módulo a módulo como um problema de regressão linear bayesiana.

• Indução de Priori: Em vez de estimar pesos do zero, a BMM utiliza um modelo âncora forte (por exemplo, TA, TIES, TSV) para definir uma priori. O vetor de tarefa fundido $U$ é regularizado por um vetor de tarefa âncora $U^{(0)}$ através de uma priori Gaussiana independente elemento a elemento.
• Verossimilhança: No cenário assistido por dados, a verossimilhança é derivada de estatísticas empíricas de ativação ($X$) e saídas residuais ($Y$) coletadas de um pequeno conjunto de calibração.
• Solução de Forma Fechada: A estimativa de Máxima A Posteriori (MAP) do vetor de tarefa fundido é derivada analiticamente:
  $$U_{MAP} = (YX^\top + \lambda U^{(0)})(XX^\top + \lambda I)^{-1}$$
  onde $\lambda$ é um peso de regularização que equilibra o ajuste empírico e a priori âncora. Isso fornece uma solução de forma fechada eficiente para a fusão módulo a módulo.

2. Otimização Bayesiana para Coordenação Global (Loop Externo)

Para abordar a heterogeneidade dos módulos de rede, a BMM não utiliza um único hiperparâmetro compartilhado. Em vez disso, emprega Otimização Bayesiana (BO) para buscar globalmente forças de regularização específicas de módulo ($\lambda$).

• Objetivo: O loop externo maximiza a evidência preditiva (aproximada pelo desempenho no conjunto de validação) sobre os hiperparâmetros $\lambda$.
• Eficiência: Um modelo substituto de Processo Gaussiano (GP) guia a busca, equilibrando exploração e exploração. Para gerenciar a complexidade computacional em modelos grandes (por exemplo, ViT-L/14), os autores propõem uma estratégia de amarração de parâmetros em blocos, agrupando módulos por função (por exemplo, atenção-entrada, MLP-saída) para reduzir a dimensionalidade do espaço de busca.

3. Variante Livre de Dados via Alinhamento Teórico

Para permitir a fusão sem dados de calibração auxiliares, os autores derivam uma variante livre de dados baseada em um alinhamento teórico entre estatísticas de ativação e vetores de tarefa.

• Teorema 1: Sob suposições leves relativas à fase terminal do ajuste fino (colapso neural e geometria de representação), a matriz de Gram das ativações de entrada ($E[xx^\top]$) está positivamente correlacionada com a matriz de Gram dos vetores de tarefa ($U^\top U$).
• Aproximação: Este alinhamento permite a substituição das estatísticas de ativação empíricas por um substituto derivado exclusivamente dos pesos dos especialistas: $XX^\top \approx c \sum (U^{(t)})^\top U^{(t)}$.
• Resultado: Isso produz uma estimativa MAP livre de dados que mantém a solução de forma fechada, não requerendo dados de calibração, apenas os vetores de tarefa dos especialistas e da âncora.

Contribuições Principais

1. Framework de Otimização Bi-nível: A BMM combina um estimador MAP de loop interno de forma fechada (aproveitando priores âncora) com uma otimização bayesiana de loop externo para coordenação global de hiperparâmetros.
2. Derivação Teórica Livre de Dados: O artigo estabelece um vínculo teórico entre estatísticas de ativação e vetores de tarefa (Teorema 1), permitindo uma variante livre de dados da fusão bayesiana que preserva a solução de forma fechada.
3. Flexibilidade Plug-and-Play: O framework é modular, permitindo que qualquer solução de fusão existente sirva como priori âncora, e suporta cenários tanto assistidos por dados quanto livres de dados.

Resultados Experimentais

Os autores avaliaram a BMM em benchmarks de visão (ViT-B/32, ViT-L/14) e linguagem (Llama-3.2-3B, Llama-3.1-8B) em cenários de fusão de 8, 14 e 20 tarefas.

• Ganhos de Desempenho: A BMM superou consistentemente todas as bases de referência âncora plug-and-play (TA, TIES, RegMean, TSV, WUDI-Merging, ISO-CTS) em cenários assistidos por dados e livres de dados.
  • No benchmark ViT-L/14 de 8 tarefas, um único modelo fundido por BMM alcançou 95,1% de precisão (assistido por dados) e 95,0% (livre de dados), correspondendo de perto ao desempenho médio dos oito especialistas individuais específicos de tarefa (95,8%).
  • Melhorias relativas sobre âncoras mais fracas (por exemplo, TA, TIES) atingiram até 27%.
• Escalabilidade: A BMM manteve a eficácia à medida que o número de tarefas fundidas aumentava (até 20 tarefas), aliviando com sucesso a interferência entre tarefas.
• Eficiência: Apesar da busca BO, a BMM permaneceu computacionalmente competitiva. Por exemplo, no ViT-B/32, a BMM com apenas 20 tentativas de BO superou as bases de referência que exigiam buscas exaustivas em grade (225 configurações), reduzindo significativamente o tempo de relógio.
• Estudos de Ablação:
  • Coordenação Global: Substituir a BO por $\lambda$ compartilhado ou busca aleatória resultou em desempenho inferior, confirmando a necessidade de otimização global específica de módulo.
  • Validade Livre de Dados: A variante livre de dados performou comparavelmente à variante assistida por dados, validando o alinhamento teórico entre estatísticas de ativação e vetores de tarefa.
  • Calibração de Incerteza: Uma variante baseada em amostragem da BMM (usando a posteriori Gaussiana completa) demonstrou Erro de Calibração Esperado (ECE) melhorado em comparação com a estimativa pontual, sem sacrificar a precisão.

Significado e Alegações

O artigo alega que a BMM fornece um caminho prático e escalável para a fusão de modelos quando dados de calibração auxiliares são limitados ou indisponíveis. Ao combinar priores âncora informativos com coordenação global de hiperparâmetros, a BMM preenche a lacuna entre o desempenho de especialistas individuais específicos de tarefa e modelos multi-tarefa unificados.

Os autores enfatizam que sua abordagem não requer retreinamento conjunto ou acesso aos dados originais de treinamento, tornando-a adequada para ambientes com silos de dados ou restrições de privacidade. A derivação da variante livre de dados é destacada como uma contribuição teórica chave, demonstrando que a estrutura geométrica dos vetores de tarefa pode substituir efetivamente as estatísticas de ativação empíricas. Os resultados sugerem que aproveitar soluções de fusão existentes como priores, em vez de tratar a fusão como uma combinação zero-shot, é um fator crítico para alcançar desempenho state-of-the-art.