Resumo Técnico: Fusão de Modelos por Projeção no Espaço de Saída

Declaração do Problema

A proliferação de modelos de linguagem e visão ajustados finamente para tarefas específicas criou uma demanda por fusão de modelos—o processo de combinar múltiplos checkpoints ajustados finamente em um único modelo multi-tarefa sem re-treinamento. Embora abordagens práticas existentes, como Task Arithmetic, Model Soups, TIES e DARE, tenham demonstrado sucesso empírico, elas dependem de escolhas heurísticas de design (por exemplo, pesos escalares fixos, mascaramento estocástico ou poda baseada em sinais). Crucialmente, esses métodos carecem de uma caracterização matemática formal dos pesos de combinação ótimos e não possuem uma função de perda precisa para a qual sejam comprovadamente ótimos.

Metodologia

Os autores propõem um framework que formula a fusão de modelos como um programa quadrático convexo (QP) sobre atualizações residuais, fundamentado numa perspectiva de projeção no espaço de saída.

1. Formulação como um QP Convexo

O artigo começa observando que a fusão via máscaras diagonais em resíduos ajustados finamente pode ser lançada como um QP convexo.

• Configuração: Dado um modelo base com pesos $\theta$ e $K$ modelos ajustados finamente com atualizações residuais $\{\delta^{(k)}_N\}$ em uma camada específica $N$, o objetivo é encontrar um resíduo fundido $\delta_{merge}$.
• Mascaramento Diagonal: O método aplica uma máscara diagonal $D_k = \text{diag}(d^{(k)})$ a cada resíduo antes de somar: $\delta_{merge}(d) = \sum_{k=1}^K D_k \delta^{(k)}_N$.
• Objetivo: O método minimiza um objetivo de calibração de saída ao quadrado $J(d) = \sum_{j \in \mathcal{K}} \|A_j d + b_j\|^2$ sobre um conjunto de calibração $\mathcal{K}$. Aqui, $b_j$ representa o erro do modelo base na entrada $x_j$, e $A_j$ codifica o efeito linearizado dos resíduos na saída.
• Optimalidade: Resolver este QP produz pesos que minimizam a perda de saída ao quadrado. Métodos existentes (Task Arithmetic, Model Soups, TIES, DARE) são mostrados como correspondendo a pontos viáveis específicos ou casos especiais deste QP (por exemplo, escalares fixos ou máscaras estocásticas específicas), implicando que a solução do QP é teoricamente superior ou igual sob o mesmo objetivo.

2. Base Geral e Erro Irredutível

Os autores estendem a abordagem de máscara diagonal para uma formulação de base geral para abordar as limitações da fusão alinhada aos eixos (diagonal).

• Perspectiva de Projeção: A fusão é vista como a aproximação dos erros residuais de um modelo base usando um subespaço de correções candidatas. A solução ótima corresponde à projeção dos resíduos do modelo base sobre o subespaço gerado pelas atualizações candidatas no espaço de saída.
• Erro Irredutível: O artigo deriva um diagnóstico de forma fechada para o erro irredutível de qualquer base escolhida. Este erro é determinado pela fração de energia residual capturada pelo subespaço escolhido.
• Base Ótima: A análise mostra que a base ótima para o problema de projeção relaxado é dada pelos autovetores principais da matriz de energia residual $S = \sum_{j} b_j b_j^\top$.
• Caracterização do Trade-off: O framework quantifica o trade-off entre a eficiência computacional do QP diagonal e os ganhos de desempenho da base ótima. Estabelece que a fusão diagonal é ótima quando as atualizações do modelo se decompõem em modos independentes em uma base compartilhada; caso contrário, a "lacuna de suboptimalidade" é mensurável através da fração de energia capturada.

3. Extensão Multi-Camada

Para fusão multi-camada, os autores propõem um algoritmo sequencial camada a camada. Como a otimização conjunta através das camadas é não-convexa devido a interações não-lineares, o método aplica o QP de camada única sequencialmente. Em cada etapa, o resíduo é atualizado usando o modelo fundido atual, e o QP é resolvido para a próxima camada, recalculando as Jacobianas necessárias.

Contribuições Principais

1. Framework Unificado: O artigo subsume métodos de fusão heurísticos existentes (Task Arithmetic, Model Soups, TIES, DARE) como casos especiais de um QP de máscara diagonal, fornecendo uma perspectiva matemática unificada.
2. Formulação Convexa: Estabelece que a fusão de modelos pode ser formulada como um programa quadrático convexo sobre atualizações residuais, garantindo um mínimo global para a base escolhida.
3. Diagnóstico de Forma Fechada: Os autores introduzem um diagnóstico computável—a fração de energia residual capturada por uma base escolhida—que prevê a qualidade da fusão a jusante usando apenas o conjunto de calibração, sem exigir avaliação completa a jusante.
4. Caracterização da Base Ótima: O trabalho identifica os componentes principais ponderados pela saída das ativações residuais como a base ótima para minimizar a perda de saída ao quadrado, esclarecendo quando a fusão diagonal é suficiente e quando uma base mais complexa é necessária.
5. Validação Empírica: O framework é validado em benchmarks de linguagem (LLaMA 3.1) e visão (ViT-B/32, MNIST), demonstrando ganhos consistentes sobre heurísticas existentes.

Resultados Experimentais

• Desempenho de Camada Única: Em experimentos de fusão de camada única no ViT-B/32 (ajustado finamente em CIFAR-10, STL-10, Imagenette, EuroSAT) e LLaMA 3.1, a solução do QP alcança o menor Erro Quadrático Médio (MSE) em todos os conjuntos de dados e a melhor precisão média em comparação com Task Arithmetic, Model Soups, TIES, DARE e fusão ponderada por Fisher.
• Análise de Base: Experimentos em tarefas de classificação de dígitos do MNIST demonstram que a base ótima (topos autovetores da matriz residual) consistentemente alcança o menor MSE. A base diagonal padrão, embora menos eficaz que a base ótima, permanece competitiva e supera heurísticas de referência, validando seu uso como um proxy eficiente.
• Ganhos Multi-Camada: A extensão multi-camada sequencial no LLaMA 3.1 mostra melhorias consistentes tanto no MSE quanto na precisão em tarefas de código, seguimento de instruções e matemática, em comparação com métodos de base.
• Utilidade Diagnóstica: A métrica de "energia capturada" prevê com sucesso a classificação de desempenho de diferentes escolhas de base, confirmando o vínculo teórico entre a captura de energia residual e a perda a jusante.

Significado e Alegações

O artigo alega fornecer um framework teórico unificador que explica o sucesso de heurísticas existentes e oferece um método principiado para melhorá-las.

• Rigor Teórico: Ao contrário de métodos anteriores que dependem de regras ad-hoc, esta abordagem oferece uma noção matemática precisa (minimização da perda de saída ao quadrado via projeção) para a qual o método é ótimo.
• Utilidade Prática: O framework fornece um diagnóstico computável para determinar quando a base ótima cara é necessária versus quando o QP diagonal mais barato é suficiente.
• Modéstia: Os autores reconhecem limitações, observando que o framework é derivado para um objetivo de saída ao quadrado linearizado. Eles afirmam explicitamente que estender o framework para perdas não quadráticas (como entropia cruzada) e desenvolver aproximações escaláveis para a base ótima em configurações de alta dimensão permanecem direções importantes para trabalho futuro. Eles também notam que um MSE menor nem sempre correlaciona perfeitamente com maior precisão de tarefa, uma limitação observada em seus experimentos com LLM.

Em resumo, o artigo reformula a fusão de modelos de uma combinação heurística de pesos para um problema de otimização convexa no espaço de saída, oferecendo tanto uma justificação teórica para métodos existentes quanto um caminho para estratégias de fusão mais ótimas.