Resumo Técnico: Quando o Conhecimento Compartilhado Prejudica: Acumulação Espectral Excessiva na Fusão de Modelos

1. Declaração do Problema

A fusão de modelos combina múltiplos modelos ajustados finamente em um único modelo unificado operando diretamente no espaço de pesos, oferecendo uma alternativa leve ao re-treinamento. Embora os métodos existentes focassem principalmente na resolução de conflitos entre atualizações de tarefas (por exemplo, via mascaramento ou poda), eles frequentemente ignoram um modo de falha específico: a acumulação espectral excessiva.

Os autores identificam que, quando múltiplas tarefas compartilham direções espectrais alinhadas (ou seja, vetores singulares sobrepostos), uma combinação linear simples de matrizes de tarefas agrega repetidamente esses componentes compartilhados. Esse fenômeno leva a:

• Inflação de valores singulares: Os valores singulares correspondentes a subespaços compartilhados tornam-se desproporcionalmente grandes.
• Desequilíbrio espectral: O modelo fundido torna-se dominado por alguns subespaços espectrais superiores contendo conhecimento compartilhado, enquanto componentes específicos de tarefas nos subespaços restantes são suprimidos.
• Degradação de desempenho: Contrariamente à intuição de que o conhecimento compartilhado é benéfico, sua contagem excessiva viésa o modelo e reduz o desempenho downstream em benchmarks de visão e linguagem.

2. Metodologia: Calibração de Valor Singular (SVC)

Para abordar a acumulação espectral excessiva sem exigir dados adicionais, treinamento ou otimização, os autores propõem a Calibração de Valor Singular (SVC), um método de pós-processamento.

Fundamentação Teórica

O método baseia-se em uma análise de projeção no espaço de saída. Ao decompor a matriz de tarefas fundida $\Delta W_{merge}$ via Decomposição em Valores Singulares (SVD), os autores definem uma base de espaço de saída compartilhada $\{u_r\}$. Eles projetam matrizes de tarefas individuais sobre essa base para medir quanto cada tarefa contribui para subespaços espectrais específicos.

• Coeficiente de Projeção ($s_i^r$): Esta métrica quantifica a escala da resposta da tarefa $i$ no subespaço $r$ após a fusão. Se $s_i^r > 1$, indica que a atualização fundida amplificou a direção da tarefa $i$ devido à acumulação construtiva de outras tarefas (contagem espectral excessiva).
• Mecanismo de Inflação: O artigo demonstra que produtos internos positivos entre tarefas no espaço de saída levam a $s_i^r > 1$, fazendo com que o valor singular fundido $\sigma_r$ exceda a magnitude ótima de projeção necessária para preservar as capacidades individuais das tarefas.

Passos do Algoritmo

1. Construção da Base: Calcule a SVD da matriz de tarefas fundida $\Delta W_{merge} = U\Sigma V^\top$ para obter os vetores singulares esquerdos $\{u_r\}$ como o sistema de coordenadas compartilhado.
2. Quantificação de Sobreposição: Para cada subespaço $r$ e tarefa $i$, calcule o coeficiente de projeção $s_i^r = \frac{\langle a_{merge}^r, a_i^r \rangle}{\|a_i^r\|_2^2}$, onde $a^r$ representa a resposta ao longo de $u_r$.
3. Fator de Calibração: Agregue esses coeficientes entre as tarefas para derivar um fator de calibração $\gamma_r$ para cada subespaço. Este fator é projetado para reduzir o peso de subespaços que exibem forte contagem excessiva (onde muitos $s_i^r$ são grandes).
   • $\gamma_r = K / \sum_{i=1}^K \max(\alpha, s_i^r)$, onde $\alpha$ é um hiperparâmetro (padrão $1/K$) que previne instabilidade.
4. Redimensionamento: Ajuste os valores singulares mantendo os vetores singulares (direções) fixos: $\tilde{\sigma}_r = \gamma_r \sigma_r$.
5. Reconstrução: Reconstrua a matriz fundida calibrada $\tilde{\Delta W}_{merge} = \sum \tilde{\sigma}_r u_r v_r^\top$ e atualize os pesos pré-treinados.

3. Contribuições Principais

• Identificação da Contagem Espectral Excessiva: O artigo isola um modo de falha específico na fusão de modelos onde a agregação redundante de conhecimento compartilhado infla valores singulares em subespaços dominantes, distinto de conflitos tradicionais de pesos.
• Método SVC: Uma técnica de pós-processamento sem treinamento e sem dados que quantifica a sobreposição no espaço de saída e redimensiona valores singulares para restaurar o equilíbrio espectral. Atua como um módulo plug-in compatível com bases de fusão existentes.
• Validação Teórica e Empírica: Os autores fornecem uma análise teórica ligando incompatibilidades de projeção à inflação de valores singulares e demonstram que esse fenômeno persiste em várias estratégias de fusão (por exemplo, Aritmética de Tarefas, TIES, DARE).

4. Resultados Experimentais

Os autores avaliaram o SVC em diversos benchmarks usando modelos de Visão (ViT-B/32, ViT-B/16, ViT-L/14) e Linguagem (BERT, T5, LLaMA2-7B, T0).

• Visão Computacional (CV): Em um benchmark de classificação de 8 tarefas, o SVC melhorou a base Aritmética de Tarefas (TA) em 13,0% (de 68,9% para 81,9% de precisão média). Também produziu ganhos consistentes sobre outras bases fortes como TIES, DARE e TSV-M.
• Processamento de Linguagem Natural (NLP): O SVC melhorou o desempenho em tarefas de classificação e generativas. Por exemplo, no modelo T0 com ajuste fino IA3, o SVC melhorou a TA em 12,3%. No LLaMA2-7B, mostrou ganhos significativos nos benchmarks AlpacaEval e GSM8K.
• Generalidade: O método provou ser eficaz em diferentes tamanhos e arquiteturas de modelos. Também funcionou como uma ferramenta de "otimização de preferência", permitindo que o modelo fundido priorizasse tarefas específicas ajustando a calibração com base em uma tarefa-alvo.
• Eficiência: O SVC introduz sobrecarga mínima, exigindo apenas uma única etapa offline de SVD e reconstrução, sem computação de gradiente ou dados auxiliares.

5. Significado e Alegações

O artigo afirma que as falhas na fusão de modelos não se devem apenas a atualizações conflitantes, mas também derivam da acumulação redundante de componentes alinhados. Ao deslocar o foco da resolução de conflitos para o equilíbrio espectral, o SVC oferece um mecanismo simples, porém eficaz, para corrigir a "contagem excessiva" de conhecimento compartilhado.

Os autores posicionam o SVC como uma ferramenta complementar que pode ser aplicada sobre métodos de fusão existentes (incluindo métodos do espaço espectral como Iso-CTS) para refinar ainda mais o desempenho. Eles enfatizam que, embora outros métodos possam abordar conflitos ou colapso de rank, o SVC visa especificamente a inflação de subespaços dominantes causada por interferência construtiva, restaurando assim um espectro mais equilibrado e melhorando a generalização em múltiplas tarefas.