Unraveling LoRA Interference: Orthogonal Subspaces for Robust Model Merging

Resumo Técnico: Desvendando a Interferência de LoRA: Subespaços Ortogonais para uma Fusão de Modelos Robusta

Declaração do Problema
Embora o ajuste fino (fine-tuning) de grandes modelos de linguagem (LMs) para tarefas específicas resulte em um desempenho forte, manter modelos separados para cada tarefa é dispendioso em termos de armazenamento e implantação. A fusão de modelos (model merging) oferece uma solução ao combinar múltiplos modelos específicos de tarefas em um único modelo multitarefa sem treinamento adicional. No entanto, os métodos de fusão existentes frequentemente falham quando aplicados a modelos ajustados com Adaptação de Baixo Rank (LoRA), resultando em uma degradação significativa de desempenho.

Os autores argumentam que essa degradação decorre da interferência de parâmetros, impulsionada pela interação entre os parâmetros do modelo e as distribuições de dados. Especificamente, ao fundir módulos LoRA (por exemplo, $W_m = W_0 + B_1A_1 + B_2A_2$), o termo de atualização de uma tarefa ($B_2A_2$) atua como uma "perturbação" não pretendida nas características latentes de outra tarefa ($h_1$), deslocando as saídas para longe da resposta pretendida. Abordagens anteriores data-free (sem dados), focadas apenas na ortogonalidade ou alinhamento de vetores de tarefa, frequentemente negligenciam essa interação crucial entre características latentes e atualizações de parâmetros.

Metodologia: OSRM
O artigo propõe o Orthogonal Subspaces for Robust model Merging (OSRM), um método que restringe o subespaço LoRA antes do ajuste fino para minimizar a interferência com distribuições de dados fora da tarefa.

1. Objetivo Central: O método visa reduzir o termo de interferência $\|B_2A_2 h_1\|$ minimizando a norma de Frobenius $\|A_2 H_1^\top\|_F$, onde $H_1$ representa a matriz de características latentes de amostras de uma tarefa diferente ($T_1$).
2. Solução Analítica: Para evitar soluções triviais (ex: $A_2=0$) e manter o poder de representação, os autores impõem uma restrição de que $A_2$ deve ter linhas ortonormais ($A_2 A_2^\top = I$). Sob essa restrição, a inicialização ótima para $A_2$ é derivada analiticamente usando a decomposição em autovalores da matriz de covariância de amostra $S = \frac{1}{k-1}H^\top H$. Especificamente, $A_2$ é inicializada usando os autovetores correspondentes aos menores autovalores de $S$. Isso posiciona o subespaço LoRA em direções onde os dados fora da tarefa possuem variância mínima.
3. Extensões Práticas:
   • Relaxamento durante o Ajuste Fino: Embora a solução teórica sugira congelar $A_2$, os autores descobrem que isso degrada a precisão da tarefa única; em vez disso, eles usam a solução analítica apenas como inicialização para $A_2$, permitindo que ela seja atualizada durante o ajuste fino. Resultados empíricos mostram que o desvio do estado ortogonal inicial é marginal (aprox. 14%), preservando a validade do método.
   • Escalabilidade e Privacidade: Para fundir $N$ tarefas, o método agrega características latentes de todas as tarefas, exceto a tarefa alvo $T_t$. Para reduzir o uso de memória e abordar preocupações de privacidade, os autores propõem a média das características latentes por amostra antes da concatenação.
   • Aplicação Post-Hoc: O método pode ser estendido a módulos LoRA existentes através da decomposição de pesos aprendidos usando a base derivada pelo OSRM, embora isso possa acarretar alguma perda de desempenho.

Principais Contribuições

• Identificação da Interação Dados-Parâmetro: O artigo destaca que a interferência de parâmetros no merging de LoRA não é apenas uma função de conflitos de pesos, mas está profundamente ligada a como os parâmetros interagem com distribuições de dados específicas.
• Restrição Pré-Ajuste Fino: Diferente de trabalhos anteriores que operam durante ou após a fusão, o OSRM intervém antes do ajuste fino, inicializando o subespaço LoRA para ser ortogonal a distribuições de dados irrelevantes.
• Integração Plug-and-Play: O método foi desenhado para integrar-se perfeitamente com algoritmos de fusão existentes (ex: Task Arithmetic, Fisher Merging, TIES, RegMean, EMR) sem exigir mudanças na lógica de fusão.
• Robustez: O método demonstra redução de sensibilidade a hiperparâmetros como coeficientes de escala, tamanhos de amostra e número de tarefas.

Resultados Experimentais
Os autores avaliaram o OSRM em oito conjuntos de dados do benchmark GLUE usando três LMs amplamente utilizados (RoBERTa-large, T5-large, Llama3.2-1B) e dois LMs maiores (Llama3.2-3B, Llama3-8B).

• Ganhos de Desempenho: O OSRM superou consistentemente as bases de comparação de fusão em todos os modelos e técnicas de fusão testados.
  • No RoBERTa-large, o OSRM melhorou significativamente o desempenho médio sobre as bases (ex: +13% em CoLA para Task Arithmetic, +21% em MNLI para Fisher Merging).
  • No T5-large, superou substancialmente as bases em RegMean (+3,76% de média) e Fisher (+7,9% de média).
  • No Llama3.2-1B e 3B, o OSRM superou as bases em TA, RegMean, TIES e EMR, com melhorias por tarefa atingindo até 12,78%.
• Preservação de Tarefa Única: O método impacta minimamente a precisão da tarefa única (lacuna média <1%) e frequentemente supera o desempenho da base de tarefa única.
• Robustez:
  • Coeficiente de Escala: O OSRM manteve o desempenho superior através de uma ampla gama de coeficientes de escala ($\lambda \in [0.1, 1.3]$), enquanto as bases foram mais sensíveis.
  • Tamanho da Amostra: O método funcionou bem com apenas 100 amostras para inicialização.
  • Contagem de Tarefas: As vantagens de desempenho tornaram-se mais pronunciadas conforme o número de tarefas fundidas aumentava ($N > 5$).

Significância e Alegações
O artigo alega que o OSRM oferece uma estratégia generalizável para combinar modelos LoRA de forma mais eficaz ao abordar explicitamente a interação entre dados e parâmetros. Os autores enfatizam que sua abordagem fornece uma solução plug-and-play que aumenta o desempenho da fusão enquanto preserva a precisão da tarefa única. Eles argumentam que considerar as interações dados-parâmetros é crítico para uma fusão de modelos robusta, indo além de estratégias puramente data-free que focam apenas no alinhamento de pesos. Os resultados sugerem que restringir o subespaço LoRA antes do ajuste fino é um passo vital para mitigar os deslocamentos indesejados de saída que atualmente assolam a fusão de modelos LoRA.