Preference-Aligned LoRA Merging: Preserving Subspace Coverage and Addressing Directional Anisotropy

1. Problema e Motivação

A Adaptação de Baixo RANK (LoRA) é amplamente utilizada para ajustar grandes modelos fundamentais (LLMs e VLMs) a tarefas específicas de forma eficiente. No entanto, há uma necessidade crescente de combinar múltiplos adaptadores LoRA treinados em diferentes tarefas em um único modelo generalista, evitando o custo de treinamento multi-tarefa.

O problema central abordado neste trabalho é que a fusão (merging) ingênua de múltiplos módulos LoRA frequentemente falha devido a dois fenômenos críticos:

1. Falta de Cobertura do Subespaço (Subspace Coverage): Quando adaptadores são fundidos, as direções de atualização de diferentes tarefas podem colapsar ou interferir destrutivamente, reduzindo a dimensionalidade efetiva do espaço de representação. Isso significa que o modelo fundido perde acesso a informações específicas de certas tarefas.
2. Anisotropia Direcional (Directional Anisotropy): Existe um desequilíbrio na sensibilidade das diferentes direções LoRA em relação às perdas das tarefas. Algumas direções têm um impacto desproporcionalmente grande no desempenho de certas tarefas, enquanto outras são subutilizadas. Métodos de fusão existentes muitas vezes tratam todas as direções de forma igual ou global, ignorando essa sensibilidade direcional específica, o que leva a trade-offs de desempenho ruins.

A maioria dos métodos atuais (como Task Arithmetic, TIES-Merging ou AdaMerging) foca em apenas um desses aspectos ou ignora a estrutura fatorada do LoRA, resultando em modelos fundidos que não preservam fielmente o desempenho de todas as tarefas originais.

2. Metodologia: TARA-Merging

Os autores propõem o TARA (Task-Rank Anisotropy Alignment), um novo framework de fusão que aborda simultaneamente a cobertura do subespaço e a anisotropia. O método opera em duas variantes principais:

A. Análise Teórica

• Cobertura do Subespaço: Medida usando a Rankeamento Efetivo (Effective Rank - erank) baseado em entropia. O objetivo é garantir que a fusão preserve a diversidade das direções de rank-1 de cada adaptador, evitando o colapso do subespaço.
• Anisotropia: Analisada através dos valores singulares da Jacobiana da perda da tarefa restrita ao espaço LoRA. O trabalho demonstra que a sensibilidade da perda varia drasticamente entre direções e depende das preferências do usuário (quais tarefas são mais importantes).

B. O Framework TARA

O TARA formula a fusão como um problema de otimização multi-objetivo, alinhando os pesos de fusão com as preferências do usuário (definidas por um vetor $\rho$).

1. Estrutura de Fusão:

   • Variante A (Seleção por Rank): Repondera individualmente os fatores de rank-1 ($b_{ij}a_{ij}^T$) de cada adaptador. Foca no controle da anisotropia dentro de cada adaptador.
   • Variante B (Seleção de Direção Singular Compartilhada): Constrói uma base ortonormal compartilhada entre todas as tarefas usando SVD (Decomposição em Valores Singulares) sobre os vetores de tarefa concatenados. Isso preserva a cobertura do subespaço ao manter as direções principais comuns, enquanto os pesos ajustam a importância de cada componente.

2. Função de Otimização:

   • Utiliza uma Escalonização Suave de Tchebycheff (Smooth Tchebycheff Scalarization) com uma pseudo-perda de entropia ponderada por preferências.
   • A função objetivo $\Psi(\phi, \rho)$ minimiza a entropia de saída (usando dados de calibração) enquanto respeita as preferências das tarefas.
   • O processo aprende os coeficientes de seleção de direção ($\phi$) para ajustar a contribuição de cada direção LoRA, garantindo que as direções críticas para tarefas prioritárias sejam preservadas e que a anisotropia seja mitigada.

3. Contribuições Principais

1. Identificação de Propriedades Chave: O trabalho estabelece a Cobertura do Subespaço e a Anisotropia Direcional como as duas propriedades fundamentais para analisar e guiar a fusão de LoRA, demonstrando que ignorar qualquer uma delas leva a degradação de desempenho.
2. Framework TARA: Introdução de um método que alinha preferências de tarefa e rank, preservando a cobertura dos subespaços LoRA enquanto mitiga desequilíbrios induzidos pela anisotropia através de reponderação direcional.
3. Validação Empírica Abrangente: Demonstração de que o TARA supera consistentemente métodos vanilla (como Task Arithmetic) e métodos conscientes de LoRA (como KnOTS, LoRA-LEGO) em benchmarks de visão e linguagem.

4. Resultados Experimentais

Os autores avaliaram o TARA em 8 benchmarks de visão (usando CLIP ViT-B/32) e 6 tarefas de Inferência de Linguagem Natural (NLI) (usando LLaMA-3 8B).

• Desempenho em Tarefas Individuais:
  • Na visão, o TARA-Variant B alcançou uma precisão média normalizada de 76.3%, superando o melhor baseline LoRA-aware (KnOTS-TIES, 68.0%) e métodos vanilla.
  • Em NLI com LLMs, o TARA-Variant B atingiu 80.3% de precisão média normalizada, superando significativamente o AdaMerging (78.7%) e outros baselines.
• Avaliação de Tarefa Conjunta (Joint-Task):
  • Em cenários onde o modelo fundido deve operar em todos os datasets simultaneamente, o TARA obteve os melhores resultados em Hits@1 e Hits@5, demonstrando uma melhor integração de conhecimento entre tarefas.
• Generalização para Tarefas Não Vistas:
  • O TARA demonstrou superioridade na generalização para datasets que não foram usados durante a fusão, indicando que a preservação da cobertura do subespaço ajuda a manter a capacidade de representação do modelo.
• Robustez a Preferências:
  • Análise de sensibilidade mostrou que o TARA produz uma nuvem de pontos de desempenho mais compacta e estável sob perturbações nas preferências das tarefas, comparado ao AdaMerging.
• Eficiência:
  • Embora envolva otimização baseada em gradiente, o custo computacional e de memória é gerenciável (completa fusão em ~15-30 minutos para modelos grandes), sendo competitivo com métodos que exigem busca em grade (grid search) para hiperparâmetros.

5. Significado e Conclusão

O artigo TARA-Merging representa um avanço significativo na área de fusão de modelos, especialmente para adaptadores eficientes como o LoRA.

• Mudança de Paradigma: O trabalho move o foco de simples combinações lineares ou poda de parâmetros para uma abordagem que considera a geometria do espaço de parâmetros (cobertura do subespaço) e a sensibilidade direcional (anisotropia).
• Aplicabilidade Prática: Ao demonstrar eficácia tanto em modelos de visão (CLIP) quanto em LLMs (LLaMA), o método prova ser uma solução robusta para construir sistemas generalistas a partir de especialistas de nicho sem necessidade de retreinamento massivo.
• Implicação Futura: A descoberta de que a anisotropia direcional é um fator crítico sugere que futuros métodos de fusão devem incorporar mecanismos de reponderação sensível à tarefa e à direção, em vez de tratar os pesos do modelo como um bloco homogêneo.

Em resumo, o TARA oferece uma solução matematicamente fundamentada e empiricamente validada para criar modelos fundidos que são não apenas eficientes, mas também fiéis às capacidades originais de múltiplas tarefas, superando as limitações dos métodos atuais.