Disentangling Task Conflicts in Multi-Task LoRA via Orthogonal Gradient Projection

Resumo Técnico: Desentrelaçando Conflitos de Tarefas em Multi-Task LoRA via Projeção de Gradiente Ortogonal

1. Definição do Problema

O artigo aborda o desafio da transferência negativa no Aprendizado Multitarefa (MTL) quando aplicado a Grandes Modelos de Linguagem (LLMs) usando Low-Rank Adaptation (LoRA). Embora o LoRA ofereça uma maneira eficiente de ajustar parâmetros de LLMs atualizando apenas matrizes de baixo posto ($A$ e $B$), compartilhar um único adaptador entre múltiplas tarefas frequentemente leva à degradação de desempenho em comparação com o ajuste fino de tarefa única.

Os autores argumentam que esse problema é exacerbado no LoRA devido ao "conflito de gargalo" (bottleneck conflict). Diferente do ajuste fino total (full fine-tuning), que opera em um espaço de alta dimensão com ampla liberdade de graus para encontrar um ponto "Pareto estacionário" para objetivos conflitantes, o LoRA restringe a otimização a uma variedade de baixo posto (ex: rank $r=8$). Essa severa redução de capacidade força os gradientes específicos de cada tarefa a colidirem com mais frequência, resultando em interferência destrutiva, onde melhorias em uma tarefa ocorrem às custas de outras.

2. Metodologia: Ortho-LoRA

A solução proposta, Ortho-LoRA, é um método de projeção de gradiente adaptado especificamente para a estrutura algébrica bipartida do LoRA.

• Mecanismo Central: Inspirado no PCGrad (Projecting Conflicting Gradients), o Ortho-LoRA projeta dinamicamente gradientes de tarefas conflitantes no complemento ortogonal um do outro antes das atualizações de parâmetros. Se a similaridade de cosseno entre dois gradientes de tarefas for negativa, o gradiente de uma tarefa é projetado no plano normal da outra para remover o componente conflitante.
• Desacoplamento Consciente da Estrutura: Uma inovação fundamental é a aplicação desta projeção às matrizes constituintes do LoRA ($A$ e $B$) de forma independente, em vez de achatar todos os parâmetros em um único vetor.
  • $A$ projeta as entradas em um subespaço latente (extração de características).
  • $B$ projeta as características latentes de volta para o espaço de saída (reconstrução de estado).
  • Ao impor a ortogonalidade separadamente em $g^{(A)}$ e $g^{(B)}$, o método permite que o modelo compartilhe representações de entrada úteis mesmo se os requisitos de saída diferirem, preservando informações de transferência que poderiam ser perdidas em uma projeção global.
• Procedimento de Treinamento: O algoritmo calcula os gradientes para cada tarefa separadamente, detecta conflitos e aplica a projeção. Para garantir uma otimização imparcial em configurações multitarefa ($T > 2$), a ordem de projeção é randomizada a cada etapa de treinamento.
• Complexidade: Embora o método exija $T$ passagens de retropropagação (uma por tarefa) em vez de uma, o overhead computacional é insignificante. A projeção opera exclusivamente nos parâmetros do LoRA, que constituem menos de 0,1% do tamanho total do modelo. O principal gargalo computacional permanece sendo a passagem de ida/volta (forward/backward) através do backbone do LLM congelado.

3. Principais Contribuições

O artigo delineia três contribuições primárias:

1. Identificação do Problema: Os autores identificam e analisam o "conflito de gargalo" inerente à aplicação de MTL a adaptadores de baixo posto, argumentando que as restrições de baixo posto amplificam a transferência negativa em comparação ao ajuste fino total.
2. Proposta de Algoritmo: Eles propõem o Ortho-LoRA, um algoritmo computacionalmente eficiente que impõe ortogonalidade de gradiente especificamente dentro do espaço do adaptador (matrizes $A$ e $B$) para mitigar a transferência negativa sem modificações arquiteturais.
3. Validação Empírica: Através de experimentos no benchmark GLUE, eles demonstram que o Ortho-LoRA recupera aproximadamente 95% da lacuna de desempenho entre as linhas de base multitarefa e de tarefa única, utilizando apenas $1/N$ dos parâmetros (onde $N$ é o número de tarefas).

4. Resultados Experimentais

Os experimentos foram conduzidos no benchmark GLUE (MNLI, QQP, SST-2) usando um backbone RoBERTa-base com rank LoRA $r=8$.

• Desempenho: O Joint-LoRA padrão (adaptador compartilhado treinado com soma de perda) mostrou uma queda de desempenho de ~1,5 pontos em relação ao Single-Task LoRA. O Ortho-LoRA mitigou significativamente isso, alcançando uma pontuação média de 89,6, que está a apenas 0,3 pontos do limite superior de tarefa única (89,9).
• Taxa de Recuperação: O Ortho-LoRA recuperou cerca de 80% da queda de desempenho em todo o espectro, com recuperação quase perfeita na tarefa QQP (87,9 vs. 88,1 para tarefa única).
• Estudos de Ablação:
  • Sensibilidade ao Rank: O método forneceu ganhos consistentes em ranks $r \in \{4, 8, 16, 32\}$. A melhoria foi mais pronunciada em ranks menores ($r=4$), confirmando o valor do método em cenários de alta eficiência de parâmetros, onde o gargalo é mais severo.
  • Convergência: Embora o Ortho-LoRA tenha levado 1,4x mais tempo em tempo de execução (wall-clock time) devido às múltiplas retropropagações, ele convergiu em menos épocas do que o Joint-LoRA. Ele estabilizou a trajetória de otimização, evitando as curvas de perda oscilantes causadas por atualizações conflitantes.

5. Significância e Alegações

O artigo afirma que o Ortho-LoRA oferece uma solução de "meio-termo" robusta entre a eficiência do treinamento conjunto e o desempenho do ajuste fino de tarefa única.

• Eficiência vs. Desempenho: Demonstra que a ortogonalidade explícita de gradiente pode alcançar o desentrelaçamento de tarefas comparável a soluções arquiteturais complexas (como Mixture-of-Experts ou FlyLoRA) sem introduzir parâmetros adicionais (roteadores) ou lógica de roteamento complexa.
• Escalabilidade: O método mantém a simplicidade estrutural de um único módulo LoRA compartilhado, tornando-o adequado para implantar um único sistema capaz de lidar com múltiplas tarefas downstream com overhead mínimo de armazenamento.
• Direções Futuras: Os autores sugerem modestamente que trabalhos futuros poderiam explorar a aplicação desta estratégia de projeção a outros métodos de PEFT (ex: Prefix-Tuning) e combiná-la com ponderação dinâmica de tarefas.

Em resumo, o Ortho-LoRA fornece uma intervenção leve ao nível de otimização que resolve eficazmente os conflitos de gradiente específicos decorrentes das restrições de baixo posto do LoRA, permitindo uma adaptação multitarefa de alto desempenho com custo computacional desprezível.