Resumo Técnico: Slice – Inicialização de Adaptadores de Baixo RANK via Cirurgia de Gradiente para Aprendizado Contínuo

1. Formulação do Problema

O artigo aborda o desafio do esquecimento catastrófico no aprendizado contínuo (CL) de Modelos de Linguagem de Grande Escala (LLMs) utilizando Adaptação de Baixo RANK (LoRA). Embora o LoRA seja eficiente para ajuste fino, esquemas de inicialização padrão (por exemplo, Gaussiana aleatória para a matriz $A$ e zeros para $B$) são "cegos" à estrutura de conflito entre tarefas.

Em um cenário contínuo, quando o gradiente de uma nova tarefa ($G_{cur}$) entra em conflito com os gradientes de tarefas previamente aprendidas ($G_{prev}$) — indicado por um produto interno de Frobenius negativo —, os passos de otimização padrão que melhoram a tarefa atual inevitavelmente degradam o desempenho nas tarefas anteriores. Métodos de inicialização existentes, como LoRA-GA (que utiliza o gradiente da tarefa atual) ou métodos espectrais (como PiSSA ou MiLoRA), falham em considerar a preservação do conhecimento prévio durante a fase de inicialização. Consequentemente, o adaptador é inicializado em um subespaço que pode imediatamente sobrescrever direções previamente aprendidas.

2. Metodologia: Slice

Os autores propõem o Slice (Inicialização de Baixo RANK baseada em Cirurgia de Gradiente para Aprendizado Contínuo), um método que inicializa adaptadores LoRA em um subespaço alinhado com a tarefa atual, minimizando a interferência destrutiva com tarefas anteriores. O método opera em quatro etapas antes de qualquer treinamento:

1. Estimativa de Gradiente: O modelo computa matrizes de gradiente para a tarefa atual ($G_{cur}$) e uma amostra de tarefas anteriores ($G_{prev}$) acumulando gradientes sobre pequenos mini-lotes. Isso requer apenas uma passagem direta e reversa leve.
2. Reconciliação de Gradiente (Cirurgia): Um operador de projeção $\psi$ reconcilia $G_{cur}$ e $G_{prev}$ para produzir uma direção livre de conflitos $\tilde{G}_{cur}$. Os autores empregam uma generalização do PCGrad (Yu et al., 2020):
   $$\psi(G_{cur}, G_{prev}, c) = G_{cur} - c \cdot \min(\langle G_{cur}, G_{prev} \rangle_F, 0) \frac{G_{prev}}{\|G_{prev}\|_F^2}$$
   Aqui, $c \in [0, 1]$ é um hiperparâmetro. Se os gradientes conflitam (produto interno negativo), o componente de $G_{cur}$ paralelo a $G_{prev}$ é removido; caso contrário, $G_{cur}$ permanece inalterado.
3. Decomposição de Baixo RANK: O gradiente reconciliado $\tilde{G}_{cur}$ sofre uma Decomposição em Valores Singulares (SVD) truncada. As matrizes do adaptador são inicializadas como:
   • $B = U_{:, :r}$ (primeiros $r$ vetores singulares à esquerda).
   • $A = (V_{:, r:2r})^\top$ (vetores singulares à direita do rank $r+1$ até $2r$).
   • Nota: Os autores adotam a fatoração específica usada no LoRA-GA (utilizando os vetores singulares à direita do $(r+1)$-ésimo ao $2r$-ésimo para $A$), observando que, embora teoricamente não óbvio, foi empiricamente validado em trabalhos anteriores como gerando inicializações eficazes.
4. Redimensionamento de Magnitude: Para controlar fatores de confusão relacionados à magnitude da atualização (conforme identificado por Zhang et al., 2026), os pesos inicializados são redimensionados para corresponder à variância dos pesos pré-treinados, garantindo que os ganhos de desempenho sejam devidos à seleção de subespaço e não a uma amplificação implícita de magnitude.

3. Contribuições Principais

• Inicialização Slice: Uma estratégia de inicialização inovadora que integra cirurgia de gradiente na fase de configuração do LoRA, reconciliando explicitamente os gradientes das tarefas atuais e passadas antes do início do treinamento.
• Benchmark NI-Seq-Opposite: Os autores introduzem o NI-Seq-Opposite, um conjunto de três sequências adversárias de 5 tarefas extraídas do pool Super-NI. Essas sequências são construídas via busca combinatória exaustiva para minimizar a similaridade de cosseno média entre gradientes de pares, criando um cenário de aprendizado contínuo "difícil" onde tarefas consecutivas possuem gradientes maximamente opostos.
• Protocolo de Avaliação Rigoroso: O artigo avalia o Slice contra LoRA Vanilla, LoRAM e LoRA-GA no benchmark TRACE e em sequências Super-NI padrão/adversárias. Crucialmente, todas as comparações empregam redimensionamento de magnitude com variância correspondente para isolar os efeitos da seleção de subespaço de artefatos de magnitude.

4. Resultados Experimentais

Avaliado no Llama-3.2-3B-Instruct com rank LoRA $r=64$ (e verificado em $r=128$), os resultados demonstram:

• Compromisso Estabilidade-Plasticidade: O Slice consistentemente alcança um compromisso superior em comparação com as linhas de base. Nas sequências adversárias NI-Seq-Opposite, o Slice (com $c=1.0$) melhorou o Desempenho Final (FP) em até +22,55 pontos (em G2) e +16,97 pontos (em Opp1) sobre o LoRA Vanilla, enquanto reduziu o Esquecimento (Fgt) em até 20,75 pontos.
• Comparação com LoRA-GA: Embora o LoRA-GA já supere o LoRA Vanilla, o Slice aprimora ainda mais esses ganhos, particularmente na redução do esquecimento em sequências com alta interferência inter-tarefa.
• Generalização (GP/IP): O Slice incorre apenas em reduções marginais no Desempenho Geral (GP) e no Desempenho em Contexto (IP) em relação ao LoRA Vanilla. Os autores observam que o compromisso é assimétrico: pequenos custos na capacidade geral geram ganhos substanciais na retenção de tarefas.
• Sensibilidade a Hiperparâmetros: O parâmetro $\alpha$ (fator de escala) pode ser ajustado para recuperar parte das perdas de GP/IP sem afetar significativamente as métricas de retenção de tarefas, servindo como um controle para o equilíbrio entre generalização e retenção.

5. Significado e Afirmações

O artigo afirma que a inicialização é um ponto de intervenção consequente, mas subexplorado, para o aprendizado contínuo. Ao realizar uma única etapa leve de cirurgia de gradiente antes do treinamento, o Slice direciona o subespaço do adaptador para longe de direções que sobrescreveriam o conhecimento de tarefas anteriores.

Os autores enfatizam que o Slice é componível: ele não substitui estratégias de tempo de treinamento (como restrições de ortogonalidade ou buffers de replay), mas serve como um substituto direto para a fase de inicialização que pode ser combinado com qualquer algoritmo de CL a jusante. A introdução do NI-Seq-Opposite fornece um teste de estresse controlado para avaliar a robustez à interferência inter-tarefa, abordando uma lacuna em benchmarks padrão onde sequências de tarefas são frequentemente construídas sem consideração explícita de conflito de gradiente.

O trabalho conclui que, embora o método incorra em sobrecarga computacional não trivial durante a configuração (acumulação de gradiente e SVD), os ganhos de estabilidade resultantes tornam a adaptação sequencial mais eficiente em recursos, reduzindo a necessidade de re-treinamento completo ou mecanismos complexos de replay para mitigar o esquecimento.