Resumo Técnico: CORA: Rotação Ortogonal Coerente por Fatia para Adaptação de Baixo Rank Baseada em SVD

1. Definição do Problema

O Ajuste Fino Eficiente em Parâmetros (PEFT) é essencial para adaptar Grandes Modelos de Linguagem (LLMs) a tarefas de jusante sem o custo proibitivo do ajuste fino total. Embora a Adaptação de Baixo Rank (LoRA) seja o método dominante, ela aprende uma atualização aditiva $\Delta W = BA$ que agrupa graus de liberdade geométricos (rotação de base e deslocamentos espectrais) em uma única matriz de baixo rank. Métodos recentes baseados em SVD (ex: PiSSA, MiLoRA) utilizam a decomposição em valores singulares (SVD) dos pesos pré-treinados ($W_0 = U_0 \Sigma_0 V_0^\top$) para inicialização ou seleção de subespaço, mas não preservam explicitamente a geometria acoplada entre as bases singulares esquerda ($U_0$) e direita ($V_0$).

Trabalhos teóricos recentes [8] sugerem que um ajuste fino estável segue uma forma de "rotação SVD coerente", onde uma única matriz ortogonal $Q$ atua simultaneamente nas bases singulares esquerda e direita, acompanhada por um deslocamento diagonal nos valores singulares ($\Delta \Sigma$). Os métodos existentes realizam isso apenas parcialmente: métodos de estilo LoRA aditivo emaranham rotação e espectro, enquanto métodos de rotação ortogonal impõem rotação, mas frequentemente carecem de flexibilidade espectral. Além disso, o teorema da rotação coerente global não especifica como implementar isso de forma eficiente dentro das restrições estruturadas e de baixo rank de adaptadores práticos.

2. Metodologia: CORA

Os autores propõem o CORA (Coherent Orthogonal Rotation Adaptation), um método que estende o teorema da rotação coerente global para uma granularidade por fatia (per-slice).

2.1 Fundamentação Teórica

O artigo prova um análogo por fatia do teorema da rotação coerente (Teorema 2). Ao particionar uma matriz de peso $W_0$ em fatias de linhas $W_i \in \mathbb{R}^{r \times k}$, os autores mostram que, sob suposições de regularidade suaves, a forma otimizada de ajuste de cada fatia é:
$$W_i^* = U_i Q_i (\Sigma_i + \Delta \Sigma_i) Q_i^\top V_i^\top$$
onde $Q_i$ é uma única matriz ortogonal que atua tanto na base esquerda $U_i$ quanto na base direita $V_i$ da fatia. Isso estabelece que as rotações de base esquerda e direita devem ser idênticas ($Q_{U,i} = Q_{V,i} = Q_i$) para minimizar a perturbação de Frobenius.

2.2 Parametrização e Implementação

Para realizar essa forma de maneira eficiente sem custosas restrições de variedade (manifold), o CORA utiliza uma reparametrização específica:

1. Matriz de Origem: O método opera sobre a truncagem de rank-$r$ da SVD do peso pré-treinado, $W_{lr} = U_{0,r} \Sigma_{0,r} V_{0,r}^\top$, congelando o resíduo $W_0 - W_{lr}$.
2. Particionamento por Fatias: $W_{lr}$ é particionado em $s = m/r$ fatias de linhas.
3. Aprendizado de Rotação: Em vez de aprender $Q_i$ diretamente na variedade ortogonal, o CORA aprende uma matriz ortogonal não restrita $R_i$ por fatia e define a rotação como $Q_i = U_i^\top R_i U_i$. Esta transformação de similaridade garante que a condição de rotação coerente ($Q_{U,i} = Q_{V,i}$) seja satisfeita identicamente, sem a necessidade de restrições explícitas ou penalidades durante o treinamento.
4. Escalonamento Espectral: Um vetor de escala diagonal opcional por camada $\delta$ é aplicado aos valores singulares ($\Sigma_i \to \Sigma_i \text{diag}(1+\delta)$).
5. Mapa de Cayley: Para garantir que $R_i$ permaneça ortogonal, ele é parametrizado via um mapa de Cayley de uma matriz antissimétrica aprendível, evitando restrições de raio de convergência.

2.3 Eficiência de Parâmetros

O CORA utiliza $\frac{1}{2}m(r-1)$ parâmetros treináveis por camada linear (mais os $r$ escalares opcionais para $\delta$). Isso é aproximadamente 4$\times$ menos parâmetros do que o LoRA para o mesmo rank $r$ (que usa $r(m+k)$), e cerca de 8$\times$ menos que o LoRA ao comparar configurações de desempenho equivalente.

3. Principais Contribuições

1. Extensão Teórica: Provou que o teorema da rotação coerente se aplica a fatias de linhas individuais de uma matriz de peso, estendendo a teoria global para a granularidade de adaptadores práticos.
2. Nova Parametrização: Introduziu uma reparametrização ($Q_i = U_i^\top R_i U_i$) que impõe a condição de rotação coerente ($Q_{U,i} = Q_{V,i}$) como uma identidade algébrica, eliminando a necessidade de restrições de ortogonalidade durante a otimização.
3. Design de Adaptador Eficiente: Implementou o CORA como um adaptador compacto usando rotações ortogonais por fatia e escalonamento diagonal por camada, alcançando alto desempenho com significativamente menos parâmetros do que os métodos de SVD e PEFT geral existentes.

4. Resultados Experimentais

O CORA foi avaliado no LLaMA-2-7B, LLaMA-3-8B e Mistral-7B através de três famílias de tarefas: raciocínio de senso comum, geração de código e raciocínio matemático.

• Raciocínio de Senso Comum: No LLaMA-2-7B, o CORA com rank $r=16$ (6,6M parâmetros) alcançou 82,16% de acurácia média. Isso superou o PiSSA e o MiLoRA (ambos com $r=32$, ~56M parâmetros) em 8,4 e 3,0 pontos, respectivamente, e superou o DoRA ($r=32$) em 2,5 pontos.
• Geração de Código: No LLaMA-3-8B, o CORA ($r=16$, 10,3M parâmetros) alcançou 48,2 HumanEval Pass@1, excedendo o DiaBlo ($N=64$, 121M parâmetros) e o LoRI ($r=32$, 45M parâmetros) por margens significativas. No Mistral-7B, o CORA manteve um forte desempenho (40,2 Pass@1) com apenas 10,3M de parâmetros.
• Raciocínio Matemático: O CORA apresentou um desempenho competitivo no GSM8K, mas ficou atrás do MiLoRA no MATH. Os autores atribuem isso à localidade espectral do conhecimento matemático; o foco do MiLoRA nos componentes menores (direções residuais) parece ser mais adequado para tarefas onde os componentes principais codificam menos estrutura relevante para a tarefa.
• Ablações:
  • Escala Compartilhada ($\delta$): Habilitar o escalonamento de espectro compartilhado foi crítico, melhorando o desempenho em 0,8–2,4 pontos e evitando o colapso em ranks baixos ($r=8$).
  • Rotação de Dois Lados: Remover a rotação do lado $V$ (apenas lado $U$) causou quedas significativas de desempenho (até 9,8 pontos), confirmando a necessidade da forma de rotação coerente.
  • Matriz de Origem: Usar o $W_0$ completo em vez do $W_{lr}$ truncado melhorou o desempenho no MATH, validando a hipótesia de que as direções singulares da cauda contêm sinais específicos de matemática.

5. Significância e Alegações

O artigo afirma que o CORA consegue unificar métodos de inicialização SVD aditivos e famílias de rotação ortogonal sob uma forma única e teoricamente fundamentada. Ao impor explicitamente a condição de rotação coerente derivada da teoria de perturbação mínima, o CORA alcança um compromisso superior entre parâmetro e acurácia.

Os autores afirmam que o CORA atinge resultados de estado da arte em raciocínio de senso comum e geração de código com aproximadamente 8$\times$ menos parâmetros do que métodos concorrentes como LoRA, DoRA, PiSSA e MiLoRA. O trabalho demonstra que restrições geométricas explícitas (rotação coerente) podem ser implementadas eficientemente via reparametrização algébrica, ofereando uma nova direção para a adaptação eficiente de parâmetros que respeita a geometria subjacente dos pesos pré-treinados.

Limitações observadas pelos autores:

• Requer computação de SVD offline e cache de fatores por fatia antes do treinamento.
• Introduz multiplicações de matrizes adicionais durante o passo de forward em comparação ao LoRA padrão.
• Avaliado até modelos de 8B de parâmetros; a escalabilidade para modelos de 30B+ não foi verificada.
• O desempenho em tarefas matemáticas é sensível à escolha do espectro de origem (componentes principais vs. residuais).