Resumo Técnico: Escalonamento da Taxa de Aprendizado entre Ranks de LoRA e Transferência para Full Finetuning

Problema

A Adaptação de Baixo Rank (LoRA) é um método padrão para o ajuste fino parametrizado eficientemente (PEFT) de grandes modelos, adicionando uma fatoração de baixo rank $\alpha BA$ aos pesos pré-treinados congelados. No entanto, a dinâmica de treinamento do LoRA é altamente sensível às interações de hiperparâmetros, especificamente ao esquema de inicialização (qual fator é randomizado vs. zerado), ao multiplicador de escalonamento dependente do rank $\alpha$, e à taxa de aprendizado $\eta$.

Praticantes enfrentam um desafio significativo: a taxa de aprendizado ótima não é invariante às mudanças no rank do LoRA $r$. Alterar o rank ou alternar entre escolhas de design padrão (ex: $Init[A]$ vs. $Init[B]$, ou $\alpha=1$ vs. $\alpha=r^{-1}$) frequentemente torna uma taxa de aprendizado previamente ótima subótima, exigindo uma nova sintonia custosa. Além disso, permanece incerto como transferir taxas de aprendizado de configurações de LoRA para o Ajuste Fino Total (Full Finetuning - FFT), um processo que é computacionalmente caro. A questão central abordada é: Como a taxa de aprendizado ótima $\eta$ depende do rank do adaptador $r$ e da largura do modelo $n$ sob diferentes configurações de LoRA?

Metodologia

Os autores introduzem a Adaptação de Atualização Máxima ($\mu A$), um framework teórico inspirado na Parametrização de Atualização Máxima ($\mu P$) usada no pré-treinamento. A análise é conduzida no limite conjunto onde tanto a largura do modelo $n$ quanto o rank do LoRA $r$ tendem ao infinito ($n, r \to \infty$).

Framework Teórico

1. Estabilidade e Atualizações Não-Nulas: O framework define "aprendizado de características estável" como um regime onde as atualizações de características permanecem limitadas ($O(1)$) para evitar explosão, mas não-nulas ($\Theta(1)$) para garantir que o aprendizado não estagne.
2. Decomposição de Atualizações: A atualização de característica $\Delta Z_B$ é decomposta em três termos ($\delta_1, \delta_2, \delta_3$) representando atualizações lineares de um fator enquanto o outro é fixo, e atualizações multiplicativas de ambos. A teoria analisa o escalonamento assintótico desses termos sob diferentes esquemas de inicialização.
3. Premissas: A análise assume sinais de forward/backward limitados e utiliza uma abstração de otimizador SignSGD (um proxy tratável para Adam) para derivar regras de escalonamento de forma fechada.
4. Esquemas de Inicialização:
   • Init[A]: $A$ é inicializado aleatoriamente ($A \sim \mathcal{N}(0, 1/n)$), $B=0$.
   • Init[B]: $B$ é inicializado aleatoriamente ($B \sim \mathcal{N}(0, 1/r)$), $A=0$.
5. Multiplicadores de Escalonamento: O estudo examina escolhas comuns para o multiplicador $\alpha$, incluindo valores constantes ($\alpha=1$) e valores dependentes do rank ($\alpha=r^{-1}$).

Derivação de Regras de Escalonamento

Ao impor a condição $\Delta Z_B = \Theta(1)$, os autores derivam prescrições explícitas de escalonamento para $\eta$ como uma função de $n$ e $r$:

• Para Init[A]: A taxa de aprendizado ótima depende de ambos $n$ e $r$. Especificamente, se $\alpha=1$, $\eta \propto n^{-1/2}r^{-1/2}$. Se $\alpha=r^{-1}$, $\eta \propto n^{-1/2}$ (invariante ao rank).
• Para Init[B]: Com $\alpha=1$, a taxa de aprendizado ótima escala como $\eta \propto n^{-1}$ e é independente do rank $r$. Crucialmente, este escalonamento coincide com o requisito teórico para o Full Finetuning de uma camada linear sob as mesmas premissas.

Principais Contribuições

1. Framework $\mu A$: Introdução de um framework teórico que caracteriza a dinâmica de ajuste fino de LoRA no limite conjunto $n, r \to \infty$, definindo condições para adaptação máxima (estável).
2. Identificação de Dois Regimes:
   • Regime Dependente de Rank: Sob $Init[A]$ com $\alpha$ constante, a taxa de aprendizado ótima escala inversamente com o rank (ex: $\eta \propto r^{-1/2}$).
   • Regime Invariante ao Rank: Sob $Init[B]$ com $\alpha=1$, a taxa de aprendizado ótima é invariante a mudanças de rank.
3. Transferência LoRA-para-FFT: Identificação de uma configuração específica ($Init[B]$ com $\alpha=1$) onde o escalonamento da taxa de aprendizado ótima ($\eta \propto n^{-1}$) coincide com o do Full Finetuning. Isso fornece uma condição necessária para transferir taxas de aprendizado de LoRA para FFT sem re-sintonia.
4. Validação Empírica: Experimentos extensos através de diversas tarefas (linguagem, visão, visão-linguagem, geração de imagem, aprendizado por reforço) e arquiteturas (Llama, Qwen, RoBERTa, ViT, Stable Diffusion) validando as regras de escalonamento derivadas.

Resultados

Os resultados experimentais alinham-se consistentemente com as previsões teóricas:

• Init[A] com $\alpha=1$: À medida que o rank $r$ aumenta, a taxa de aprendizado ótima diminui. Para um aumento de $4\times$ no rank, a taxa de aprendizado ótima diminui aproximadamente $2\times$ (consistente com $\eta \propto r^{-1/2}$).
• Init[A] com $\alpha=r^{-1}$: A taxa de aprendizado ótima é aproximadamente invariante ao rank, embora a faixa estável seja estreita.
• Init[B] com $\alpha=1$: A taxa de aprendizado ótima é invariante ao rank e alinha-se de perto com a taxa de aprendizado ótima para o Full Finetuning na maioria dos modelos.
• Transferibilidade: Taxas de aprendizado ajustadas em LoRA usando a configuração $Init[B], \alpha=1$ transferem-se de forma confiável para o Full Finetuning, reduzindo drasticamente o custo da busca de hiperparâmetros para FFT.
• Sensibilidade RLVR: Em Aprendizado por Reforço com Recompensas Verificáveis (RLVR), taxas de aprendizado subótimas não apenas degradam o desempenho, mas aumentam significamente o tempo de treinamento (em 2–4$\times$) devido aos modelos ficarem presos em fases exploratórias. As regras $\mu A$ ajudam a identificar regiões estáveis para evitar isso.

Significância e Alegações

O artigo afirma fornecer uma abordagem fundamentada para a seleção de taxa de aprendizado em LoRA, indo além de regras heurísticas. Ao caracterizar o limite conjunto de largura e rank, os autores explicam por que certas configurações exigem taxas de aprendizado dependentes de rank enquanto outras não.

A principal significância reside na transferibilidade de hiperparâmetros. Os autores demonstram que, ao selecionar a inicialização correta ($Init[B]$) e o escalonamento ($\alpha=1$), os praticantes podem:

1. Evitar a re-sintonia de taxas de aprendizado ao alterar os ranks do LoRA.
2. im de forma direta a taxa de aprendizado ótima de um experimento de LoRA de baixo rank para uma configuração de Full Finetuning, economizando recursos computacionais significativos.

Os autores notam modestamente as limitações: a teoria é assintótica e pode ser sensível ao ruído em configurações finitas de $(n, r)$, e a condição de correspondência derivada é necessária, mas não provada como suficiente para todos os cenários de transferência. No entanto, a evidência empírica sugere forte concordância entre teoria e prática em diversos domínios.