Resumo Técnico: "Sem Subespaço para Rastrear: Não Identificabilidade e Estado do Otimizador em Treinamento de Baixo Rank"

Declaração do Problema

Otimizadores eficientes em memória como o GaLore (Zhao et al., 2024) reduzem a pegada de memória do treinamento de grandes modelos de linguagem projetando os gradientes em um subespaço de baixo rank ($r$) periodicamente recomputado e executando o Adam dentro desse subespaço. A premissa geométrica subjacente a essa abordagem é que o subespaço dos top-$r$ gradientes é um objeto significativo e de deriva lenta que pode ser rastreado através de intervalos de atualização ($T$ passos). Se essa premissa fosse verdadeira, estimativas consecutivas do subespaço seriam semelhantes, e carregar o estado do otimizador (momentos) através de uma atualização exigiria apenas correções menores.

Este artigo contesta essa premissa, argumentando que, além de um pequeno núcleo reproduzível, o subespaço dos top-$r$ não é um objeto estável, mas é estatisticamente não identificável. Consequentemente, a aparente "rotação" do subespaço em cada atualização é dominada pelo ruído do estimador, e não pelo movimento de uma estrutura geométrica estável.

Metodologia

Os autores empregam um rigoroso framework de medição para quantificar a estabilidade do subespaço e o impacto da não identificabilidade no desempenho do otimizador:

1. Medição de Rotação de Subespaço: O artigo introduz uma métrica de distância de chordal com correção de sinal ($\|\Delta U\|_F$) para medir a rotação entre a base antiga ($U_{old}$) e a nova base ($U_{new}$) em cada atualização. Esta métrica varia de 0 (idêntica) a $\sqrt{2r}$ (ortogonal).
2. Controle de Mesmo Passo (O Teste "Sem Tempo"): Para distinguir entre a deriva temporal genuína e o ruído do estimador, os autores dividem um único minibatch em duas metades disjuntas no mesmo passo de treinamento. Eles computam o subespaço top-$r$ para cada metade e medem o desacordo. Se o subespaço fosse uma propriedade estável do gradiente, as estimativas do mesmo passo deveriam concordar. Se elas discordarem tanto quanto estimativas tiradas $T$ passos de diferença, a rotação é ruído.
3. Análise Espectral: Os autores analisam o espectro de valores singulares dos gradientes para determinar se existe um gap espectral em rank $r$ que justificaria um corte de subespaço estável.
4. Experimentos de Média: O artigo testa se a média de gradientes ao longo de $N$ passos (ou a média da base ao longo do tempo) pode "resgatar" a identificabilidade ao abrir um gap espectral.
5. Avaliação de Remédios: Os autores testam três estratégias para mitigar os custos dos redesenhos de subespaço:
   • Média de Base: Usar uma média móvel exponencial (EMA) da matriz de covariância para estabilizar a base.
   • Transporte de Estado: Transportar explicitamente os momentos do otimizador (primeiro e segundo) através da matriz de rotação $R = U_{new}^\top U_{old}$ (como feito no LDAdam).
   • Encurtamento de Memória: Reduzir o parâmetro de decaimento de Adam $\beta_2$ para encurtar a memória do segundo momento, evitando que ele integre estatísticas obsoletas de subespaços anteriores.

Os experimentos foram conduzidos em quatro famílias de modelos (Pythia, GPT-2, Qwen2.5, Llama-3) variando de 70M a 6.9B de parâmetros, e um Vision Transformer (ViT-B).

Principais Descobertas

1. O Subespaço é Não Identificável

• Rotação Máxima: Em cada atualização, a rotação medida $\|\Delta U\|_F$ satura em 96,7–99,6% do máximo geométrico $\sqrt{2r}$. A nova base é quase ortogonal à antiga.
• Dominância de Ruído: O controle de mesmo passo revela que duas estimativas de metades disjuntas do mesmo batch discordam por $0,725\sqrt{2r}$, o que é quase idêntico à rotação entre tempos de $0,742\sqrt{2r}$. A "rotação" não é movimento; é ruído do estimador.
• Núcleo Reproduzível ($k^\star$): Apenas uma pequena fração das direções é reproduzível. Para $r=128$, apenas $k^\star \approx 39$ direções são consistentes entre os minibatches. As $r - k^\star$ direções restantes são efetivamente amostras aleatórias de uma cauda espectral sem gap.

2. Causas Espectrais e a Falha da Média

• Espectro Sem Gap: O espectro do gradiente consiste em um pequeno pico dominante (algumas dezenas de direções) seguido por uma cauda suave e quase isotrópica, sem gap em $r$. A razão de valores singulares adjacentes em $r=128$ é de aproximadamente $\approx 1,005$.
• Sinal, Não Ruído: A cauda espectral profunda não é ruído de amostragem; é sinal com um espectro de lei de potência. Sob uma média de $N$ passos, esta cauda encolhe apenas como $N^{-1/4}$ em vez de $N^{-1/2}$, como esperado para ruído puro. Portanto, nenhum orçamento finito de média pode abrir um gap ou estabilizar o subespaço.
• A Média Falha: A média da base ao longo de 10.000 passos reduz a rotação por atualização apenas ligeiramente (de 97% para 84% do máximo) e não tem efeito mensurável na perplexidade final (um intervalo de apenas 0,36).

3. Por Que o GaLore Ainda Funciona

Apesar da falta de um subespaço estável, o GaLore funciona porque o papel principal da projeção é a captura de energia, não o rastreamento. Como a cauda do gradiente é quase isotrópica, qualquer frame de $r$ dimensões que inclua o pico dominante captura uma fração aproximadamente constante da energia do gradiente ($\gamma_g \approx 0,67–0,73$). A escolha específica das direções importa pouco para a direção do descenso, desde que a fração de energia seja preservada.

4. Remédios Eficazes

O custo do redesenho é a obsolescência do estado do otimizador carregado, particularmente o segundo momento (variância).

• Transporte de Estado: Transportar o primeiro momento via $R$ e o segundo momento via os termos ao quadrado de $R$ é o ideal. Carregar o segundo momento cegamente é provadamente subótimo por um fator de $\approx (r - k^\star)/2$. Em testes controlados, o transporte de estado com o $\beta_2=0,999$ padrão alcançou 18,73 de perplexidade, superando o GaLore sem transporte (19,28).
• Encurtamento de Memória: Reduzir $\beta_2$ de 0,999 para 0,99 ajuda os otimizadores de atualização ao evitar a integração de estatísticas obsoletas de subespaços anteriores, agora inválidos. Isso melhorou a perplexidade em 1,8 a 26 pontos, dependendo do otimizador e da receita.
• Ineficácia da Média de Base: Como observado, estabilizar a base via média não funciona porque o subespaço é fundamentalmente não identificável.

Significância e Alegações

O artigo afirma fornecer a primeira medição direta da premissa geométrica que sustenta os otimizadores de gradiente de baixo rank, concluindo que ela é falsa nos ranks tipicamente utilizados.

• Clarificação de Mecanismo: O artigo esclarece que o GaLore funciona não porque rastreia uma estrutura estável, mas porque captura uma fração constante da energia do gradiente em um frame que é efetivamente redesenhado.
• Ferramenta de Diagnóstico: Os autores propõem um probe prático: meça o rank reproduzível $k^\star$ dividindo um batch. Se o rank escolhido $r > k^\star$, as direções excedentes são ruído.
• Prescrição de Engenharia: O artigo prescreve duas correções acionáveis para treinamento de baixo rank:
  1. Transportar o estado através da rotação (como em LDAdam) em vez de carregá-lo cegamente.
  2. Baixar $\beta_2$ para 0,99 para reduzir a memória do segundo momento, mitigando a obsolescência causada por redesenhos periódicos.
• Escopo: As descobertas aplicam-se especificamente a otimizadores que computam e atualizam explicitamente um subespaço de gradiente (família GaLore). Elas não se aplicam a parametrizações como LoRA, que não computam um subespaço de gradiente.

Os autores concluem que o "objeto" (o subespaço de baixo rank estável) não existe além de um pequeno núcleo, e tentativas de rastreá-lo são perseguições a um fantasma. O caminho a seguir reside em reconhecer o redesenho e adaptar o estado do otimizador adequadamente.