Resumo Técnico: AR1-ZO

Declaração do Problema

O artigo aborda um "paradoxo de posto" fundamental que surge ao combinar otimização de Ordem Zero (ZO) com Adaptação de Baixo Posto (LoRA) para ajuste fino de Modelos de Linguagem de Grande Escala (LLMs) sob restrições estritas de memória.

Embora o LoRA reduza os parâmetros treináveis congelando pesos e aprendendo atualizações de baixo posto ($\Delta W = \frac{\gamma}{r} BA$), e a otimização ZO (por exemplo, MeZO) evite armazenar ativações de retropropagação estimando gradientes via diferenças escalares de passagem direta, sua combinação cria um gargalo de medição. Consultas ZO padrão de dois pontos perturbam tipicamente todas as $r(d_{out} + d_{in})$ coordenadas dos fatores LoRA simultaneamente. Isso causa duas falhas críticas à medida que o posto LoRA $r$ aumenta:

1. Explosão de Variância: A dimensão da perturbação escala com $r$, aumentando a variância do estimador.
2. Colapso Direcional: O coeficiente de escala LoRA padrão $\gamma = \alpha$ (implicando um coeficiente efetivo de $\alpha/r$ por átomo) suprime o sinal de diferença finita. Quando apenas um único átomo de posto 1 é perturbado (como em atualizações ingênuas átomo a átomo), o sinal ativo escala como $1/r$, enquanto o ruído residual de avaliação permanece constante. Consequentemente, a Relação Sinal-Ruído de Diferença Finita (FD-SNR) decai como $1/r^2$. Em postos elevados, a informação direcional é ofuscada pelo ruído antes que qualquer ajuste de taxa de aprendizado possa ocorrer, tornando o LoRA de alto posto ineficaz sob um orçamento fixo de duas passagens diretas.

Remédios existentes frequentemente dependem de subespaços externos, ganchos de ativação, estimativas de curvatura ou geometria complexa de variedades, o que introduz sobrecarga computacional adicional ou pressupostos.

Metodologia: AR1-ZO

Os autores propõem AR1-ZO (Ordem Zero de Posto 1 Alternado), um método que resolve o gargalo redefinindo a topologia da consulta e recalibrando a lei de escala, sem exigir bases auxiliares ou passagens diretas extras.

1. Consulta Consciente da Topologia

Em vez de perturbar o adaptador completo ou subespaços aleatórios, o AR1-ZO expõe o átomo de posto 1 correspondente $(b_k, a_k)$ como o bloco de consulta mínimo completo.

• Mecanismo: Em cada passo, o otimizador seleciona um índice de átomo $k(t)$, perturba apenas a coluna $b_k$ e a linha $a_k$ correspondentes, e mantém todos os outros $r-1$ átomos congelados.
• Dimensionalidade: Isso reduz a dimensão de perturbação instantânea de $r(d_{out} + d_{in})$ para $q = d_{out} + d_{in}$, tornando a dimensão de consulta única independente do posto armazenado $r$. O posto $r$ torna-se um custo de cobertura amortizado (o número de passos para visitar todos os átomos) em vez de um multiplicador de variância por passo.

2. Escala Consciente da Topologia ($\gamma = \alpha r$)

O artigo identifica que a escala LoRA padrão $\gamma = \alpha$ (resultando em $\alpha/r$ por átomo) é calibrada para atualizações conjuntas onde todos os átomos contribuem simultaneamente. Sob consultas sequenciais de posto 1, herdar essa escala suprime o sinal ativo.

• Correção: O AR1-ZO introduz uma calibração consciente da topologia onde o coeficiente global é definido como $\gamma = \alpha r$.
• Efeito: Isso garante que o coeficiente efetivo para o átomo ativo seja $\frac{\gamma}{r} = \alpha$. Consequentemente, o numerador ativo de diferença finita permanece invariante ao posto ($\Theta(1)$), restaurando a FD-SNR para um nível constante independentemente de $r$. Isso previne o colapso direcional.

3. Algoritmo

O ciclo de atualização alterna através dos átomos $k=1 \dots r$. Para cada passo:

1. Amostre perturbações $z_b, z_a$ para os fatores do átomo ativo.
2. Avalie passagens diretas $L(\theta + \mu P_t z)$ e $L(\theta - \mu P_t z)$ em um mini-lote emparelhado.
3. Calcule o estimador de gradiente usando a escala corrigida $\gamma = \alpha r$.
4. Atualize apenas os vetores ativos $b_k, a_k$.

Contribuições Principais

1. Formalização do Átomo de Posto 1 como Bloco de Consulta: O artigo prova que o par correspondente $(b_k, a_k)$ é o bloco LoRA-nativo mínimo completo. Perturbar apenas um lado é incompleto, enquanto agrupar átomos reintroduz a dimensão dependente do posto. O AR1-ZO aproveita isso para desacoplar o posto de armazenamento da dimensão de consulta.
2. Diagnóstico do Colapso Direcional: Os autores provam teoricamente que o ZO ingênuo átomo a átomo com escala padrão causa o decaimento da FD-SNR ativa como $O(1/r^2)$, levando à perda de fidelidade direcional (a similaridade de cosseno com o gradiente verdadeiro aproxima-se de zero) à medida que o posto aumenta.
3. Restauração de Sinal via Escala Consciente da Topologia: O artigo deriva e valida a regra de escala $\gamma = \alpha r$. A análise teórica mostra que isso restaura o sinal ativo invariante ao posto e a FD-SNR, garantindo que o estimador permaneça informativo mesmo em postos elevados.
4. Eficiência Operacional: O AR1-ZO alcança esses ganhos sob um orçamento puramente de caixa-preta (duas passagens diretas por passo) sem bases auxiliares, ganchos de ativação ou estimativa de curvatura.

Resultados Experimentais

O método foi validado nos modelos OPT (2.7B, 13B) e Qwen3 (1.7B, 32B) em tarefas incluindo BoolQ, CB, COPA, WIC, SQuAD e DROP.

• Restauração de Sinal: Experimentos variando o posto LoRA $r \in \{1, \dots, 64\}$ confirmaram que a escala ingênua causa o colapso da FD-SNR e da fidelidade direcional em postos elevados (por exemplo, $r=64$), enquanto o AR1-ZO mantém métricas estáveis em toda a faixa.
• Convergência: Nas trajetórias de perda de treinamento, o AR1-ZO demonstrou convergência suave, superando o ZO ingênuo átomo a átomo e o MeZO-LoRA padrão, e reduzindo a lacuna para o ajuste fino de primeira ordem completo (FT/Adam).
• Desempenho Downstream: Com um posto fixo de $r=64$ e orçamentos de duas passagens diretas correspondentes, o AR1-ZO superou consistentemente as linhas de base (MeZO-LoRA, LOZO, ZO-Alt-naive) em todas as tarefas. Por exemplo, no OPT-2.7B, melhorou o F1 do SQuAD em +13,2 sobre o MeZO-LoRA.
• Eficiência: O AR1-ZO igualou o tempo de passo e o VRAM pico do MeZO+LoRA, confirmando que o cronograma alternado e a correção de escala não incorrem em sobrecarga adicional do sistema.

Significado e Alegações

O artigo afirma resolver uma incompatibilidade topologia-escala específica no ajuste fino de LoRA de caixa-preta. Argumenta que o LoRA de alto posto não é inerentemente incompatível com a otimização ZO; ao contrário, a falha surge da aplicação de regras de escala de atualização conjunta a medições sequenciais em nível de átomo.

Ao tratar o átomo de posto 1 como a unidade fundamental de medição e recalibrar a escala para $\gamma = \alpha r$, o AR1-ZO permite o uso de adaptadores de alto posto (que oferecem maior capacidade) sem incorrer nas penalidades de variância ou perda de sinal tipicamente associadas a eles. Os autores posicionam isso como uma correção necessária para a "unidade de medição" do LoRA-ZO de caixa-preta, estabelecendo que o posto não precisa ser um "imposto de dimensão de consulta única" se a topologia da consulta e a escala estiverem alinhadas. O trabalho fornece uma base teórica para por que tentativas anteriores de alto posto falharam e oferece um mecanismo simples e livre de parâmetros para restaurar sua eficácia.