Why Zeroth-Order Adaptation May Forget Less: A Randomized Shaping Theory

Resumo Técnico: Por que a Adaptação de Ordem Zero Pode Esquecer Menos: Uma Teoria de Moldagem Aleatorizada

Declaração do Problema
O aprendizado contínuo exige que os modelos se adaptem a novas tarefas sem apagar capacidades adquiridas de tarefas anteriores. Embora trabalhos empíricos recentes (por exemplo, ZeroFlow, ZO-FC) sugiram que a otimização de ordem zero (ZO) e a adaptação via passagem direta (forward-pass) possam mitigar o esquecimento mais eficazmente do que a descida de primeira ordem (FO), a visão predominante trata a ZO meramente como um estimador ruidoso do gradiente FO. Essa perspectiva falha em explicar por que a ZO poderia reter melhor, pois a precisão da estimativa concerne ao gradiente de entrada, enquanto o esquecimento é governado pelo deslocamento de parâmetros induzido e pela curvatura de retenção a que ele expõe. O artigo busca isolar o mecanismo local do esquecimento após o sinal de entrada e a escala de adaptação serem equalizados, indo além da narrativa de "FO ruidoso" para compreender as propriedades geométricas da forma da adaptação.

Metodologia: Moldagem Aleatorizada de Gradientes
Os autores propõem um framework onde o esquecimento é analisado como "adaptação moldada". Em vez de comparar trajetórias de otimização, eles comparam o funcional de dano quadrático $Q(\Delta) = \frac{1}{2}\Delta^\top H \Delta$ induzido por diferentes operadores de deslocamento $\Delta$, onde $H$ representa a curvatura de retenção (por exemplo, o Hessiano da perda histórica).

1. Calibração da ZO: O artigo decompõe os estimadores práticos de diferenças finitas de ZO em três componentes:
   • Alinhamento da Média Bruta: A forma bruta da ZO preserva o sinal FO em expectativa.
   • Inflação da Norma: A ZO bruta infla a norma quadrática esperada da adaptação.
   • Correspondência de Norma: Para garantir uma comparação justa, os autores introduzem uma forma de ZO com correspondência de norma $P = \kappa^{-1/2}Z$, onde $Z$ é a matriz de forma bruta e $\kappa$ é um fator de inflação. Isso garante $E[\|Pg\|^2] = \|g\|^2$ enquanto induz explicitamente um fator de redução da média de $\sqrt{q/(q+d+1)}$.
2. Análise Teórica: Sob essa comparação com correspondência de norma, os autores derivam uma identidade exata para a curvatura de retenção moldada esperada $\bar{H}_q = E[P^\top H P]$. Eles provam que a ZO com correspondência de norma não contrai uniformemente a curvatura, mas sim preserva o componente isotrópico (a curvatura média $\bar{\lambda}I$) enquanto contrai o componente anisotrópico (o desvio da média) por um fator de $(1-\tau)$, onde $\tau = d/(q+d+1)$.
3. Identidade da Lacuna de Esquecimento: Ao projetar essa identidade de curvatura sobre o gradiente de entrada $g$, o artigo deriva uma lacuna quadrática exata FO–ZO de esquecimento. A redução no esquecimento ocorre se e somente se a direção FO apontar através de uma região de curvatura de retenção acima da média ($\lambda > \bar{\lambda}$). Neste regime, a ZO reduz o dano do "excesso de curvatura" por uma fração dependente da consulta. Conversemente, se a direção FO estiver em uma região de baixa curvatura, a ZO pode aumentar o esquecimento, enquadrando o resultado como um controle de risco dependente da geometria, e não como uma dominância universal.

Principais Contribuições

1. Formulação do Esquecimento Local como Adaptação Moldada: O artigo reformula a comparação entre FO e ZO como uma questão de como diferentes operadores de forma expõem a curvatura de retenção sob uma norma quadrática esperada de adaptação igualada, removendo fatores de confusão como tamanho do passo e trajetória.
2. Calibração da ZO de Diferenças Finitas: Separa rigorosamente o alinhamento da média bruta, os resíduos de suavização finita, a inflação da norma bruta e a redução da média com correspondência de norma, estabelecendo um comparador justo para análise teórica.
3. Identidade Exata de Curvatura e Lacuna de Esquecimento: Os autores provam que a ZO com correspondência de norma preserva o piso de retenção isotrópico enquanto contrai o componente anisotrópico. Isso produz uma identidade exata mostrando que a ZO reduz o esquecimento quadrático médio precisamente quando a direção FO cruza uma curvatura de retenção acima da média.
4. Transferência Algorítmica (RISE): O artigo introduz o RISE (Moldagem Isotrópica Consciente de Retenção para Adaptação de Gradiente Exato). O RISE transfere o mecanismo de forma calibrado da ZO para a adaptação de gradiente exato. Ele computa o gradiente FO exato via retropropagação (removendo o viés de suavização de diferenças finitas), mas aplica o operador de moldagem aleatorizado com correspondência de norma bloco a bloco. Isso permite que o método importe os benefícios de mistura de curvatura de retenção da ZO, mantendo o sinal de plasticidade dos gradientes exatos.

Resultados

• Validação Teórica: Em um sandbox quadrático, os resíduos do operador empírico e as lacunas de dano alinham-se com as previsões teóricas ($R^2 = 0,9999$), confirmando que o mecanismo é dependente da geometria e que o sinal da lacuna de esquecimento muda conforme previsto com base no excesso de curvatura direcional.
• Aprendizado Contínuo em Visão: Em CIFAR100, ImageNet-R e DomainNet usando um backbone ViT-B/16, o RISE aplicado ao pipeline ZO-FC (substituindo a ZO de diferenças finitas no lado da representação por moldagem de gradiente exato) melhorou a precisão "Last" (plasticidade) em 0,39–1,39 pontos e reduziu o "Fgt" (esquecimento) em 0,28–1,72 pontos em comparação com o ZO-FC padrão. Isso demonstra que gradientes exatos podem recuperar a plasticidade perdida na estimativa de gradiente, mantendo os benefícios de estabilidade da forma ZO.
• Aprendizado Contínuo em Modelos de Linguagem: Em modelos T5 através de várias ordens de tarefas (SeqLoRA e O-LoRA), o RISE reduziu significativamente o esquecimento (por exemplo, de 35,57% para 7,01% em uma ordem SeqLoRA) enquanto mantinha a precisão "Last" próxima à linha de base FO. Isso contrasta com a ZO bruta, que frequentemente reduz o esquecimento à custa de baixa plasticidade (pontuações "Last" baixas).

Significado e Alegações
O artigo alega fornecer o primeiro mecanismo local controlado por escala explicando por que a ZO pode esquecer menos, indo além da explicação de "FO ruidoso". Estabelece que o benefício não é uma dominância uniforme da ZO sobre a FO, mas uma melhoria condicional: a ZO atua como uma exposição isotrópica "ótima cega" que protege contra direções de alta curvatura quando a geometria de retenção específica é desconhecida.

O significado do RISE reside em sua capacidade de desacoplar o mecanismo de estabilidade (moldagem aleatorizada) do mecanismo de plasticidade (gradientes exatos). Ao aplicar a forma ZO calibrada a gradientes exatos, o RISE oferece um compromisso estabilidade–plasticidade onde o modelo evita o viés de suavização finita da ZO prática, enquanto ainda se beneficia das propriedades de mistura de curvatura que reduzem a exposição à retenção em regimes de alta curvatura. O artigo conclui que esse mecanismo é mais visível quando a direção FO tem curvatura de retenção acima da média e quando a amostragem bloco a bloco permite uma realização estável do efeito de moldagem sem a variância associada a direções aleatórias globais de alta dimensão.