Resumo Técnico: Sobre Adaptatividade em Otimização de Ordem Zero

Declaração do Problema

O artigo aborda o desafio do ajuste fino de Modelos de Linguagem de Grande Escala (LLMs) sob restrições de memória. Embora a retropropagação seja o padrão para ajuste fino, ela exige memória significativa para o armazenamento de ativações e operações de ponto flutuante de alta precisão. A otimização de ordem zero (ZO) emergiu como uma alternativa eficiente em termos de memória, aproximando gradientes por meio de passagens diretas em parâmetros perturbados aleatoriamente. No entanto, os métodos ZO sofrem com alta variância, levando a uma convergência mais lenta em comparação com os métodos de primeira ordem (FO).

Trabalhos recentes tentaram mitigar essa variância introduzindo otimizadores ZO adaptativos (por exemplo, ZO-Adam), que imitam métodos adaptativos FO rastreando os momentos de primeira e segunda ordem dos gradientes por coordenada. Os autores questionam a eficácia dessa abordagem, hipotetizando que a heterogeneidade coordenada necessária para o sucesso de métodos adaptativos pode estar ausente em configurações ZO de alta dimensão.

Metodologia e Análise

Análise Teórica dos Gradientes ZO

Os autores analisam as propriedades estatísticas dos estimadores de gradiente ZO em altas dimensões. Eles demonstram que, devido à natureza isotrópica das perturbações aleatórias, as estimativas de gradiente ZO carecem da heterogeneidade coordenada encontrada em gradientes FO.

• Proposição 3.1: Os autores provam que o gradiente ZO quadrático esperado é dominado por um termo global dependente do quadrado da norma do gradiente verdadeiro, em vez dos valores individuais das coordenadas. Especificamente, o viés introduzido pelo estimador escala com $1/q$ (onde $q$ é o número de amostras de ruído) e torna-se agnóstico à coordenada em altas dimensões ($q \ll d$).
• Implicação: Mecanismos adaptativos que rastreiam estatísticas por coordenada (como o segundo momento do Adam) estão desalinhados com as estatísticas subjacentes dos gradientes ZO, tornando-os ineficientes em termos de memória sem fornecer benefícios de convergência.

Método Proposto: MEAZO

Aproveitando a percepção de que a adaptação global do tamanho do passo é suficiente, os autores propõem o MEAZO (Otimizador Adaptativo de Ordem Zero Eficiente em Memória).

• Projeto: Diferentemente do ZO-Adam, que mantém um vetor de segundos momentos para cada parâmetro, o MEAZo rastreia apenas um único escalar representando a norma quadrada global do gradiente projetado.
• Regra de Atualização: A atualização escala o tamanho do passo global por esse escalar, adaptando efetivamente a taxa de aprendizado com base na curvatura global sem sobrecarga de memória por parâmetro.
• Extensão Agrupada: O MEAZO estende-se naturalmente a configurações ZO agrupadas (por coordenadas de bloco), mantendo um escalar por bloco em vez de por parâmetro, reduzindo ainda mais a memória enquanto captura heterogeneidade em nível de bloco.

Garantias Teóricas

O artigo fornece garantias formais de convergência para o MEAZO sob suposições padrão (suavidade L, variância limitada, gradientes limitados).

• A análise trata o gradiente ZO como um estimador não viciado de uma função objetivo suavizada.
• Teorema 4.7: Estabelece uma taxa de convergência para o MEAZO que corresponde às taxas padrão para SGD adaptativo na presença de limites de variância afins. A taxa de convergência é mostrada como $O(\frac{1}{T} + \frac{\sigma^2}{T} + \frac{d}{q}\sigma^2 + \frac{d^2}{q}\epsilon^2)$, confirmando que o método converge para um ponto estacionário com um tamanho de vizinhança de ruído dependente do número de amostras $q$ e da magnitude da perturbação $\epsilon$.

Resultados Experimentais

Experimentos Sintéticos

• Comportamento do Segundo Momento: Em problemas quadráticos sintéticos, os autores observam que, à medida que a dimensionalidade aumenta, o vetor de segundo momento do ZO-Adam colapsa para um único valor (norma global), enquanto o FO-Adam mantém valores distintos por coordenada. Isso valida empiricamente a afirmação teórica de que a adaptação por coordenada é redundante em configurações ZO de alta dimensão.
• Robustez: O MEAZO demonstra robustez aprimorada às escolhas de tamanho do passo em comparação com o ZO-SGD, particularmente em configurações heterogêneas com estrutura de bloco, igualando a estabilidade do ZO-Adam.

Ajuste Fino de LLM

Experimentos foram conduzidos em múltiplas famílias de modelos (Llama-3.2, Qwen-3, Ministral) e tarefas (XSum, SST-2, SQuAD) usando tanto LoRA quanto ajuste de prompt.

• Desempenho vs. Memória:
  • ZO-SGD vs. ZO-Adam: Com o ajuste adequado do tamanho do passo, o ZO-SGD iguala ou supera o ZO-Adam no ajuste fino LoRA de alta dimensão, confirmando que a adaptatividade coordenada oferece benefício limitado.
  • Desempenho do MEAZO: O MEAZO alcança desempenho comparável ao ZO-Adam, mas com uma pegada de memória equivalente ao ZO-SGD (rastreando um escalar versus um vetor completo).
• Robustez: Embora o ZO-SGD bem ajustado funcione bem, ele é frágil a tamanhos de passo subótimos. O MEAZO mantém a robustez dos métodos adaptativos (ampliando a janela de taxa de aprendizado estável) sem o custo de memória.
• Configurações Agrupadas: Em configurações ZO agrupadas, o MEAZO adapta-se a estatísticas específicas do grupo (por exemplo, camadas iniciais mostrando maior sensibilidade), mantendo convergência estável onde o ZO-SGD agrupado pode divergir.

Contribuições Principais

1. Insight Teórico: O artigo estabelece que os gradientes ZO em altas dimensões são essencialmente homogêneos, tornando os mecanismos adaptativos por coordenada (como os do ZO-Adam) ineficientes em termos de memória e teoricamente desnecessários para a convergência.
2. Inovação Algorítmica: A introdução do MEAZO, um otimizador ZO adaptativo baseado em escalar que alcança adaptação global do tamanho do passo com sobrecarga de memória negligenciável.
3. Validação Empírica: Experimentos abrangentes em diversos LLMs e tarefas demonstrando que o MEAZO iguala o desempenho de bases adaptativas (ZO-Adam) enquanto mantém a eficiência de memória de bases não adaptativas (ZO-SGD).
4. Análise de Convergência: Garantias formais de convergência para o MEAZO em configurações não convexas, preenchendo a lacuna entre a teoria do SGD adaptativo e a otimização de ordem zero.

Significado e Afirmações

Os autores afirmam que seu trabalho reavalia a necessidade de mecanismos adaptativos complexos na otimização de ordem zero. Eles argumentam que, para o ajuste fino de LLMs de alta dimensão, a principal vantagem da adaptatividade não reside na escalagem por coordenada, mas na robustez global do tamanho do passo.

O significado do MEAZO é enquadrado em torno de ambientes com restrições de memória (por exemplo, dispositivos de borda). Ao alcançar a robustez dos métodos adaptativos com a eficiência de memória do SGD, o MEAZO permite que mais pesquisadores e profissionais com recursos limitados participem do ajuste fino de grandes modelos. O artigo conclui modestamente que, embora o ZO-SGD seja suficiente quando perfeitamente ajustado, o MEAZO oferece uma alternativa prática, estável e escalável que mitiga a fragilidade da seleção de tamanho do passo sem incorrer em penalidades de memória. Sugere-se trabalho futuro para refinar a convergência para pontos estacionários exatos e estender o MEAZO para frameworks ZO de subespaço.