🤖 machine learning

Position: Zeroth-Order Optimization in Deep Learning Is Underexplored, Not Underpowered

Este artigo argumenta que a otimização de ordem zero em aprendizado profundo não é inerentemente não escalável, mas sim pouco explorada devido a práticas de design míopes, defendendo uma mudança de paradigma em direção a métodos de subespaço, vantagens conscientes do sistema e avaliações desofuscadas para desbloquear seu potencial para aprendizado em grande escala e eficiente em recursos.

Autores originais: Sijia Liu, Yicheng Lang, Soumyadeep Pal, Changsheng Wang, Yancheng Huang, Chongyu Fan, James Diffenderfer, Bhavya Kailkhura, Yihua Zhang

Publicado 2026-05-18

📖 6 min de leitura🧠 Leitura aprofundada

CC BY 4.0

Autores originais: Sijia Liu, Yicheng Lang, Soumyadeep Pal, Changsheng Wang, Yancheng Huang, Chongyu Fan, James Diffenderfer, Bhavya Kailkhura, Yihua Zhang

Artigo original sob licença CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta é uma explicação gerada por IA do artigo abaixo. Não foi escrita nem endossada pelos autores. Para precisão técnica, consulte o artigo original. Ler aviso legal completo

A Grande Ideia: Não Está Quebrado, Apenas Ainda Não Aprendemos a Usá-lo

Imagine que você está tentando encontrar o ponto mais baixo em um vale gigante e completamente escuro (isso representa treinar um modelo de IA complexo).

O Jeito Antigo (Otimização de Primeira Ordem): Você tem uma lanterna mágica que não apenas ilumina o chão, mas também lhe diz exatamente para onde é "para baixo" (o gradiente). É assim que a maioria das IAs é treinada hoje. É rápido, mas a lanterna exige uma bateria massiva (memória de computador enorme) e quebra facilmente se você tentar usá-la em terrenos estranhos e não padronizados (como simuladores ou sistemas de caixa preta).
O Jeito "Ordem Zero" (ZO): Você não tem uma lanterna. Você só tem um bastão. Para descobrir para onde é para baixo, você espetar o chão em direções diferentes com o bastão. Se o chão parecer mais baixo, você dá um passo nessa direção. Isso é otimização de Ordem Zero (ZO). Ela usa muito pouca memória e funciona em qualquer terreno, mesmo que você não consiga ver o chão.

O Problema: Por muito tempo, as pessoas achavam que o "método do bastão" era lento demais e desajeitado para grandes montanhas. Elas acreditavam que levaria uma eternidade para espetar o chão o suficiente vezes para encontrar o fundo.

A Alegação do Artigo: Os autores dizem: "Pare! Vocês estão julgando o método do bastão de forma injusta." Eles argumentam que a ZO não é fraca; ela apenas está pouco explorada. Temos usado o bastão da maneira errada (espetando cada centímetro do chão, um por um). Se mudarmos como espetamos, podemos torná-lo tão poderoso quanto a lanterna, mas sem a bateria pesada.

Os Seis Pontos Chave (O Guia "Como Fazer")

Os autores propõem seis novas maneiras de pensar sobre o uso do "bastão" para fazê-lo funcionar melhor.

1. Não Espete Aleatoriamente em Todo Lugar (P1 & P2)

A Analogia: Imagine que você está tentando encontrar o melhor lugar para plantar uma árvore em um campo vasto.

O Erro: A maioria das pessoas espetar o chão aleatoriamente em todas as direções ao mesmo tempo. Isso cria muito "ruído" (confusão) e exige espetar milhões de vezes.
A Correção: O artigo diz: "Seja mais inteligente sobre onde espetar." Em vez de espetar em todo lugar, espete em padrões específicos e estruturados. Além disso, perceba que espetar mais vezes reduz a confusão, mas custa mais tempo. Você precisa encontrar o equilíbrio perfeito entre "quantos espetos" e "quão claro é o sinal".

2. Use uma Bússola, Não Apenas um Bastão (P3)

A Analogia: Quando você espetar o chão, você está na verdade medindo a inclinação em uma direção específica (como a agulha de uma bússola).

A Insight: Os autores dizem que devemos parar de fingir que estamos apenas chutando. Devemos tratar esses "espetos" como medições da inclinação em uma direção específica. Se compararmos nosso "método do bastão" com uma "bússola perfeita" teórica (chamada de derivada direcional), podemos ver exatamente quão bom é nosso método realmente. Isso nos ajuda a parar de culpar a ferramenta quando a tarefa é, na verdade, apenas muito difícil.

3. Dê Zoom no Que é Importante (P4)

A Analogia: Imagine tentar navegar em uma cidade olhando para um mapa de todo o planeta. É avassalador.

A Correção: Em vez de espetar o planeta inteiro, dê zoom em um pequeno bairro (um subespaço). Os autores sugerem que os modelos de IA frequentemente têm padrões ocultos onde apenas algumas direções importam. Se espetarmos apenas nesses "bairros" específicos (subespaços de baixa dimensão), obtemos uma resposta clara com muito menos espetos. É como navegar em uma cidade olhando apenas para as ruas principais em vez de cada beco.

4. A Vantagem da "Equipe Invisível" (P5)

A Analogia: Imagine uma equipe de trabalhadores tentando mover um sofá pesado.

O Jeito Antigo (Lanterna): Todos precisam ver o mesmo projeto exato e conversar constantemente para se coordenar. Isso leva muito tempo e largura de banda.
O Jeito ZO: Como o "método do bastão" exige apenas o envio de um único número (como "é mais baixo aqui!") em vez de um projeto inteiro, os trabalhadores podem se comunicar muito mais rápido. Eles podem até usar um código secreto compartilhado (uma semente aleatória) para saber onde espetar sem conversar. Isso torna a otimização ZO incrivelmente rápida para equipes trabalhando em computadores diferentes e economiza muita energia.

5. Não Culpe a Ferramenta por uma Tarefa Muito Fácil (P6)

A Analogia: Imagine um aluno fazendo uma prova.

O Problema: Às vezes, o professor dá ao aluno uma cola (chamada de alinhamento de tarefa) que torna a prova super fácil. O aluno tira A, mas você não sabe se ele é inteligente ou apenas sortudo.
A Correção: Os autores dizem: "Parem de dar a cola!" Precisamos testar o "método do bastão" em problemas difíceis onde a cola não é permitida. Se o método ainda funcionar, então sabemos que a ferramenta é realmente poderosa. Se falhar, sabemos que a ferramenta precisa de trabalho. Isso nos impede de achar que a ferramenta é ótima apenas porque o teste foi manipulado.

O Chamado à Ação: O Que Devemos Fazer Depois?

Os autores não estão apenas reclamando; eles estão fornecendo um roteiro para o futuro:

Mude as Regras do Jogo: Pare de testar esses métodos com "colas" (alinhamento de tarefa) e sem medir quantos "espetos" (consultas) são necessários. Precisamos de testes justos.
Pare de Espetar o Mundo Inteiro: Afaste-se de espetar cada parâmetro individual. Comece a espetar em grupos menores e mais inteligentes (subespaços) ou use truques "espectrais" para encontrar as direções mais importantes.
Construa Novas Ferramentas para o Bastão: Atualmente, estamos tentando encaixar o "método do bastão" em ferramentas construídas para a "lanterna". Precisamos construir novos sistemas de computador projetados especificamente para o método do bastão. Esses sistemas seriam mais leves, mais rápidos e funcionariam em computadores mais baratos.
Olhe Além da IA: Este método não é apenas para IA. É perfeito para coisas onde você não pode usar uma lanterna de forma alguma, como:
- Computadores Quânticos: Onde as leis da física tornam impossível o uso de "luzes" (gradientes).
- Simuladores Científicos: Onde você está testando um modelo físico (como uma ponte ou um sistema climático) e não pode calcular matematicamente a inclinação.

A Conclusão

O artigo argumenta que a otimização de Ordem Zero é um Ferrari que temos estado dirigindo em um estacionamento. Temos usado de forma desajeitada, achando que é lento e fraco. Mas, se construirmos as estradas certas (sistemas), dirigirmos nas faixas certas (subespaços) e pararmos de usar colas (alinhamento de tarefa), revela-se ser uma maneira incrivelmente poderosa, eficiente em memória e escalável para treinar a próxima geração de IA.

Resumo Técnico: Otimização de Ordem Zero em Aprendizado Profundo é Subexplorada, Não Subpotente

1. Declaração do Problema

A otimização de ordem zero (ZO), que aproxima gradientes usando diferenças finitas de avaliações de função sem retropropagação (BP), recuperou atenção devido à sua eficiência de memória e aplicabilidade a pipelines de caixa-preta ou caixa-cinza. Apesar dessas vantagens, os métodos ZO são frequentemente descartados como fundamentalmente não escaláveis para aprendizado profundo devido à alta variância do estimador e complexidade de consulta desfavorável.

O artigo argumenta que esse ceticismo é inadequado. As limitações percebidas da otimização ZO não decorrem de fraquezas intrínsecas do aprendizado sem gradiente, mas de "práticas de desenvolvimento míopes". Especificamente, a comunidade superenfatizou designs centrados no estimador operando no espaço de parâmetros completo com perturbações elemento a elemento. Esse foco estreito obscureceu oportunidades algorítmicas, de nível de sistema e de avaliação mais amplas que poderiam desbloquear a escalabilidade dos métodos ZO.

2. Metodologia e Framework de Posicionamento

Em vez de propor um único novo algoritmo, o artigo articula um framework abrangente de posicionamento consistindo em seis argumentos (P1–P6) que abrangem as pilhas algorítmica, de sistema e de avaliação. Essas posições redefinem os limites de viabilidade e as oportunidades para a otimização ZO.

Fundamentos e Limites de Viabilidade (P1–P3)

Os autores revisitam primeiro os limites teóricos dos designs atuais centrados no estimador:

(P1) A Escolha da Direção Aleatória Importa: A escolha da direção de perturbação $u$ é crítica. Embora vetores Gaussianos ou de Bernoulli padrão sejam comuns, eles resultam em uma variância que escala linearmente com a dimensão $d$ . O artigo destaca que designs estruturados (por exemplo, perturbações esparsas ou pré-condicionadas) podem reduzir a variância, mas frequentemente introduzem sobrecargas computacionais ou de consulta que devem ser ponderadas.
(P2) Compromisso entre Consulta e Variância: A redução de variância não pode ser considerada isoladamente. Aumentar o número de consultas (por exemplo, via mini-lotes) reduz a variância, mas aumenta o custo. O artigo argumenta que a otimização ZO eficaz deve alcançar um crescimento sublinear do custo de consultas em relação à dimensão do problema, evitando a escala linear dos estimadores coordenados.
(P3) Ponto de Vista da Derivada Direcional: O estimador de diferenças finitas deve ser comparado com a linha de base da derivada direcional (DD) (gradientes forward). A DD fornece um limite superior principiado para o desempenho e ajuda a desvendar se as falhas são devidas ao método ZO ou à dificuldade inerente da tarefa.

Oportunidades para Avanço (P4–P6)

O artigo propõe então três direções subexploradas para avançar a otimização ZO:

(P4) Visão de Subespaço e Espectral: Em vez de operar no espaço completo de $d$ dimensões, os métodos ZO devem aproveitar a projeção de subespaço (por exemplo, S-RGE). Ao projetar perturbações em um subespaço de baixa dimensão ( $r \ll d$ ), a variância é reduzida por um fator de $r$ . Essa abordagem conecta ZO a métodos de otimização espectral (como Muon), explorando a estrutura de baixo rank frequentemente encontrada em gradientes de modelos profundos.
(P5) Simplicidade de Nível de Sistema: A natureza "apenas forward" do ZO é uma vantagem de sistema, não apenas uma economia de memória. Ela permite:
- Eficiência de Comunicação: Em configurações distribuídas, os trabalhadores podem transmitir apenas valores escalares de diferenças finitas e sementes aleatórias compartilhadas, reconstruindo vetores de perturbação localmente sem transmitir vetores completos.
- Paralelismo de Pipeline: A eliminação da retropropagação remove o acoplamento estreito entre as passagens forward e backward, permitindo agendamentos unidirecionais com "bolhas de pipeline" próximas de zero.
- Privacidade: A estocasticidade inerente do ZO (via perturbações Gaussianas) oferece benefícios naturais de privacidade diferencial sem exigir injeção explícita de ruído.
(P6) Desobfuscation Alinhada à Tarefa: Os sucessos atuais no ajuste fino (fine-tuning) ZO frequentemente dependem de alinhamento de tarefa (usando prompts para alinhar tarefas downstream com objetivos de pré-treinamento). O artigo argumenta que isso atua como uma obfuscation implícita, dificultando a avaliação do verdadeiro poder de otimização do ZO. As avaliações devem comparar explicitamente o desempenho com e sem alinhamento de tarefa para evitar atribuir ganhos ao otimizador quando eles decorrem da simplificação da tarefa.

3. Contribuições Principais e Evidências

O artigo fornece uma crítica estruturada do estado atual da pesquisa ZO e oferece um roteiro para trabalhos futuros:

Análise Empírica de Trabalhos Recentes: Os autores analisam artigos recentes (por exemplo, de ICML'25, NeurIPS'25, ICLR'26) e descobrem que, embora a maioria aborde (P1) via redução de variância, eles ignoram em grande parte (P2) (compromissos de consulta) e (P3) (linhas de base DD). A Tabela 1 no artigo demonstra que poucos trabalhos satisfazem simultaneamente as três posições fundamentais.
Experimentos de Desobfuscation: A Figura 2 apresenta resultados de ajuste fino nas tarefas SST-2, RTE e WiC usando modelos como Gemma2-2B. Os dados mostram que os métodos ZO (por exemplo, MeZO, Sparse-MeZO) experimentam quedas significativas de precisão quando o alinhamento de tarefa é removido. Além disso, o ranking relativo dos métodos muda entre configurações alinhadas e não alinhadas, confirmando que o alinhamento de tarefa pode obscurecer as capacidades intrínsecas de diferentes algoritmos ZO.
Chamadas à Ação Acionáveis (A1–A5): O artigo delineia etapas concretas para a comunidade:
- A1: Estabelecer protocolos de avaliação rigorosos com orçamentos fixos de consultas e linhas de base de gradiente forward.
- A2: Ir além da otimização de espaço completo integrando métodos de subespaço e espectrais, e considerar abordagens híbridas FO-ZO.
- A3: Explorar modelos generativos (por exemplo, modelos de difusão) como estimadores de gradiente aprendidos para denoizar estimativas ZO.
- A4: Construir pilhas de sistema nativas ZO em vez de portar ZO para frameworks centrados em FO (como DeepSpeed). Isso inclui priorizar o paralelismo de perturbação e agendamento denso de pipeline.
- A5: Ampliar aplicações para pilhas aceleradas por inferência (por exemplo, vLLM) e otimização quântica/híbrida quântico-clássica, onde ZO é um paradigma nativo.

4. Resultados e Afirmações

O artigo não apresenta um novo algoritmo SOTA, mas sim um artigo de posicionamento que reestrutura o discurso. Seus principais "resultados" são analíticos:

Reenquadramento das Limitações: Demonstra que as barreiras de escalabilidade são frequentemente artefatos de escolhas de design (espaço completo, centrado no estimador) e não impossibilidades fundamentais.
Sinergia de Sistema: Argumenta que a simplicidade do ZO alinha-se naturalmente com ambientes distribuídos e com restrições de recursos, oferecendo vantagens em eficiência de comunicação e de pipeline que métodos FO não podem igualar.
Viés de Avaliação: Fornece evidências de que os benchmarks atuais podem superestimar o desempenho do ZO devido ao alinhamento de tarefa, urgindo uma mudança para avaliações mais honestas e desobfuscadas.

5. Significado e Conclusão

O artigo afirma que a otimização ZO é subexplorada, não subpotente. Ao mudar o foco de meramente refinar estimadores de gradiente para aproveitar estruturas de subespaço, simplicidade de nível de sistema e avaliação rigorosa, a comunidade pode desbloquear um caminho viável para aprendizado em grande escala e eficiente em recursos.

Os autores concluem que a otimização ZO tem o potencial de se transformar de uma solução alternativa de nicho em um paradigma prático para treinar sistemas de IA modernos em ambientes restritos, híbridos e emergentes (por exemplo, gêmeos digitais, sistemas informados por física e computação quântica). O significado reside em democratizar o acesso ao treinamento de grandes modelos (reduzindo requisitos de memória e hardware) e permitir aprendizado em sistemas não diferenciáveis onde a retropropagação é impossível. O artigo pede uma reavaliação sistemática das pilhas algorítmica, de sistema e de avaliação para realizar plenamente esses ganhos potenciais.