🤖 machine learning

Learning Dynamics of Zeroth-Order Optimization: A Kernel Perspective

Este artigo resolve o paradoxo do sucesso da otimização de ordem zero no ajuste fino de modelos de linguagem de grande escala, demonstrando que sua dinâmica de aprendizado é governada por um Kernel Tangente Neural empírico cujo erro de aproximação depende do tamanho da saída do modelo e não da dimensão massiva dos parâmetros, explicando assim sua escalabilidade.

Autores originais: Zhe Li, Bicheng Ying, Zidong Liu, Haibo Yang

Publicado 2026-05-06

📖 5 min de leitura🧠 Leitura aprofundada

CC BY 4.0

Autores originais: Zhe Li, Bicheng Ying, Zidong Liu, Haibo Yang

Artigo original sob licença CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta é uma explicação gerada por IA do artigo abaixo. Não foi escrita nem endossada pelos autores. Para precisão técnica, consulte o artigo original. Ler aviso legal completo

O Grande Mistério: O "Cego" vs. O "Vidente"

Imagine que você está tentando encontrar o ponto mais baixo em um vasto vale coberto de neblina (este é o objetivo de treinar um modelo de IA).

Métodos de Primeira Ordem (FO): São como um caminhante com uma bússola e um mapa. Eles podem ver exatamente para onde é "para baixo" (o gradiente) e caminham diretamente até lá. Isso é rápido e eficiente, mas exige carregar um mapa pesado (computar gradientes), o que é impossível se o vale for grande demais ou se você estiver em uma "caixa preta" onde não consegue ver o mapa.
Métodos de Ordem Zero (ZO): São como um caminhante cego. Eles não têm bússola. Em vez disso, dão um pequeno passo à frente, verificam se estão mais baixos, dão um passo para trás e verificam novamente. Ao comparar esses dois pontos, eles adivinham para onde é "para baixo". Isso é "eficiente em memória" porque não precisam do mapa pesado, mas a matemática tradicional diz que isso deveria ser incrivelmente lento, especialmente se o vale for enorme (alta dimensionalidade).

O Paradoxo:
Por anos, os livros de matemática nos disseram que o "caminhante cego" (ZO) levaria uma eternidade para encontrar o fundo se o vale fosse massivo (como os modernos Modelos de Linguagem de Grande Escala com bilhões de parâmetros). No entanto, no mundo real, pesquisadores usaram com sucesso esse método "cego" para ajustar finamente esses modelos massivos. Como isso é possível?

A Solução do Artigo: A Analogia da "Sombra"

Os autores resolvem esse mistério ao olhar para o problema não através da lente dos "passos dados", mas através da lente das "dinâmicas de aprendizado" (como a confiança do modelo muda).

Eles usam uma ferramenta chamada Kernel Tangente Neural (eNTK). Pense no eNTK como uma sombra projetada pelo processo de aprendizado do modelo.

O caminhante "Vidente" (FO) projeta uma sombra perfeita e detalhada do terreno.
O caminhante "Cego" (ZO) projeta uma sombra que é uma versão projetada e ligeiramente desfocada da perfeita.

O artigo argumenta que o método "cego" funciona porque não precisa ver todo o vale massivo para projetar uma sombra útil. Ele só precisa projetar a sombra em um recorte aleatório e de baixa dimensão do mundo.

O Truque de Mágica: O Lema de "Johnson-Lindenstrauss"

O artigo se baseia em um conceito matemático chamado Lema de Johnson-Lindenstrauss (JL). Aqui está a analogia:

Imagine que você tem uma escultura 3D gigante e complexa (o modelo com bilhões de parâmetros). Você quer tirar uma foto dela, mas sua câmera só pode tirar fotos 2D.

Teoria Antiga: Você pensava que precisava de uma câmera com um sensor tão grande quanto a escultura para obter uma boa foto. Se a escultura fosse enorme, a foto ficaria borrada e inútil.
A Descoberta do Artigo: O Lema JL diz que, se você tirar uma foto de um ângulo aleatório, você pode na verdade capturar perfeitamente as relações essenciais da escultura, mesmo que a foto seja muito menor que a escultura.

A Descoberta Chave:
A qualidade dessa foto "cega" (o aprendizado ZO) depende de quantos ângulos aleatórios (perturbações) você tira, e não de quão grande é a escultura.

As "Perturbações" (P): São o número de vezes que o caminhante cego dá uma estocada no chão para adivinhar a direção.
O "Tamanho da Saída" (V): Este é o tamanho da resposta final que o modelo dá (por exemplo, o tamanho do vocabulário de um modelo de linguagem).

O artigo prova que, desde que você dê estocadas no chão o suficiente (aumente P), o caminho do caminhante "cego" ficará quase idêntico ao caminho do caminhante "vidente". Crucialmente, o número de estocadas necessárias depende do tamanho da resposta (V), e não do tamanho do modelo (d).

Três Principais Conclusões

Conte as Estocadas, Não o Tamanho:
O sucesso do método "cego" não é sobre o tamanho massivo do modelo de IA (que pode ser de bilhões de parâmetros). Trata-se do número de palpites aleatórios (perturbações) que você faz. Se você fizer palpites suficientes, o modelo aprenderá tão bem quanto se tivesse um mapa.
A Forma do Palpite Não Importa:
Importa se o "caminhante cego" dá estocadas no chão em um círculo suave e contínuo (distribuição Gaussiana) ou em saltos agudos e binários (distribuição de Rademacher)? O artigo mostra que não importa muito. Ambos funcionam quase igualmente bem. O método "cego" é robusto; ele não se importa com a forma específica do ruído, desde que haja o suficiente dele.
Por Que Funciona em Modelos Gigantes:
Isso explica por que o ZO funciona em Modelos de Linguagem de Grande Escala (LLMs). Embora o modelo tenha bilhões de parâmetros (um d enorme), o vocabulário de saída é relativamente pequeno (um V moderado). Como a precisão do método "cego" depende de V e não de d, ele permanece eficiente e eficaz mesmo para os maiores modelos.

A Conclusão Final

Este artigo muda a história. Ele diz que a "maldição da dimensionalidade" (a ideia de que modelos grandes são difíceis demais para métodos cegos) é um mito quando você olha para o processo de aprendizado corretamente.

Ao visualizar o processo de aprendizado como uma projeção geométrica, os autores mostram que um otimizador "cego" pode aprender tão efetivamente quanto um "vidente", desde que você lhe dê amostras aleatórias suficientes. Não se trata do tamanho da montanha; trata-se de quantas vezes você a olha de ângulos diferentes.

Resumo Técnico: Dinâmicas de Aprendizado de Otimização de Ordem Zero: Uma Perspectiva de Kernel

Declaração do Problema

A teoria clássica de otimização postula que algoritmos de Ordem Zero (ZO) sofrem de uma "maldição da dimensionalidade", onde as taxas de convergência escalam linearmente com a dimensão do modelo $d$ . Essa limitação teórica sugere que os métodos ZO deveriam ser proibitivamente lentos para modelos de alta dimensão, como Modelos de Linguagem de Grande Escala (LLMs) com bilhões de parâmetros. No entanto, avanços empíricos recentes contradizem esse panorama pessimista, demonstrando que os métodos ZO podem ajustar finamente (fine-tune) LLMs com desempenho competitivo em relação aos métodos de Primeira Ordem (FO). O problema central abordado por este artigo é resolver esse paradoxo: por que os métodos ZO escalam efetivamente para espaços de parâmetros massivos, apesar das limitações teóricas sugerirem o contrário?

Metodologia

Os autores propõem uma nova estrutura que analisa a otimização ZO através da lente das dinâmicas de aprendizado e do Kernel Neural Tangente Empírico (eNTK), em vez de focar exclusivamente na convergência no espaço de parâmetros ou em valores de perda escalares.

Derivação das Dinâmicas de Aprendizado ZO: O artigo deriva as dinâmicas de aprendizado de um passo da Descida de Gradiente Estocástica (SGD) de Ordem Zero. Ao aplicar uma expansão de Taylor à probabilidade logarítmica das previsões do modelo, os autores mostram que a regra de atualização é governada por um eNTK projetado.
Formulação de Projeção de Kernel: A principal insight teórica é que o kernel efetivo induzido pela otimização ZO (denominado ZO-eNTK) é uma projeção geométrica do eNTK FO padrão sobre um subespaço aleatório de baixa dimensão abrangido pelos vetores de perturbação.
Aplicação do Lema de Johnson-Lindenstrauss (JL): Os autores invocam o Lema de Johnson-Lindenstrauss para analisar a fidelidade dessa projeção. Eles estabelecem que o erro de aproximação entre o ZO-eNTK e o verdadeiro FO-eNTK depende da preservação de produtos internos em espaços de alta dimensão.
Limites Teóricos: A análise deriva limites rigorosos mostrando que o erro de aproximação $\epsilon$ escala como $O(\sqrt{\ln V / P})$ , onde $V$ é o tamanho do vocabulário de saída e $P$ é o número de perturbações. Crucialmente, esse limite é independente da dimensão massiva de parâmetros do modelo $d$ .
Validação Empírica: A estrutura é validada através de experimentos em:
- LeNet (MNIST): Visualizando a convergência do ZO-eNTK para o FO-eNTK à medida que $P$ aumenta, utilizando mapas de calor e erros da norma de Frobenius.
- Modelos OPT (SST-2): Testando modelos que variam de 125M a 1,3B de parâmetros para verificar a independência da dimensão.
- Comparação de Distribuições: Comparando distribuições de perturbação Gaussiana e Rademacher.

Contribuições Principais

1. Resolução Teórica do Paradoxo ZO

O artigo fornece uma justificativa teórica para a escalabilidade dos métodos ZO em LLMs. Ao deslocar a análise do espaço de parâmetros para o espaço de funções (via eNTK), os autores demonstram que a fidelidade das atualizações ZO é governada pelo tamanho do vocabulário de saída $V$ e pelo número de perturbações $P$ , em vez da dimensão do modelo $d$ . Essa propriedade "livre de dimensão" explica por que os métodos ZO permanecem eficientes mesmo quando $d$ está na casa dos bilhões.

2. O Papel da Contagem de Perturbações ( $P$ )

A análise identifica o número de perturbações como o fator primário que governa a fidelidade do ZO-eNTK. Limites teóricos e resultados empíricos mostram que o aumento de $P$ reduz o erro de aproximação do kernel a uma taxa de $O(1/\sqrt{P})$ . Uma vez que $P$ excede um limiar determinado por $V$ , a trajetória de aprendizado ZO alinha-se estreitamente com a trajetória FO.

3. Robustez da Distribuição

O artigo investiga o impacto das distribuições de perturbação (Gaussiana vs. Rademacher). Embora as visões clássicas de otimização sugiram diferenças na redução de variância, a análise baseada em kernels revela que ambas as distribuições produzem constantes de concentração comparáveis no contexto do Lema JL. Resultados empíricos confirmam que a escolha da distribuição tem um impacto negligenciável na convergência de longo prazo, desde que $P$ seja suficiente.

4. Sensibilidade à Similaridade de Entrada

O estudo destaca que a taxa de convergência da aproximação ZO-eNTK é sensível à similaridade semântica entre pares de entrada. Pares com alta similaridade (por exemplo, dígitos ou textos semanticamente similares) convergem para a verdade fundamental FO mais rapidamente do que pares estruturalmente distintos, embora ambos eventualmente converjam à medida que $P$ aumenta.

Resultados

Convergência do eNTK: Experimentos no LeNet mostram que, à medida que $P$ aumenta de 1 para 125, o ZO-eNTK recupera visual e numericamente a estrutura de blocos diagonais do FO-eNTK. O erro relativo da norma de Frobenius diminui monotonicamente.
Independência da Dimensão: Em experimentos com modelos OPT (125M, 350M, 1,3B), o limiar de $P$ necessário para recuperar as dinâmicas FO permaneceu virtualmente constante, apesar da dimensão do modelo $d$ aumentar em uma ordem de magnitude. Isso confirma que as dinâmicas de aprendizado são desacopladas de $d$ .
Escalonamento do Tamanho de Saída: Um experimento sintético controlado, variando o tamanho de saída $V$ (de 2 a 1000) enquanto mantinha $P$ fixo, mostrou que o erro de aproximação aumenta a uma taxa consistente com $\sqrt{V}$ , validando o limite teórico.
Paridade de Distribuição: As curvas de convergência para distribuições Gaussiana e Rademacher foram quase indistinguíveis em todas as métricas (Norma de Frobenius, CKA e Distância Espectral), apoiando a afirmação de que perturbações binárias simples são suficientes para uma aproximação de kernel efetiva.

Significado e Alegações

O artigo alega oferecer uma nova perspectiva para entender as dinâmicas de aprendizado sem derivadas, complementando a visão existente centrada em otimização com uma estrutura baseada em kernels.

Justificativa Teórica: O principal significado é a provisão de uma explicação teórica rigorosa para o sucesso empírico do ajuste fino ZO em LLMs, resolvendo a discrepância entre limites teóricos de pior caso (dependentes de $d$ ) e desempenho prático.
Orientação Prática: As descobertas sugerem que os praticantes devem focar em ajustar o número de perturbações $P$ em relação ao tamanho do vocabulário de saída $V$ , em vez de se preocupar com a contagem massiva de parâmetros $d$ .
Limitações e Escopo: Os autores notam modestamente que sua análise depende do regime de "treinamento preguiçoso" (onde as características permanecem estáveis), o que é típico para ajuste fino, mas pode não valer para cenários de treinamento do zero. Eles também reconhecem que a estrutura atualmente aborda o ajuste fino supervisionado padrão e pode exigir extensão para tarefas com fortes dependências sequenciais (por exemplo, raciocínio de longo horizonte), onde a dimensão de saída efetiva cresce com o comprimento da sequência.

Em resumo, o artigo argumenta que o sucesso da otimização ZO em configurações de alta dimensão não é um acaso, mas uma consequência das propriedades geométricas do Kernel Neural Tangente, que permite aproximação livre de dimensão através de projeções aleatórias.