🤖 machine learning

Learning a Zeroth-Order Optimizer for Fine-Tuning LLMs

Este artigo apresenta o ZO-Finetuner, um otimizador de ordem zero baseado em aprendizado que aprende automaticamente estratégias de perturbação eficientes por meio de um design com eficiência de memória, permitendo o treinamento de uma única vez por modelo e um desempenho superior em diversas tarefas de jusante em comparação com os métodos de ordem zero estáticos existentes.

Autores originais: Kairun Zhang, Haoyu Li, Yanjun Zhao, Yifan Sun, Huan Zhang

Publicado 2026-06-01

📖 4 min de leitura☕ Leitura rápida

CC BY 4.0

Autores originais: Kairun Zhang, Haoyu Li, Yanjun Zhao, Yifan Sun, Huan Zhang

Artigo original sob licença CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta é uma explicação gerada por IA do artigo abaixo. Não foi escrita nem endossada pelos autores. Para precisão técnica, consulte o artigo original. Ler aviso legal completo

Imagine que você tem uma biblioteca massiva e incrivelmente complexa (um Grande Modelo de Linguagem, ou LLM) que sabe escrever, raciocinar e conversar. Você quer ensinar a essa biblioteca uma nova habilidade específica, como escrever contratos jurídicos ou resolver problemas matemáticos. Esse processo é chamado de "ajuste fino" (fine-tuning).

Geralmente, ensinar essa biblioteca envolve um método muito caro chamado "retropropagação" (backpropagation). Pense nisso como um professor que, após cada frase que o aluno escreve, precisa percorrer toda a biblioteca, verificar cada livro e calcular exatamente como ajustar o cérebro do aluno. É preciso, mas exige uma quantidade enorme de memória e energia, tornando muitas vezes impossível realizá-lo em computadores padrão.

Para resolver isso, pesquisadores desenvolveram um método de "Ordem Zero" (como o MeZO). Em vez de percorrer toda a biblioteca, este método é como um explorador vendado. O explorador faz um pequeno palpite (uma perturbação), vê se o resultado melhorou ou piorou, e então faz outro pequeno palpite na direção oposta. Ao comparar os dois resultados, eles conseguem descobrir para qual direção ir sem nunca ver o quadro completo. Isso economiza uma quantidade massiva de memória.

O Problema: O Mapa "Tamanho Único para Todos"
Os exploradores vendados existentes usam uma estratégia aleatória fixa. Eles chutam direções baseadas em uma regra padrão e entediante (como rolar um dado honesto). Isso é ineficiente. Às vezes, a biblioteca tem "salas" específicas (blocos de parâmetros) onde você precisa ser muito preciso, e outras salas onde você pode ser mais ousado. Uma estratégia fixa não sabe disso; ela trata cada parte da biblioteca da mesma forma.

A Solução: ZO Fine-tuner (O Explorador Inteligente)
Os autores criaram o ZO Fine-tuner, um sistema de "aprender a aprender". Em vez de usar uma regra fixa, eles treinaram um "treinador" minúsculo e super eficiente (uma pequena rede neural) para ensinar o explorador vendado a fazer palpites melhores.

Veja como funciona, usando algumas analogias:

O Treinador (ZO Fine-tuner): Imagine um treinador que observa o explorador. O treinador não precisa ver a biblioteca inteira. Em vez disso, o treinador olha para algumas estatísticas simples: "Quão bagunçada está esta sala agora?" e "O último palpite ajudou ou prejudicou?". Com base nisso, o treinador diz ao explorador: "Nesta sala específica, dê um passo grande e ousado. Naquela outra sala, dê um passo pequeno e cuidadoso."
A Estratégia de Blocos: A biblioteca é enorme (bilhões de parâmetros). Se o treinador tentasse dar instruções para cada livro individualmente, seria muito lento e consumiria muita memória. No entanto, os pesquisadores notaram que a biblioteca é organizada em "blocos" (como seções de livros). O treinador aprende a dar uma instrução por bloco. Isso é como um treinador dizendo a uma equipe inteira de jogadores como se moverem juntos, em vez de gritar para cada jogador individualmente. Isso mantém o uso de memória minúsculo.
A Magia do "Treine uma Vez, Reuse Amplamente": Normalmente, você precisa treinar um novo treinador para cada nova tarefa. Mas os autores descobriram algo incrível: a "forma" da biblioteca não muda muito, esteja você ensinando matemática ou escrevendo histórias. Então, eles treinaram o treinador uma única vez em um único conjunto de dados (COPA). Depois, pegaram esse mesmo treinador e o enviaram para ensinar a biblioteca em tarefas completamente diferentes (como análise de sentimento ou compreensão de leitura) e até em diferentes versões da biblioteca.
- O Resultado: O treinador treinado em uma tarefa funcionou surpreendentemente bem em todas as outras. É como treinar um motorista em uma pista específica e depois tê-lo dirigindo perfeitamente em uma rodovia totalmente diferente sem qualquer novo treino.

Os Resultados
O artigo testou este método em quatro modelos de linguagem grandes diferentes e sete tarefas diferentes.

Desempenho: Em cerca de 82% dos casos, este novo "Explorador Inteligente" alcançou um resultado melhor e mais rápido do que os exploradores de "Regra Fixa".
Eficiência: Não exigiu muita memória extra. O próprio "treinador" é tão pequeno (menos de 2MB para um modelo de 30 bilhões de parâmetros) que é como adicionar uma única página de notas a uma enciclopédia de 60GB.
Estabilidade: O novo método também foi menos sensível à "taxa de aprendizado" (o tamanho dos passos). Mesmo se você dissesse para ele dar passos maiores, ele não quebrava tão facilmente quanto os métodos antigos.

Em Resumo
O artigo apresenta uma maneira de ensinar novas habilidades a gigantes de IA sem precisar de um supercomputador. Eles substituíram uma estratégia de palpite aleatório e rígida por um treinador minúsculo e inteligente que aprende a como dar palpites nas direções certas para diferentes partes do modelo. Uma vez que este treinador é treinado em uma tarefa, ele pode ser reutilizado para ensinar a biblioteca muitas outras tarefas de forma eficiente, economizando tempo e memória de computador.

Resumo Técnico: Aprendendo um Otimizador de Ordem Zero para Ajuste Fino de LLMs

Declaração do Problema

O ajuste fino (fine-tuning) de grandes modelos de linguagem (LLMs) utilizando otimizadores de primeira ordem padrão (ex: Adam) acarreta um overhead de memória proibitivo, exigindo frequentemente até 12 vezes mais memória do que a inferência devido ao armazenamento de estados do otimizador e ativações de backpropagation. Embora otimizadores de ordem zero (ZO) como o MeZO tenham surgido como uma alternativa eficiente em termos de memória, dependendo apenas de passagens de ida (forward passes), os métodos existentes tipicamente empregam estratégias de amostragem estáticas e manuais (ex: distribuições normais padrão). Essas estratégias estáticas não são adaptáveis às propriedades estruturais específicas de diferentes modelos ou tarefas, muitas vezes exigindo ajustes extensivos de hiperparâmetros e falhando em explorar plenamente a geometria local do cenário de perda (loss landscape).

Metodologia: ZO Fine-tuner

Os autores propõem o ZO Fine-tuner, um otimizador de ordem zero baseado em aprendizado, projetado para aprender automaticamente estratégias de perturbação eficientes através de um framework de "Aprender a Aprender" (L2L - Learning to Learn). A inovação central reside na transição da perturbação uniforme estática para a perturbação adaptativa por blocos.

1. Arquitetura de Perturbação por Blocos

Motivado por análises recentes que sugerem que os Hessianos de Transformers exibem uma estrutura aproximadamente diagonal por blocos, o método evita a parametrização por coordenada (que é proibitiva em termos de memória em escala) em favor da adaptação por blocos.

PertNN: Para cada bloco de parâmetros $i$ do LLM, uma rede neural auxiliar leve (PertNN) prevê uma variância de perturbação compartilhada $\sigma_t^{(i)}$ .
Entradas: A PertNN recebe como entrada estatísticas resumidoras compactas dos parâmetros atuais (Média e Variância do bloco), a variância de perturbação anterior e os valores de perda do passo anterior.
Saída: A rede produz uma variância atualizada $\sigma_t^{(i)}$ , que é usada para construir uma matriz de variância diagonal $\Sigma_t = \text{diag}(\sigma_t^{(1)}I, \dots, \sigma_t^{(n)}I)$ .
Normalização: Para desacoplar a variância aprendida da taxa de aprendizado efetiva, o método normaliza $\Sigma_t$ de modo que sua norma de Frobenius permaneça constante ( $\|\Sigma_t\|_F = \sqrt{d}$ ). Isso garante que a magnitude da perturbação permaneça estável enquanto permite que o otimizador aprenda variâncias relativas por bloco.

2. Treinamento via Aprender a Aprender (L2L)

O otimizador é treinado usando um meta-objetivo onde a trajetória de ajuste fino do próprio LLM serve como supervisão.

Meta-Objetivo: O objetivo é minimizar a perda pós-atualização $L(\theta_1)$ após um único passo de ZO. O gradiente desta perda em relação aos parâmetros da PertNN $\omega$ é computado usando o truque de reparametrização (amostrando $z \sim N(0, I)$ e definindo $u = \Sigma z$ ), tornando o processo de perturbação diferenciável.
Estratégia de Treinamento: A PertNN é treinada em um único conjunto de dados (ex: COPA) usando um otimizador de primeira ordem para gerar estados do modelo. Para evitar o overfitting em regiões de baixa perda, os autores introduzem um mecanismo de reset periódico, reinicializando os parâmetros do LLM para seu estado pré-ajuste fino após certos intervalos.
Generalização: Uma vez treinado para um modelo base específico, o ZO Fine-tuner é reutilizado em diversas tarefas downstream e checkpoints derivados sem necessidade de novo treinamento.

Principais Contribuições

Extensão do L2L para LLMs: O artigo demonstra que um único otimizador aprendido, treinado em um modelo base, pode generalizar efetivamente para diversas tarefas downstream e checkpoints derivados, validando um fluxo de trabalho de "treinar uma vez, reutilizar amplamente".
Aprendizado de Variância por Blocos: Os autores propõem uma parametrização por blocos eficiente em memória com variância compartilhada por bloco. Este design é teoricamente fundamentado na estrutura diagonal por blocos dos Hessianos de Transformers, permitindo o L2L na escala de modelos de fundação sem custos de memória proibitivos.
Desempenho Empírico: Em quatro LLMs (LLaMA-3.2-1B, LLaMA-3.1-8B, Qwen2.5-14B, OPT-30B) e sete datasets, o ZO Fine-tuner supera os baselines de ordem zero mais fortes (MeZO, MeZO-AdamU, HIZOO, LOZO) em 82,1% das combinações tarefa-modelo em termos de perda convergida, com uma melhoria média de acurácia de 2,5%.

Resultados Experimentais

Convergência e Acurácia: O ZO Fine-tuner consistentemente atinge uma perda menor mais rapidamente do que os baselines. Ele demonstra superior robustez às escolhas de taxa de aprendizado, frequentemente alcançando desempenho comparável ou superior em taxas de aprendizado mais baixas (ex: $10^{-8}$ ) onde os baselines falham em convergir ou tornam-se instáveis.
Transferibilidade: Um otimizador treinado no dataset COPA transferiu-se com sucesso para o ajuste fino de modelos em SST-2, CB, SQuAD, WSC, BoolQ e DROP, bem como para tarefas de raciocínio matemático (MetaMathQA).
Checkpoints Derivados: O método generaliza de um modelo base (LLaMA-3.1-8B) para sua variante ajustada por instruções (LLaMA-3.1-8B-Instruct), superando o MeZO tanto em perda quanto em acurácia.
Eficiência:
- Memória: O overhead de memória é desprezível comparado ao tamanho do modelo (ex: <2MB para redes auxiliares no OPT-30B). A pegada de memória total permanece comparável ao MeZO e é significativamente menor do que os métodos de primeira ordem (ex: 62GB vs 312GB para o OPT-30B).
- Tempo: O overhead de tempo introduzido pela consulta à PertNN é mínimo (<3,4% para modelos menores, diminuindo para modelos maiores), uma vez que o custo dominante permanece nas passagens de ida necessárias para a estimativa de ordem zero.

Significância e Alegações

O artigo afirma que o ZO Fine-tuner aborda o gargalo crítico da eficiência de memória no ajuste fino de LLMs, ao mesmo tempo em que supera a rigidez das estratégias estáticas de ordem zero. Ao alavancar o paradigma "treinar uma vez, reutilizar amplamente", os autores argumentam que criadores de modelos poderiam enviar um finetuner aprendido pré-treinado junto com os modelos base, permitindo que usuários downstream realizem ajustes finos de alto desempenho e alta eficiência com custos de memória próximos aos da inferência. O trabalho estabelece que aprender distribuições de perturbação adaptativas é viável na escala de modelos de fundação e oferece um caminho prático para a adaptação de LLMs escalável e eficiente em termos de memória.