🤖 machine learning

On-Device Fine-Tuning via Backprop-Free Zeroth-Order Optimization

Este artigo demonstra que a otimização de ordem zero eficiente em memória (MeZO) permite o ajuste fino de modelos significativamente maiores em dispositivos do que a retropropagação convencional, ao eliminar a necessidade de armazenar ativações e estados do otimizador, trocando assim o tempo de execução aumentado por precisão superior sob restrições de memória rigorosas.

Autores originais: Prabodh Katti, Houssem Sifaou, Sangwoo Park, Bipin Rajendran, Osvaldo Simeone

Publicado 2026-05-06

📖 4 min de leitura☕ Leitura rápida

CC BY 4.0

Autores originais: Prabodh Katti, Houssem Sifaou, Sangwoo Park, Bipin Rajendran, Osvaldo Simeone

Artigo original sob licença CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta é uma explicação gerada por IA do artigo abaixo. Não foi escrita nem endossada pelos autores. Para precisão técnica, consulte o artigo original. Ler aviso legal completo

Imagine que você tem uma biblioteca gigante e incrivelmente inteligente de conhecimento (um Modelo de Linguagem de Grande Porte) que deseja levar consigo em um dispositivo pequeno e alimentado por bateria, como um smartphone ou um relógio inteligente. Você quer que este dispositivo aprenda novos truques especificamente para suas necessidades, ali mesmo, no momento, sem precisar conectar-se a um servidor massivo na nuvem. Esse processo é chamado de ajuste fino no dispositivo (on-device fine-tuning).

O problema é que o "cérebro" do dispositivo (memória) é minúsculo em comparação com a biblioteca.

O Jeito Antigo: A Mochila de "Backpropagation"

O método tradicional para ensinar esses modelos é chamado de Backpropagation (BP). Pense nisso como um estudante tentando aprender um novo assunto fazendo uma prova e, em seguida, anotando imediatamente cada pensamento, cada papel de rascunho e cada cálculo intermediário que fez ao resolver o problema, para poder revisá-los mais tarde e ver onde errou.

A Analogia: Imagine que você está tentando resolver um problema matemático complexo em um guardanapo minúsculo. Para usar o método antigo, você precisa manter uma cópia de cada passo que deu em um pedaço de papel separado para cada camada do problema.
O Resultado: O "guardanapo" (a memória do seu dispositivo) enche instantaneamente. Como você precisa salvar todas essas anotações intermediárias, só consegue caber uma biblioteca muito pequena e simples no seu dispositivo. Se tentar levar uma biblioteca enorme, você fica sem espaço antes mesmo de começar a aprender.

O Jeito Novo: A Intuição "MeZO"

O artigo apresenta um novo método chamado MeZO (Otimização de Ordem Zero Eficiente em Memória). Este método não anota os passos intermediários. Em vez disso, usa uma abordagem de "tentativa e erro".

A Analogia: Imagine que você está tentando encontrar a melhor rota através de um labirinto. Em vez de desenhar um mapa de cada curva que fez (o que ocupa muito papel), você apenas dá um passo, vê se bateu em uma parede, dá um pequeno passo em uma direção diferente e vê se isso é melhor. Você só lembra do resultado do passo, não de todo o processo de pensamento que o levou até lá.
O Resultado: Você não precisa carregar uma mochila pesada de anotações. Pode caber uma biblioteca muito, muito maior no seu dispositivo porque não está desperdiçando espaço com "papel de rascunho".

O Trade-off: Velocidade vs. Tamanho

O artigo faz uma afirmação muito específica sobre o trade-off:

Vantagem de Tamanho: Como o MeZO não precisa armazenar todas aquelas anotações intermediárias, você pode caber modelos que são pelo menos 2 vezes maiores do que o método antigo permite. Se você tiver uma conversa longa (um "contexto" longo), a vantagem cresce massivamente — até 25 vezes maior.
- Matemática Simples: Se o método antigo permite caber um dicionário de 3 bilhões de palavras, o MeZO pode permitir caber um dicionário de 13 bilhões de palavras no mesmo dispositivo.
Custo de Velocidade: A desvantagem é que o MeZO é mais lento. Como ele precisa "adivinhar e verificar" muitas vezes para descobrir a direção certa (em vez de apenas olhar suas anotações), leva mais tempo para aprender.
- A Descoberta do Artigo: Em seus testes, o método antigo aprendia rapidamente, mas atingia um "teto" porque era forçado a usar um modelo pequeno. O novo método (MeZO) aprendia lentamente, mas como estava usando um modelo muito maior e mais inteligente, acabou tendo melhor precisão após algumas horas.

O Que Eles Realmente Testaram

Os pesquisadores não fizeram apenas matemática; eles realizaram experimentos em um chip de computador poderoso (uma GPU H100) para simular um dispositivo:

Eles compararam um modelo pequeno treinado com o antigo método de "mochila pesada" contra um modelo muito maior treinado com o novo método "leve".
O Resultado: Embora o novo método tenha levado mais tempo (cerca de 2 horas para obter bons resultados), o modelo maior que ele treinou foi significativamente mais inteligente (82% de precisão) do que o modelo pequeno treinado rapidamente (menos de 75% de precisão).
Eles também testaram o treinamento "esparso" (atualizando apenas 1% do cérebro do modelo). Mesmo com esse truque, o método antigo ainda precisava de mais memória do que o novo método, porque o "papel de rascunho" (ativações) ainda era o maior problema.

A Conclusão

O artigo conclui que, se você quiser executar uma IA verdadeiramente inteligente em um dispositivo com memória limitada, o MeZO é a melhor escolha. Ele permite levar um "cérebro maior" para a borda, desde que você esteja disposto a esperar um pouco mais para que ele aprenda. Ele transforma a limitação de "memória pequena" em uma vantagem, alterando como o aprendizado ocorre, em vez de apenas encolher o modelo.

Resumo Técnico: Ajuste Fino em Dispositivo via Otimização de Ordem Zero sem Retropropagação

Declaração do Problema

O ajuste fino em dispositivos é essencial para sistemas de IA de borda se adaptarem a tarefas agênicas específicas e necessidades evolutivas dos usuários, sem depender de servidores externos. No entanto, existe um gargalo crítico: o ajuste fino convencional via retropropagação (BP) é significativamente mais intensivo em memória do que a inferência. A BP exige o armazenamento de ativações de camadas intermediárias e estados do otimizador para cada camada, frequentemente demandando uma ordem de grandeza a mais de memória do que uma única passagem direta. Consequentemente, dispositivos de borda com restrições estritas de memória são forçados a implantar modelos muito menores para ajuste fino do que poderiam para inferência, limitando severamente a capacidade da IA em dispositivos.

Metodologia

Este artigo propõe e analisa a Otimização de Ordem Zero Eficiente em Memória (MeZO) como solução para o gargalo de memória. Diferentemente da BP, a MeZO estima gradientes usando apenas avaliações diretas (perturbações), eliminando a necessidade de armazenar ativações intermediárias ou manter estados do otimizador.

A abordagem dos autores envolve dois componentes principais:

Análise Teórica de Memória: O artigo deriva estimativas matemáticas para as pegadas de memória da BP e da MeZO em modelos Transformer apenas com decodificador. A análise considera:
- Contagem de Parâmetros: Incluindo atenção multi-cabeça (e variantes de Atenção com Consulta Agrupada) e camadas de Rede Neural Feedforward (FFN).
- Armazenamento de Ativações: Calculando a memória necessária para armazenar em cache ativações para a BP, que escala com o comprimento do contexto ( $N$ ), tamanho do lote ( $B$ ) e dimensão oculta ( $D$ ).
- Estados do Otimizador: Assumindo um otimizador SGD sem estado para isolar o impacto do armazenamento de ativações.
- Fatores de Implementação: Introduzindo um fator $L' \leq L$ para representar o número máximo de camadas de ativações armazenadas pela MeZO devido a buffers específicos de implementação, permitindo uma comparação realista.
Validação Empírica: As alegações teóricas são validadas através de experimentos numéricos em uma única GPU H100 usando os conjuntos de dados BoolQ e MultiRC. O estudo compara:
- Ajuste Fino Completo: Comparando BP (usando GPT2-medium) contra MeZO (usando Llama2-7B e Llama2-13B) sob orçamentos de memória fixos (~17 GB).
- Ajuste Fino Eficiente em Parâmetros (PEFT): Avaliando atualizações esparsas (ajuste fino de apenas 1% dos parâmetros) tanto para BP quanto para MeZO usando modelos Qwen3 para avaliar o impacto da esparsidade na memória e na precisão.

Contribuições Principais

O artigo faz as seguintes contribuições específicas:

Análise de Memória: Uma comparação teórica demonstrando que, sob orçamentos de memória on-chip fixos, a MeZO pode acomodar modelos pelo menos 2× maiores do que a BP. Esta vantagem escala com o comprimento do contexto, atingindo até 25× para contextos longos (por exemplo, $N=32768$ ) sem checkpointing, e aproximadamente 5× com checkpointing de ativações.
Insights de Escala: A análise revela que, enquanto a memória de parâmetros escala linearmente com o número de camadas ( $L$ ), a memória de ativações na BP escala quadraticamente com o comprimento do contexto ( $N$ ) e linearmente com $L$ . A MeZO evita a penalidade quadrática do contexto, tornando-se cada vez mais superior à medida que as janelas de contexto crescem.
Validação Empírica: Resultados numéricos confirmam que, embora a MeZO exiba convergência mais lenta em termos de tempo de relógio, ela alcança precisão de validação superior sob restrições estritas de memória porque permite a implantação de modelos significativamente maiores e mais capazes.
Avaliação de PEFT: O estudo mostra que, mesmo com atualizações esparsas (ajuste fino de 1% dos parâmetros), as economias de memória da BP são modestas (~12–13%) porque a memória de ativações domina o consumo total. Em contraste, a MeZO continua a permitir o ajuste fino de modelos maiores (por exemplo, 4B vs. 0.6B) dentro do mesmo orçamento de memória, gerando melhor desempenho.

Resultados

Compensação Precisão vs. Tempo: Experimentos no conjunto de dados BoolQ mostram que a MeZO converge mais lentamente do que a BP em tempo de relógio. No entanto, após aproximadamente 2 horas de ajuste fino, a MeZO (usando um modelo de 13B parâmetros) alcança ~82% de precisão, enquanto a BP (usando um modelo equivalente menor de 0.6B-1.5B devido aos limites de memória) permanece abaixo de 75%.
Eficiência de Memória: A razão dos requisitos de memória (BP/MeZO) aumenta com o comprimento do contexto. Para um comprimento de contexto de 32.768, a MeZO requer aproximadamente 25 vezes menos memória do que a BP sem checkpointing.
Limitações de Esparsidade: O artigo demonstra que reduzir o número de parâmetros atualizados via PEFT não alivia significativamente o fardo de memória da BP, pois o armazenamento de ativações permanece o fator dominante. A MeZO, ao evitar completamente o armazenamento de ativações, mantém sua vantagem mesmo quando a BP é tornada esparsa.

Significado e Alegações

O artigo posiciona a MeZO como uma forte candidata para cenários de ajuste fino em dispositivos, particularmente para sistemas de borda agênicos e aplicações de aprendizado contínuo. O significado principal reside em deslocar a restrição de "tamanho do modelo" para "tempo de ajuste fino". Ao aceitar uma duração mais longa de treinamento em tempo de relógio, dispositivos de borda podem ajustar fino modelos que são ordens de grandeza maiores do que os possíveis com retropropagação, desbloqueando assim capacidades de desempenho mais altas diretamente no dispositivo.

Os autores concluem que a MeZO reduz efetivamente as demandas de memória de treinamento ao nível da memória de inferência, permitindo a implantação de modelos maiores e janelas de contexto mais longas em hardware com recursos limitados. Eles observam que, embora a análise atual se concentre em arquiteturas Transformer padrão, as conclusões podem ser generalizadas para variantes modernas (por exemplo, atenção de janela deslizante, Mixture-of-Experts) e que mais pesquisas são necessárias para especializar essas descobertas para sistemas neuromórficos e esparsidade dinâmica.