💻 computer science

Efficient Zeroth-Order Federated Finetuning of Language Models on Resource-Constrained Devices

Este artigo propõe um novo método de aprendizado federado de ordem zero que divide os modelos em blocos e aloca perturbações estrategicamente para permitir o reuso eficiente de ativações intermediárias, alcançando uma redução de 3x na demanda computacional para o ajuste fino de grandes modelos de linguagem em dispositivos com recursos limitados, enquanto mantém os benefícios de memória e comunicação do aprendizado federado.

Autores originais: Mohamed Aboelenien Ahmed, Kilian Pfeiffer, Ramin Khalili, Heba Khdr, Jörg Henkel

Publicado 2026-06-19

📖 4 min de leitura☕ Leitura rápida

CC BY 4.0

Autores originais: Mohamed Aboelenien Ahmed, Kilian Pfeiffer, Ramin Khalili, Heba Khdr, Jörg Henkel

Artigo original sob licença CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta é uma explicação gerada por IA do artigo abaixo. Não foi escrita nem endossada pelos autores. Para precisão técnica, consulte o artigo original. Ler aviso legal completo

Imagine que você tem um cérebro de robô gigante e incrivelmente inteligente (um Modelo de Linguagem de Grande Escala) e quer ensinar a ele um novo truque. Normalmente, para ensinar esse cérebro, você precisa de um supercomputador massivo com enormes quantidades de memória e muito tempo. Mas e se você quisesse ensinar esse cérebro usando milhares de dispositivos pequenos e fracos, como smartphones ou dispositivos domésticos inteligentes, sem nunca enviar seus dados privados para um computador central? Isso é chamado de Aprendizado Federado (Federated Learning).

O problema é que esses dispositivos pequenos são fracos demais para lidar com o método de "backpropagation" (a forma padrão de ensinar IA), que exige armazenar muita quantidade de dados temporários. Se eles tentarem, ficam sem memória e travam.

A Solução Antiga: Otimização de Ordem Zero (ZO)

Para resolver o problema da memória, pesquisadores desenvolveram um método chamado Otimação de Ordem Zero (ZO).

A Analogia: Imagine que você está tentando encontrar o ponto mais baixo em um vale nebuloso (a melhor maneira de ensinar o robô) sem ter um mapa. O modo antigo de ensinar (backpropagation) é como ter um GPS que diz exatamente para que lado é o declive. O método ZO é como tatear o chão com uma vara. Você cutuca o chão em direções aleatórias para ver se ele desce ou sobe.
O Problema: Para ter uma boa ideia de para que lado é o declive, você tem que cutucar o chão muitas, muitas vezes em várias direções. Embora isso economize memória (você não precisa do mapa de GPS), é muito lento e computacionalmente caro porque você está cutucando o chão com tanta frequência.

A Nova Solução: FedSPZO

Os autores deste artigo propõem um novo método chamado FedSPZO (Otimização de Ordem Zero de Perturbação Dividida Federada). Eles descobriram uma maneira inteligente de tornar o processo de "cutucar" muito mais rápido sem perder a precisão.

Aqui está como eles fizeram, usando uma analogia de uma Cozinha de Dois Estágios:

Dividindo a Cozinha: Imagine que o cérebro do robô é uma cozinha com duas seções:
- Seção A (A Estação de Preparo): Uma área enorme onde os ingredientes são picados e misturados. Este é o "primeiro bloco" do modelo.
- Seção B (O Forno): Uma área menor onde o cozimento final acontece. Este é o "segundo bloco".
O Jeito Antigo (Ineficiente): Para descobrir como melhorar a cozinha inteira, o método antigo mudaria aleatoriamente a cozinha inteira (tanto a estação de preparo quanto o forno) e provaria a comida. Depois, mudaria a cozinha novamente, e novamente. Como a cozinha é enorme, provar a comida após cada pequena mudança leva muito tempo.
O Jeito FedSPZO (Eficiente):
- Passo 1: Eles só mudam a Estação de Preparo (Seção A) levemente. Eles mantêm o Forno (Seção B) exatamente igual.
- Passo 2: Eles pegam o resultado da Estação de Preparo e o passam pelo Forno muitas, muitas vezes, fazendo pequenas mudanças aleatórias apenas no Forno a cada vez.
- A Magia: Como a Estação de Preparo não mudou, a cozinha não precisa "re-picar" os ingredientes toda vez que testam o Forno. Eles podem apenas reutilizar os ingredientes picados (ativações intermediárias) e focar apenas em testar o Forno.
- Resultado: Eles obtêm uma ideia muito precisa de como melhorar o Forno (e a Estação de Preparo indiretamente) com muito menos passos de "provar" do que antes.

O Que Eles Descobriram?

Os pesquisadores testaram isso em vários modelos de IA famosos (como RoBERTa, OPT e LLaMA) e descobriram:

Velocidade: O novo método deles foi até 3 vezes mais rápido (em termos de cálculos de computador) do que outros métodos de "cutucar" semelhantes.
Memória: Ele ainda usa pouquíssima memória, tornando-o perfeito para dispositivos pequenos como celulares, exatamente como o método original de "cutucar".
Comunicação: Eles enviam quantidades minúsculas de dados de volta para o servidor central (apenas números, não o cérebro inteiro), o que é ótimo para conexões de internet lentas.
Precisão: O robô aprendeu os novos truques quase tão bem quanto os métodos pesados e padrão, com apenas uma queda mínima de desempenho.

O Ponto Principal

Pense no FedSPZO como uma maneira inteligente de ensinar um robô gigante usando um enxame de dispositivos pequenos e fracos. Em vez de pedir a cada dispositivo para fazer um cálculo massivo que consome muita memória, eles dividem a tarefa em duas partes. Eles fazem o trabalho pesado uma vez e depois reutilizam esse trabalho para testar muitas pequenas mudanças rapidamente. Isso permite treinar IAs poderosas em dispositivos que normalmente não conseguiriam lidar com isso, economizando tempo, bateria e dados.

Resumo Técnico: Ajuste Fino Federado de Ordem Zero Eficiente de Modelos de Linguagem em Dispositivos com Restrições de Recursos

1. Definição do Problema

O Aprendizado Federado (FL) oferece uma estrutura de preservação de privacidade para o ajuste fino de Grandes Modelos de Linguagem (LLMs) através de fontes de dados distribuídas. No entanto, implantar esses modelos em dispositivos de borda com recursos limitados enfrenta obstáculos significativos:

Restrições de Memória: Métodos de primeira ordem (ex: backpropagation padrão) e técnicas de eficiência de parâmetros como LoRA exigem o armazenamento de ativações intermediárias para o cálculo de gradientes. Isso resulta em pegadas de memória (ex: ~4 GB para RoBERTa-large) que excedem as capacidades da maioria dos dispositivos de borda.
Sobrecarga de Comunicação: Transmitir parâmetros de modelos completos ou mesmo matrizes de adaptação de baixo rank (LoRA) acarreta custos de upload substanciais, o que é particularmente problemático em ambientes sem fio de baixa largura de banda.
Limitações de Ordem Zero (ZO): Embora métodos de Otimização de Ordem Zero (ZO), como o MeZO, eliminem a necessidade de backpropagation usando passagens de forward e perturbações pseudoaleatórias, eles sofrem de convergência lenta e alta demanda computacional. Para alcançar estimativas de gradiente estáveis, os métodos ZO-FL existentes exigem um grande número de perturbações por etapa de treinamento, levando a excessivas computações de Apenas-Forward (FLOPs).

Existe um trade-off crítico: os métodos ZO atuais são eficientes em termos de memória, mas computacionalmente caros, enquanto os métodos de primeira ordem são computacionalmente eficientes, mas intensivos em memória.

2. Metodologia: FedSPZO

Os autores propõem o Federated Split-Perturbation Zeroth-order Optimization (FedSPZO), uma nova estrutura projetada para reduzir a carga computacional do ZO-FL, preservando suas vantagens de memória e comunicação.

Mecanismo Central: Estratégia de Perturbação Dividida (Split-Perturbation)

O FedSPZO explora a estrutura composicional sequencial de redes neurais dividindo o modelo em dois blocos consecutivos, $f_1$ (o primeiro bloco, maior) e $f_2$ (o segundo bloco, menor), tal que $y = f_2(\theta_2; f_1(\theta_1; B))$ .

Orçamentos de Perturbação Assimétricos: Em vez de aplicar o mesmo número de perturbações a toda a rede, o FedSPZO atribui um orçamento de perturbação maior ao segundo bloco, menor ( $f_2$ $f_{2}$ ).
- Bloco 1 ( $\theta_1$ ): Perturbado com $P_1$ direções.
- Bloco 2 ( $\theta_2$ ): Perturbado com $P_2$ direções, onde $P_2 = 2 \times P_1 \times P_s$ .
Reuso de Ativações: O ganho de eficiência fundamental vem do reuso de ativações intermediárias.
1. O cliente perturba $\theta_1$ em uma única direção ( $+z_1$ ) e realiza uma passagem de forward através de $f_1$ para gerar a saída intermediária $+y_l$ .
2. Este único $+y_l$ é então usado como entrada para $P_s$ perturbações distintas de $\theta_2$ (direções tanto positivas quanto negativas).
3. O processo é repetido para a direção negativa de $\theta_1$ ( $-z_1$ ), gerando $-y_l$ , que é reusado para outro conjunto de $P_s$ perturbações de $\theta_2$ .
Estimativa de Gradiente:
- O gradiente para $\theta_2$ é estimado usando as diferenças nos losses das $P_2$ perturbações, todas compartilhando a mesma entrada de $f_1$ .
- O gradiente para $\theta_1$ é estimado pela média das diferenças de loss através das múltiplas perturbações de $f_2$ , o que efetivamente reduz o ruído introduzido pela estocasticidade das perturbações de $f_2$ .

Protocolo de Comunicação

O FedSPZO mantém um design eficiente em termos de comunicação:

Lado do Cliente: Os clientes realizam o treinamento local por $K$ etapas. Eles não fazem upload de parâmetros do modelo. Em vez disso, eles fazem upload apenas de valores de gradiente escalares ( $G_1, G_2$ ) e seeds aleatórias ( $S_1, S_2$ ) usadas para regenerar os vetores de perturbação.
Lado do Servidor: O servidor reconstrói os modelos exatos dos clientes regenerando os vetores de perturbação a partir das seeds recebidas e aplicando as atualizações escalares. Isso elimina a necessidade de os clientes transmitirem pesos do modelo, reduzindo o overhead de upload em ordens de magnitude comparado ao FL baseado em parâmetros.

3. Principais Contribuições

Estrutura FedSPZO: Um novo método ZO-FL que particiona o modelo em dois blocos e aloca um orçamento de perturbação maior para o bloco mais profundo e menor. Isso aproveita o reuso de ativações intermediárias para atualizar a rede completa com menos avaliações de forward.
Eficiência Computacional: O método alcança uma redução de até 3× na computação em comparação com as baselines de estado da arte de ZO-FL (especificamente, Fang et al., 2022, e Li et al., 2025), mantendo os benefícios de memória e comunicação do ZO.
Avaliação Abrangente: Experimentos extensos em modelos RoBERTa-large, OPT-1.3B e LLaMA-3-3.2B através de múltiplos datasets (SST-2, RTE, WiC, MultiRC, SQuAD, BoolQ) demonstram que o FedSPZO reduz significativamente os GFLOPs totais enquanto mantém uma precisão comparável aos métodos de backpropagation de primeira ordem (com uma degradação mínima).
Análise de Ablação: Os autores realizaram estudos sobre divisão de modelo, orçamentos de perturbação e computação de gradiente independente por bloco, validando que a estratégia de perturbação dividida é superior à estimativa de bloco independente ou esquemas de perturbação uniforme.

4. Resultados Experimentais

A avaliação compara o FedSPZO contra métodos de primeira ordem (FedAvg, FedAvg+LoRA) e outros métodos ZO-FL (FedZO, DecomFL).

Eficiência de Memória: O FedSPZO mantém uma pegada de memória de inferência. Para o RoBERTa-large com contexto de 256, ele requer ~1,75 GB, enquanto o FedAvg requer ~4,9 GB e o LoRA requer ~3,9 GB. Isso torna o FedSPZO viável para dispositivos de borda onde o LoRA e o FL padrão são inviáveis.
Sobrecarga de Comunicação: O FedSPZO reduz os custos de upload em mais de três ordens de magnitude em comparação ao LoRA. Enquanto o LoRA faz o upload de matrizes de baixo rank (~centenas de MBs), o FedSPZO faz o upload apenas de gradientes escalares e seeds (kilobytes a megabytes).
Custo Computacional:
- Comparado ao FedAvg(LoRA): O FedSPZO requer maior computação total (aproximadamente 17× mais) devido à taxa de convergência mais lenta inerente aos métodos ZO.
- Comparado a Outros Métodos ZO: O FedSPZO é significativamente mais eficiente. Ele reduz a computação em 2,1× a 3× em comparação ao DecomFL e FedZO em vários modelos e datasets.
Precisão: O FedSPZO atinge uma precisão comparável ao FedAvg(LoRA), com apenas degradações menores (ex: <1% no SST-2, ~4% no RTE para RoBERTa). Ele performa ligeiramente pior que o FedAvg completo (backpropagation), que serve como um limite superior, mas a lacuna é considerada pequena no contexto de restrições de recursos.
Tempo de Treinamento: Em um ambiente de borda simulado (Jetson Orin Nano), o FedSPZO (2,6 horas para RoBERTa/SST-2) é mais lento que o LoRA (0,45 horas), mas drasticamente mais rápido que o DecomFL (6 horas) e o FedZO (166 horas).

5. Significância e Alegações

O artigo posiciona o FedSPZO como um trade-off pragmático para ambientes com restrições de recursos.

Para Dispositivos de Borda: É apresentado como uma escolha preferível quando a memória e a largura de banda de comunicação são os principais gargalos, cenários onde o LoRA e o backpropagation padrão falham.
Equilíbrio: Os autores reconhecem que o FedSPZO não elimina o custo computacional do ZO, mas o mitiga significativamente. Ele oferece um caminho viável para o ajuste fino de LLMs em dispositivos onde armazenar ativações para backpropagation é impossível e transmitir atualizações de modelos completos é caro demais.
Perspectiva Futura: Os autores observam que, embora o FedSPZO melhore a eficiência computacional sobre os métodos ZO existentes, ele ainda fica atrás dos métodos de primeira ordem em velocidade bruta. Trabalhos futuros visam explorar o ZO em aceleradores de apenas-forward com menor precisão para estreitar ainda mais essa lacuna.

O artigo conclui que o FedSPZO consegue separar com sucesso os altos custos de memória/comunicação do FL de primeira ordem dos altos custos computacionais do tradicional ZO, permitindo o ajuste fino de LLMs em cenários anteriormente considerados inviáveis.