🤖 machine learning

Forward Pass Domain Adaptation (Without Cross-Layer Backpropagation)

Este artigo introduz o treinamento de Passagem-Somente-Para-Frente (FPO, do inglês Forward-Pass-Only), um método de adaptação de domínio para grandes modelos de linguagem que alcança um throughput significativamente maior e menor uso de memória ao aplicar um único sinal de erro da camada de saída diretamente às camadas de destino sem retropropagação, mantendo o desempenho comparável ao ajuste fino padrão em benchmarks de domínio interno e externo.

Autores originais: Rivaan Patil, Simon Dennis, Hao Guo, Kevin Shabahang

Publicado 2026-08-18

📖 6 min de leitura🧠 Leitura aprofundada

CC BY 4.0

Autores originais: Rivaan Patil, Simon Dennis, Hao Guo, Kevin Shabahang

Artigo original sob licença CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta é uma explicação gerada por IA do artigo abaixo. Não foi escrita nem endossada pelos autores. Para precisão técnica, consulte o artigo original. Ler aviso legal completo

Os modelos de linguagem de grande escala são os motores por trás de muitas das ferramentas de inteligência artificial mais avançadas disponíveis hoje, capazes de escrever, raciocinar e resolver problemas com uma fluidez que antes parecia impossível para as máquinas. Para tornar esses modelos úteis para tarefas específicas, como diagnosticar condições médicas ou analisar documentos jurídicos, os pesquisadores normalmente os "ajustam" (fine-tuning). Esse processo envolve mostrar ao modelo vastas quantidades de novos dados especializados e ajustar suas configurações internas para que ele aprenda os padrões desse novo mundo. No entanto, esse ajuste é incrivelmente caro. Requer computadores poderosos para rodar o modelo para frente para ver a resposta e, depois, para trás para descobrir exatamente como mudar cada parte do sistema para obter um resultado melhor. Essa etapa de retorno exige uma quantidade massiva de memória, frequentemente três vezes o necessário apenas para rodar o modelo, tornando impossível realizá-lo em computadores domésticos padrão ou em situações onde a velocidade é crítica.

Uma equipe de pesquisadores da Universidade da Califórnia, Santa Cruz, e da Universidade de Melbourne descobriu uma maneira de contornar essa etapa de retorno cara inteiramente. Eles descobriram que, para modelos de linguagem de grande escala, os ajustes mais importantes necessários para aprender novas informações ocorrem principalmente nas camadas finais da rede, perto do fim da cadeia de processamento. Ao focar apenas nessas camadas tardias e calcular as mudanças necessárias usando apenas a informação disponível de uma única passagem direta (forward pass), eles criaram um novo método de treinamento chamado treinamento MLP de apenas passagem direta (Forward-Pass-Only MLP training). Essa abordagem permite que o modelo aprenda novas habilidades sem nunca olhar para trás através de sua própria estrutura, reduzindo a memória necessária em cerca de quarenta por cento e tornando o processo quase três vezes mais rápido do que os métodos padrão. Crucialmente, essa velocidade e eficiência vêm sem o custo habitual de esquecer o que o modelo já sabia; enquanto os métodos tradicionais frequentemente degradam as habilidades gerais do modelo ao aprender uma nova especialidade, essa nova técnica mantém o conhecimento original do modelo intacto.

O cerne desta descoberta reside em uma observação simples, mas profunda, sobre como esses modelos processam informações. Em uma sessão de treinamento padrão, o computador calcula um sinal de erro no final da saída do modelo e então envia esse sinal para trás, camada por camada, para ajustar os pesos dentro da rede. Os pesquisadores perceberam que, para o último quarto das camadas do modelo, a direção do ajuste necessário é quase idêntica a um sinal que pode ser calculado usando apenas a saída e o estado atual do modelo, sem a necessidade de rastrear o caminho de volta. Eles testaram essa ideia em seis modelos públicos diferentes, variando de três a oito bilhões de parâmetros, e descobriram que a direção do ajuste real se alinha de perto com esse sinal mais simples, de apenas passagem direta. O alinhamento foi forte o suficiente para ser útil, com os sinais apontando em direções aproximadamente as mesmas em quase metade dos casos, uma consistência que se manteve verdadeira em diferentes arquiteturas de modelos.

Para colocar essa teoria em prática, a equipe desenvolveu uma ferramenta de diagnóstico rápida que leva cerca de dois minutos para rodar em um único chip de computador. Essa ferramenta mede o quão bem o sinal direto simples corresponde ao complexo sinal de retorno para cada camada de um modelo específico. Ela atua como um mapa, mostrando aos pesquisadores exatamente onde na rede a passagem para trás pode ser seguramente ignorada. Uma vez identificadas essas camadas tardias "viáveis", o processo de treinamento muda fundamentalmente. Em vez de construir um registro massivo e complexo de cada passo que o modelo deu para poder revertê-los mais tarde, o sistema simplesmente roda o modelo para frente, calcula o erro no final e aplica uma correção direta às camadas alvo. Nenhuma passagem para trás é construída, e nenhuma memória é desperdiçada armazenando o histórico da computação. Isso elimina o principal gargalo que impedia muitas pessoas de realizar o ajuste fino de grandes modelos em seu próprio hardware.

Os resultados dos testes deste método em três famílias diferentes de modelos foram impressionantes. Em termos de velocidade, a nova abordagem foi entre 2,7 e 3,2 vezes mais rápida que o ajuste fino padrão, permitindo que os pesquisadores processem significativamente mais dados no mesmo período de tempo. Em hardware com restrição de memória, como uma única placa gráfica de alto desempenho, o método permitiu o processamento de lotes de dados muito maiores simultaneamente, enquanto os métodos padrão travariam devido aos limites de memória. Talvez o mais importante seja que o método preservou a inteligência geral do modelo. Quando os pesquisadores testaram os modelos adaptados em uma variedade de tarefas não relacionadas, como responder perguntas de conhecimento geral ou resolver quebra-cabeças de lógica, os modelos apresentaram um desempenho quase idêntico ao que tinham antes do treinamento. Em contraste, modelos treinados com métodos padrão frequentemente viam seu desempenho nessas tarefas gerais cair significativamente, um fenômeno conhecido como esquecimento catastrófico. O novo método evitou essa armadilha, mantendo as capacidades amplas do modelo estáveis enquanto ele aprendia sua nova especialidade.

Os pesquisadores também exploraram por que essa preservação do conhecimento geral acontece. Eles compararam seu método a uma abordagem híbrida onde atualizavam apenas as camadas tardias, mas ainda utilizavam o padrão e lento processo de retorno. Eles descobriram que a preservação do conhecimento geral não era um truque do novo método de cálculo em si, mas um resultado direto de restringir as mudanças às camadas tardias da rede. As camadas iniciais, que lidam com os blocos fundamentais de linguagem e raciocínio, foram deixadas intocadas, impedindo o modelo de sobrescrever sua compreensão central. No entanto, o novo método é a única maneira prática de alcançar isso, pois a passagem de retorno padrão é muito lenta e intensiva em memória para ser viável quando restrita a apenas algumas camadas. A nova abordagem torna possível operar nesta zona "segura", onde o aprendizado é eficiente e o esquecimento é minimizado.

Embora o método seja altamente eficaz, ele possui limites. Os modelos treinados com esta técnica não aprenderam o novo domínio tão profundamente quanto os modelos treinados com o método completo e lento; eles alcançaram um pouco menos de melhoria na tarefa específica que foram ensinados. Este é o compromisso (trade-off): o novo método sacrifica um pequeno pouco do desempenho máximo na nova tarefa para ganhar melhorias massivas em velocidade, eficiência de memória e na preservação do conhecimento geral. Os pesquisadores sugerem que, para muitas aplicações do mundo real, como personalizar um modelo para um usuário específico ou adaptá-lo para uma indústria especializada em hardware de consumo, este compromisso vale muito a pena. O método abre as portas para a adaptação em cenários onde isso era anteriormente impossível, transformando um processo que antes exigia um data center em algo que pode rodar em uma única máquina, tudo isso mantendo a inteligência original do modelo segura contra os danos da sobre-especialização.

Resumo Técnico: Adaptação de Domínio por Passagem Direta (FPO)

1. Definição do Problema

O ajuste fino (fine-tuning) de grandes modelos de linguagem (LLMs) em dados específicos de um domínio normalmente requer uma passagem direta completa (backward pass) através da rede. Esse processo exige o armazenamento de ativações para cada camada para computar gradientes, resultando em uma pegada de memória 2 a 3 vezes maior que a inferência. Esse overhead impede o ajuste fino em GPUs de consumo, dispositivos de borda (edge devices) ou em cenários de personalização de alto rendimento. Embora métodos de eficiência de parâmetros como o LoRA reduzam o estado do otimizador, eles ainda exigem uma passagem direta completa, o que materializa o grafo de ativação completo. Além disso, o ajuste fino de toda a rede frequentemente leva ao "esquecimento catastrófico", onde o desempenho em benchmarks fora do domínio (ex: MMLU, ARC-Challenge) degrada significativamente, um comportamento que não é reproduzível de forma confiável entre diferentes sementes aleatórias (random seeds).

2. Observação Central e Metodologia

O artigo postula que, nas camadas tardias de um transformer, o gradiente verdadeiro em relação aos pesos do MLP pode ser aproximado por uma quantidade computável exclusivamente pela passagem direta (forward pass).

2.1 Base Teórica

Para um peso $W^{(\ell)}$ de um MLP na camada $\ell$ , o gradiente verdadeiro $\nabla W^{(\ell)}L$ se decompõe em:
$\nabla W^{(\ell)}L = \tilde{g}W^{(\ell)} + R W^{(\ell)}$
Onde:

$\tilde{g}W^{(\ell)}$ é o pseudogradiente projetado pela saída. Ele é computado retropropagando o erro da camada de saída através da transposta do unembedding e dos Jacobianos de forma fechada das camadas de normalização finais apenas. Ele assume que todas as camadas intermediárias entre $\ell$ e a saída atuam como funções identidade.
$R W^{(\ell)}$ é o resíduo, contendo contribuições de não linearidades intermediárias e roteamento entre tokens.

Levantamentos empíricos de seis modelos públicos (3B–8B parâmetros) revelam que, nas últimas 25% das camadas, a similaridade de cosseno entre $\tilde{g}W^{(\ell)}$ e o gradiente verdadeiro varia de 0,47 a 0,59. Isso sugere que o resíduo é pequeno o suficiente na direção ortogonal para que o componente projetado pela saída capture a direção dominante do gradiente.

2.2 A Ferramenta de Diagnóstico

Os autores introduzem um diagnóstico de viabilidade de camada que quantifica essa similaridade de cosseno por camada.

Processo: Executa um pequeno lote de calibração (16 sequências de 512 tokens) em uma única GPU, levando aproximadamente dois minutos.
Saída: Identifica a região de "platô alto" nas camadas finais onde o alinhamento é forte o suficiente para ser explorado. Isso permite que os profissionais determinem onde a adaptação de camada tardia é viável para um modelo específico.

2.3 Treinamento de MLP apenas por Passagem Direta (FPO)

O FPO é um algoritmo que adapta modelos de linguagem sem construir um grafo de autograd ou executar uma passagem direta através do corpo do modelo.

Mecanismo:
1. Realiza uma passagem direta padrão, armazenando em cache as ativações intermediárias do MLP ( $h_{mid}$ ) nas camadas alvo.
2. Computa o erro da camada de saída ( $e = \text{softmax}(z) - y$ ).
3. Projeta $e$ no espaço do fluxo residual usando a transposta da cabeça do modelo de linguagem ( $g = e W_{lm}$ ).
4. Compõe $g$ com Jacobianos de forma fechada de camadas de normalização (ex: RMSNorm) para produzir o sinal específico da camada $\tilde{g}^{(\ell)}$ .
5. Atualizações de Peso:
  - Down-projeção ( $W_3$ ): Atualizada exatamente usando $\Delta W_3 \propto -\tilde{g}^{(\ell)T} h_{mid}$ .
  - Projeções de Gate ( $W_1$ ) e Up ( $W_2$ ): Estas requerem um sinal de gradiente no espaço oculto do MLP. O FPO aproxima isso usando os pesos iniciais em cache ( $W_3^{init}$ ) como uma matriz de feedback fixa: $\text{error}_h = \tilde{g}^{(\ell)} W_3^{init}$ . Essa aproximação é válida porque $W_3$ muda lentamente sob o regime de adaptação.
Restrições: Nenhum sinal é propagado entre camadas; nenhum grafo de autograd é construído. O overhead de memória de pico é limitado às ativações em cache nas camadas alvo e aos estados do otimizador para essas camadas específicas (aprox. 10% dos parâmetros).

3. Principais Contribuições

Diagnóstico de Viabilidade de Camada: Uma ferramenta rápida de dois minutos que quantifica a similaridade de cosseno entre pseudogradientes projetados pela saída e o gradiente verdadeiro, identificando camadas alvo viáveis para qualquer transformer autorregressivo.
Algoritmo FPO: Um método de treinamento que realiza a adaptação de domínio sem uma passagem direta pelo corpo do modelo. É 2,7–3,2× mais rápido que o ajuste fino supervisionado (SFT) de toda a rede e 2,2× mais rápido que o SFT de camada parcial (SFT-partial). Reduz a pegada de memória de pico em ~40% comparado ao SFT padrão.
Regime Seguro para Benchmarks: Evidência empírica mostrando que restringir a adaptação às camadas tardias (via FPO) preserva o desempenho em benchmarks fora do domínio (dentro do ruído da semente) em relação ao baseline. Em contraste, o SFT de toda a rede e o LoRA frequentemente degradam esses benchmarks significativamente.

4. Resultados Experimentais

O método foi avaliado em três famílias de modelos: OLMo-2-7B, Qwen3-8B e Falcon3-7B, adaptados em textos matemáticos, biomédicos e científicos.

Vazão (Throughput) e Memória:
- O FPO alcança 22,0K–22,7K tokens/s em GPUs H100, comparado a 7,5K–8,7K tokens/s para o SFT completo.
- O FPO suporta lotes maiores (ex: tamanho de lote 8–10) em hardware onde o SFT não consegue caber inteiramente (ex: SFT com lote 1 usa ~30GB no OLMo-7B, enquanto FPO com lote 8 usa ~40GB).
Preservação de Benchmarks:
- FPO: Mantém os benchmarks fora do domínio (MMLU, ARC-Challenge, HellaSwag, Winogrande) dentro de 0,22 pontos do baseline. No OLMo-2-7B, apresentou inclusive uma melhoria de +0,91.
- SFT Completo & LoRA: Degradaram consistentemente os benchmarks. O SFT completo no OLMo mostrou alta variância, com algumas sementes causando danos severos (até -8,86 pontos), enquanto o LoRA mostrou degradação consistente (-0,68 a -3,96 pontos).
Desempenho In-Domain:
- O FPO alcança melhorias na perplexidade in-domain, embora menores que o SFT completo ou LoRA (ex: -6,3% vs -11,4% para o OLMo).
- Crucialmente, o FPO mantém a perplexidade de texto mantido (held-out) próxima ao baseline, enquanto o LoRA frequentemente a degrada significativamente (ex: +19,4% no Qwen3).
Controle de Mecanismo (SFT-partial):
- Executar o SFT padrão restrito apenas às camadas alvo do FPO (congelando o restante) reproduziu a preservação de benchmark do FPO. Isso confirma que a seleção de camada (adaptação de camada tardia) é o principal motor da segurança do benchmark, enquanto o FPO é o mecanismo prático para atingir esse regime de forma eficiente.

5. Significância e Alegações

O artigo afirma que o FPO operacionaliza a observação de que os gradientes de camadas tardias são amplamente redundantes com os sinais da camada de saída. Sua significância reside em:

Viabilidade: Permitir a adaptação de domínio em GPUs de consumo e dispositivos de borda onde a retropropagação completa é impossível devido às restrições de memória.
Estabilidade: Fornecer um regime "seguro para benchmarks" onde os modelos se adaptam a novos domínios sem esquecer capacidades gerais, uma propriedade não alcançada de forma confiável pelo ajuste fino de toda a rede.
Eficiência: Oferecer uma vantagem de vazão de 3× sobre o ajuste fino padrão, tornando o desenvolvimento iterativo e a personalização em larga escala significativamente mais rápidos.

Os autores observam limitações: o FPO é atualmente validado em modelos de linguagem causais (3B–8B) com layouts de normalização específicos. Ele visa a entropia cruzada de próximo token e requer re-derivação para ajuste de instrução ou objetivos de RL. O método depende da suposição de que $W_3$ muda suficientemente devagar para que os pesos iniciais em cache sirvam como uma matriz de feedback válida para as atualizações de $W_1$ e $W_2$ .