💻 computer science

LoCA: Forward-Only LLM Tuning after One-Shot Calibration with Local Credit Assignment

O LoCA introduz um método de ajuste de dois estágios e apenas para frente que amortiza a atribuição de crédito global em uma única calibração de etapa única para ajustar adaptadores de baixo posto por meio de soluções de forma fechada, eliminando assim a necessidade de retropropagação repetida enquanto alcança menor uso de memória e inferência mais rápida em comparação ao LoRA.

Autores originais: Linhan Xia, Rui Liu, Zhaofeng Zhang, Yihao Wang, Binrui Shen, Shengxin Zhu

Publicado 2026-08-05

📖 5 min de leitura🧠 Leitura aprofundada

CC BY 4.0

Autores originais: Linhan Xia, Rui Liu, Zhaofeng Zhang, Yihao Wang, Binrui Shen, Shengxin Zhu

Artigo original sob licença CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta é uma explicação gerada por IA do artigo abaixo. Não foi escrita nem endossada pelos autores. Para precisão técnica, consulte o artigo original. Ler aviso legal completo

Imagine que você tem um chef brilhante e de classe mundial que passou anos dominando a arte de cozinhar. Este chef é o seu "backbone congelado" — um modelo de IA massivo e pré-treinado que sabe falar, raciocinar e resolver problemas. Agora, você quer ensinar a esse chef uma nova habilidade específica, como fazer a lasanha vegana perfeita para uma lanchonete local. Nos velhos tempos do treinamento de IA, para ensinar essa nova habilidade, você teria que arrastar o chef inteiro de volta para a cozinha, fazê-lo provar cada ingrediente, calcular exatamente o quanto ele errou e então forçá-lo a reescrever todo o seu livro de receitas mental do zero. É como pedir ao chef para reaprender a picar cebolas só porque ele precisa adicionar manjericão a um molho. Esse processo é incrivelmente pesado, exigindo computadores enormes e quantidades gigantescas de energia, o que muitas vezes torna impossível realizá-lo em dispositivos menores.

Mas e se você pudesse dar ao chef apenas um avental especializado e minúsculo? Este avental representa uma atualização pequena e eficiente que o ajuda a cozinhar o novo prato sem reescrever todo o seu cérebro. Esta é a ideia por trás do "ajuste de parâmetros eficientes" (parameter-efficient tuning). No entanto, mesmo com esse avental minúsculo, o método antigo ainda exigia arrastar o chef de volta para a cozinha para uma verificação "retroativa" completa toda vez que ele tentasse um novo ingrediente. A grande questão que os cientistas têm feito é: Podemos pular as verificações pesadas e repetitivas na cozinha? Podemos apenas dar ao chef uma instrução única sobre como se ajustar e, então, deixá-lo cozinhar apenas para frente, usando apenas seu conhecimento existente e o novo avental? Este é o desafio do treinamento "sem backprop" (backprop-free), um método que poderia permitir a atualização de modelos de IA gigantes em dispositivos que não possuem supercomputadores, como um laptop padrão ou até mesmo um celular.

Apresentamos o LoCA (Atribuição de Crédito Local), um novo método de dois estágios introduzido pelos pesquisadores Linhan Xia, Rui Liu e sua equipe. Pense no LoCA como um truque inteligente de "calibração única". Em vez de fazer o chef provar o prato inteiro novamente toda vez que comete um erro, o LoCA faz algo diferente. Primeiro, ele executa uma passagem retroativa de "sonda" rápida e única — apenas um teste de sabor — para criar um mapa simples. Este mapa é como uma folha de referência que diz ao chef: "Se o prato final estiver muito salgado, ajuste o sal na segunda camada; se estiver insosso, ajuste as ervas na quarta camada". Este mapa é de baixo posto (low-rank), o que significa que é uma versão simplificada e comprimida da matemática complexa, mas é suficiente para pequenas mudanças.

Uma vez que esta folha de referência (operador de feedback) é criada, a verdadeira mágica acontece. O chef nunca mais precisará voltar à cozinha para uma verificação retroativa completa. Para cada novo prato, o chef apenas cozinha para frente, olha o resultado final e usa a folha de referência para calcular instantaneamente como ajustar seu pequeno avental. A matemática para este ajuste é uma solução de "forma fechada" (closed-form), o que é como ter uma chave de respostas pré-calculada em vez de adivinhar e testar. Os pesquisadores testaram isso em cinco tarefas diferentes usando modelos Qwen2.5 variando de 0,5 bilhão a 14 bilhões de parâmetros. Eles descobriram que, em 16 de 25 comparações, o LoCA produziu resultados melhores (menor entropia cruzada) do que o método padrão, o LoRA.

Os benefícios são enormes para dispositivos com recursos limitados. O estudo mediu que o uso de memória de pico do LoCA em uma placa gráfica foi 26–29% menor que o do LoRA. Mais importante ainda, uma vez feita a calibração inicial, a memória em estado estacionário em uma CPU padrão é 36–52% menor, e o tempo necessário para processar cada passagem é 43–48% mais rápido. A equipe também mostrou que eles podem usar as mesmas configurações de "folha de referência" em diferentes tamanhos de modelos, desde o minúsculo modelo de 0,5B até o massivo de 14B, e até em uma família de modelos diferente chamada SmolLM2.

No entanto, os autores são cuidadosos ao não chamar este método de uma solução mágica para tudo. Eles observam que este método funciona melhor para adaptações de "pequeno desvio" — ensinar ao modelo uma nova habilidade específica sem mudar sua personalidade fundamental. Se você tentar ensinar ao chef uma culinária completamente nova que exija uma reformulação massiva de seu cérebro, a folha de referência pode ficar desatualizada e você precisará executar a calibração novamente. Além disso, embora o LoCA seja mais rápido e leve, ele ainda requer aquela passagem retroativa de "sonda" inicial, portanto, não é inteiramente livre de computação retroativa; ele apenas move esse trabalho pesado para um único passo inicial. Os pesquisadores sugerem que, para dispositivos que não conseguem realizar cálculos retroativos de forma alguma, um computador poderoso poderia fazer a calibração uma vez e enviar a folha de referência, permitindo que o dispositivo menor faça o restante do ajuste usando apenas passagens para frente. Em suma, o LoCA sugere uma nova maneira prática de atualizar modelos de IA gigantes ao amortizar o trabalho pesado em uma única calibração, tornando possível o ajuste desses modelos em hardwares que anteriormente eram fracos demais para lidar com a tarefa.

Resumo Técnico: LoCA – Backprop-Free Post-Training via Local Credit Assignment

1. Definição do Problema

Técnicas de pós-treinamento, como o ajuste de instrução (instruction tuning) e adaptação de domínio, tipicamente exigem o backpropagation end-to-end repetido através de um modelo de backbone congelado. Mesmo ao utilizar métodos de eficiência de parâmetros como o LoRA (Low-Rank Adaptation), o processo necessita armazenar ou recomputar ativações, propagar gradientes e manter estados de otimizadores. Isso resulta em um consumo de memória até 12 vezes maior que o da inferência e aumenta significativamente os custos computacionais, tornando tais métodos impraticáveis para ambientes com recursos limitados ou dispositivos que carecem de suporte para computação de retropropagação (backward-computation).

Embora existam métodos baseados apenas em forward (como o MeZO) e abordagens de aprendizado local, eles frequentemente sofrem de alta variância do estimador, dependência de perturbações estocásticas ou alvos que são mais adequados para aprendizado de representação do que para fine-tuning. O artigo aborda a seguinte questão: Pode a cadeia de backward repetida necessária para a adaptação ser substituída por uma calibração única, permitindo que a sintonia subsequente proceda via execução apenas de forward?

2. Metodologia: LoCA

Os autores propõem o Local Credit Assignment (LoCA), um método de dois estágios projetado para a adaptação de pequenos desvios (small-shift adaptation) de modelos pré-treinados. O LoCA desacopla a estimativa dos sinais de crédito do ajuste dos parâmetros do adaptador.

Estágio 1: Calibração (Probe Único)

Antes do loop principal de ajuste, o LoCA realiza uma única passagem de backward (probe) através do backbone congelado.

Objetivo: Ajustar um operador de feedback de baixo rank, $F_\ell$ , para cada bloco transformer $\ell$ .
Mecanismo: O operador mapeia o erro de predição da última camada ( $e$ ) para uma estimativa do gradiente do estado oculto local ( $g_\ell$ ).
Implementação: Usando amostras da passagem de backward, o método resolve um problema de mínimos quadrados regularizado para encontrar $\hat{F}_\ell$ . Este mapa é então truncado via Decomposição de Valores Singulares (SVD) para uma aproximação de baixo rank (rank $k=8$ ).
Resultado: Um conjunto fixo de matrizes $\{F_\ell\}$ que aproxima a atribuição de crédito sem exigir novos processos de backpropagation.

Estágio 2: Adaptação Apenas de Forward

Após a calibração, o processo de ajuste prossegue sem quaisquer passagens de backward através do backbone.

Alvos Locais: Para cada bloco, um alvo de regressão $\tau_\ell$ é construído usando o estado oculto forward $h_\ell$ , um passo de tamanho $\eta$ , e o operador de feedback calibrado:
$\tau_\ell = h_\ell - \eta F_\ell e$
Aqui, $e$ é o erro da camada superior derivado do head congelado.
Atualizações de Forma Fechada (Closed-Form): Cada adaptador de baixo rank ( $B_\ell$ ) é ajustado resolvendo um problema de regressão ridge local:
$\min_{B_\ell} \sum_n \| B_\ell p^{(n)}_\ell - \rho^{(n)}_\ell \|^2 + \lambda \|B_\ell\|^2_F$
onde $\rho_\ell$ é o alvo residual e $p_\ell$ é o input projetado. Isso gera uma solução única de forma fechada para $B_\ell$ que não requer otimizadores de gradiente, cronogramas de taxa de aprendizado ou estados de otimizador.
Iteração: O processo se repete por $T$ passos externos. Em cada passo, uma passagem de forward atualiza os estados ocultos e erros, que por sua vez atualizam os alvos locais para a próxima resolução de forma fechada.

Normalização de Escala

Para garantir que o método generalize entre diferentes tamanhos de modelo (0.5B a 14B), o passo de tamanho $\eta$ é normalizado em relação à escala do fluxo residual ( $RMS(h_{\ell-1})$ ). Isso permite que um conjunto candidato de hiperparâmetros compartilhado seja reutilizado entre diferentes famílias de modelos (Qwen2.5 e SmolLM2).

3. Principais Contribuições

Crédito Local Calibrado: O LoCA reutiliza operadores de feedback derivados de uma única passagem de probe de backward para gerar alvos locais para estágios subsequentes de ajuste apenas de forward.
Atualizações Locais de Forma Fechada: Ao formular o ajuste do adaptador como um problema de regressão ridge com alvos locais fixos, o LoCA elimina a necessidade de gradiente descendente iterativo dentro do loop de ajuste.
Eficiência Empírica: O método demonstra redução de overhead de memória e tempo em comparação com os baselines padrão de LoRA e MeZO, particularmente em memória de CPU em estado estacionário e tempo de execução por passagem.

4. Resultados Experimentais

Os autores avaliaram o LoCA em cinco benchmarks discriminativos (SST-2, BoolQ, ARC-Easy, OpenBookQA, HellaSwag) utilizando modelos Qwen2.5 variando de 0.5B a 14B de parâmetros, e o SmolLM2-1.7B.

Performance: Em 16 de 25 comparações de tarefa–escala relatadas, o LoCA alcançou uma entropia cruzada (CE) de avaliação menor do que a execução correspondente de LoRA. Notavelmente, no BoolQ para modelos de 7B e 14B, o LoCA manteve uma precisão de ranking superior enquanto a precisão do LoRA caiu significativamente apesar das melhorias de CE, sugerindo que o LoCA pode evitar certos modos de overfitting.
Eficiência de Memória:
- Pico de GPU: Incluindo a fase de calibração, o uso de pico de memória de GPU do LoCA foi 26–29% menor que o do LoRA.
- Estado Estacionário de CPU: Pós-calibração, o uso de memória de CPU do LoCA foi 36–52% menor que o do LoRA.
- Viabilidade: Em um dispositivo de 32 GB, o LoCA completou uma tarefa onde o LoRA falhou devido a erros de falta de memória (out-of-memory).
Velocidade: Pós-calibração, o tempo por passagem do LoCA na CPU foi 43–48% menor que o do LoRA.
Reuso de Hiperparâmetros: Um conjunto candidato de tamanho de passo $\eta$ normalizado por escala foi reutilizado com sucesso em todos os tamanhos de Qwen2.5 testados e no SmolLM2, com seleção baseada em CE de validação (held-out).

5. Significância e Alegações

O artigo posiciona o LoCA como uma solução prática para cenários onde o backpropagation repetido é computacionalmente proibitivo ou inviável para o hardware (ex: dispositivos de apenas inferência).

Custo Amortizado: O LoCA amortiza o custo da atribuição de crédito global em uma única passagem de calibração. Uma vez calibrado, o dispositivo realizando a adaptação requer apenas execução de forward e resoluções lineares locais.
Diferente Caminho de Adaptação: Os autores observam que o LoCA não meramente aproxima o LoRA; ele segue um caminho de otimização diferente definido por objetivos de ridge locais e seleção de held-out. Isso pode levar a diferentes comportamentos de generalização, como a melhor preservação da precisão de ranking em tarefas específicas.
Limitações e Escopo: Os autores são modestos em suas alegações, afirmando que:
- Os resultados são primariamente descritivos (baseados em execuções únicas) e não provam superioridade absoluta sobre o LoRA.
- O método é limitado à adaptação de pequenos desvios (small-shift adaptation). Os mapas de feedback fixos podem degradar se o modelo mudar significativamente do estado de calibração ou para tarefas que exigem grandes mudanças de distribuição (ex: geração de textos longos).
- O LoCA não é inteiramente "livre de backprop"; ele requer um host capaz de treinamento para a calibração inicial. No entanto, ele separa efetivamente o trabalho pesado (calibração) do ajuste (tuning) baseado apenas em forward.

Em conclusão, o LoCA oferece um compromisso que permite um pós-treinamento eficiente e com recursos limitados, substituando o backpropagation iterativo por uma calibração única e subsequentes atualizações locais de forma fechada.