💻 computer science

SHIFT-LLM: Distribution Shift Correction in Depth-Pruned LLMs

O SHIFT-LLM é um framework de pós-poda livre de treinamento que restaura a acurácia em modelos de linguagem de grande escala podados em profundidade através da inserção de Adaptadores Residuais Lineares leves, calibrados via regressão de forma fechada para corrigir os desvios distributivos causados pela remoção de blocos Transformer.

Autores originais: Ali Bahri, Hang Li, Hongliang Li, Zhitang Chen

Publicado 2026-08-27

📖 5 min de leitura🧠 Leitura aprofundada

CC BY 4.0

Autores originais: Ali Bahri, Hang Li, Hongliang Li, Zhitang Chen

Artigo original sob licença CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta é uma explicação gerada por IA do artigo abaixo. Não foi escrita nem endossada pelos autores. Para precisão técnica, consulte o artigo original. Ler aviso legal completo

Os grandes modelos de linguagem são os motores por trás de muitas das ferramentas de inteligência artificial mais avançadas de hoje, capazes de escrever histórias, resolver problemas e responder a perguntas complexas. Esses sistemas são construídos a partir de camadas de unidades de processamento digital empilhadas umas sobre as outras, muito parecido com um edifício de vários andares onde cada andar refina a informação passada para o andar acima. Quanto mais andares um edifício possui, mais detalhado e sofisticado pode ser o seu resultado final, mas isso também torna a estrutura incrivelmente pesada e cara de operar. Para muitas aplicações práticas, especialmente em dispositivos com energia ou memória limitadas, esses modelos massivos são simplesmente grandes demais para serem usados. Para torná-los menores, pesquisadores desenvolveram métodos para remover andares inteiros do edifício, um processo conhecido como poda de profundidade (depth pruning). Embora isso consiga aliviar a carga e acelerar o modelo, frequentemente faz com que os andares restantes tropecem. Como os andares removidos foram projetados para passar tipos específicos de informação para os de cima, a remoção deles deixa as camadas superiores confusas, recebendo sinais que não correspondem mais ao que elas foram treinadas para esperar. Esse descompasso, conhecido como mudança de distribuição (distribution shift), faz com que o modelo perca precisão e cometa erros, forçando os desenvolvedores a gastar um tempo e poder computacional significativos retreinando o modelo para corrigir os erros.

Uma equipe de pesquisadores do Huawei Noah's Ark Lab introduziu uma nova abordagem chamada SHIFT-LLM que resolve este problema sem a necessidade de retreinamento. Em vez de tentar reconstruir os andares ausentes ou reensinar os restantes, o método deles insere um módulo de correção pequeno e leve em cada ponto onde uma camada foi removida. Imagine que, se você removesse um andar de um edifício, instalaria uma rampa simples e personalizada que fizesse a ponte perfeita entre os espaços, garantindo que as pessoas nos andares superiores ainda recebessem exatamente as mesmas instruções que receberiam se o andar ausente ainda estivesse lá. No mundo digital, esta rampa é um adaptador linear que preserva o caminho direto da informação enquanto adiciona um pequeno ajuste calculado. Este ajuste é projetado para imitar a contribuição específica que a camada removida teria feito, efetivamente enganando o resto do modelo para que ele pense que o andar ausente ainda está presente.

A genialidade deste método reside em como ele calcula esse ajuste. Em vez de executar milhares de horas de treinamento para descobrir o que a camada ausente deveria ter feito, os pesquisadores usam um pequeno conjunto de dados de amostra para medir exatamente o que foi perdido. Eles então utilizam um cálculo matemático direto para determinar a correção precisa necessária para restaurar essa informação perdida. Este processo é inteiramente automático e não requer otimização baseada em gradiente, que é o processo de aprendizado complexo e iterativo normalmente exigido para corrigir modelos quebrados. Ao usar este cálculo de forma fechada (closed-form), a equipe pode corrigir o estado interno do modelo em questão de minutos usando apenas algumas centenas de exemplos, em vez de dias de tempo computacional. O resultado é um modelo podado que retém a velocidade e a eficiência de ter menos camadas, mas performa com uma precisão quase idêntica ao modelo original e massivo.

Em seus experimentos, os pesquisadores testaram esta técnica em cinco famílias diferentes de grandes modelos de linguagem, variando de modelos menores de 1,5 bilhão de parâmetros até versões maiores de 14 bilhões de parâmetros. Eles aplicaram seis métodos diferentes para decidir quais camadas remover e avaliaram os resultados em sete benchmarks diferentes projetados para testar conhecimento geral e raciocínio. As descobertas foram consistentes: os módulos de correção recuperaram com sucesso a precisão perdida durante a poda em quase todas as configurações. Em um caso notável envolvendo um modelo de 8 bilhões de parâmetros, o método recuperou impressionantes 15,7 pontos de precisão em um benchmark padrão, um ganho que tipicamente exigiria retreinamento extensivo e caro. Mesmo quando os modelos já estavam sendo ajustados (fine-tuning) após a poda, adicionar este módulo de correção proporcionou um impulso extra, sugerindo que as duas abordagens funcionam bem juntas para elevar ainda mais o desempenho.

Os pesquisadores também demonstraram que estes módulos de correção podem ser comprimidos ainda mais para economizar espaço e fundidos quando múltiplas camadas são removidas em sequência, garantindo que os ganhos de eficiência da poda não sejam perdidos para o overhead do conserto em si. Este trabalho sugere que o principal obstáculo para tornar os grandes modelos de linguagem menores não é apenas a remoção de partes, mas a interrupção do fluxo de informação entre elas. Ao focar em reparar esse fluxo com ajustes simples e direcionados, o SHIFT-LLM oferece uma maneira geral e eficiente de tornar os poderosos modelos de IA práticos para o uso cotidiano. O estudo confirma que, com a correção certa, podemos remover as partes pesadas e redundantes desses cérebros digitais sem perder sua capacidade de pensar claramente, abrindo as portas para uma inteligência artificial mais rápida, barata e acessível.

Resumo Técnico: SHIFT-LLM

Declaração do Problema

A poda de profundidade em Grandes Modelos de Linguagem (LLMs) visa melhorar a eficiência da inferência ao remover blocos inteiros do Transformer. No entanto, esse processo introduz um problema crítico: o desvio de distribuição (distribution shift). Quando um bloco intermediário é removido, a atualização residual que ele produziria é perdida. Consequentemente, as camadas subsequentes recebem estados ocultos que diferem sistematicamente daqueles encontrados durante o pré-treinamento. Esse desvio se propaga pela rede, levando a uma degradação significativa da precisão. Embora o ajuste fino pós-poda possa recuperar o desempenho, isso exige recursos computacionais substanciais, tempo de otimização e treinamento baseado em gradientes, o que limita sua aplicabilidade em cenários com restrição de recursos.

Metodologia: SHIFT-LLM

Os autores propõem o SHIFT-LLM, um framework de correção pós-poda livre de treinamento, projetado para mitigar esse desvio de distribuição sem o uso de computação de gradiente. O mecanismo central é o Adaptador Residual Linear (LRA), inserido em cada local de poda.

1. Formulação do Adaptador Residual Linear (LRA)

Em vez de reconstruir todo o estado oculto de saída do zero, o LRA preserva o caminho de identidade original e adiciona uma correção residual afim leve.

Estrutura: Para uma camada podada $\ell$ , a saída original $h^{(\ell)} = h^{(\ell-1)} + f_\ell(h^{(\ell-1)})$ é aproximada por $\hat{h}^{(\ell)} = h^{(\ell-1)} + g_\ell(h^{(\ell-1)})$ .
Função de Correção: O adaptador $g_\ell(\cdot)$ é modelado como uma transformação afim: $g_\ell(h) = hA^{(\ell)} + \mathbf{1}(b^{(\ell)})^\top$ , onde $A^{(\ell)}$ é uma matriz de pesos e $b^{(\ell)}$ é um vetor de viés (bias).
Objetivo: O LRA aproxima especificamente a atualização residual ausente ( $\delta^{(\ell} = f_\ell(h^{(\ell-1)})$ ) em vez do estado oculto completo. Isso simplifica o problema de aproximação ao aproveitar a estrutura residual sobre a qual o modelo foi pré-treinado.

2. Estimativa de Forma Fechada (Livre de Treinamento)

Os parâmetros do LRA ( $A^{(\ell)}$ e $b^{(\ell)}$ ) são estimados sem retropropagação ou otimização iterativa:

Coleta de Dados: O modelo original não podado realiza uma passagem direta (forward pass) em um pequeno conjunto de calibração mantido fora do treinamento (held-out). Estados ocultos de entrada ( $H^{(\ell)}$ ) e as correspondentes atualizações residuais de verdade fundamental ( $\Delta^{(\ell)}$ ) são coletados.
Regressão de Ridge: Os parâmetros são resolvidos via uma regressão de mínimos quadrados de forma fechada (regressão de ridge) para minimizar o erro entre as atualizações residuais previstas e as reais:
$X^{(\ell)*} = \left((H^{(\ell)}_{aug})^\top H^{(\ell)}_{aug} + \lambda I\right)^{-1} (H^{(\ell)}_{aug})^\top \Delta^{(\ell)}$
onde $H^{(\ell)}_{aug}$ inclui uma coluna de viés, e $\lambda$ é um coeficiente de regularização.
Eficiência: Este processo requer apenas uma passagem direta e uma resolução linear por camada podada, evitando a necessidade de computação de gradiente ou ajuste fino.

3. Extensões Práticas

Fatoração de Baixo Rank: A matriz de pesos ajustada $A^{(\ell)}$ pode ser comprimida via Decomposição de Valor Singular truncada (SVD) para reduzir a contagem de parâmetros de $d^2$ para $2dr + d$.
Fusão Exata: Como os LRAs definem mapeamentos afins, LRAs consecutivos em locais de poda adjacentes podem ser matematicamente fundidos em uma única transformação sem erro de aproximação, aumentando ainda mais a compressão.

Principais Contribuições

Framework SHIFT-LLM: Um método de correção pós-poda livre de treinamento que visa explicitamente o desvio de distribuição do estado oculto causado pela poda de profundidade.
Adaptador Residual Linear (LRA): Um componente inovador que preserva o caminho de identidade enquanto aproxima as atualizações residuais ausentes via uma correção afim leve, calibrada via regressão de forma fechada.
Modularidade e Generalidade: O framework é agnóstico à estratégia específica de seleção de camada (ex: Block Influence, sensibilidade de Taylor, Magnitude) e pode ser aplicado em diversas famílias de modelos.
Complementaridade: O método é projetado para trabalhar junto com o ajuste fino eficiente em parâmetros (ex: LoRA), proporcionando recuperação adicional além do ajuste fino isolado.

Resultados Experimentais

Os autores avaliaram o SHIFT-LLM através de cinco famílias de modelos (Qwen2-1.5B, Qwen1.5-7B, Llama-3.1-8B-Instruct, Vicuna-7B e Qwen2.5-14B), seis critérios de seleção de camada e sete benchmarks zero-shot.

Recuperação Livre de Treinamento: Sem qualquer ajuste fino, o SHIFT-LLM recupera consistentemente a precisão perdida para a poda de profundidade.
- No Llama-3.1-8B-Instruct com poda de ordem reversa (25% de profundidade), o método alcançou um ganho de +15,74 pontos na precisão média zero-shot.
- No Qwen1.5-7B, os ganhos chegaram a +6,88 pontos sob poda Magnitude- $\ell_1$ .
- A perplexidade no WikiText-2 foi substancialmente reduzida na maioria das configurações (ex: uma redução de mais de 1000 pontos de perplexidade para o Llama-3.1-8B sob poda de ordem reversa).
Escalabilidade: O método permanece eficaz quando escalado para o Qwen2.5-14B, mostrando ganhos de até +5,36 pontos em precisão zero-shot.
Compatibilidade com Ajuste Fino: Quando combinado com LoRA ou ajuste fino de camadas parciais, o SHIFT-LLM fornece recuperação complementar, melhorando ainda mais o desempenho na maioria das configurações avaliadas (ex: +1,14 pontos no Llama-3.1-8B-Instruct quando combinado com LoRA).
Comparação com o Estado da Arte: Integrado ao pipeline Navigation LLM, o SHIFT-LLM melhorou a precisão média de 59,08 para 59,54 no Llama-3.1-8B-Instruct, demonstrando que não degrada bases fortes enquanto agrega valor.

Significância e Alegações

O artigo afirma que o SHIFT-LLM oferece uma solução simples, geral e eficaz para o problema do desvio de distribuição inerente à poda de profundidade. Ao aproximar explicitamente a atualização residual ausente enquanto preserva a estrutura residual original do modelo, o método mitiga o desvio sem o custo computacional do retreinamento.

Os autores enfatizam que esta abordagem é particularmente significativa para configurações onde o treinamento pós-poda é indesejável ou inviável. A capacidade do framework de alcançar uma recuperação de precisão substancial (até +15,7 pontos) usando apenas algumas centenas de amostras de calibração e sem computação de gradiente o posiciona como uma alternativa prática ao ajuste fino extensivo. Além disso, a capacidade de fundir adaptadores consecutivos e comprimir pesos via fatoração de baixo rank garante que os ganhos de eficiência da poda de profundidade sejam preservados e potencialmente potencializados.