💬 NLP

Continual LLM Upcycling: A Predictor-Gated Bank-Wise Sparsity Training Recipe for Dense-to-Sparse LLMs

Este artigo apresenta uma receita de treinamento contínuo que faz o upcycling de um modelo denso Qwen2.5-8B para um LLM de esparsidade de canais e eficiência de hardware, integrando um mecanismo de roteamento com portão preditor durante o treinamento, ao mesmo tempo em que aborda modos de falha específicos de contexto longo por meio de um algoritmo de reparo direcionado.

Autores originais: Ruixuan Huang, Jinyuan Shi, Hantao Huang, Yifan Huang, Ziyi Guan, Hao Zeng, Ian En-Hsu Yen, Minghui Yu

Publicado 2026-06-10

📖 5 min de leitura🧠 Leitura aprofundada

CC BY 4.0

Autores originais: Ruixuan Huang, Jinyuan Shi, Hantao Huang, Yifan Huang, Ziyi Guan, Hao Zeng, Ian En-Hsu Yen, Minghui Yu

Artigo original sob licença CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta é uma explicação gerada por IA do artigo abaixo. Não foi escrita nem endossada pelos autores. Para precisão técnica, consulte o artigo original. Ler aviso legal completo

Imagine que você tem uma biblioteca massiva e incrivelmente inteligente (um Grande Modelo de Linguagem, ou LLM) que sabe quase tudo. Mas há um problema: toda vez que alguém faz uma pergunta, o bibliotecário tem que percorrer cada um dos livros da biblioteca para encontrar a resposta, mesmo que apenas uma pequena fração desses livros seja realmente relevante. Isso é lento, caro e desperdiça muita energia.

Este artigo apresenta uma nova maneira de treinar esses "bibliotecários" para que eles se tornem super eficientes sem perder sua inteligência. Eles chamam esse processo de "Upcycling Denso-para-Esparso" (Dense-to-Sparse Upcycling).

Aqui está a divisão simples de como eles fizeram isso:

1. O Problema: A Abordagem de "Todos os Livros"

Em modelos de IA padrão, toda vez que o modelo processa uma palavra, ele ativa uma enorme rede de "neurônios" internos (pense neles como prateleiras de livros). Mesmo que o modelo precise apenas de informações de 4 prateleiras específicas, atualmente ele abre todas as 16 prateleiras para garantir. Esta é a abordagem "Densa". Funciona bem, mas é pesada e lenta.

2. A Solução: O "Preditor Inteligente"

Os autores queriam ensinar o modelo a abrir apenas as 4 prateleiras mais importantes de cada 16. Isso é chamado de "Esparsidade" (Sparsity).

No entanto, você não pode simplesmente adivinhar quais prateleiras abrir. Se você errar o palpite, o modelo fica estúpido.

O Jeito Antigo: Alguns métodos observam os livros depis de eles serem abertos para decidir se foram úteis. Isso é tarde demais; a energia já foi desperdiçada.
O Jeito Novo (Este Artigo): Eles instalaram um "Preditor" minúsculo e super rápido (como um assistente de bibliotecário inteligente) logo antes das prateleiras serem abertas.
- Este assistente olha para a pergunta e para o contexto atual.
- Ele prevê instantaneamente exatamente quais 4 prateleiras, de cada 16, são necessárias.
- Ele diz ao sistema principal: "Abra apenas estas 4; ignore as outras 12."

3. O Sistema de "Bancos"

Para tornar isso organizado, eles dividiram as prateleiras em grupos chamados "Bancos".

Imagine que um banco tem 64 prateleiras.
A regra é simples: Para cada pergunta, o assistente escolhe as melhores 16 prateleiras naquele banco e ignora o resto.
Isso reduz o trabalho em 4 vezes (esparsidade de 4x).

4. A Receita de Treinamento: "Aprender Fazendo"

Você não pode simplesmente pegar um modelo pesado e pronto e tentar forçá-lo a ser preguiçoso; geralmente isso o quebra. Em vez disso, eles usaram uma receita de treinamento específica:

Começar Pesado: Eles treinaram um modelo padrão e pesado primeiro (até 8.000 palavras de contexto).
Estender a Memória: Eles ensinaram o modelo a lidar com conversas mais longas (até 32.000 palavras).
Introduzir o Assistente: Somente depois que o modelo já estava inteligente é que eles adicionaram o "Assistente Preditor".
Praticar: Eles treinaram o modelo e o assistente juntos. O modelo aprendeu a confiar nas previsões do assistente para economizar energia, enquanto o assistente aprendeu a ficar melhor em adivinhar as prateleiras certas.

5. Os Resultados: Mais Inteligentes e Rápidos

Eles testaram este novo modelo "Esparso" contra outros dois:

O Modelo Pesado: A versão original e lenta.
O Modelo Esparso "Ingênuo": Uma versão onde eles apenas desligaram as prateleiras de forma aleatória ou preguiçosa, sem treinar um preditor.

O Vencedor: O modelo "Predictor-Gated" foi quase tão inteligente quanto o Modelo Pesado, mas muito mais eficiente. A versão "Ingênua", por outro lado, tornou-se significativamente mais burra. Isso prova que treinar o modelo para ser esparso desde o início é crucial; você não pode apenas hackeá-lo depois.

6. O "Abismo" e a Correção

Durante os testes, eles encontraram um erro estranho. O modelo funcionava muito bem para perguntas curtas e médias, mas quando a conversa ficava muito longa (por volta de 12.000 a 16.000 palavras), ele subitamente começava a falhar. Era como se o bibliotecário ficasse confuso e esquecesse como encontrar livros no meio de uma história muito longa.

Eles descobriram que isso não era um problema de toda a biblioteca. Era apenas uma prateleira específica (Camada 7) que estava falhando.

A Correção: Eles criaram um "patch de reparo" que diz ao modelo: "Se a conversa ficar muito longa, apenas ignore o assistente inteligente para essa prateleira específica e use a versão pesada completa em vez disso."
Esse ajuste simples fez o modelo funcionar perfeitamente de novo para histórias longas.

Resumo

O artigo mostra que você pode pegar um modelo de IA pesado e lento e "upcyclar" para uma versão leve e rápida, ensinando-o um preditor que sabe exatamente quais partes de seu cérebro usar para cada palavra. É como ensinar um chef a pegar apenas os temperos específicos que ele precisa para um prato, em vez de despejar todo o porta-temperos na panela. O resultado é um modelo que é 4 vezes mais eficiente, mas mantém quase toda a sua inteligência.

Resumo Técnico: Upcycling Contínuo de LLM via Esparsidade por Banco com Preditor de Portão (Predictor-Gated)

Declaração do Problema

O custo computacional dos Grandes Modelos de Linguagem (LLMs), particularmente os Transformers do tipo decoder-only, é cada vez mais dominado pelo tamanho dos parâmetros e pela computação por token exigida pelas Redes Feed-Forward (FFNs) densas. Nas arquiteturas SwiGLU modernas, a FFN expande o estado oculto para uma dimensão intermediária grande, processa-o e projeta-o de volta. Durante o treinamento e a inferência de contexto longo, essa computação densa é aplicada a todos os tokens, embora apenas um subconjset de canais intermediários seja crítico para qualquer token específico.

As soluções existentes enfrentam limitações:

Mistura de Especialistas (Mixture-of-Experts - MoE): Reduz a computação roteando tokens para pools de especialistas específicos, mas introduz pools de parâmetros separados, requisitos complexos de balanceamento de carga e overhead de comunicação all-to-all.
Esparsidade Post-hoc: Métodos que derivam máscaras esparsas a partir das ativações nativas da FFN muitas vezes chegam tarde demais para pular as computações de gate e de up-projection dominantes, falhando em fornecer aceleração ao nível de hardware.
Esparsidade Contextual: Embora trabalhos anteriores mostrem que a computação de LLM depende da entrada, métodos sem necessidade de treinamento podem ser frágeis em tarefas de geração complexas.

O artigo aborda o desafio de converter um LLM denso pré-treinado em um modelo esparso por canal através de treinamento contínuo (upcycling) sem degradação significativa de desempenho, visando criar um caminho esparso orientado ao hardware onde o sinal de roteamento esteja disponível antes da computação principal da FFN.

Metodologia

A abordagem proposta, Predictor-Gated Bank-Wise Sparsity, transforma um modelo Qwen2.5-8B denso em uma variante esparsa através de uma receita específica de treinamento contínuo.

1. Arquitetura: SwiGLU com Preditor de Portão (Predictor-Gated)

Em vez de usar as saídas nativas do gate para determinar a esparsidade, os autores introduzem um preditor de baixo rank ( $P_l$ ) que opera no estado oculto do token ( $x_{l,t}$ ) antes da computação da FFN.

Preditor: Um módulo leve de dois níveis ( $R^d \to R^{448} \to R^{d_i}$ ) que mapeia o estado oculto para os logits sobre os canais intermediários da FFN.
Mecanismo de Roteamento: O preditor gera logits que são usados para gerar um sinal de roteamento. Isso substitui o gate SwiGLU denso padrão $\sigma(u_{l,t})$ .
Regra Bank-wise Top-k: A dimensão intermediária ( $d_i = 14336$ ) é particionada em bancos fixos de tamanho 64. Para cada banco, uma regra top-k rígida ( $k=16$ ) é aplicada. Isso retém 16 canais ativos por banco de 64 canais, alcançando uma esparsidade de 4x na largura de ativação da FFN intermediária ( $d_s = 3584$ ).
Execução:
- Forward Pass: Uma máscara binária rígida é aplicada. Os canais inativos são exatamente zero.
- Backward Pass: A seleção top-k não diferenciável é tratada via um gradiente substituto suave (gradiente local do tipo sigmoide) ao redor do limiar de seleção, permitindo que a perda de modelagem de linguagem atualize os parâmetros do preditor.

2. Receita de Treinamento (Dense-to-Sparse Continual Training)

O processo converte um modelo Qwen2.5-8B treinado com contexto de 8K em um modelo esparso de 32K através de quatro estágios distintos:

Estágio Denso 8K: Treinar do zero usando a arquitetura padrão Qwen2.5-8B.
Estágio Denso 32K: Retomar a partir do checkpoint de 8K, estender o contexto para 32K e continuar o treinamento denso por aproximadamente 3T de tokens.
Warm-up do Preditor: Introduzir o preditor de baixo rank como um ramo auxiliar para imitar o sinal do gate nativo. Este ramo não afeta a perda principal.
FFN Densa com Preditor de Portão: Rotear o gate principal da FFN através do preditor (usando sigmoide) para que o preditor afete a perda, mas sem aplicar a seleção top-k rígida ainda.
FFN Top-k Esparsa com Preditor de Portão: Ativar a seleção bank-wise top-k para impor a esparsidade de 4x.

Nota: O ramo esparso é introduzido tardiamente no estágio de 32K (após ~3T de tokens) para refletir um cenário prático de upcycling onde um modelo denso é convertido em esparso.

3. Implicações de Hardware

O treinamento é realizado em GPUs como uma simulação funcional. Embora a implementação atual em GPU materialize as projeções de gate e up densas antes da máscara (limitando a aceleração imediata de tempo de execução), o princípio algorítmico permite que o hardware esparso dedicado pule computações em todos os três estágios da FFN (projeções de gate, up e down), reduzindo teoricamente a largura intermediária efetiva em 4x.

Principais Contribuições

Padrão de Esparsidade de Canal com Preditor de Portão: Uma arquitetura inovadora onde um preditor de baixo rank gera logits de roteamento de canal antes da computação da FFN, combinada com uma regra top-k por banco. Isso permite pular canais inativos de gate, up e down, desde que kernels ou hardware especializado sejam utilizados.
Receita de Treinamento Contínuo Dense-to-Sparse: Um fluxo de trabalho prático para converter um modelo denso Qwen2.5-8B (treinado em 8K, continuado para 32K) em um modelo FFN esparso de 4x com o preditor de portão e degradação de desempenho limitada.
Lições de Treinamento e Modos de Falha:
- Balanceamento de Canais: O artigo demonstra que os vieses de balanceamento de especialistas estilo MoE não se transferem bem para o roteamento de canais por banco. Forçar explicitamente o balanceamento de canais (via atualizações online) foi considerado prejudicial ou neutro em comparação com a ausência de balanceamento.
- Falha de Contexto Longo Local à Camada: A avaliação no RULER-CWE revelou um declínio abrupto de desempenho (12K–16K) no modelo esparso que era invisível em benchmarks de contexto curto. Os autores identificaram isso como uma falha local à camada (especificamente na 7ª camada) e propuseram um algoritmo de reparo de camada única (intervenção de fallback denso) que recupera substancialmente o desempenho no intervalo de comprimento afetado.

Resultados

O modelo esparso foi avaliado contra dois baselines: um Companheiro Denso (totalmente denso, mesmo orçamento) e um baseline Denso-4x (esparsidade 4x aplicada post-hoc baseada na magnitude da ativação).

Proximidade de Desempenho: Em um amplo conjunto de benchmarks (QA Factual, Código, Raciocínio, Matemática, Composto), o modelo esparso com preditor de portão consistentemente permaneceu mais próximo do companheiro denso do que o baseline denso-4x ingênuo.
Ganhos Específicos:
- O modelo esparso igualou ou superou ligeiramente o baseline denso em MBPP, MultiPL-E e MMLU.
- Ele reduziu substancialmente a degradação vista no baseline Denso-4x em Chinese SimpleQA, MBPP+, MBXP e KOR-Bench.
Desempenho de Contexto Longo:
- Nos benchmarks RULER (4K, 8K, 16K), o modelo esparso teve desempenho comparável ao modelo denso.
- Em 32K, o modelo esparso (80.4) superou o baseline Denso-4x (73.5) e excedeu ligeiramente o companheiro denso (79.2).
- Análise RULER-CWE: O modelo esparso exibiu um "abismo" (cliff) de recall entre 12K e 16K. Aplicar o reparo de camada única proposto (Camada 7) melhorou o recall médio na faixa de 8.7K–12.2K de 0.856 para 0.947 e na faixa de 12.8K–16.3K de 0.583 para 0.802.

Significância e Alegações

O artigo afirma que o upcycling esparso não é sem perdas, mas é um caminho viável para construir modelos esparsos orientados ao hardware a partir de checkpoints densos.

Abordagem Centrada no Treinamento: Ao contrário da compressão post-hoc, este método trata a esparsidade de canal como parte integrante do caminho de modelagem de linguagem, otimizada durante o treinamento contínuo.
Alinhamento com Hardware: Ao posicionar o preditor de roteamento antes da computação da FFN e usar uma máscara rígida, o método se alinha aos requisitos para hardware esparso dedicado para alcançar aceleração real, e não apenas esparsidade teórica.
Valor Diagnóstico: O trabalho destaca que a avaliação de contexto longo é crítica para identificar modos de falha (como o abismo local à camada) que benchmarks amplos de contexto curto não detectam. Também fornece um resultado negativo quanto à transferibilidade de estratégias de balanceamento de MoE para roteamento de nível de canal em configurações de treinamento contínuo.

Os autores concluem que, embora o modelo esparso não seja um substituto perfeito para o modelo denso em todos os cenários, ele oferece uma receita prática para upcycling de modelos densos em variantes esparsas eficientes com trade-offs de desempenho gerenciáveis.