🤖 machine learning

Prox: Training-Free FFN Activation Sparsity via Approximate Intermediate-Channel Salience in LLMs

O Prox é um framework livre de treinamento que permite a execução eficiente de FFN SwiGLU esparsa em LLMs ao construir máscaras de canal a partir da saliência aproximada de canais intermediários, alcançando assim acelerações significativas e qualidade de modelo superior em comparação com métodos existentes sem exigir retreinamento.

Autores originais: Jinyi Liu, Wei Chen, Pengyu Chen, Xinyi Yuan, Minghe Bai, Guoquan Wu, Jun Wei

Publicado 2026-07-31

📖 8 min de leitura🧠 Leitura aprofundada

CC BY 4.0

Autores originais: Jinyi Liu, Wei Chen, Pengyu Chen, Xinyi Yuan, Minghe Bai, Guoquan Wu, Jun Wei

Artigo original sob licença CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta é uma explicação gerada por IA do artigo abaixo. Não foi escrita nem endossada pelos autores. Para precisão técnica, consulte o artigo original. Ler aviso legal completo

Imagine que você está tentando rodar um cérebro robótico massivo e hiperinteligente em um dispositivo pequeno, movido a bateria. Este cérebro, conhecido como Modelo de Linguagem de Grande Escala (LLM), é incrível para escrever histórias, resolver problemas matemáticos e conversar, mas também é incrivelmente faminto. Ele devora memória e poder de processamento apenas para pensar na próxima palavra de uma frase. Para tornar esses robôs mais rápidos e menos sedentos, cientistas têm tentado ensinar-os a "pular" partes de seu processo de pensamento que não são importantes. Isso é chamado de escassez de ativação (activation sparsity). Pense nisso como um chef que, em vez de picar todos os vegetais da cozinha para uma sopa, prova rapidamente os ingredientes e só pica os que realmente adicionarão sabor, deixando o resto intocado. O objetivo é obter a mesma sopa deliciosa (a resposta correta) mas com muito menos trabalho. No entanto, a parte difícil é descobrir quais vegetais pular sem acidentalmente jogar fora o tempero secreto que faz o prato ter um sabor agradável. Se você errar o palpite, a sopa ficará insossa ou, pior, comedível.

Este é o quebra-cabeça enfrentado por um novo método chamado Prox, desenvolvido pelos pesquisadores Jinyi Liu e sua equipe. Eles focaram em um tipo específico de arquitetura de cérebro robótico chamado SwiGLU, que é o padrão atual para muitos modelos poderosos. Os pesquisadores descobriram que, embora o "pensamento intermediário" do cérebro (um estado intermediário) contenha o mapa perfeito para decidir o que pular, calcular esse mapa exatamente é muito lento e caro. Por isso, eles criaram um truque inteligente de duas etapas. Primeiro, eles usam um "rascunho bruto", rápido e de baixa qualidade, do pensamento do cérebro para decidir rapidamente quais partes são importantes. Então, e este é o ponto principal, eles realizam a matemática pesada e precisa apenas nessas partes específicas importantes, ignorando o resto inteiramente. Seus experimentos mostraram que este método é muito melhor do que outros truques que tentavam adivinhar a importância sem realizar a matemática completa primeiro. Em testes em dez modelos diferentes de IA, o Prox conseguiu acelerar o pensamento do robô em quase o dobro (até 1,99 vezes mais rápido) mantendo as respostas tão inteligentes quanto a versão lenta e de velocidade total. É como ter um batedor super-rápido que corre à frente para marcar o caminho, permitendo que o exército principal marche apenas pelas estradas pavimentadas e seguras, economizando tempo e energia sem se perder.

O Problema: O Almoço Pesado do Robô

Os Modelos de Linguagem de Grande Escala são como bibliotecas gigantescas de conhecimento, mas também são muito pesados. Quando tentam responder a uma pergunta, precisam mover uma quantidade massiva de dados dentro de sua memória. Uma grande parte desse tráfego vem de uma parte específica do cérebro chamada Rede Feed-Forward (FFN). Você pode pensar na FFN como a parte do cérebro que recebe uma ideia, a processa e a passa adiante. Nos modelos modernos, esta parte usa uma receita especial chamada SwiGLU, que envolve três operações matemáticas (projeções) trabalhando juntas.

O problema é que essas três operações são tão pesadas que atrasam tudo. Cientistas tentaram corrigir isso tornando o modelo "esparso", o que significa que tentam pular a matemática das partes do cérebro que parecem sem importância. No entanto, os métodos existentes para fazer isso sem retreinar o modelo (o que leva uma eternidade) possuem uma falha. Eles frequentemente adivinham quais partes pular baseando-se em apenas uma informação, como olhar apenas para o "portão" (gate) ou apenas para a parte "ascendente" (up) da receita. Isso é como tentar decidir se uma música é boa ouvindo apenas a bateria ou apenas os vocais. Se você errar o palpite, você pula uma nota crucial, e a música (ou a resposta da IA) desmorona. À medida que os pesquisadores tentavam pular mais e mais partes para ficarem mais rápidos, a qualidade das respostas caía significativamente.

O Insight: O Mapa vs. A Jornada

Os pesquisadores, liderados por Jinyi Liu, notaram algo interessante sobre a receita SwiGLU. Existe um momento específico no processo chamado estado intermediário (vamos chamá-lo de "pensamento do meio"). Este pensamento do meio é o sinal perfeito para decidir quais partes do cérebro manter e quais pular. Se você pudesse ver este pensamento do meio exatamente, poderia pular até 70% do trabalho e ainda assim obter uma resposta perfeita.

Mas aqui está o detalhe: para ver este pensamento do meio exatamente, você tem que fazer toda a matemática pesada primeiro. É como tentar ver a linha de chegada de uma corrida, mas você tem que correr a corrida inteira para chegar lá. Isso anula o propósito de tentar economizar tempo.

A equipe percebeu que não precisava realmente do valor exato do pensamento do meio. Eles só precisavam saber a ordem de importância. Eles precisavam saber quais partes eram as "grandes" e quais eram as "pequenas", não os números exatos. Esta é a diferença entre saber exatamente quantos dólares há em sua carteira versus apenas saber quais notas são as maiores. Se você conseguir adivinhar a ordem corretamente, pode escolher as coisas certas para manter.

A Solução: O Truque de Duas Etapas do Prox

Para resolver isso, a equipe criou o Prox, um framework de duas etapas que atua como um batedor inteligente e um construtor preciso.

Etapa 1: O Batedor Rápido (Construção do Proxy)
Na primeira etapa, o Prox utiliza uma versão "barata" da matemática. Ele pega a entrada e a passa por uma versão simplificada e de menor qualidade do cérebro (usando pesos quantizados, que são como números menores e comprimidos). Ele não tenta obter a resposta perfeita; ele apenas quer ter uma ideia bruta de quais canais estão altos e quais estão baixos. Ele cria uma "máscara", que é basicamente uma lista de etiquetas de "Manter" e "Descartar". Como esta etapa usa matemática simplificada, ela é muito rápida e não exige muita memória. Crucialmente, os erros nesta conta bruta não arruinam a resposta final porque os números brutos nunca são usados para a saída final — eles são usados apenas para criar a lista.

Etapa 2: O Construtor Preciso (Computação Esparsa Exata)
Uma vez feita a lista, a segunda etapa entra em ação. É aqui que a verdadeira magia acontece. O modelo olha para a lista da Etapa 1 e diz: "Ok, vamos ignorar 70% do trabalho e realizar a matemática apenas para os 30% principais". Mas aqui está a diferença em relação a outros métodos: para esses 30% principais, o Prox utiliza a matemática original, de precisão total e de alta capacidade. Ele calcula os valores exatos para as partes importantes. Isso garante que a resposta final seja tão precisa quanto se o modelo tivesse feito todo o trabalho, mas ele fez o trabalho apenas para as partes que importavam.

Por Que Funciona Melhor

Os pesquisadores testaram o Prox em dez modelos diferentes de linguagem grande, incluindo modelos populares como Qwen, Mistral e Llama-3. Eles o compararam com outros métodos que tentam pular o trabalho sem retreinar.

Os resultados foram claros: o Prox foi o vencedor. Em níveis altos de supressão (como 70% de esparsidade), outros métodos começaram a cometer erros e as respostas da IA pioraram. O Prox, porém, manteve as respostas afiadas. De fato, com 70% de esparsidade, o Prox conseguiu acelerar o processo de decodificação (a velocidade com que a IA gera texto) em até 1,99 vezes em uma placa de vídeo padrão. Isso significa que a IA poderia falar quase o dobro da velocidade sem perder sua inteligência.

A equipe também verificou se este novo método quebraria se tentassem combiná-lo com outros truques de aceleração, como tornar os números menores (quantização) ou pular partes do mecanismo de atenção. Eles descobriram que o Prox funciona perfeitamente ao lado desses outros métodos, como um adaptador universal que se encaixa em qualquer configuração.

A Conclusão

O artigo conclui que o Prox é uma forma poderosa e livre de treinamento para tornar a IA mais rápida. Ele prova que você não precisa retreinar um modelo gigante para torná-lo eficiente. Em vez disso, você pode usar um processo inteligente de duas etapas: use um palpite rápido e bruto para encontrar as partes importantes e, em seguida, faça o trabalho pesado apenas nessas partes. Esta abordagem evita o "jogo de adivinhação" que causou a falha de outros métodos, garantindo que o cérebro robótico permaneça rápido e inteligente, mesmo quando está rodando em um dispositivo pequeno. Embora a versão atual seja melhor para conversas de usuário único (como conversar em um telefone), os pesquisadores sugerem que, com algum trabalho adicional, essa ideia poderia eventualmente ajudar a rodar grupos de usuários ainda maiores de forma eficiente. Por enquanto, representa um grande passo à frente para tornar a IA mais rápida sem sacrificar sua inteligência.

Resumo Técnico: Prox - Esparsidade de Ativação de FFN sem Treinamento via Saliência de Canal Intermediário Aproximada

Declaração do Problema

Os Grandes Modelos de Linguagem (LLMs) dependem fortemente de Redes de Alimentação Direta (FFNs), particularmente da variante SwiGLU, que dominam o tráfego de memória e a computação durante a inferência. Embora a esparsidade de ativação ofereça um caminho para mitigar esses gargalos ao pular canais de baixa saliência, os métodos existentes sem treinamento enfrentam um trade-off crítico: eles sofrem uma degradação substancial da qualidade do modelo em níveis elevados de esparsidade.

As abordagens atuais geralmente dependem de sinais de ramo único (por exemplo, a ativação do portão $h$ ou a ativação do ramo superior $u$ ) para selecionar os canais para o estado intermediário $s = u \odot h$ . Essa informação parcial leva a canais salientes mal classificados. Alternativamente, métodos que aplicam esparsidade sequencialmente (por exemplo, esparsificando a entrada $x$ e depois o estado intermediário $s$ ) acumulam erros de aproximação, degradando o desempenho downstream. Além disso, embora o estado intermediário exato $s$ forneça um sinal ideal para a seleção de canais, computar $s$ requer a execução densa das projeções de up e gate, o que anula os benefícios da esparsidade.

Metodologia: O Framework Prox

Os autores propõem o Prox, um framework de dois estágios, sem treinamento, projetado para permitir a execução esparsa de FFNs SwiGLU sem retreinamento. O insight central é que a execução esparsa requer apenas o máscara de canal (determinado pelo ranking de magnitude do estado intermediário), não os valores exatos do próprio estado.

Estágio 1: Construção de Proxy Leve

O objetivo do Estágio 1 é construir uma máscara de canal compartilhada ( $m_s$ ) com custo computacional mínimo.

Esparsidade de Entrada e Quantização: O Prox aplica esparsidade de entrada à entrada da FFN $x$ e utiliza pesos proxy quantizados (INT4) para as projeções de up e gate.
Ativação Proxy: Ele computa ativações proxy esparsas $\tilde{u}$ e $\tilde{h}$ usando os pesos quantizados e a entrada esparsa.
Geração de Máscara: O estado intermediário proxy é calculado como $\tilde{s} = \tilde{u} \odot \tilde{h}$ . O ranking de magnitude de $\tilde{s}$ é usado para gerar uma máscara de canal binária $m_s$ .
Isolamento de Erro: Crucialmente, os erros de aproximação em $\tilde{s}$ são isolados para o processo de seleção; esses valores proxy não são propagados para o downstream.

Estágio 2: Computação Esparsa Exata

Uma vez estabelecida a máscara $m_s$ , o Prox realiza a computação exata nos canais retidos usando os pesos originais de precisão total.

Projeções Exatas: Os canais selecionados são computados exatamente para as projeções de up e gate ( $u_{sp}$ , $h_{sp}$ ) usando pesos de precisão total.
Saída Final: O estado intermediário exato $s_{sp}$ é computado e passado pela projeção down (também esparsificada pela mesma máscara) para produzir a saída final.

Alocação de Esparsidade

O Prox aloca dinamicamente o orçamento computacional entre o Estágio 1 e o Estágio 2.

Âncora do Estágio 2: Com base em experimentos "oracle" mostrando que esparsificar ~70% dos canais intermediários exatos acarreta um aumento negligenciável na perplexidade, a esparsidade do Estágio 2 ( $s_2$ ) é ancorada em torno de 70%.
Restrição do Estágio 1: A esparsidade do Estágio 1 ( $s_1$ ) é restringida (por exemplo, retendo pelo menos 30% das entradas) para garantir que o sinal proxy permaneça confiável para a seleção de canais.
Modelo de Custo: O framework otimiza $s_1$ e $s_2$ para atingir uma esparsidade efetiva alvo enquanto minimiza o custo computacional normalizado, que contabiliza o overhead das projeções proxy quantizadas.

Implementação de Hardware

O Prox utiliza kernels customizados em CUDA e Triton para realizar a aceleração:

Estágio 1: Um kernel fundido split-N avalia as projeções proxy, pulando entradas rejeitadas e realizando o unpacking INT4 diretamente nos registradores.
Estágio 2: Um kernel fundido de saída-esparsa computa as projeções exatas de up/gate e um GEMV de entrada-esparsa para a projeção down, restringindo os acessos aos pesos apenas aos canais ativos.

Principais Contribuições

Insight sobre o Estado Intermediário: Os autores identificam o estado intermediário SwiGLU ( $s$ ) como o sinal ideal de seleção de canal. Eles demonstram que, embora o $s$ exato seja custoso, um proxy de baixo custo com esparsidade de entrada preserva o ranking de magnitude necessário para recuperar a máscara ideal.
Framework Prox: Um novo método de dois estágios que desacopla a seleção de canais (via proxies quantizados) da computação de valores (via pesos exatos). Isso evita o acúmulo de erro comum em métodos anteriores sem treinamento.
Avaliação Abrangente: Experimentos extensivos em dez LLMs de seis famílias de modelos (incluindo Qwen3, Llama-3, Mistral e Gemma-3) mostram que o Prox supera os baselines de estado da arte sem treinamento (CATS, COUNTDOWN, TEAL) em todos os níveis de esparsidade, particularmente em 60–70% de esparsidade.

Resultados Experimentais

Acurácia: Em 70% de esparsidade de FFN, o Prox alcança até 14,4% de melhoria no desempenho médio de tarefas downstream comparado ao melhor baseline (TEAL). Ele mantém a qualidade do modelo com um aumento de perplexidade relativa de menos de 3% na maioria dos casos, enquanto outros métodos degradam significativamente.
Aceleração (Speedup): Em uma GPU NVIDIA A6000, o Prox alcança um aumento de velocidade de decodificação end-to-end de 1,51× a 1,99× com 60–70% de esparsidade.
Compatibilidade: O Prox é ortogonal à quantização de modelo (ex: AWQ, FP8, W4A16) e mecanismos de atenção esparsa (ex: RocketKV, HShare), permitindo ganhos de eficiência sinérgicos.

Significância e Alegações

O artigo afirma que o Prox representa um avanço significativo na aceleração de LLMs sem treinamento ao resolver o trade-off entre precisão e eficiência inerente às estratégias de seleção de canal anteriores. Ao aproveitar a observação de que a estabilidade de ranking é suficiente para a geração de máscara, o Prox permite uma esparsidade agressiva (até 7 de 70%) sem o colapso de precisão visto em métodos anteriores. O framework é apresentado como uma solução prática para inferência com restrição de recursos e sensível à latência, oferecendo precisão próxima à densa com quase o dobro do throughput de decodificação, permanecendo totalmente compatível com os ecossistemas de quantização e atenção esparsa existentes.

Os autores observam limitações atuais, especificamente que o Prox visa a decodificação autorregressiva de lote único (single-batch) e ainda não suporta o serviço de grandes lotes (large-batch serving), e que o armazenamento de pesos proxy INT4 introduz um overhead de memória de ~12%, o que trabalhos futuros poderiam abordar via esquemas de janela deslizante (sliding-window).