💬 NLP

GLASS: Global-Local Aggregation for Inference-time Sparsification of LLMs

GLASS é um framework sem necessidade de treinamento que melhora a esparcificação no momento da inferência para grandes modelos de linguagem, agregando ativações locais específicas do prompt e priores intrínsecos globais do modelo por meio de agregação de ranks, estabilizando assim a poda dinâmica de FFN e aprimorando significativamente a fidelidade da geração e a velocidade de decodificação, particularmente em cenários de prompts curtos e longos.

Autores originais: Amirmohsen Sattarifard, Sepehr Lavasani, Kunlin Zhang, Amirhossein Rajabpour, Hanlin Xu, Fengyu Sun, Negar Hassanpour, Chao Gao

Publicado 2026-05-14

📖 5 min de leitura🧠 Leitura aprofundada

CC BY 4.0

Autores originais: Amirmohsen Sattarifard, Sepehr Lavasani, Kunlin Zhang, Amirhossein Rajabpour, Hanlin Xu, Fengyu Sun, Negar Hassanpour, Chao Gao

Artigo original sob licença CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta é uma explicação gerada por IA do artigo abaixo. Não foi escrita nem endossada pelos autores. Para precisão técnica, consulte o artigo original. Ler aviso legal completo

Imagine que você tem uma biblioteca gigante e incrivelmente inteligente (um Modelo de Linguagem de Grande Escala, ou LLM) que pode escrever histórias, responder perguntas e resolver problemas. Mas essa biblioteca é tão massiva que não cabe no seu telefone ou laptop. É muito pesada, muito lenta e requer muita energia para funcionar.

Para fazê-la funcionar no seu dispositivo, você precisa "podá-la"—essencialmente, você precisa dizer para ela ignorar 50% de suas células cerebrais internas (neurônios) enquanto ela pensa, para que ela execute mais rápido e use menos memória.

O Problema: O "Jogo de Adivinhação" de Prompts Curtos
Métodos existentes tentam decidir quais células cerebrais manter olhando para a primeira coisa que você digita (o "prompt"). Eles dizem: "Ok, você fez uma pergunta curta, então manteremos esses neurônios específicos ativos."

O artigo argumenta que isso é como tentar planejar uma viagem inteira com base no primeiro passo que você dá ao sair pela porta.

Prompts Curtos: Se você fizer uma pergunta curta, o modelo não tem informações suficientes para saber quais neurônios são realmente importantes para a resposta longa que está prestes a gerar.
Respostas Longas: À medida que o modelo começa a escrever uma história longa, a "importância" dos neurônios muda. Aqueles que pareciam importantes para a pergunta curta podem ser inúteis para o restante da história.
O Resultado: O modelo fica confuso, comete erros e a qualidade da escrita cai porque manteve os neurônios errados e desligou os certos.

A Solução: GLASS (Agregação Global-Local)
Os autores propõem um novo método chamado GLASS. Pense no GLASS como um gerente inteligente que toma decisões usando duas fontes diferentes de informação, em vez de apenas uma.

A Visão Local (O Sinal "Agora Mesmo"): Isso olha para o que você acabou de digitar. Pergunta: "Com base nesta pergunta específica, quais neurônios estão se acendendo agora?" Isso é bom para contexto, mas pouco confiável para perguntas curtas.
A Visão Global (O Sinal "Intrínseco"): Esta é a grande inovação do artigo. Antes do modelo ver sua pergunta, os pesquisadores realizaram um teste especial onde deixaram o modelo conversar consigo mesmo usando um prompt vazio (apenas um espaço em branco). Eles perguntaram: "Quais neurônios este modelo sempre usa, não importa o quê?" Isso cria uma "cola" dos neurônios mais importantes e confiáveis do modelo.

Como o GLASS Funciona: A Analogia do "Ranking"
O GLASS não escolhe apenas um ou outro. Ele usa um sistema de votação inteligente chamado Agregação de Ranking.

Imagine que você está escolhendo um time para um jogo esportivo:

Treinador Local diz: "O Jogador A é ótimo para este jogo específico."
Treinador Global diz: "O Jogador A é o melhor jogador que temos, ponto final, com base em toda a sua carreira."

Se você ouvir apenas o Treinador Local, pode escolher um jogador que é bom para uma jogada, mas ruim para o jogo inteiro. Se você ouvir apenas o Treinador Global, pode escolher um jogador estrela que não se encaixa na estratégia específica.

O GLASS combina os dois. Ele pega a lista "Local" e a lista "Global" e as funde. Se um neurônio é classificado alto por ambos os treinadores, ele definitivamente fica. Se um treinador está inseguro (como quando o prompt é curto), a opinião do outro treinador salva o dia.

O Truque da "Estimulação de Prompt Nulo" (NPS)
Para obter essa "cola" Global sem precisar de um conjunto massivo de dados de livros ou artigos da Wikipedia, os autores usaram um truque chamado Estimulação de Prompt Nulo.

Em vez de alimentar o modelo com um livro para ler, eles apenas deixaram que ele gerasse texto a partir do nada (um prompt "nulo").
Isso força o modelo a depender inteiramente de sua própria fiação interna. É como pedir a um músico para tocar uma escala sem partitura para ver quais dedos eles usam naturalmente mais. Isso fornece um mapa puro e imparcial dos neurônios mais críticos do modelo.

Os Resultados: Mais Rápido e Mais Inteligente
O artigo testou o GLASS em muitos modelos diferentes (como Llama, Gemma e Mistral) e descobriu:

Melhor Qualidade: Quando solicitado a escrever histórias longas a partir de prompts curtos, o GLASS cometeu muito menos erros do que métodos anteriores. Estava muito mais próximo da qualidade do modelo completo e não podado.
Velocidade Mais Rápida: Em um Samsung Galaxy S25 Ultra (um telefone de alta gama), o GLASS fez o modelo rodar até 11 vezes mais rápido em alguns casos. Isso aconteceu porque o modelo ficou pequeno o suficiente para caber inteiramente na memória rápida do telefone, evitando o processo lento de trocar dados constantemente para dentro e para fora.

Em Resumo
O GLASS é uma ferramenta "plug-and-play" que faz grandes modelos de IA rodarem em dispositivos pequenos. Ele corrige o problema de "adivinhar errado" em perguntas curtas combinando o que o modelo está fazendo agora com o que o modelo é naturalmente bom, garantindo que a IA permaneça inteligente e rápida, mesmo quando trabalha com recursos limitados.

Resumo Técnico: GLASS – Agregação Global-Local para Esparsificação em Tempo de Inferência de LLMs

1. Declaração do Problema

A implantação de Modelos de Linguagem de Grande Escala (LLMs) em dispositivos de borda com recursos limitados exige a redução do tráfego de memória e da demanda computacional. Embora a poda estática remova parâmetros permanentemente, a poda dinâmica (pular computação com base na entrada) oferece uma alternativa flexível. No entanto, os métodos existentes de poda dinâmica sem treinamento para Redes Feedforward (FFNs) dependem exclusivamente de sinais derivados do prompt (ativações locais durante a fase de preenchimento) para estimar a importância dos neurônios.

Os autores identificam um modo de falha crítico nessas abordagens "apenas-prompt":

Não Confiabilidade em Prompts Curtos: Para prompts curtos, o sinal de ativação local é insuficiente para prever com precisão quais neurônios são críticos para a subsequente geração de texto longo.
Deriva da Máscara: Os padrões de ativação durante a fase de decodificação frequentemente se desviam significativamente da máscara de preenchimento, levando a máscaras de poda imprecisas.
Fidelidade Degradada: Essa deriva resulta em baixa qualidade de geração (alta perplexidade e divergência KL) durante a decodificação de texto longo, particularmente quando o prompt é curto.

Atualizar máscaras online para corrigir essa deriva é possível, mas introduz sobrecarga computacional e nega os benefícios de manter um subconjunto fixo e compacto de pesos residente na memória rápida (uma vantagem chave para a implantação em borda).

2. Metodologia: GLASS

Os autores propõem o GLASS (Agregação Global-Local para Esparsificação), um framework plug-and-play, sem treinamento, que estabiliza a poda dinâmica de FFNs agregando duas visões complementares da criticidade dos neurônios: ativações locais específicas do prompt e um prior global intrínseco ao modelo.

2.1 Estimativa de Prior Global via Estímulo de Prompt Nulo (NPS)

Em vez de depender de conjuntos de dados externos (por exemplo, Wikipedia), que podem introduzir viés de corpus, o GLASS calcula um prior global usando Estímulo de Prompt Nulo (NPS).

Mecanismo: O modelo gera texto a partir de si mesmo usando um prompt nulo (por exemplo, uma string vazia ou token BOS) sob configurações típicas de amostragem.
Benefício: Isso sonda a utilização intrínseca de neurônios do modelo sem viés de dados externos.
Duas Variantes de Importância Global ( $M^g$ ):
1. A-GLASS (Magnitude de Ativação): Calcula a magnitude média de ativação normalizada por $\ell_2$ dos neurônios sobre as sequências NPS.
2. I-GLASS (Impacto Neural): Calcula o impacto da remoção de um neurônio na perda de entropia cruzada usando uma expansão de Taylor de primeira ordem (semelhante à poda por Taylor). Os gradientes são computados via teacher-forcing na sequência NPS auto-gerada.

2.2 Agregação de Classificação

O GLASS funde o sinal local ( $A^l$ , derivado do prompt de entrada) e o sinal global ( $M^g$ , derivado do NPS) usando uma regra de agregação de classificação ponderada.

Classificação: Tanto as pontuações de importância local quanto global são convertidas em classificações ( $R^{(l)}$ e $R^{(g)}$ ) para lidar com diferenças de escala e distribuição.
Interpretação Probabilística: Os autores interpretam o GLASS como a busca pela classificação de consenso Máxima A Posteriori (MAP) sob um modelo probabilístico baseado em permutações (especificamente, um modelo do tipo Mallows com distância de classificação de Spearman ao quadrado).
Fórmula de Fusão: A pontuação final para o neurônio $j$ é uma soma ponderada de suas classificações:
$GLASS_j = (1 - \lambda)R^{(l)}_j + \lambda R^{(g)}_j$
Onde $\lambda$ equilibra a confiabilidade das evidências locais versus globais. A configuração padrão é $\lambda = 0,5$ , assumindo confiabilidade igual.
Seleção: Os $k$ principais neurônios com as maiores pontuações GLASS são selecionados para formar a máscara de poda, que é então aplicada durante a fase de decodificação.

3. Contribuições Principais

O artigo delineia quatro contribuições primárias:

Identificação de Modos de Falha: Os autores demonstram que a esparsificação sem treinamento baseada apenas em prompts falha em cenários de prompt curto e geração longa devido à deriva de ativação, levando a uma fidelidade de geração degradada.
Framework GLASS: Introdução de um framework plug-and-play, sem treinamento, que funde evidências locais do prompt com um prior global intrínseco ao modelo (computado via NPS) para produzir máscaras robustas.
Fundamentação Teórica: Uma interpretação probabilística do GLASS como uma classificação de consenso MAP sob um modelo do tipo Mallows, fornecendo uma justificativa principiante para a regra de agregação de classificação ponderada.
Desempenho Empírico: Demonstração de melhorias substanciais sobre baselines sem treinamento anteriores (especificamente GRIFFIN) em cenários desafiadores, alcançando até 45,10% de perplexidade menor e 25,73% de divergência KL menor a 50% de esparsidade, juntamente com acelerações significativas em dispositivos.

4. Resultados Experimentais

Os autores avaliaram o GLASS em um conjunto diversificado de LLMs de código aberto (incluindo as famílias Gemma, Llama, Mistral, OPT, Qwen e Phi) em benchmarks de classificação, geração curta e geração longa.

Geração de Texto Longo (Benchmark Alpaca): O GLASS supera significativamente a baseline sem treinamento mais forte (GRIFFIN).
- Gemma 3n E2B: Alcançou 45,10% de perplexidade menor e 25,73% de divergência KL menor comparado ao GRIFFIN.
- Gemma 2 27B: Alcançou 12,48% de perplexidade menor e 22,80% de divergência KL menor.
- Llama 3 8B: Alcançou 23,28% de perplexidade menor e 21,98% de divergência KL menor.
Texto Curto e Classificação: O GLASS desempenha de forma comparável ao GRIFFIN em tarefas padrão de classificação e geração curta, indicando que o prior global é mais crítico para a estabilidade da geração longa.
Análise de Sobreposição com Oráculo: Experimentos mostram que a agregação Global-Local produz máscaras significativamente mais próximas de um conjunto "oráculo" de neurônios críticos (similaridade de Jaccard aumentou de ~0,52 para ~0,60) comparado ao uso de sinais locais ou globais isoladamente.
NPS vs. WikiText: O uso de NPS para estimativa de prior global supera consistentemente o uso de estatísticas baseadas em WikiText, confirmando que o NPS fornece estimativas de importância mais confiáveis e livres de viés.
Desempenho em Dispositivo: Avaliado em um Samsung Galaxy S25 Ultra.
- Para Gemma 7B, a redução de 50% no FFN permitiu que o modelo residisse inteiramente na RAM, resultando em uma aceleração de decodificação de ~11× comparado à baseline densa (que sofreu com troca de memória).
- Para Llama 3 8B, foi observada uma aceleração de 42%.

5. Significado e Alegações

O artigo alega que o GLASS desbloqueia acelerações confiáveis para dispositivos de borda, particularmente para cargas de trabalho caracterizadas por prompts curtos e gerações longas, que são comuns em aplicações de consumo.

Robustez: Ao fundir conhecimento global estável e intrínseco ao modelo com evidências locais específicas do contexto, o GLASS mitiga o problema de "deriva" que aflige métodos baseados apenas em prompts.
Eficiência: Mantém os benefícios de máscaras estáticas (residência fixa de pesos na memória rápida) enquanto se adapta dinamicamente aos contextos de entrada sem a sobrecarga de treinar preditores auxiliares ou recalcular máscaras por token.
Generalidade: O método é agnóstico ao modelo e sem treinamento, tornando-o aplicável a uma ampla gama de LLMs pré-treinados sem ajuste fino.
Solvência Teórica: O método não é uma heurística ad-hoc, mas está fundamentado em um modelo de classificação de consenso probabilístico.

Os autores concluem que o conhecimento global intrínseco ao modelo é um recurso crucial, anteriormente subutilizado, para melhorar a esparsificação orientada a prompts, permitindo inferência eficiente em hardware com recursos limitados.