💬 NLP

Measuring Maximum Activations in Open Large Language Models

Este artigo apresenta uma medição abrangente das magnitudes de ativação máxima em 27 checkpoints de LLMs modernos e abertos, revelando que os valores de pico variam em quase quatro ordens de grandeza dependendo da família e da arquitetura do modelo, e não da contagem de parâmetros, com os modelos MoE exibindo picos significativamente menores do que suas contrapartes densas, estabelecendo assim a ativação máxima como uma propriedade crítica e não monotônica que deve ser relatada para garantir a quantização estável em baixos bits.

Autores originais: Luxuan Chen, Han Tian, Xinran Chen, Rui Kong, Fang Wang, Jiamin Chen, Yuchen Li, Jiashu Zhao, Shuaiqiang Wang, Haoyi Xiong, Dawei Yin

Publicado 2026-05-18

📖 4 min de leitura☕ Leitura rápida

CC BY 4.0

Autores originais: Luxuan Chen, Han Tian, Xinran Chen, Rui Kong, Fang Wang, Jiamin Chen, Yuchen Li, Jiashu Zhao, Shuaiqiang Wang, Haoyi Xiong, Dawei Yin

Artigo original sob licença CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta é uma explicação gerada por IA do artigo abaixo. Não foi escrita nem endossada pelos autores. Para precisão técnica, consulte o artigo original. Ler aviso legal completo

Imagine que você está construindo uma biblioteca digital gigante onde os livros são lidos por um robô muito rápido, mas um tanto frágil. Este robô (o modelo de IA) lê palavras uma por uma e as passa por uma série de salas (camadas) para entender a história. Dentro dessas salas, o robô gera "níveis de excitação" (ativações) para cada palavra que processa.

Na maioria das vezes, esses níveis de excitação são calmos e gerenciáveis. Mas, às vezes, por uma fração de segundo, o robô fica extremamente excitado com uma palavra específica, criando um pico massivo de energia.

Este artigo é como um relatório de inspeção de segurança para 27 versões diferentes desses robôs, variando de pequenos a gigantes, e de diferentes fabricantes (como Qwen, Gemma e GPT-OSS). Os pesquisadores queriam responder a uma pergunta simples, mas crítica: Quão altos podem chegar esses picos de energia, e o tamanho do robô determina a altura do pico?

Eis o que eles descobriram, usando analogias simples:

1. O Problema do "Botão de Volume"

Pense na energia interna do robô como um botão de volume. Para economizar espaço e fazer o robô rodar mais rápido em hardware barato, os engenheiros frequentemente tentam baixar o volume para uma configuração baixa (quantização).

O Problema: Se o robô de repente gritar em um volume de 1.000.000, mas você configurar seu botão de volume para lidar apenas com até 10.000, esse grito fica "cortado" ou distorcido. O robô esquece a nuance daquela palavra, e toda a história fica embaralhada.
A Descoberta: Os pesquisadores mediram o grito mais alto (a ativação máxima) em todos esses robôs. Eles descobriram que a "intensidade sonora" varia enormemente. Alguns robôs (como o Qwen3.5) são como um sussurro, enquanto outros (como o Gemma3) são como um jato decolando.

2. Maior Nem Sempre Significa Mais Alto

Você poderia pensar que um robô maior (mais parâmetros) ficaria naturalmente mais alto.

A Analogia: É como assumir que um carro maior sempre tem um motor mais barulhento.
A Realidade: Os pesquisadores descobriram que isso não é verdade. Um robô pequeno de uma família pode gritar muito mais alto do que um robô gigante de uma família diferente. A "intensidade sonora" depende mais de quem o construiu (a arquitetura) e como eles o treinaram (a receita) do que apenas do seu tamanho.
- Exemplo: Descobriu-se que um robô Gemma3 é aproximadamente 700.000 vezes mais alto do que um robô Qwen3.5 de tamanho similar.

3. O Atalho "MoE"

Alguns robôs usam um truque especial chamado "Mistura de Especialistas" (MoE). Imagine uma biblioteca onde, em vez de um único bibliotecário gigante lendo cada livro, há 100 pequenos especialistas, e apenas os 2 ou 3 corretos são chamados para cada livro.

A Descoberta: Esses robôs "MoE" foram encontrados como sendo muito mais silenciosos. Seus gritos mais altos foram 14 a 23 vezes menores do que seus primos "densos" (não especialistas) do mesmo tamanho. Parece que usar especialistas mantém a energia mais contida.

4. Onde Ocorre o Grito?

Os pesquisadores rastrearam exatamente onde no cérebro do robô esses picos acontecem.

A Descoberta: Na quase totalidade dos casos (22 em 24 robôs), o grito mais alto ocorreu no corredor principal (o fluxo residual) onde a informação flui de uma sala para a próxima. Não foi geralmente nas salas laterais (como as salas de atenção ou de matemática).
O Padrão: Alguns robôs têm picos cedo e permanecem altos (como um salto e segure), enquanto outros aumentam lentamente e ficam mais altos no final (como uma subida gradual).

5. O Treinamento Muda o Volume

Eles também observaram robôs em diferentes estágios de treinamento, como um aluno aprendendo uma nova habilidade.

A Descoberta: À medida que o robô treina por mais tempo (vendo mais livros), ele tende a ficar ligeiramente mais alto. Não é um salto enorme, mas o "volume" aumenta gradualmente à medida que o robô fica mais inteligente.

A Conclusão para Construtores

O artigo conclui que você não pode adivinhar quão alto um robô será apenas olhando para seu tamanho.

A Lição: Antes de tentar encolher esses robôs para rodar em dispositivos pequenos (como celulares), você deve medir seu grito mais alto primeiro. Se você não o fizer, pode configurar seu botão de volume muito baixo, e o robô começará a alucinar ou cometer erros porque não consegue lidar com os picos repentinos de energia.

Os autores liberaram suas ferramentas de medição para que qualquer pessoa construindo esses robôs possa verificar essa "intensidade sonora" antes de tentar comprimi-los, garantindo que o robô permaneça estável e preciso.

Resumo Técnico: Medição das Máximas Ativações em Grandes Modelos de Linguagem Abertos

Declaração do Problema

A faixa dinâmica das ativações em Grandes Modelos de Linguagem (LLMs) é uma restrição crítica para a quantização de baixo bit, o escalonamento de ativações e a inferência estável. Pesquisas anteriores caracterizaram "recursos outliers" e "ativações massivas" principalmente em modelos do estilo LLaMA pré-2024 (por exemplo, OPT, BLOOM). No entanto, o cenário de implantação mudou significativamente com o lançamento de diversos modelos abertos pós-LLaMA (por exemplo, Qwen3.5, Gemma3, GPT-OSS) que variam em pilhas de normalização, MLPs com portões, roteamento de Mistura de Especialistas (MoE), adaptação multimodal e estágios de treinamento.

A literatura existente trata as ativações massivas como um fenômeno categórico binário (existência de outliers) ou como um obstáculo específico para técnicas de mitigação de quantização (por exemplo, SmoothQuant, AWQ). Há uma falta de medição sistemática e unificada sobre:

Quão grandes as ativações podem se tornar em LLMs abertos modernos.
Como a magnitude das ativações varia entre diferentes famílias, gerações, arquiteturas (densas vs. MoE) e estágios de treinamento.
Se a contagem de parâmetros sozinha serve como um proxy confiável para a faixa de ativação.

Metodologia

Os autores propõem um levantamento empírico unificado para medir a magnitude global máxima de ativação, definida como $M = \max |a|$ , em um conjunto diversificado de modelos.

1. Dados e Corpus:

Um corpus de avaliação compartilhado de 5.000 amostras de texto multirrdomínio (Matemática, Código, Web em Inglês, Conhecimento/QA, Chinês, Idiomas de baixos recursos, Web Mista).
Os comprimentos de sequência são agrupados (256 a 4096 tokens), com um forte viés para contextos longos (93% em 4096 tokens).
Tokenização: O mesmo texto bruto é re-tokenizado para cada família de modelos para evitar artefatos de incompatibilidade de tokenizador.

2. Conjunto de Modelos:

27 Checkpoints de 8 famílias abertas: Qwen2.5, Qwen2.5-VL, Qwen3, Qwen3.5, Gemma2, Gemma3, Ling e GPT-OSS.
Inclui variantes densas, MoE, visão-linguagem, de treinamento intermediário e ajustadas para instruções.
Comparações específicas são feitas para escalas correspondentes (por exemplo, MoE vs. Densa, Base vs. Instruct).

3. Protocolo de Medição:

Inferência Apenas Forward: Pesos congelados; nenhuma atualização de parâmetros.
Instrumentação: Hooks forward do PyTorch coletam estatísticas de ativação de seis classes de componentes:
- Saídas de Embedding
- Estados ocultos por camada (pós-residual)
- Saídas de Atenção
- Saídas de MLP ou MoE
- Pré-ativações do portão SwiGLU
- Saídas finais do LayerNorm
Estatísticas: Para cada componente, o pipeline registra média, desvio padrão, RMS, valor médio absoluto, máximo/mínimo e quantis de valor absoluto.
Verificação de Estabilidade: Experimentos de subamostragem (1k e 2k amostras repetidas 5 vezes) confirmam que os máximos globais relatados são estatisticamente robustos e não artefatos de amostras únicas.

4. Framework de Análise:

O estudo avança de um critério binário de "ativação massiva" (baseado em Sun et al. [29]: $|x_i| > 100$ e razão local $> 1000\times$ ) para uma métrica contínua $M$ .
Comparações são conduzidas em: escalonamento dentro da família, magnitude entre famílias, evolução geracional, MoE vs. Densa, Visão-Linguagem vs. Apenas Texto, Base vs. Instruct e evolução do estágio de treinamento.
Uma verificação de sanidade leve em INT-8 correlaciona máximos medidos com erro de reconstrução (SQNR) sob diferentes estratégias de escalonamento.

Principais Contribuições

Maior Levantamento entre Famílias: A primeira medição com protocolo unificado de ativações máximas globais em 24 checkpoints pós-LLaMA de 8 famílias, indo além da monocultura derivada do LLaMA de trabalhos anteriores.
Reformulação Contínua de Magnitude: Substitui a flag binária de outlier pela estatística contínua $M = \max |a|$ . Os autores demonstram que o critério binário e a magnitude contínua podem discordar; alguns modelos que falham no critério binário são mais fáceis de quantizar, enquanto alguns que passam são mais difíceis.
Comparações de Design Correspondente: Fornece decomposições observacionais de como escala, família, geração, arquitetura (MoE/Densa), modalidade (VL/Texto) e progresso de treinamento (Base/Instruct/Etapa) afetam os picos de ativação.
Pipeline Aberto: Libera código de medição baseado em hooks e estatísticas por checkpoint para apoiar a reprodutibilidade.

Principais Resultados

1. Variabilidade de Magnitude e Escalonamento

Ordens de Grandeza: Os máximos globais abrangem quase quatro ordens de grandeza ( $10^2$ $1 0^{2}$ a $10^5$ $1 0^{5}$ ) em contagens de parâmetros comparáveis.
- Faixa Baixa: Qwen3.5 e checkpoints MoE frequentemente caem na faixa de $10^2$ – $10^3$ .
- Faixa Alta: Gemma3-27B-it atinge $\sim 7 \times 10^5$ .
Escalonamento Não Monotônico: Comparações entre famílias e entre gerações quebram o escalonamento monotônico simples. Por exemplo, as ativações do Qwen3.5 são significativamente suprimidas em comparação com o Qwen3, enquanto o Gemma3 mostra um aumento acentuado sobre o Gemma2. A contagem de parâmetros sozinha é um proxy não confiável para a faixa de ativação.

2. Efeitos Arquiteturais e de Treinamento

MoE vs. Densa: Checkpoints MoE exibem magnitudes de pico 14,0–23,4× menores do que contrapartes densas de escala correspondente (por exemplo, Qwen3-30B-A3B vs. Qwen3-32B).
Dominância do Fluxo Residual: O fluxo residual (estados ocultos por camada) carrega o máximo global em 22 dos 24 checkpoints principais. O GPT-OSS-20B é uma exceção onde a saída do MLP carrega o pico; o Qwen3.5-0.8B tem pico no LayerNorm final.
Ajuste para Instruções (SFT): O SFT comprime principalmente picos de camadas tardias (por exemplo, Qwen2.5-32B Instruct mostra uma redução de 1,4× no pico global em comparação com Base) sem reorganizar estruturas de camadas médias.
Progresso de Treinamento: Na série Ling-mini, o aumento de tokens de treinamento (5T para 20T) leva a um aumento monotônico na ativação máxima global (aumento de 1,34×).

3. Padrões por Camada

Duas trajetórias distintas por camada são observadas:

Salto e Platô: A magnitude da ativação sobe abruptamente nas camadas iniciais/médias e permanece alta (por exemplo, Qwen2.5, GPT-OSS).
Acumulação Gradual: A magnitude aumenta suavemente com a profundidade, atingindo o pico nas camadas posteriores (por exemplo, Qwen3.5, Gemma).

4. Implicações para Quantização

Uma verificação de sanidade leve em INT-8 revela que máximos medidos mais altos ( $M$ ) correlacionam-se com uma Razão Sinal-Ruído de Quantização (SQNR) substancialmente menor ao usar escalonamento padrão por tensor (max-abs ou clipping de 99,9%).
Modelos com baixo $M$ (por exemplo, Qwen3.5-0.8B) mantêm alta SQNR (~29 dB), enquanto modelos de alto $M$ caem para ~10–14 dB ou menos sob clipping.

Significado e Afirmações

O artigo conclui que a magnitude máxima de ativação é uma propriedade do modelo ligada à família, arquitetura e estágio de treinamento, não um simples subproduto do tamanho.

Relevância para Implantação: $M$ deve ser medido e relatado junto com qualquer lançamento de pesos abertos como parte de um cartão de modelo orientado à implantação. Isso informa diretamente a seleção de escalas de ativação e estratégias de quantização.
Complementaridade: Este trabalho é ortogonal a estudos mecanísticos (que explicam por que outliers existem) e artigos de mitigação de quantização (que transformam o limite superior). Este artigo fornece a base empírica de quão grandes são os limites em todo o ecossistema atual.
Limitações: Os autores afirmam explicitamente que não reivindicam mecanismos causais para as diferenças observadas. O estudo é observacional, limitado a modelos abertos e usa um corpus fixo (até 4k tokens). A verificação em INT-8 é uma verificação de sanidade, não uma avaliação completa de quantização ponta a ponta.

Os autores recomendam que futuros pipelines de implantação tratem $M$ como um prior crítico para o risco de quantização, reconhecendo que a identidade da família e a geração são tão importantes quanto a contagem de parâmetros na determinação da faixa dinâmica de ativação.