🤖 machine learning

Influence-Inspired Spectral Rotations for Extreme Low-Bit LLM Quantization

Este artigo apresenta o "BBT-spectral", um método de quantização focado em engenharia que aplica rotações de Walsh-Hadamard adaptativas à influência e redimensionamento baseado em energia às matrizes de pesos, reduzindo significativamente a perplexidade na quantização de LLMs em bits extremamente baixos (W2A16) em diversas arquiteturas de modelos, ao mesmo tempo em que garante compatibilidade de hardware com dispositivos Intel.

Autores originais: Gorgi Pavlov

Publicado 2026-05-26

📖 5 min de leitura🧠 Leitura aprofundada

CC BY 4.0

Autores originais: Gorgi Pavlov

Artigo original sob licença CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta é uma explicação gerada por IA do artigo abaixo. Não foi escrita nem endossada pelos autores. Para precisão técnica, consulte o artigo original. Ler aviso legal completo

Imagine que você tem uma biblioteca massiva e incrivelmente detalhada de conhecimento (um Modelo de Linguagem Grande) que deseja reduzir para caber em uma mochila minúscula e barata (quantização extrema de baixo bit). O problema é que, ao tentar esmagar essa biblioteca, você inevitavelmente perde algumas páginas ou embaça o texto, tornando o modelo confuso e menos preciso.

Este artigo introduz um truque inteligente chamado BBT-spectral para resolver isso. Em vez de apenas esmagar os dados aleatoriamente, ele reorganiza os livros antes de embalá-los, de modo que as informações mais importantes recebam a melhor proteção.

Veja como funciona, usando analogias simples:

1. O Problema: A Caixa "Tamanho Único"

Normalmente, quando comprimimos esses modelos, tratamos todas as partes dos dados de forma igual. Imagine que você tem uma caixa com 64 compartimentos. Você coloca 64 itens diferentes lá dentro e tenta encaixá-los todos em um espaço menor. Se você apenas encolher tudo na mesma proporção, os itens delicados e frágeis (os sinais "espectrais" mais importantes) são esmagados, enquanto os itens resistentes (ruído menos importante) ocupam espaço demais. O resultado é um modelo confuso e desorganizado.

2. A Solução: O "Embaralhamento Espectral"

Os autores propõem uma dança de dois passos antes que a compressão ocorra:

Passo A: O Embaralhamento Mágico (Rotação Walsh-Hadamard):
Pense nos dados do modelo como um baralho de cartas. Os autores usam um embaralhamento matemático específico e fixo (chamado de transformada de Walsh-Hadamard) para misturar as cartas. Isso não altera a totalidade da informação, mas a reorganiza de modo que os sinais "altos" e importantes se agrupem em colunas específicas, enquanto o ruído "silencioso" se move para outras. É como organizar uma pilha bagunçada de roupas de modo que todas as camisas de seda caras fiquem em uma pilha e as meias velhas em outra.
Passo B: O Dimensionamento Personalizado (Escala Espectral):
Agora que os sinais importantes estão agrupados, os autores aplicam um "botão de volume" a cada coluna. Eles aumentam o volume nas colunas que contêm as "camisas de seda" importantes (alta energia) e diminuem o volume nas "meias" (baixa energia).
- Por quê? Quando o modelo é finalmente esmagado (quantizado) em números minúsculos de 2 bits ou 4 bits, as colunas "altas" recebem uma grade maior e mais precisa para aterrissar. As colunas "silenciosas" recebem uma grade menor e mais grosseira.
- O Resultado: O algoritmo de compressão comete menos erros nas partes importantes porque recebeu mais "espaço" para ser preciso ali.

3. A Garantia "Sem Perda"

Os autores enfatizam que essa reorganização e redimensionamento são matematicamente perfeitos antes que a compressão ocorra. Se você reverter o processo, obterá o modelo original exato de volta, até o último dígito decimal. É como rearranjar móveis em um quarto; o quarto parece diferente, mas os móveis são exatamente os mesmos até que você realmente comece a embalá-los em caixas.

4. Lidando com Arquiteturas Difíceis (Os "Casos Especiais")

O artigo admite que esse "Embaralhamento Mágico" não funcionou perfeitamente para todos os tipos de arquitetura de modelo imediatamente. Alguns modelos tinham "portões" ou "normas" especiais que ficaram confusos com o embaralhamento. Os autores criaram três "correções" específicas para resolver isso:

A Correção da "Cabeça": Para alguns modelos, eles tiveram que rotacionar os dados dentro das cabeças de atenção (como ajustar as lentes de um par de óculos) para manter a matemática funcionando.
A Correção do "Par": Para outros modelos, eles rotacionaram os dados em pares para garantir que não entrassem em conflito com o relógio interno do modelo (RoPE).
A Correção do "Portão": Eles encontraram um bug onde um tipo específico de "portão" no modelo não estava sendo dimensionado corretamente, e corrigiram o código para incluí-lo.

5. Os Resultados: Grandes Vitórias em Modelos Pequenos

Os autores testaram isso em vários modelos (variando de pequenos a médios).

O Resultado: Quando comprimiram esses modelos para apenas 2 bits (extremamente pequenos), o novo método tornou os modelos 15% a 58% mais precisos (medido pela capacidade de prever a próxima palavra) em comparação com o método padrão.
O Pulo do Gato: Quanto mais o modelo lutava com o método padrão, maior era a melhoria. É como um bote salva-vidas que salva mais pessoas quando o navio está afundando mais rápido.
O Limite: Quando tentaram isso em modelos ligeiramente maiores (4 bits), a melhoria desapareceu. Isso faz sentido: se você tem uma caixa grande o suficiente (4 bits), não precisa ser tão inteligente sobre o rearranjo dos móveis. O truque é especificamente para quando a caixa é muito pequena.

Resumo

Em resumo, este artigo diz: "Não apenas esmague seu modelo de IA em um espaço pequeno. Primeiro, embaralhe os dados para que as partes importantes sejam fáceis de identificar, dê a essas partes proteção extra e depois esmague-o. Isso torna os modelos minúsculos muito mais inteligentes sem necessidade de treiná-los do zero ou usar algoritmos de aprendizado complexos e lentos."

Os autores têm o cuidado de dizer que isso é um truque de engenharia que funciona muito bem na prática, mesmo que a teoria matemática profunda por trás do porquê funciona (conectando-se à lógica booleana) ainda esteja sendo explorada. Eles provaram que funciona em hardware real e não quebrou a matemática.

Resumo Técnico: Rotações Espectrais Inspiradas em Influência para Quantização Extremamente de Baixo Bit em LLMs

Declaração do Problema

O artigo aborda o desafio da quantização de pesos apenas extremamente de baixo bit (especificamente W2A16, pesos de 2 bits, ativações de 16 bits) para Modelos de Linguagem de Grande Escala (LLMs). Em larguras de bits tão baixas, métodos de quantização padrão (como o Intel Auto-Round vanilla) sofrem com erros de reconstrução significativos, levando a aumentos drásticos na perplexidade (PPL) em benchmarks como WikiText-2. A dificuldade central reside no "orçamento de ruído de quantização": com apenas 2 bits, o erro de arredondamento é grande, e a quantização padrão por grupo falha em priorizar os canais mais críticos, causando degradação severa no desempenho do modelo, particularmente em modelos com camadas MLP largas ou restrições arquitetônicas específicas (por exemplo, atenção estilo Qwen3).

Metodologia

O método proposto, BBT-spectral, aplica uma transformação pré-quantização fixa e matematicamente invariante a camadas lineares antes de passá-las para um quantizador padrão de erro de reconstrução (Intel Auto-Round). A abordagem é inspirada em um artigo teórico complementar sobre influência booleana e geometria de Walsh-Hadamard, mas é aplicada heuristicamente a camadas de LLM de valores reais.

1. Transformação Central

O método consiste em dois passos aplicados à matriz de pesos $W$ e à entrada $x$ de uma camada linear:

Rotação Espectral: A entrada é rotacionada para a base de Walsh-Hadamard usando uma matriz ortogonal fixa $Q = H_{dpad}/\sqrt{dpad}$ , onde $H$ é a matriz de Walsh-Hadamard e $dpad$ é a dimensão preenchida com zeros até a próxima potência de dois.
Escala por Coordenada: As colunas da matriz de pesos rotacionada são escaladas por uma matriz diagonal $D = \text{diag}(s)$ $D = diag (s)$ , onde os fatores de escala $s_\ell$ $s_{ℓ}$ são derivados da energia espectral de ativação das coordenadas de entrada.
- O proxy de energia espectral $\rho_\ell$ é calculado como a magnitude quadrada esperada da $\ell$ -ésima coordenada após a rotação WHT: $\rho_\ell = E[h_\ell^2] / \sum E[h_k^2]$ .
- O fator de escala é definido como $s_\ell = (1 + d_{pad} \cdot \rho_\ell)^\alpha$ , com $\alpha = 0.5$ .

Invariância Matemática: A transformação é uma identidade exata em precisão total ( $x W^T = (x Q D^{-1}) (D Q^T W^T)$ ). A escala "impulsiona" os canais de alta energia antes da quantização e os divide de volta após a dequantização, enviesando efetivamente o orçamento de arredondamento inteiro para os canais que carregam mais sinal espectral.

2. Extensões Arquitetônicas

A receita básica inicialmente falhou em modelos com mecanismos de atenção específicos. O artigo introduz três extensões para lidar com esses casos:

Spectral-PCA (para estilo Qwen3): Para arquiteturas com camadas $q\_norm/k\_norm$ por cabeça (por exemplo, Qwen3), a escala padrão do lado da entrada quebra o denominador da norma. Os autores substituem a norma por um Matrix-Γ RMSNorm que rotaciona os pesos de projeção via PCA por cabeça ( $U_h$ ) e aplica uma matriz diagonal $\Gamma_h$ para restaurar exatamente a saída vanilla.
Pair-PCA (para arquiteturas comutativas com RoPE): Para modelos sem $q\_norm$ (por exemplo, Llama, SmolLM, Qwen2.5), a rotação deve comutar com as Embeddings de Posição Rotacionais (RoPE). Como o RoPE atua como rotações 2D, o método computa um SO(2) PCA restrito para cada par de RoPE, rotacionando as linhas de pesos em planos 2D para alinhar com a variância da ativação sem quebrar a invariância do RoPE.
Absorção Consciente de MoE: Uma correção identificada via "fuzzing arquitetônico" em um modelo sintético Laguna, estendendo a lista de absorção do lado da entrada para incluir $g\_proj$ (portas de cabeça) além dos padrão $q/k/v\_proj$ para evitar vazamento de não linearidade.

Principais Contribuições

Transformação Espectral "Drop-in": Um passo pré-quantização principiado e não aprendido (rotação WHT + escala baseada em energia) que melhora a quantização W2A16 sem exigir aprendizado de rotação baseado em gradiente.
Validação Empírica: Demonstrou redução de 15–58% no PPL do WikiText-2 em quatro modelos (SmolLM-135M/360M, Qwen2.5-0.5B/1.5B) em comparação com o Auto-Round vanilla. Os maiores ganhos foram observados em modelos com as bases vanilla mais degradadas (por exemplo, Qwen2.5-0.5B viu uma melhoria de 57,9%).
Generalização Arquitetônica: Estendeu com sucesso o método para arquiteturas complexas (Qwen3 com $q\_norm$ , modelos pesados em RoPE) via Spectral-PCA e Pair-PCA, resolvendo modos de falha anteriores.
Ablação de Largura de Bit: Mostrou que o retorno do método é consistente com a convexidade de Schur: o benefício escala com o orçamento de ruído de quantização. O método fornece ganhos massivos em W2, mas produz melhorias negligenciáveis (piso de ruído) em W4, confirmando que visa o regime de alto ruído.
Robustez de Engenharia: Validou que o método não introduz operadores de tempo de execução extras (todas as transformações são dobradas nos pesos) e mantém PPL invariante ao dispositivo entre Intel NPU, GPU e CPU.

Resultados

Desempenho:
- SmolLM-135M: PPL caiu de 81,03 para 45,11 (−44,3%).
- Qwen2.5-0.5B: PPL caiu de 119,31 para 50,22 (−57,9%).
- Qwen2.5-1.5B: PPL caiu de 36,93 para 28,16 (−23,7%).
- Qwen3-0.6B: Usando Spectral-PCA, PPL caiu de 136,76 (vanilla) para 88,99 (35% de melhoria sobre o vanilla).
Vazão: Os pesos dobrados resultam em grafos de transformadores densos padrão. A vazão é comparável às bases vanilla (dentro de ±15%), sem sobrecarga de tempo de execução adicional.
Piso de Ruído: Em W4, a melhoria foi de +0,06 PPL (estatisticamente insignificante), confirmando que o método é específico para regimes extremamente de baixo bit.

Alegações e Limitações (Voz dos Autores)

Os autores enquadram explicitamente isso como um artigo de engenharia aplicada em vez de um avanço teórico:

Sem Equivalência Formal: Eles não afirmam que a energia de ativação WHT de valores reais usada aqui é formalmente equivalente à influência booleana definida no artigo teórico complementar. A conexão é intuitiva e qualitativa (massa espectral por coordenada), não uma transferência formal de teorema.
Sem Significância Estatística: Os resultados são de semente única. Diferenças abaixo de ±0,5 PPL são tratadas como ruído de avaliação.
Escopo da Linha de Base: As comparações são feitas contra o Auto-Round vanilla. O artigo não afirma superioridade sobre outras linhas de base de baixo bit fortes como AWQ, GPTQ, SpinQuant ou QuaRot; comparações diretas são adiadas para trabalhos futuros.
Escopo: O método é uma heurística "drop-in". Ele não afirma resolver todos os problemas de quantização, notando especificamente que o argumento de "convexidade de Schur" é um guia heurístico para o cenário de valores reais, não um teorema provado para o mesmo.

A contribuição primária é uma pequena transformação principiada e exatamente matematicamente invariante que produz vitórias empíricas não triviais em W2 em diversas famílias de modelos, oferecendo uma solução prática para implantação extremamente de baixo bit onde o arredondamento padrão falha.