🔢 mathematics

High-Rate Quantized Matrix Multiplication I

Este artigo investiga o compromisso fundamental da teoria da informação entre a taxa de quantização e a distorção para a multiplicação de matrizes genérica sem calibração estatística prévia, ao mesmo tempo que analisa e deriva aproximações heurísticas para esquemas de quantização populares como absmax INT e ponto flutuante.

Autores originais: Or Ordentlich, Yury Polyanskiy

Publicado 2026-05-14

📖 5 min de leitura🧠 Leitura aprofundada

CC BY 4.0

Autores originais: Or Ordentlich, Yury Polyanskiy

Artigo original sob licença CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta é uma explicação gerada por IA do artigo abaixo. Não foi escrita nem endossada pelos autores. Para precisão técnica, consulte o artigo original. Ler aviso legal completo

Imagine que você está tentando enviar um filme massivo em alta definição através de um túnel minúsculo e estreito. O filme representa a matemática complexa dentro de um Modelo de Linguagem de Grande Escala (como os que alimentam chatbots), e o túnel representa a memória e a velocidade de processamento do computador. Se você tentar empurrar o filme completo e não comprimido através dele, o túnel entope e o computador fica extremamente lento.

Para resolver isso, os engenheiros usam quantização. Pense nisso como pegar esse filme em alta definição e comprimi-lo em uma versão de baixa resolução e pixelada. Não é perfeito, mas passa pelo túnel muito mais rápido, e a imagem ainda é reconhecível o suficiente para assistir.

Este artigo, escrito por Or Ordentlich e Yury Polyanskiy, é como um relatório de física teórica sobre compressão. Em vez de apenas testar diferentes ferramentas de compressão para ver qual funciona melhor na prática, os autores perguntam: "Qual é o limite absoluto e matemático de quão bem podemos comprimir esses dados antes que se tornem lixo?"

Aqui está uma análise de suas descobertas usando analogias simples:

1. Os Dois Tipos de "Compressão"

Os autores apontam uma confusão sobre como matemáticos e engenheiros falam sobre "taxa" (quanto de dados mantemos).

A Visão do Matemático: Imagine pegar um bloco inteiro de pixels e comprimi-los todos juntos em um único código inteligente. Esta é a maneira mais eficiente, mas é incrivelmente difícil de fazer em tempo real.
A Visão do Engenheiro: Imagine olhar para cada pixel individualmente e dizer: "Você está um pouco muito brilhante, então vou apenas arredondá-lo para a cor padrão mais próxima". É assim que os chips de IA atuais funcionam (usando formatos como INT8 ou FP8). É rápido e fácil, mas os autores argumentam que não é tão eficiente quanto o limite teórico.

2. A Suposição de "Alta Taxa"

O artigo foca em um cenário onde a compressão não é demasiado extrema (como transformar um filme em um boneco de palito). Eles assumem que estamos mantendo detalhes suficientes para que o "ruído" (os erros introduzidos pelo arredondamento) seja pequeno.

A Analogia: Imagine tentar medir uma mesa com uma régua. Se sua régua tem marcações minúsculas e precisas (alta taxa), o erro é apenas uma fração minúscula de milímetro. Se você usar uma régua com grandes espaços (baixa taxa), o erro é massivo. Os autores assumem que estamos usando a régua precisa, o que lhes permite usar matemática simples para prever os erros.

3. O "Perfeito" vs. O "Real"

Os autores calcularam o Limite Fundamental: a melhor precisão possível que você poderia esperar alcançar se tivesse uma ferramenta de compressão mágica capaz de olhar para a imagem inteira de uma vez.

O Resultado: Eles descobriram que, para um sistema perfeito, o erro cai muito rapidamente à medida que você adiciona mais bits (mais detalhes).
A Verificação da Realidade: Eles então olharam para as ferramentas populares usadas em IA hoje, como formatos INT (inteiro) e FP (ponto flutuante).
- O Problema: Essas ferramentas frequentemente usam um método de escalonamento "tamanho único" (como usar a mesma régua para um elefante gigante e um rato minúsculo). Se os dados tiverem alguns números enormes e muitos pequenos, a régua é esticada para caber nos grandes, fazendo com que os pequenos pareçam pontos borrados.
- A Solução: Eles descobriram que, se você rotacionar os dados (como girar uma imagem para que as bordas irregulares se alinhem com a grade) antes de comprimi-los, o "borrão" se torna muito mais uniforme e previsível. Esta é uma técnica chamada rotação aleatória.

4. A Surpresa do "Encolhimento"

Uma descoberta interessante é sobre "encolher".

A Analogia: Se você comprimir uma foto e depois tentar descomprimi-la, a melhor suposição para o original não é apenas a foto descomprimida; é, na verdade, uma versão ligeiramente "encolhida" dela.
A Posição do Artigo: Embora esse efeito de "encolhimento" exista, os autores descobriram que, no mundo de alta qualidade (alta taxa) que estão estudando, o benefício é tão pequeno que podemos ignorá-lo com segurança para manter a matemática simples.

5. Testando as Ferramentas

Os autores testaram suas teorias contra dados do mundo real de um modelo de IA popular (Llama 3).

INT vs. FP: Eles descobriram que, para formatos inteiros padrão (INT), rotacionar os dados primeiro é crucial. Sem rotação, o erro pode ser enorme. Com rotação, o erro cai para perto do limite teórico.
Ponto Flutuante (FP): Surpreendentemente, para formatos de ponto flutuante, rotacionar os dados é na verdade prejudicial. Os autores explicam que a maneira como esses formatos lidam com números lida naturalmente melhor com as "bordas irregulares", então girar os dados apenas atrapalha as coisas.
NestQuant: Eles analisaram um novo e sofisticado método chamado NestQuant (que usa formas geométricas complexas chamadas "reticulados" em vez de cubos simples). Eles descobriram que ele performa significativamente melhor do que as ferramentas padrão, chegando mais perto desse limite teórico "mágico".

A Conclusão

Este artigo fornece um plano para o futuro da compressão de IA. Ele nos diz:

Existe um limite matemático rígido para quão bem podemos comprimir a matemática da IA.
As ferramentas atuais (como INT8 e FP8) são boas, mas frequentemente deixam "bits de precisão" na mesa porque não levam em conta a forma dos dados.
Rotação é um truque poderoso, mas é uma faca de dois gumes: ajuda na matemática inteira, mas prejudica a matemática de ponto flutuante.
Métodos mais novos e complexos (como NestQuant) estão começando a fechar a lacuna entre o que fazemos e o que é matematicamente possível.

Em resumo, o artigo diz: "Sabemos o limite de velocidade da rodovia. Os carros atuais estão dirigindo rápido, mas se ajustarmos o motor (usando rotação ou reticulados melhores), podemos chegar muito mais perto desse limite de velocidade sem bater."

Resumo Técnico: Multiplicação de Matrizes Quantizadas de Alta Taxa I

Declaração do Problema
Este artigo aborda o problema da multiplicação de matrizes quantizadas (MatMul), uma operação crítica para a implantação eficiente de Modelos de Linguagem de Grande Porte (LLMs). Os autores concentram-se em um cenário de "MatMul Genérico" onde ambas as matrizes (pesos e ativações) devem ser quantizadas sem conhecimento estatístico a priori específico (calibração) dos fatores. O desafio central é caracterizar o compromisso fundamental de teoria da informação entre a taxa de quantização (bits por entrada, $R$ ) e a distorção resultante (erro) no produto da matriz. O artigo distingue entre a definição de teoria da informação de "taxa" (onde um vetor de $N$ entradas é codificado em $NR$ bits globalmente) e a definição prática utilizada em IA (onde cada entrada é quantizada individualmente ou em pequenos grupos).

Metodologia e Estrutura Teórica
A análise baseia-se na teoria de quantização de alta taxa, assumindo que o ruído de quantização é significativamente mais fraco que o sinal ( $R$ é suficientemente grande). Sob essa suposição, o erro de quantização é modelado como ruído aditivo, independente e uniformemente distribuído. Os autores também negligenciam efeitos de "encolhimento linear", que são da ordem de $O(2^{-4R})$ , para simplificar a análise de distorção.

O artigo formaliza o problema usando um esquema de quantização de taxa- $R$ envolvendo codificadores e um decodificador, potencialmente utilizando aleatoriedade compartilhada (moedas públicas). Ele avalia o desempenho em dois cenários:

Pior caso: Matrizes $A$ e $B$ têm normas $\ell_2$ limitadas, mas nenhuma suposição distribucional.
Caso médio (Gaussiano): As entradas de $A$ e $B$ são independentes e identicamente distribuídas (i.i.d.) Gaussianas.

Principais Contribuições e Resultados

Limites Fundamentais para MatMul Genérico:
O artigo estabelece que, para matrizes genéricas, a menor distorção esperada para a entrada $(i,j)$ -ésima do produto $A^\top B$ é caracterizada por:
$D^*_{ij} = \frac{\|a_i\|^2 \cdot \|b_j\|^2}{n} \cdot 2 \cdot 2^{-2R}$
onde $a_i$ e $b_j$ são as colunas de $A$ e $B$ , e $n$ é a dimensão. Este limite é mostrado como apertado para entradas Gaussianas. Os autores demonstram que esquemas não randomizados ou abordagens simples de sketching geralmente sofrem com uma distorção que escala linearmente com a dimensão $n$ ( $\Omega(n)$ ), enquanto esquemas que combinam randomização (rotação aleatória/dither) com quantização em rede podem atingir o limite fundamental.
Análise de Esquemas de Quantização Populares:
Os autores derivam aproximações heurísticas precisas para a distorção de esquemas amplamente utilizados, expressando-as na forma $K(i,j) \cdot 2 \cdot 2^{-2R_{\text{eff}}}$ , onde $R_{\text{eff}}$ é a "taxa efetiva" em bits.
- Multiplicadores INT (absmax): Para INT $M$ padrão com escalonamento absmax, a taxa efetiva é $R_{\text{eff}} \approx M - \frac{1}{2}\log_2(\frac{2 \ln n}{3})$ . Isso indica uma penalidade de taxa significativa devido ao fator de escalonamento $\ell_\infty$ . O artigo mostra que aplicar uma rotação aleatória (por exemplo, transformação de Hadamard) antes da quantização reduz o fator de distorção $\Delta_{\text{INT}}$ para se concentrar em torno de $2 \ln n$ , tornando a rotação crucial para a quantização INT.
- Multiplicadores Ponto Flutuante (FP): Usando um modelo de "Ruído Independente de Expoente Infinito" (IEIN), os autores derivam que, para FP com $M$ bits de mantissa, $R_{\text{eff}} \approx M + 2.23$ bits. Diferentemente do INT, a análise sugere que, para a quantização FP, a rotação aleatória muitas vezes é desnecessária e pode até ser prejudicial, pois o fator de distorção $\Delta_{\text{FP}}$ tende a ser menor que 1 sem rotação para certas distribuições.
- Formatos Multi-escalados (NVFP4/NVINT4): O artigo analisa formatos de 4 bits (NVFP4, NVINT4) que usam multi-escalonamento (escalonação por grupo). Argumenta-se que o NVFP4 se comporta efetivamente como um esquema de 1 bit de mantissa com uma taxa efetiva de aproximadamente 3,24 bits, enquanto o NVINT4 sofre das mesmas penalidades de escalonamento que o INT padrão, a menos que seja cuidadosamente gerenciado.
- NestQuant: Os autores revisam o framework NestQuant, que utiliza códigos de rede aninhados (especificamente a rede $E_8$ ) e um banco de escalas. Eles observam que o NestQuant supera significativamente os esquemas INT e FP em taxas de bits semelhantes, alcançando aproximadamente 0,6 bits adicionais de precisão.
Validação Empírica:
Usando matrizes de ativação da 15ª camada do Llama3-8B, o artigo valida as aproximações teóricas.
- As fórmulas derivadas para distorção INT e FP correspondem notavelmente bem às medições empíricas de Erro Quadrático Médio (RMSE).
- Histogramas confirmam que a rotação aleatória reduz drasticamente a variância do fator de distorção para a quantização INT, mas tem um impacto diferente, muitas vezes negativo, na quantização FP.
- Comparações em $R=4,5$ bits mostram o NestQuant superando significativamente tanto o NVINT4 quanto o NVFP4.

Significado e Alegações
O artigo afirma fornecer os primeiros benchmarks de teoria da informação para MatMul quantizado genérico onde nenhuma estatística de calibração está disponível. Seu significado principal reside em quantificar a lacuna entre limites fundamentais e abordagens práticas restritivas (como formatos padrão INT/FP).

Os autores enfatizam que, embora as suposições de alta taxa possam não valer para taxas de bits muito baixas ( $R < 2$ ), elas fornecem expressões suficientemente precisas para as taxas tipicamente usadas em LLMs (por exemplo, 4 a 8 bits). O trabalho serve como uma fundação teórica para avaliar estratégias de quantização atuais, destacando que:

A rotação aleatória é um componente crítico para a quantização INT se aproximar dos limites fundamentais.
A quantização FP comporta-se de maneira diferente, onde a rotação pode não ser benéfica.
Existe uma lacuna de desempenho substancial entre esquemas padrão e o ótimo teórico, que pode ser estreitada por técnicas avançadas como o NestQuant.

O artigo conclui observando que a Parte II deste trabalho abordará o cenário de quantização apenas de pesos, onde estatísticas de segunda ordem das ativações estão disponíveis.