🤖 machine learning

Contraction-Gauge Preconditioning for Quantized Matrix Multiplication

Este artigo introduz o pré-condicionamento de contração de calibre (contraction-gauge preconditioning), um método que otimiza as representações de fatores e os padrões de compartilhamento antes da quantização para minimizar o erro de produto em multiplicação de matrizes de baixa precisão, apoiado por um modelo de erro estocástico exato e validado por reduções significativas de erro através de várias precisões e benchmarks.

Autores originais: Piyush Sao, Narasinga Miniskar, Pedro Valero-Lara, Keita Teranishi, Sudip Seal

Publicado 2026-07-22

📖 4 min de leitura☕ Leitura rápida

CC BY 4.0

Autores originais: Piyush Sao, Narasinga Miniskar, Pedro Valero-Lara, Keita Teranishi, Sudip Seal

Artigo original sob licença CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta é uma explicação gerada por IA do artigo abaixo. Não foi escrita nem endossada pelos autores. Para precisão técnica, consulte o artigo original. Ler aviso legal completo

Imagine que você está tentando assar um bolo gigante e perfeito, mas só tem uma xícara de medida minúscula e esfarelenta. No mundo da inteligência artificial, o "bolo" é um cálculo massivo chamado multiplicação de matrizes, onde duas grades enormes de números são esmagadas juntas para criar um novo resultado. A "xícara de medida" é a memória do computador, que frequentemente força esses números a serem arredondados para caber em caixas menores e mais simples (um processo chamado quantização). Se você arredondar de forma muito agressiva, o bolo desmorona; a IA fica confusa, comete erros ou para de funcionar inteiramente.

Por muito tempo, cientistas tentaram consertar isso apenas sendo mais cuidadosos com a forma como arredondam, ou agrupando os números. Mas há um problema sorrateiro: os números não são todos iguais. Alguns são enormes e barulhentos (outliers), enquanto outros são minúsculos e silenciosos. Se você tratá-los todos da mesma forma, os barulhentos abafarão os silenciosos, ou os erros de arredondamento se acumularão de uma forma que arruína o sabor final. A grande questão tem sido: como reorganizamos esses números antes de espremê-los nas caixas pequenas, para que, quando forem esmagados juntos mais tarde, o resultado ainda seja deliciosamente preciso?

Este artigo, escrito por uma equipe de pesquisadores do Laboratório Nacional Oak Ridge, atua como um novo livro de receitas de um mestre chef para reorganizar esses ingredientes. Eles descobriram uma regra matemática precisa — uma "identidade de erro de produto" — que diz exatamente quanto erro ocorrerá quando misturamos duas grades arredondadas. Pense nisso como uma bola de cristal que prevê exatamente o quanto o bolo irá esfarelar com base em como os ingredientes foram cortados.

Usando essa bola de cristal, eles desenvolveram um método chamado "Pré-condicionamento de Contração-Gauge". Imagine que você tem uma pilha de tijolos de tamanhos desiguais (os números em sua primeira grade) e uma pilha de sacos de argamassa de tamanhos desiguais (os números em sua segunda grade). Se você tentar construir uma parede com eles como estão, a parede ficará instável. Os pesquisadores descobriram uma maneira de esticar e encolher os tijolos e os sacos de argamassa antes de começar a construir, para que eles se encaixem perfeitamente, mesmo que você tenha que usar uma argamassa um pouco mais bruta mais tarde. Eles chamam esse esticar e encolher de um "dobra" (fold).

O artigo prova que encontrar a maneira perfeita de dobrar esses números é como resolver um tipo específico de quebra-cabeça matemático chamado "programa geométrico". Eles mostraram que você pode resolver esse quebra-cabeça para encontrar a melhor maneira absoluta de reorganizar os números para um trabalho específico, em vez de apenas adivinhar. Eles também descobriram que, às vezes, para obter o melhor resultado, você pode precisar de algumas cópias extras de seus ingredientes (o "fator oposto") para usar diferentes truques de dobra em diferentes partes da parede. Eles criaram uma maneira de contar essas cópias extras para que os engenheiros saibam exatamente quanta memória extra precisarão.

A equipe testou sua nova receita de duas maneiras. Primeiro, construíram cenários controlados e artificiais em um laboratório de computador para ver se suas previsões matemáticas correspondiam à realidade. Eles descobriram que sua "bola de cristal" era incrivelmente precisa, prevendo os erros com mais de 90% de correlação. Segundo, pegaram uma IA real e treinada que reconhece dígitos escritos à mão (como os que você pode escrever em um tablet) e tentaram encolher seu céreio para usar menos memória. Quando usaram o método "GP fold" deles, a IA cometeu significativamente menos erros do que quando usaram as formas antigas e padrão de arredondamento. Especificamente, com precisão de 8 bits, o erro caiu 18%, e com precisão de 4 bits (que é muito pequena), o erro caiu mais de 20%.

O artigo também descarta alguns atalhos comuns. Eles mostraram que simplesmente ordenar os números pelo tamanho (como alinhar tijolos do maior para o menor) nem sempre é a melhor estratégia; às vezes, você precisa olhar para a forma dos números para agrupá-los corretamente. Eles também descobriram que girar os números (rotacionar) pode ajudar, mas nem sempre funciona se os números já forem planos e uniformes. O método deles é um sistema inteligente e adaptável que verifica os ingredientes específicos do seu problema e escolhe a melhor estratégia de reorganização, seja um simples esticamento, um giro complexo ou uma mistura de ambos.

Em resumo, este artigo não diz apenas que "arredondar é difícil". Ele fornece um conjunto de ferramentas matematicamente comprovadas para que engenheiros reorganizem seus dados para que, mesmo quando forem forçados a usar ferramentas de baixa precisão e baixa memória, o resultado final permaneça nítido, preciso e confiável. Ele transforma a arte bagunçada de adivinhar como encolher modelos de IA em uma ciência precisa de medição e otimização.

Resumo Técnico: Pré-condicionamento de Gauge de Contração para Multiplicação de Matrizes Quantizadas

Declaração do Problema

O artigo aborda o desafio da multiplicação de matrizes de baixa precisão ($C = AB$) onde ambos os fatores $A \in \mathbb{R}^{m \times K}$ e $B \in \mathbb{R}^{K \times n}$ são quantizados. Uma dificuldade primária neste domínio é que a perda de quantização não se propaga uniformemente; um erro em uma entrada específica $A_{ik}$ afeta a linha de saída $C_{i,:}$ proporcionalmente à energia da linha correspondente em $B$ ( $B_{k,:}$ ), e vice-versa. Métodos existentes, como agrupamento de canais ou transformadas ortogonais, frequentemente carecem de um objetivo unificado ao nível do produto que considere essas propagações de erro assimétricas e o custo de armazenamento de múltiplas cópias transformadas dos operandos. Os autores visam derivar identidades de erro exatas sob suposições estocásticas e formular um framework de "gauge de contração" para otimizar a representação dos fatores antes da quantização, gerenciando explicitamente o compromisso entre redução de erro e o custo de armazenamento/tráfego das cópias transformadas.

Metodologia

1. Fundamentação Teórica: Identidade de Erro de Produto
Os autores derivam uma identidade exata de dimensão finita para o erro quadrático esperado do produto sob erros por entrada, de média zero e mutuamente independentes, com campos de variância conhecidos. Para fatores quantizados $\hat{A} = A + E_A$ e $\hat{B} = B + E_B$ , a norma de Frobenius esperada do erro ao quadrado é:
$\mathbb{E}\|\hat{A}\hat{B} - AB\|_F^2 = \sum_{i,k} v^A_{ik} \|B_{k,:}\|_2^2 + \sum_{k,j} v^B_{kj} \|A_{:,k}\|_2^2 + \sum_{k} \left(\sum_i v^A_{ik}\right)\left(\sum_j v^B_{kj}\right)$
Esta identidade é exata para dither subtrativo não sobrecarregado e arredondamento estocástico independente com variâncias dependentes de resíduo. Ela serve como a função objetivo primária, ponderando os erros pela energia do fator oposto.

2. Pré-condicionamento de Gauge de Contração
O método aproveita a equivalência algébrica $AB = (AT)(T^{-1}B)$ para qualquer $T \in GL(K)$ invertível. Os autores definem um "gauge de contração" como a escolha de $T$ aplicado à dimensão de contração compartilhada $K$ antes da quantização.

Domínios de Gauge: Um domínio é um bloco de saída fixo (ex: um bloco de linha) atribuído a um único gauge.
Descritor de Reuso ( $n_{opp}$ ): O custo do pré-condicionamento é medido pelo número de cópias distintas transformadas e quantizadas do fator oposto necessárias. Se um único gauge for compartilhado entre todos os domínios, $n_{opp}=1$ ; se gauges distintos forem usados por bloco, $n_{opp}$ aumenta.

3. Famílias Estruturais e Regras de Otimização
O artigo propõe estratégias de otimização específicas para diferentes famílias de gauges:

Dobras Diagonais (Escalonamento): Para um domínio compartilhado, encontrar o escalonamento diagonal ótimo $D$ tal que $(AD, D^{-1}B)$ minimize o erro é formulado como um Programa Geométrico (GP). Isso permite a seleção globalmente ótima de dobras compartilhadas. Um programa linear (LP) é derivado para testar se a dobra de identidade já é ótima.
Particionamento: Para equilibrar precisão e contagem de cópias, o artigo argumenta contra a ordenação por norma escalar (que pode perder um fator linear de desempenho devido a empates aleatórios) e propõe o agrupamento em coordenadas de magnitude logarítmica para agrupar linhas com perfis semelhantes.
Rotações: Para gauges ortogonais, o artigo utiliza a coerência local de blocos para limitar os ganhos potenciais. Mostra-se que rotações aleatórias (ex: Hadamard) podem reduzir os máximos de coordenadas dentro de um fator logarítmico.
Rotações Parciais (Householder): Quando a energia ponderada é de baixo posto, os autores propõem o uso de um pequeno número de refletores de Householder ( $t$ ) para alinhar o top espaço próprio de uma matriz Gram ponderada a um alvo plano, custando $O(tK)$.
Hierarquias: Para gauges ortogonais de bloco-diagonal, um critério de anti-correlação de energia de fatia é derivado. Se os perfis de energia de $A$ e $B$ através das fatias forem anti-correlacionados, um refinamento hierárquico reduz o erro; caso contrário, uma rotação plana é preferida. Uma identidade telescópica permite a seleção de profundidade de baixo para cima.

4. Design do Quantizador

Alocação de Bits: Sob uma restrição de soma de largura de bits fixa ( $b_A + b_B = b_{sum}$ ), a divisão ótima é assimétrica: $b_A - b_B = \frac{1}{2} \log_2(P_A/P_B)$ , onde $P_A$ e $P_B$ são coeficientes de erro ponderados pelo produto.
Clipping e Diagnósticos: O artigo introduz um diagnóstico de função característica truncada ( $\Xi$ ) para detectar o alinhamento de rede em o arredondamento determinístico Round-to-Nearest (RTN), que pode violar as suposições de independência do modelo de ruído.

Principais Contribuições

Contabilização de Erro Exata: Derivação de uma identidade exata de erro quadrático de produto para multiplicação de matrizes quantizadas sob dither e arredondamento estocástico, separando explicitamente os termos de erro principais dos termos cruzados bilineares.
Framework de Gauge de Contração: Formulação unificada para pré-condicionamento que acopla a escolha da transformada $T$ , seu padrão de compartilhamento (domínios de gauge) e o custo de reuso da representação resultante ( $n_{opp}$ ).
Seleção de Dobra Globalmente Ótima: Prova de que o problema de dobra compartilhada limitada é um Programa Geométrico, solúvel até a otimalidade global, e a derivação de um teste LP exato para otimalidade da dobra de identidade.
Estatísticas de Decisão: Desenvolvimento de estatísticas computáveis para guiar a seleção de transformadas sem computar ótimos exatos para todas as famílias:
- Índice de cauda para escalonamento.
- Dispersão de perfil para particionamento.
- Coerência de bloco e espectro de Gram ponderado para rotações.
- Covariância de energia de fatia para profundidade de hierarquia.
Design Consciente de Reuso: Introdução de $n_{opp}$ como uma métrica para quantificar o custo de armazenamento e tráfego de diferentes padrões de compartilhamento de gauge, permitindo uma análise de compromisso entre redução de erro e custo de implementação.

Resultados

Experimentos Sintéticos Controlados:

Escalonamento: O agrupamento de magnitude logarítmica para particionamento alcançou uma dispersão quase ótima (1.015x a referência de pureza de perfil) comparado à ordenação por norma escalar (2.116x).
Dobras: A dobra GP compartilhada por domínio reduziu o erro modelado por um fator de ~161x em relação à dobra de identidade e 4.86x em relação aos limites de um lado só otimizados separadamente.
Alocação de Bits: Divisões de bits assimétricas (ex: 9/7 em vez de 8/8) alcançaram erro 1.7x menor que divisões simétricas, correspondendo às previsões teóricas.
Rotações: Rotações de Hadamard aleatórias forneceram até 60x de redução de erro em dados de cauda pesada com outliers injetados, enquanto refletores de Householder com $t=3$ igualaram o desempenho de rotação total em dados de posto-3.
Hierarquias: O critério de anti-correlação previu com sucesso o ponto de cruzamento onde o refinamento hierárquico supera a rotação plana.

Validação por Classificador Treinado:
Usando um classificador de imagens de três blocos (estilo ViT) em imagens de dígitos manuscritos:

Correlação: As previsões do modelo de dither mostraram alta correlação mediana de Spearman com erros RTN determinísticos (0.937 em 8 bits, 0.918 em 4 bits).
Desempenho: Usar a dobra GP em vez da dobra de identidade reduziu o erro de produto mantido em 18.0% em 8 bits e 20.5% em 4 bits (média geométrica).
Comparação: A dobra GP superou um grid search estilo SmoothQuant (selecionado via calibração) em 10 de 12 produtos e alcançou erro menor que um oráculo selecionado por teste em média geométrica.
End-to-End: Quantizar todos os 12 produtos juntos com a dobra GP reduziu o MSE de logit em 15.4% (8-bit) e 26.4% (4-bit) em relação ao modelo de dobra de identidade.

Significância e Alegações

O artigo afirma fornecer uma base estocástica rigorosa para a multiplicação de matrizes quantizadas que vai além do escalonamento heurístico ou agrupamento ad-hoc. Ao estabelecer uma identidade de erro exata e vinculá-la a um framework de "gauge de contração", os autores oferecem:

Seleção Certificada: Seleção globalmente ótima dentro da família de diagonais limitadas via Programação Geométrica.
Objetivo Unificado: Um objetivo comum (erro ponderado pelo produto) para avaliar diversas famílias de transformadas (dobras, rotações, hierarquias) e seus padrões de compartilhamento.
Compromissos Práticos: Um mecanismo para equilibrar explicitamente a redução de erro contra o custo de armazenar múltiplas cópias transformadas ( $n_{opp}$ ), o que é crítico para a implementação.

Os autores enfatizam que, embora as identidades exatas valham para dither e arredondamento estocástico, as estatísticas derivadas e as regras de seleção transferem-se efetivamente para a quantização determinística Round-to-Nearest, conforme validado pelos experimentos de classificador treinado. O trabalho não pretende resolver o problema completo de $GL(K)$ otimização, mas fornece um procedimento estruturado e executável para selecionar candidatos de alto desempenho dentro de famílias restritas e práticas.