🤖 machine learning

Saturation Makes Quantization Error Additive: A Coverage Model with a Certificate

Este artigo desafia a premissa de que a perda de quantização é estritamente aditiva ao introduzir um modelo de cobertura que captura efeitos de saturação, demonstrando que esta abordagem supera significativamente os métodos tradicionais baseados em sensibilidade para alocação de precisão mista em grandes modelos de linguagem, particularmente em precisões inferiores a 4 bits.

Autores originais: Joshua Hill

Publicado 2026-07-15

📖 6 min de leitura🧠 Leitura aprofundada

CC BY 4.0

Autores originais: Joshua Hill

Artigo original sob licença CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta é uma explicação gerada por IA do artigo abaixo. Não foi escrita nem endossada pelos autores. Para precisão técnica, consulte o artigo original. Ler aviso legal completo

Imagine que você tem um robô gigante e complexo feito de milhares de pequenas engrenagens (camadas). Você quer fazer esse robô rodar mais rápido e de forma mais barata, trocando algumas de suas engrenagens pesadas e banhadas a ouro por outras de plástico mais leves. Isso é chamado de quantização. A grande questão é: Quais engrenagens você deve trocar?

Por muito tempo, engenheiros tentaram resolver isso olhando para cada engrenagem isoladamente. Eles diziam: "Esta engrenagem está bamba, então precisa de ouro", ou "Aquela é rígida, então pode ser de plástico". Eles assumiam que, se somassem o "balanço" de cada engraagem que trocassem, saberiam exatamente o quanto o robô inteiro vibraria.

A grande descoberta do artigo é que esse método de "somar tudo" está completamente errado.

A Analogia do "Tanque Cheio": Por que Somar Não Funciona

Os autores descobriram que o "balanço" (ou erro) do robô não funciona como um balde onde você apenas despeja mais água. Em vez disso, funciona como um tanque de combustível com um teto.

Imagine que o robio tem uma quantidade máxima de balanço que consegue suportar antes de quebrar completamente. Vamos chamar isso de teto.

Quando você troca as primeiras engrenagens, o robô balança um pouco.
Mas aqui está o detalhe: conforme você troca mais engrenagens, o robô chega mais perto desse teto de quebra.
Como ele já está balançando, trocar uma engrenagem a mais não adiciona a mesma quantidade de balanço que a primeira fez. Adiciona menos, porque há menos "espaço" restante antes do robô quebrar.

Os autores chamam isso de saturação. O dano "satura" porque existe um limite para o quão ruim as coisas podem ficar.

O Problema do "Mapa Errado"

Devido a essa saturação, os métodos antigos (como olhar para as engrenagens uma por uma) são como um mapa que pensa que a estrada é plana. Eles medem o quanto uma engrenagem é irregular quando o robô está rodando perfeitamente suave (sem nenhuma outra engrenagem trocada). Eles pensam: "Ah, esta engrenagem adiciona 10 solavancos!".

Mas, na realidade, se você já trocou outras 50 engrenagens, essa mesma engrenagem pode adicionar apenas 1 solavanco, porque o robô já está balançando perto do seu limite. Os métodos antigos superestimam o dano em 71% a 376%. Eles acham que o robô vai bater quando, na verdade, ele está bem.

O Modelo de "Cobertura"

Os autores propõem uma nova maneira de pensar sobre isso, que eles chamam de Modelo de Cobertura.

Imagine que o balanço do robô é um balão sendo inflado.

Cada vez que você troca uma engrenagem, você sopra um pouco de ar para dentro do balão.
Mas o balão fica mais difícil de esticar à medida que fica maior. O primeiro sopro de ar o expande muito; o último sopro o expande muito pouco.
Os autores descobriram que, se você medir quanto "ar" (dano) cada engrenagem adicionaria se fosse a única trocada, você pode prever o balanço total perfeitamente usando uma fórmula matemática simples que leva em conta o balão ficando mais difícil de esticar.

Eles provaram isso testando em robôs gigantes reais (Large Language Models) que variam de pequenos (0,6 bilhão de engrenagens) a massivos (355 bilhões de engrenagens).

O Resultado: Em 85% a 93% dos casos, o balanço total é explicado inteiramente ao olhar para as engrenagens individuais, desde que você use esta nova matemática do "balão".
O antigo método de "somar tudo" falha porque esquece que o balão fica mais difícil de esticar.

E Quanto aos Truques de "Paridade"?

Alguns engenheiros espertos tentaram consertar o método antigo olhando para pares de engrenagens (ex: "O que acontece se eu trocar a Engrenagem A e a Engrenagem B juntas?"). Eles esperavam capturar as interações ocultas.

O artigo diz: Pare de perder seu tempo.
Eles mediram o balanço de todas as combinações possíveis de engrenagens em pequenos blocos. Descobriram que olhar para pares não ajudava muito. O balanço "extra" que não podia ser explicado pelas engrenagens individuais era quase inteiramente apenas a curvatura do balão (a saturação), e não um segredo oculto entre as engrenagens.

Na verdade, se você usar um modelo simples de "somar tudo", mas ajustar a matemática para considerar o balão, você obtém a mesma classificação de engrenagens que os métodos complexos de pares, mas de forma muito mais rápida e com menos dados.

O "Certificado" (Quão Certos Estamos?)

Os autores são muito cuidadosos. Eles não apenas adivinharam; eles construíram um certificado.

Eles mediram o "ruído" (erros aleatórios) em seus testes e o subtraíram.
Provaram matematicamente que, se a teoria do "balão" estiver correta, o erro do modelo simples deve ser exatamente igual ao balanço "não explicado" que mediram.
E adivinhem? Correspondeu perfeitamente. Eles agora podem dizer, antes mesmo de você construir o robô, exatamente quão bom um modelo simples será.

A Vitória no Mundo Real

Quando usaram este novo método para decidir quais engrenagens trocar em modelos de IA do mundo real:

Eles obtiveram melhores resultados do que as ferramentas padrão da indústria (como o ModelOpt da NVIDIA).
Em um modelo de 30 bilhões de engrenagens, eles reduziram o erro em 17% a 21% em comparação com o melhor método existente.
Mais importante ainda, quando levaram os robôs ao extremo para serem extremamente leves (abaixo de 4 bits), os métodos antigos fizeram os robôs pararem de falar completamente (eles não consegiam terminar suas frases). O novo método manteve os robôs falando e resolvendo problemas matemáticos, mesmo nas configurações mais baixas.

O Que Eles Descartaram

Eles descartaram a ideia de que você precisa medir cada par de engrenagens para obter um bom resultado. Os métodos de "pares" são caros demais e não agregam muito valor.
Eles descartaram a ideia de que o "balanço" de uma engrenagem é constante. Ele muda dependendo de quantas outras engrenagens já foram trocadas.
Eles descartaram a ideia de que previsores de IA de "caixa preta" complexos (como Processos Gaussianos) são melhores. Embora esses funcionem bem quando você tem muitos dados, eles falham miseravelmente quando você tenta prever cenários que eles ainda não viram. A matemática simples do "balão" permanece precisa mesmo ao prever novos cenários.

A Conclusão

O artigo mostra que a quantização não é um quebra-cabeça confuso de interações ocultas. É um processo simples e previsível de encher um tanque. Se você parar de tentar medir cada pequena interação e, em vez disso, apenas medir quanto "espaço" resta no tanque, você pode construir modelos de IA mais rápidos, mais baratos e mais inteligentes com muito menos esforço.

Resumo Técnico: A Saturação Torna o Erro de Quantização Aditivo

Declaração do Problema

A quantização de precisão mista para grandes modelos de linguagem (LLMs) exige decidir quais camadas ou tensores devem manter uma precisão mais alta sob um orçamento de memória rigoroso. Os métodos atuais padrão da indústria (ex: HAWQ, ModelOpt, CoopQ) baseiam-se em uma premissa estrutural: a perda total ao quantizar um conjunto de camadas pode ser reconstruída a partir de sensibilidades por camada ou pareadas medidas isoladamente. Esses métodos agregam pontuações derivadas de traços de Hessian, escores de Fisher ou termos de interação pareada, assumindo que medições de ordem baixa são suficientes para prever a perda de uma configuração conjunta.

No entanto, essa premissa não foi testada diretamente nas precisões de pesos e ativações de 4 bits que estão sendo implantadas atualmente. A função de perda $f(S)$ , definida como o aumento na perda ao quantizar um subconjunto de camadas $S$ , é uma função de conjunto sobre o cubo booleano $\{0, 1\}^L$ . Para profundidades de modelo realistas, enumerar todas as $2^L$ configurações é intratável, tornando necessárias aproximações. A questão central é se a variância desta função de perda é dominada por efeitos de primeira ordem (por camada) ou se interações de ordem superior são significativas o suficiente para invalidar heurísticas aditivas.

Metodologia

Os autores analisam a estrutura do dano de quantização $f(S)$ através de duas mudanças clássicas de base no cubo booleano: a transformada de Walsh (decomposição funcional-ANOVA) e a expansão de Möbius.

Decomposição de Variância: Usando a base de Walsh sob uma distribuição de implantação $\mu_p$ (onde cada camada é quantizada independentemente com probabilidade $p=0.6$ ), os autores decompõem a variância de $f$ por ordem. O Teorema 1 estabelece que o erro quadrático médio do melhor preditor aditivo (grau-1) é exatamente igual à soma das variâncias de todos os termos de ordem superior (ordem $\ge 2$ ).
Análise Ordinal: Para determinar se a energia de ordem superior restante representa um verdadeiro acoplamento de camadas ou apenas a curvatura da escala de perda, os autores testam a "aditividade até uma transformação estritamente crescente". Eles medem o defeito ordinal — a fração mínima de classificações de configuração pareadas que qualquer índice aditivo deve violar. Isso é certificado contra ruído de medição usando estimadores de metade dividida (split-half) e nulos de ruído correspondentes.
O Modelo de Cobertura: Os autores propõem um "modelo de cobertura" impulsionado pela saturação. Como o dano de quantização é limitado por um teto $c$ , o "espaço livre" (headroom) $h(S) = c - f(S)$ diminui conforme as camadas são quantizadas. O modelo postula que cada camada quantizada consome uma fração fixa $a_i$ do headroom restante:
$f(S) = c \left(1 - \prod_{i \in S} (1 - a_i)\right)$
Isso implica que o dano é aditivo no logaritmo do headroom: $-\log(1 - f(S)/c) = \sum_{i \in S} b_i$ .
Preditores e Alocadores:
- Modelo Aditivo: O melhor preditor de primeira ordem derivado da distribuição de implantação.
- Modelo de Cobertura: Um preditor paramétrico com $L+1$ parâmetros ( $c$ e taxas de quebra $a_i$ ), ajustado via mínimos quadrados.
- Estimador de Aumann–Shapley: Uma integral de caminho sem ajuste de parâmetros (fit-free) que recupera o coeficiente aditivo ótimo em uma densidade efetiva específica por camada, provando que a classificação das camadas é preservada exatamente sob o modelo de cobertura.
- Alocação: Ambos os modelos são convertidos em alocadores resolvendo um problema de mochila (knapsack problem) sobre os danos marginais previstos para minimizar o $\Delta$ LCE sob um orçamento de memória.

Principais Descobertas

1. Dominância de Efeitos de Primeira Ordem

Em configurações extraídas da distribuição de implantação, 85–93% da variância no dano de quantização é explicada apenas por efeitos por camada. Em redes exatas (onde todas as $2^L$ configurações são medidas) com correção de ruído, esse valor sobe para 98–99%. A variância de ordem superior não explicada serve como um "certificado" para o melhor desempenho possível de qualquer modelo aditivo.

2. A Saturação Explica a Estrutura

A energia de ordem superior restante não indica um complexo acoplamento de camadas, mas sim a saturação da função de perda.

Defeito Ordinal: O dano é bem aproximado por uma transformação monótona de uma soma de termos por camada ( $f(S) \approx g(\sum b_i)$ ). O defeito ordinal medido é de no máximo 2% (frequentemente indistinguível de zero), indicando que a aparente não-aditividade deve-se à curvatura da escala de perda, não à interação entre camadas.
Espectro de Möbius: O modelo de cobertura prevê um espectro de Möbius específico onde os coeficientes alternam em sinal e crescem em magnitude, fazendo com que truncamentos de ordem baixa ultrapassem significativamente (até 32 $\times$ a perda real) antes de convergir. Esse comportamento é confirmado empiricamente em redes exatas.

3. Falha de Sensibilidades Isoladas

As sensibilidades medidas isoladamente (ex: o traço de Hessian do HAWQ-v2) estão ancoradas na rede não-quantizada ( $p \to 0$ ). Sob o modelo de cobertura, essas inclinações isoladas são inflacionadas por um fator de forma fechada em relação às inclinações ótimas in-context:
$\frac{s_i}{w_i} \approx e^{p \sum_j a_j}$
Isso leva a uma precificação errônea da perda de configuração entre 71–376% ao somar sensibilidades isoladas. A inflação cresce exponencialmente com o número de camadas quantizadas.

4. Desempenho do Preditor e do Alocador

Predição: Os modelos aditivo e de cobertura (com $L+1$ parâmetros) superam ou empatam com modelos substitutos de caixa-preta (Random Forests, Processos Gaussianos, kernels RBF) em pequenos orçamentos de medição ( $N \approx L$ ). Crucialmente, eles degradam no máximo 2 $\times$ ao extrapolar para configurações pesadamente quantizadas, enquanto os processos gaussianos degradam 2–5 $\times$ porque seus kernels estacionários falham em codificar a estrutura de saturação.
Alocação: Em orçamentos de memória equivalentes, os alocadores propostos alcançam a menor divergência KL entre todos os métodos comparados (baseados em sensibilidade, estruturais e baseados em substitutos) em modelos variando de 0.6B a 355B de parâmetros.
- No Qwen3-30B, eles alcançam 17–21% de menor divergência KL do que a linha de base de produção ModelOpt.
- No Qwen3-235B e GLM-4.6 (355B), observam-se margens de 13–37%.
- Regime Sub-4-bit: Abaixo de 4 bits, alocadores padrão frequentemente falham em produzir gerações termináveis. As alocações propostas, derivadas dos modelos ajustados, preservam capacidades de raciocínio em larguras de bits efetivas onde outros métodos colapsam.

Significância e Alegações

O artigo afirma fornecer uma teoria de forma fechada para a quantização de precisão mista que resolve a tensão entre a aparente não-aditividade da perda e o sucesso das heurísticas por camada.

Contribuição Teórica: Prova que a saturação gera tanto o espectro de Walsh concentrado (dominância de ordem-1) quanto o espectro de Möbius divergente (overshooting de interações). Fornece uma identidade de certificado (Teorema 1) que quantifica o limite dos modelos aditivos antes da implantação.
Impacto Prático: Demonstra que as heurísticas predominantes de "isolar e somar" são fundamentalmente falhas devido ao viés de ancoragem, superestimando a perda em ordens de magnitude. O modelo de cobertura proposto e o estimador de Aumann–Shapley oferecem uma alternativa mais precisa, interpretável e computacionalmente eficiente que não requer amostragem pareada.
Robustez: Os métodos são validados através de diversas escalas de modelos (0.6B a 355B), arquiteturas (densas e MoE) e tarefas (raciocínio, código, geração de imagem). O artigo afirma que as alocações resultantes são as primeiras a resolver tarefas de raciocínio de forma confiável em orçamentos sub-4-bit onde outros métodos falham em terminar.

Os autores concluem que a "interação" frequentemente atribuída à quantização é, em grande parte, um artefato da curvatura da escala de perda. Ao modelar essa saturação explicitamente, é possível alcançar uma alocação ótima com preditores simples, interpretáveis e certificáveis.