🤖 machine learning

BPDQ: Bit-Plane Decomposition Quantization on a Variable Grid for Large Language Models

O artigo propõe a Quantização por Decomposição de Planos de Bits (BPDQ), um método inovador que utiliza grades de quantização variáveis e otimização de segunda ordem para melhorar significativamente a precisão de modelos de linguagem grandes em larguras de bits ultra-baixas (2-3 bits), permitindo a implantação eficiente de um modelo de 72B em uma única GPU de consumo.

Autores originais: Junyu Chen, Jungang Li, Jing Xiong, Wenjie Wang, Qingyao Yang, He Xiao, Zhen Li, Taiqiang Wu, Mengzhao Chen, Zhen Peng, Chaofan Tao, Long Shi, Hongxia Yang, Ngai Wong

Publicado 2026-05-18

📖 4 min de leitura☕ Leitura rápida

CC BY 4.0

Autores originais: Junyu Chen, Jungang Li, Jing Xiong, Wenjie Wang, Qingyao Yang, He Xiao, Zhen Li, Taiqiang Wu, Mengzhao Chen, Zhen Peng, Chaofan Tao, Long Shi, Hongxia Yang, Ngai Wong

Artigo original sob licença CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta é uma explicação gerada por IA do artigo abaixo. Não foi escrita nem endossada pelos autores. Para precisão técnica, consulte o artigo original. Ler aviso legal completo

Imagine que você tem uma biblioteca massiva e incrivelmente detalhada de conhecimento (um Modelo de Linguagem de Grande Escala) que deseja carregar no seu bolso. O problema é que a biblioteca é tão pesada e volumosa que não cabe na sua mochila, e o seu telefone não consegue ler os livros com rapidez suficiente.

Para resolver isso, os cientistas usam quantização. Pense nisso como traduzir os livros complexos e de alta definição da biblioteca para uma versão simplificada e de baixa resolução que ocupa menos espaço. Geralmente, eles tentam reduzir os livros para 4 bits (como transformar um filme 4K em um DVD padrão). Isso funciona bem. Mas quando tentam reduzir ainda mais para 2 bits (como transformar aquele filme em um GIF minúsculo e granulado), a história se desfaz. O significado se perde e a biblioteca torna-se inútil.

O Problema: A Armadilha do "Cortador de Biscoitos"

O artigo explica que os métodos existentes para reduzir esses modelos a 2 bits utilizam uma grade fixa.

Imagine que você está tentando encaixar um monte de pedras de formatos estranhos (os dados do modelo) em uma caixa.

Método Antigo (Grade Fixa): Você tem um cortador de biscoitos rígido. Não importa qual seja a forma da pedra, você a força a caber em um dos quatro slots pré-cortados: 0, 1, 2 ou 3. Se uma pedra precisar ser "2,5" para encaixar perfeitamente, o método antigo a força a ser "2" ou "3", criando uma lacuna ou uma rachadura. Como a forma do "cortador de biscoitos" é a mesma para cada grupo de pedras, o modelo perde muitos detalhes quando os bits ficam tão pequenos.

A Solução: BPDQ (A Abordagem do "Molde Personalizado")

Os autores propõem um novo método chamado Quantização por Decomposição de Planos de Bits (BPDQ).

Em vez de usar um único cortador de biscoitos rígido para todos, o BPDQ constrói um molde personalizado para cada grupo individual de pedras.

Como funciona: Ele divide os dados em "planos de bits" (como camadas de um bolo) e usa coeficientes flexíveis (botões ajustáveis) para moldar o molde.
O Resultado: Em vez de ser forçado a encaixar nos slots rígidos de 0, 1, 2 ou 3, os dados agora podem caber em um conjunto flexível de valores como 0, 1,2, 3,5 ou 4,1, dependendo do que aquele grupo específico de pedras precisa.

O artigo chama isso de "grade variável". Ele quebra a regra de que todos os grupos devem parecer uma cópia ampliada do mesmo modelo. Isso dá ao modelo muito mais liberdade para encontrar o encaixe perfeito, minimizando as "rachaduras" (erros) nos dados.

A Magia de "Segunda Ordem"

Para garantir que esses moldes personalizados sejam perfeitos, o método utiliza algo chamado geometria induzida por Hessiana.

A Analogia: Imagine que você está tentando equilibrar uma pilha de pratos. Um método simples apenas olha para os pratos e adivinha onde colocá-los. O BPDQ, no entanto, usa um "equilíbrio inteligente" que entende o peso e o balanço de toda a pilha. Ele não conserta apenas um prato; ajusta toda a pilha para garantir que consertar uma parte não faça outra parte cair. Essa informação de "segunda ordem" permite que o modelo corrija seus próprios erros enquanto reduz os dados.

Os Resultados: Encaixando o Gigante em um Telefone Pequeno

Os autores testaram isso em um modelo massivo chamado Qwen2.5-72B (que geralmente requer um supercomputador para ser executado).

A Proeza: Usando o BPDQ, eles conseguiram reduzir esse modelo gigante para 2 bits e executá-lo em uma única placa gráfica de consumidor (uma RTX 3090, que você pode encontrar em um PC gamer de alta gama).
O Desempenho: Mesmo com essa compressão extrema, o modelo manteve 83,85% de sua inteligência original em problemas de matemática (GSM8K).
Comparação: Outros métodos em 2 bits falharam miseravelmente, caindo para quase 0% de precisão nos mesmos problemas de matemática. Foi como tentar ler um livro escrito em um idioma que você não conhece, enquanto o BPDQ manteve o idioma legível.

Por Que Isso Importa

O artigo afirma que a principal razão pela qual os métodos anteriores falharam em 2 bits não foi que a matemática estivesse errada, mas sim que o "cortador de biscoitos" (a grade fixa) era muito rígido. Ao mudar para uma grade variável que se adapta aos dados, o BPDQ desbloqueia a capacidade de executar modelos de IA enormes e inteligentes em hardware muito menor e mais barato, sem perder a "capacidade cerebral" necessária para tarefas complexas como matemática ou raciocínio.

Em resumo: O BPDQ para de forçar pinos quadrados em buracos redondos tornando os buracos flexíveis, permitindo que modelos de IA gigantes caibam em espaços minúsculos.

Resumo Técnico: Quantização por Decomposição de Planos de Bits em uma Grade Variável para Modelos de Linguagem Grandes

Declaração do Problema

A inferência de modelos de linguagem grandes (LLM) é frequentemente limitada pela pegada de memória e pela largura de banda, particularmente em ambientes com recursos limitados. Embora a Quantização Pós-Treinamento (PTQ) mantenha eficazmente alta fidelidade na precisão de 4 bits, o desempenho deteriora-se significativamente ao avançar para 2–3 bits. Os métodos de PTQ baseados em otimização existentes, como o GPTQ, dependem da minimização da discrepância de saída (e.g., $\|WX - \hat{W}X\|_F$ ) sob uma geometria induzida pelo Hessiano. No entanto, esses métodos impõem uma grade de quantização invariante à forma (e.g., intervalos uniformes fixos como UINT2 ou modelos não uniformes fixos) para cada grupo de pesos.

Os autores identificam que essa invariância de forma é o gargalo fundamental nos regimes de baixos bits. Uma grade fixa restringe o conjunto viável de níveis de quantização a uma versão escalada de um único modelo (e.g., $s \cdot \{0, 1, 2, 3\}$ ). Essa rigidez impede que o otimizador encontre a projeção de ponto mais próximo na geometria induzida pelo Hessiano quando a distribuição dos pesos não se alinha com o espaçamento relativo do modelo fixo, levando a uma perda representacional severa e ao colapso do modelo na precisão de 2 bits.

Metodologia: Quantização por Decomposição de Planos de Bits (BPDQ)

Para abordar a rigidez das grades fixas, o artigo propõe a Quantização por Decomposição de Planos de Bits (BPDQ). A BPDQ constrói uma grade de quantização variável para cada grupo, expandindo teoricamente o conjunto de soluções viáveis para a minimização do erro.

1. Formulação da Grade Variável

Em vez de um modelo fixo, a BPDQ representa os pesos quantizados $\hat{W}$ usando planos de bits e coeficientes escalares:
$\hat{W} = \text{REP}(C_0) + \sum_{i=1}^{k} \text{REP}(C_i) \odot B_i$
Onde:

$B_i \in \{0, 1\}^{d_{out} \times d_{in}}$ são os $k$ planos de bits mais significativos derivados dos pesos originais.
$C_i$ são coeficientes escalares por grupo (incluindo um viés $C_0$ ).
$\text{REP}(\cdot)$ expande os coeficientes ao longo da dimensão de entrada.
$\odot$ denota multiplicação elemento a elemento.

Essa formulação permite que o espaçamento relativo dos níveis de quantização varie entre os grupos com base nos coeficientes aprendidos $C_i$ , quebrando a restrição de invariância de forma.

2. Framework de Otimização

A BPDQ opera dentro da geometria induzida pelo Hessiano para garantir alinhamento com o objetivo de reconstrução de saída. O processo envolve:

Inicialização: Os planos de bits são selecionados via decomposição de planos de bits (BPD) dos pesos (mantendo os $k$ planos mais significativos). Os coeficientes escalares são ajustados usando uma solução de mínimos quadrados ponderados de forma fechada sob a métrica Hessiana local.
Refinamento Iterativo: O algoritmo alterna entre:
1. Atualização do Plano de Bits: Para coeficientes fixos, os planos de bits são atualizados coluna por coluna via enumeração exata para minimizar o erro local de reconstrução.
2. Reajuste de Coeficientes: Com os planos de bits atualizados, os coeficientes escalares são reotimizados via mínimos quadrados de forma fechada.
Correção de Delta: Para manter a consistência com o estado de propagação de erro (crucial para PTQ sequencial), uma correção de delta é aplicada após o reajuste dos coeficientes. Isso ajusta os erros de propagação acumulados para contabilizar a mudança no bloco de pesos quantizados, garantindo que todas as iterações adiram ao mesmo objetivo de otimização.

Contribuições Principais

Insight: O artigo identifica a invariância de forma em grades de quantização fixas como a principal restrição que limita a PTQ baseada em otimização em regimes de baixos bits. Demonstra-se que a falha em 2 bits não se deve ao próprio objetivo de otimização, mas à rigidez do conjunto viável.
Metodologia: A BPDQ estende a PTQ baseada em otimização para grades variáveis. Ao decompor os pesos em planos de bits e ajustar coeficientes escalares independentes por grupo, ela expande o conjunto viável de uma variedade 1D (modelo escalado) para uma geometria de dimensão superior. A análise teórica prova que a BPDQ contém estritamente o conjunto viável de grades uniformes padrão e pode alcançar erro de quantização estritamente menor para certos vetores de pesos.
Desempenho: Experimentos extensivos mostram que a BPDQ alcança alta fidelidade nos regimes de 2 bits e 3 bits, onde os métodos mais avançados (GPTQ, AWQ) sofrem degradação catastrófica.

Resultados Experimentais

Os autores avaliaram a BPDQ na família Qwen-3/2.5 (0,6B–72B) e Ministral-3 (3B, 8B) em benchmarks de modelagem de linguagem, raciocínio e contexto longo.

Regime de 2 bits: No Qwen2.5-72B, o GPTQ e o AWQ de 2 bits sofrem quedas severas de desempenho (e.g., a precisão no GSM8K cai para abaixo de 41% ou 0%). Em contraste, a BPDQ preserva alta fidelidade, alcançando 83,85% de precisão no GSM8K (comparado a 90,83% em 16 bits) usando uma única RTX 3090 (22,69 GB de VRAM).
Tarefas de Raciocínio: A BPDQ supera significativamente o GPTQ e o AWQ em benchmarks de raciocínio (GSM8K, MATH500) em 2 bits e 3 bits. Por exemplo, no Qwen2.5-72B (W2-G64), a BPDQ alcança 87,72% no GSM8K, enquanto o GPTQ alcança apenas 63,46%.
Eficiência do Sistema: Embora a BPDQ exija aproximadamente 3 vezes o tempo de quantização do GPTQ devido ao refinamento iterativo, é significativamente mais rápida do que métodos de Quantização Vetorial (VQ) como o VPTQ (que incorrem em sobrecarga de ~40×). Para inferência, a BPDQ utiliza um kernel de Tabela de Consulta (LUT) de planos de bits, permitindo decodificação de baixa latência comparável ou superior ao GPTQ nos regimes de 2/3 bits.
Preservação de Outliers: A análise de ativação confirma que a BPDQ preserva inerentemente outliers críticos (características com alta magnitude de ativação) que são frequentemente suprimidos por métodos de grade fixa, o que correlaciona-se com os ganhos de desempenho observados.

Significado e Alegações

O artigo alega que a BPDQ oferece uma direção promissora para compressão extrema de modelos ao relaxar a rigidez das grades de quantização enquanto mantém um formato amigável ao hardware. Ao expandir teoricamente o conjunto de soluções viáveis, a BPDQ permite a implantação de modelos massivos (e.g., 72 bilhões de parâmetros) em hardware de nível de consumidor com perda mínima de fidelidade. Os autores posicionam a BPDQ como uma solução rigorosa que alinha o processo de quantização com o objetivo de otimização induzido pelo Hessiano, superando as limitações de abordagens anteriores de invariância de forma sem incorrer nos custos proibitivos da quantização vetorial ou na sobrecarga de treinamento do Treinamento Consciente de Quantização (QAT).

O trabalho sugere que implementações futuras de hardware (FPGA/ASIC) poderiam se beneficiar da natureza binária dos planos de bits, e a base unificada da BPDQ suporta naturalmente a servição de precisão mista sem exigir tipos de dados de hardware diversos.