💬 NLP

pQuant: Towards Effective Low-Bit Language Models via Decoupled Linear Quantization-Aware Training

O artigo apresenta o pQuant, um método inovador de treinamento consciente à quantização que supera as limitações de modelos de linguagem de baixo bit ao desacoplar camadas lineares em uma ramificação principal de 1 bit e uma ramificação compacta de alta precisão para parâmetros sensíveis, alcançando desempenho superior em cenários de implantação em dispositivos de borda.

Autores originais: Wenzheng Zhang, Bingzheng Liu, Yang Hu, Xiaoying Bai, Wentao Zhang, Bin Cui

Publicado 2026-02-27

📖 4 min de leitura☕ Leitura rápida

CC BY 4.0

Autores originais: Wenzheng Zhang, Bingzheng Liu, Yang Hu, Xiaoying Bai, Wentao Zhang, Bin Cui

Artigo original sob licença CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta é uma explicação gerada por IA do artigo abaixo. Não foi escrita nem endossada pelos autores. Para precisão técnica, consulte o artigo original. Ler aviso legal completo

Imagine que você tem um gênio da lâmpada (um Modelo de Linguagem Grande, como o GPT ou o LLaMA) que é incrivelmente inteligente, mas também é um "gastador" de recursos. Ele precisa de uma biblioteca inteira de livros (memória) e uma equipe enorme de assistentes (potência de processamento) para funcionar. Isso é ótimo em um supercomputador, mas impossível de colocar no seu celular ou em um dispositivo pequeno.

A solução tradicional é "apertar" esse gênio, reduzindo a precisão das suas informações (quantização) para que ele caiba em dispositivos menores. É como tentar encaixar um elefante em um porta-malas de carro.

O problema é que, quando você tenta encaixar esse elefante em um espaço extremamente pequeno (menos de 2 bits, ou seja, quase só zeros e uns), o gênio perde a inteligência. Ele começa a responder coisas sem sentido. Por quê?

O Problema: A "Democratização" dos Parâmetros

Os autores do artigo descobriram algo curioso. Em modelos normais, alguns "assistentes" (parâmetros) são super importantes e outros são apenas auxiliares. É como uma equipe onde o capitão decide a jogada e os outros correm.

Mas, nos modelos ultra-comprimidos atuais, acontece uma "democratização forçada". O sistema trata todos os assistentes como se fossem exatamente iguais. O capitão vira apenas mais um corredor. Como resultado, ninguém sabe mais o que fazer, e a inteligência do modelo despenca. Todos os pesos viram "médios", e a nuance necessária para a inteligência some.

A Solução: pQuant (O "Sistema de Dupla Via")

A equipe propôs uma solução chamada pQuant. Em vez de tratar todos os assistentes da mesma forma, eles criaram um sistema de dupla via (ou dois caminhos) para o cérebro do modelo:

A Via Rápida (1-bit): A maioria dos cálculos é feita aqui. É super rápida, usa pouca energia e é feita com "uns e zeros" simples. Imagine uma estrada de terra rápida onde a maioria dos carros passa.
A Via de Precisão (8-bit): Existe um pequeno grupo de "assistentes VIPs" que são mantidos em alta precisão. Eles são os especialistas que cuidam das coisas mais difíceis e sensíveis. Imagine uma pista de corrida de Fórmula 1 ao lado da estrada de terra, usada apenas para os carros mais importantes.

A Mágica do "Guia de Tráfego" (Feature Scaling):
O grande segredo do pQuant não é apenas ter duas vias, mas ter um guia de tráfego inteligente. Durante o treinamento, o modelo aprende a direcionar automaticamente as informações mais importantes para a via de precisão (Fórmula 1) e deixa o resto passar pela via rápida (estrada de terra).

Antes, os modelos tentavam adivinhar quem era importante. O pQuant usa um mecanismo que "empurra" os dados sensíveis para o lugar certo, garantindo que o gênio não esqueça as coisas importantes, mesmo estando compactado.

O Resultado: Mais Inteligente e Mais Rápido

Com essa abordagem, o pQuant consegue:

Ser muito mais inteligente do que outros modelos de 1 bit, chegando perto da inteligência de modelos muito maiores e mais pesados.
Escalar melhor: Se você aumentar o tamanho do modelo, ele continua ficando mais inteligente (ao contrário dos outros que estagnam).
Ser eficiente: Ele usa menos memória e é mais rápido para rodar em dispositivos reais.

Analogia Final: A Cozinha de Restaurante

Pense em um restaurante:

Modelos antigos (1-bit): Você tem 100 cozinheiros, mas todos usam apenas uma faca de plástico e um único tempero. Eles tentam fazer tudo, mas o resultado é ruim.
Modelos atuais (BitNet): Eles têm facas de plástico, mas tentam ser todos iguais. Ninguém é especialista.
pQuant: Você tem 95 cozinheiros com facas de plástico (rápidos e baratos) que fazem o básico (cortar legumes, servir água). Mas você tem 5 chefs de elite com facas de aço e temperos finos (precisão) que cuidam apenas dos pratos mais complexos e delicados.

O resultado? O restaurante funciona super rápido (porque a maioria é rápida), mas a comida continua sendo de alta qualidade (porque os chefs cuidaram do difícil).

Em resumo: O pQuant é uma nova maneira de "compactar" a inteligência artificial que reconhece que nem tudo é igual. Ao separar o que é simples do que é crítico, eles conseguem criar modelos superinteligentes que cabem no seu bolso.

1. O Problema: Democratização de Parâmetros e Limitações de Escala

O artigo aborda os desafios críticos na criação de Modelos de Linguagem Grandes (LLMs) extremamente eficientes com pesos de baixo bit (sub-2 bits), visando implantação em dispositivos de borda. Embora a Quantização Consciente do Treinamento (QAT) a partir do zero (from scratch) tenha mostrado promessas (como no BitNet), os autores identificam um gargalo fundamental que limita a precisão e a escalabilidade:

Democratização de Parâmetros (Parameter Democratization): Em modelos 1-bit existentes, a sensibilidade dos parâmetros torna-se homogeneizada. Teoricamente, apenas um pequeno subconjunto de parâmetros ("sensíveis") deveria influenciar desproporcionalmente a saída do modelo. No entanto, em modelos 1-bit atuais, essa estrutura colapsa, tornando todos os parâmetros igualmente importantes (ou igualmente pouco importantes).
Consequência: Essa homogeneização limita a expressividade do modelo e impede que ele escale eficientemente. À medida que o tamanho do modelo aumenta, os ganhos de desempenho são sublineares e ficam muito aquém dos modelos de precisão completa (FP16).
Limitação Atual: Métodos existentes falham em recuperar a estrutura de sensibilidade diferenciada necessária para manter alta precisão com quantização extrema.

2. Metodologia: pQuant

Para combater a democratização de parâmetros, os autores propõem o pQuant, um método de QAT a partir do zero baseado no princípio de desacoplamento e orientação da sensibilidade dos parâmetros.

Arquitetura Central: Camada Linear Desacoplada

O núcleo do pQuant substitui as camadas lineares padrão por uma estrutura desacoplada que divide os parâmetros em dois ramos especializados:

Ramo Principal (1-bit):
- Contém a grande maioria dos parâmetros.
- Projetado para eficiência computacional máxima (operações de bits).
- Atua como um "especialista compartilhado" comum a todas as entradas.
Ramo de Alta Precisão (8-bit):
- Contém um subconjunto compacto de parâmetros ( $r \ll D_{model}$ ).
- Projetado para preservar os parâmetros mais sensíveis e informativos.
- Funciona como um "especialista especializado".

Mecanismos Chave

Escalonamento de Recursos (Feature Scaling):
- Para garantir que o modelo aprenda a alocação correta de sensibilidade, o pQuant introduz escalas aprendíveis ( $\alpha$ e $\beta$ ) para os outputs dos dois ramos.
- Inicialmente, $\alpha \gg \beta$ (ex: $\alpha=2.0, \beta=0.2$ ), forçando o gradiente a priorizar o ramo de 8-bit durante o treinamento. Isso guia o modelo a identificar e preservar dinamicamente os parâmetros críticos no ramo de alta precisão, em vez de pré-definir posições fixas.
Expansão para Mixture of Experts (MoE):
- O ramo de alta precisão pode ser expandido para múltiplos ramos paralelos ( $N$ ramos).
- Um roteador leve (gating) seleciona dinamicamente o melhor ramo de 8-bit para cada token (estratégia Top-1).
- Isso permite um aumento significativo na capacidade do modelo (mais parâmetros de alta precisão) com um custo de inferência quase constante, pois apenas um ramo é ativado por vez.
Treinamento e Inferência:
- Treinamento: Utiliza pesos FP16 ocultos para estabilidade de gradiente (via Straight-Through Estimator), mas simula a quantização no forward pass.
- Inferência: Os pesos FP16 são descartados. Apenas os pesos 1-bit e 8-bit quantizados permanecem. Os fatores de escala são fundidos nas camadas subsequentes, eliminando sobrecarga de memória.

3. Principais Contribuições

Identificação do Fenômeno de Democratização: O trabalho é pioneiro em diagnosticar a homogeneização da sensibilidade dos parâmetros como a causa raiz da baixa escalabilidade em modelos 1-bit.
Arquitetura Desacoplada: Propõe uma nova estrutura de camada linear que separa fisicamente a eficiência (1-bit) da capacidade expressiva (8-bit), permitindo que o modelo preserve a estrutura de sensibilidade natural.
Escalabilidade Eficiente: Demonstra que escalar via ramos de alta precisão (em vez de apenas aumentar a largura do modelo 1-bit) permite que modelos de baixo bit sigam leis de escala próximas às de modelos FP16.
Eficiência de Hardware: O design é otimizado para hardware moderno, onde a largura de banda de memória é o gargalo. Ao ativar apenas um ramo de 8-bit por vez, o pQuant reduz drasticamente o tráfego de memória em comparação com modelos de 2 bits ou FP16.

4. Resultados Experimentais

Os experimentos foram realizados em modelos de 300M a 2.6B de parâmetros, treinados do zero em datasets como C4 e Wikipedia.

Desempenho Superior:
- O pQuant (1.35-bit) supera consistentemente o BitNet (1-bit) e o BitNet1.58 (2-bit) em tarefas de raciocínio de senso comum (ARC, BoolQ, etc.).
- No modelo de 1.3B, o pQuant reduz a perplexidade em 32% em relação ao BitNet e supera o BitNet1.58 (2-bit) em precisão, apesar de usar menos bits por peso.
- O modelo de 2.6B pQuant supera o desempenho do LLaMA-2 de 1.3B (FP16) em precisão média.
Escalabilidade:
- Ao aumentar o número de ramos de especialistas ( $N$ ) para 8, o pQuant reduz a lacuna de perda de treinamento em relação ao LLaMA-2 (FP16) quase a zero, enquanto modelos puramente 1-bit ou 2-bit mantêm uma lacuna persistente.
Eficiência de Inferência:
- O pQuant é 18,2% mais rápido em throughput do que o BitNet1.58 e 82% mais rápido que o LLaMA-2 FP16.
- Reduz a pegada de memória em 92% em comparação ao LLaMA-2 e 31% em relação ao BitNet1.58.

5. Significado e Impacto

O pQuant representa um avanço significativo na viabilidade de LLMs para dispositivos de borda (edge devices).

Quebra de Paradigma: Demonstra que é possível atingir desempenho próximo ao de modelos FP16 com pesos majoritariamente binários (1-bit), desde que a arquitetura respeite a heterogeneidade da sensibilidade dos parâmetros.
Viabilidade de Hardware: Ao reduzir drasticamente o tráfego de memória e permitir operações de bits eficientes, o pQuant abre caminho para a execução de modelos grandes em hardware limitado, onde a largura de banda é o principal gargalo.
Direção Futura: O trabalho sugere que o futuro da quantização extrema não está apenas em comprimir mais, mas em desacoplar a representação para preservar a informação crítica, combinando eficiência binária com precisão esparsa de alta ordem.

Em resumo, o pQuant resolve o dilema entre eficiência extrema e capacidade expressiva, provando que modelos de sub-2 bits podem ser escaláveis e competitivos se a arquitetura for projetada para gerenciar a sensibilidade dos parâmetros de forma inteligente.