💬 NLP

SignRoundV2: Toward Closing the Performance Gap in Extremely Low-Bit Post-Training Quantization for LLMs

SignRoundV2 é um framework de quantização pós-treinamento que emprega uma estratégia adaptativa de precisão mista e técnicas de estabilização leves para reduzir significativamente a lacuna de desempenho entre Modelos de Linguagem Grandes quantizados e de precisão total, alcançando resultados quase sem perdas em configurações MXFP mistas e melhorias substanciais na quantização desafiadora de apenas 2 bits para pesos.

Autores originais: Wenhua Cheng, Weiwei Zhang, Heng Guo, Haihao Shen, Zaner Ma

Publicado 2026-05-19

📖 4 min de leitura☕ Leitura rápida

CC BY 4.0

Autores originais: Wenhua Cheng, Weiwei Zhang, Heng Guo, Haihao Shen, Zaner Ma

Artigo original sob licença CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta é uma explicação gerada por IA do artigo abaixo. Não foi escrita nem endossada pelos autores. Para precisão técnica, consulte o artigo original. Ler aviso legal completo

Imagine que você tem uma biblioteca massiva e incrivelmente detalhada de conhecimento (um Modelo de Linguagem Grande, ou LLM). Essa biblioteca é tão enorme que requer um edifício do tamanho de um armazém para armazená-la e um caminhão colossal para entregá-la. Embora poderosa, isso a torna impossível de caber em um carro comum (como seu telefone ou um laptop padrão) para uso diário.

Para resolver isso, cientistas usam um processo chamado quantização. Pense nisso como pegar a biblioteca e comprimi-la em um livrinho minúsculo, do tamanho de um bolso. O objetivo é encolher o livro o máximo possível (usando menos "bits" de dados) sem perder o significado da história.

No entanto, há uma pegadinha: se você encolher o livro demais (até 2 ou 4 bits), as páginas começam a ficar borradas, as palavras são escritas de forma errada e a história não faz mais sentido. O modelo fica "burro".

SignRoundV2 é um novo kit de ferramentas projetado para corrigir isso. É como um editor mestre que pode reduzir a biblioteca ao tamanho de um bolso, mantendo a história perfeita. Veja como funciona, usando analogias simples:

1. A Estratégia de "Embalagem Inteligente" (Precisão Mista Adaptativa)

Imagine que você está fazendo uma mala para uma viagem. Você tem um limite de peso estrito.

Jeito Antigo: Você trata todos os itens da mesma forma. Você pode espremer seu casaco de inverno pesado e sua camiseta leve no mesmo espaço apertado, estragando o casaco.
Jeito SignRoundV2: Age como um embalador inteligente. Sabe que algumas partes do modelo (como as camadas do "casaco de inverno") são muito sensíveis e precisam de mais espaço (maior precisão) para funcionar corretamente. Outras partes (como as camadas da "camiseta") são resistentes e podem ser espremidas bem apertadas (menor precisão) sem danos.

O artigo apresenta uma nova maneira de medir exatamente quais camadas são "sensíveis". Analisa o quanto o "cérebro" do modelo (gradientes) reage quando um pedaço de dados é espremido. Se uma camada fica confusa facilmente, o sistema lhe dá mais bits. Se é resistente, recebe menos bits. Isso acontece automaticamente, camada por camada, para encontrar o equilíbrio perfeito.

2. A "Verificação Pré-Voo" (Busca de Escala de Pré-Ajuste)

Antes de voar um avião, você verifica os instrumentos. Se os instrumentos estiverem configurados erradamente, o avião pode cair imediatamente.

O Problema: Ao comprimir um modelo para tamanhos extremos (como 2 bits), as configurações iniciais frequentemente estão erradas, fazendo o modelo falhar antes mesmo de começar a aprender a se ajustar.
A Correção: SignRoundV2 faz uma rápida e leve "verificação pré-voo". Busca as melhores configurações iniciais (escalas) muito rapidamente, inspirado pela forma como a ferramenta popular llama.cpp funciona. Isso garante que o modelo comece no caminho certo, tornando a compressão subsequente muito mais bem-sucedida.

3. O "Filtro de Ruído" (Filtragem de Perda)

Imagine que você está tentando aprender um novo idioma ouvindo um rádio. Na maioria das vezes, o sinal está claro. Mas, às vezes, há uma explosão alta de estática (um valor atípico) que soa como nonsense. Se você tentar aprender com essa estática, aprenderá as palavras erradas.

O Problema: Durante o processo de ajuste, alguns pontos de dados criam erros enormes (estática) que confundem o sistema, fazendo-o pensar que precisa mudar suas configurações drasticamente na direção errada.
A Correção: SignRoundV2 coloca "fones de ouvido com cancelamento de ruído". Identifica os erros mais altos e mais confusos (os 0,1% superiores dos dados ruins) e os ignora durante o processo de ajuste. Isso mantém o modelo focado no sinal claro, impedindo que ele seja desviado por alguns exemplos ruins.

Os Resultados: O Que Eles Conseguiram?

O artigo afirma que, com esses três truques, é possível reduzir modelos a tamanhos extremamente pequenos (como 2 bits ou 4 bits) com perda surpreendentemente baixa de inteligência.

A Alegação de "Quase Sem Perda": Em uma média de 4,5 bits, o modelo comprimido performa quase exatamente como a versão gigante e não comprimida (apenas cerca de 1% de diferença).
O "Milagre de 2 Bits": Mesmo em 2 bits (o que normalmente quebra modelos), SignRoundV2 recupera grande parte da capacidade do modelo de raciocinar e responder perguntas, muito melhor do que métodos anteriores.
Velocidade: Diferente de outros métodos que exigem re-treinar todo o modelo do zero (o que leva semanas e computadores massivos), este método é uma correção "Pós-Treinamento". Pega o modelo existente e o ajusta em algumas horas em uma GPU padrão de alto desempenho.

Em resumo: SignRoundV2 é uma ferramenta de compressão inteligente e eficiente que sabe exatamente onde espremer e onde deixar espaço, verifica suas configurações antes de começar e ignora o ruído. Isso nos permite encaixar cérebros gigantes de IA em dispositivos minúsculos sem que eles percam a cabeça.

Resumo Técnico: SignRoundV2

Declaração do Problema

A implantação de Modelos de Linguagem de Grande Escala (LLMs) em ambientes com recursos limitados é dificultada pelo consumo massivo de memória e pela latência de inferência associadas a modelos de precisão completa. A quantização pós-treinamento (PTQ) oferece uma solução prática ao comprimir pesos e ativações sem retreinamento. No entanto, levar a quantização a larguras de bits extremamente baixas (por exemplo, pesos de 2 bits ou precisão mista de 4 bits) geralmente resulta em degradação severa de desempenho. Os métodos existentes enfrentam três desafios principais:

Colapso de Precisão: A quantização uniforme de baixo bit frequentemente falha em recuperar as capacidades de raciocínio dos modelos de precisão completa, particularmente em cenários de apenas pesos.
Métricas de Sensibilidade Ineficientes: Estratégias adaptativas de precisão mista tradicionais dependem de informações de segunda ordem (Hessiana) ou distorção heurística de saída, que são computacionalmente proibitivas para modelos grandes ou falham em refletir com precisão o impacto real da quantização na perda da tarefa.
Instabilidade de Otimização: Em regimes de bits extremamente baixos, o cenário de otimização é instável. Uma inicialização pobre dos parâmetros de quantização e a presença de outliers de perda durante o ajuste podem levar a uma convergência subótima.

Metodologia

O SignRoundV2 é um framework de PTQ aprimorado projetado para reduzir a lacuna de desempenho entre modelos quantizados e de precisão completa sob compressão agressiva. Ele se baseia na fundação do SignRound e introduz duas inovações principais:

1. Métrica de Sensibilidade DeltaLoss e Alocação Adaptativa de Bits

Para abordar as limitações das métricas baseadas em Hessiana, o SignRoundV2 introduz o DeltaLoss, uma métrica de sensibilidade de primeira ordem.

Mecanismo: Ele estima o aumento da perda ( $\Delta L$ ) induzido pela quantização usando uma expansão de Taylor de primeira ordem ao redor do ponto quantizado. A métrica combina a magnitude das perturbações de quantização com a sensibilidade do gradiente consciente da tarefa:
$\text{DeltaLoss} = \|g_{aq} \odot (A_q - A_f)\|_1 + \|g_{wq} \odot (W_q - W_f)\|_1$
onde $g$ representa os gradientes computados em um pequeno conjunto de calibração, e $\odot$ denota multiplicação elemento a elemento.
Alocação: Esta métrica guia uma estratégia adaptativa de precisão mista por camada. O problema de alocação de bits é formulado como uma tarefa de otimização discreta para minimizar o DeltaLoss total sob uma restrição de largura de bits média alvo. Isso é resolvido eficientemente usando programação dinâmica, permitindo que o modelo atribua maior precisão a camadas sensíveis (por exemplo, aquelas com grandes gradientes e desvios de quantização) enquanto comprime agressivamente camadas robustas.

2. Técnicas de Estabilização para Regimes de Baixo Bit

Reconhecendo que a estabilidade da otimização é crítica para a quantização de bits extremamente baixos, o SignRoundV2 emprega duas técnicas leves:

Busca de Escala Pré-Ajuste: Inspirado na matriz de importância no llama.cpp, o método realiza uma busca rápida para identificar fatores de escala iniciais de alta qualidade antes da etapa principal de ajuste. Isso evita as armadilhas da inicialização trivial (por exemplo, definir parâmetros de corte em 1.0) que podem impedir a convergência.
Filtragem de Perda: Para evitar que gradientes outliers degradem os parâmetros de quantização aprendidos, o framework exclui as $k$ maiores perdas (onde $k$ é 0,1% do total de elementos) ao calcular o erro quadrático médio durante a fase de ajuste.

Principais Contribuições

Precisão Mista Adaptativa Eficiente: O artigo introduz uma estratégia que aproveita informações de gradiente e desvios induzidos pela quantização para guiar a alocação de bits por camada via programação dinâmica, mantendo alto desempenho mesmo sob compressão agressiva (por exemplo, pesos de 2 bits).
Mecanismos de Estabilização: Os autores propõem técnicas simples, mas eficazes, especificamente filtragem de perda e uma busca de escala pré-ajuste leve, para melhorar a estabilidade e a precisão em regimes de bits extremamente baixos onde a PTQ padrão frequentemente falha.
Compromisso Desempenho vs. Custo: O SignRoundV2 alcança precisão competitiva em comparação com métodos de alto custo como Treinamento Consciente de Quantização (QAT) e métodos de quantização vetorial em configurações de apenas pesos, exigindo sobrecarga computacional substancialmente menor e mantendo forte desempenho em cenários de pesos-ativações.

Resultados Experimentais

Os autores avaliaram o SignRoundV2 em diversas famílias de LLMs (Llama 2/3, Qwen) e benchmarks (ARC, MMLU, HellaSwag, etc.).

Quantização Apenas de Pesos (W2A16): Em configurações uniformes de 2 bits, o SignRoundV2 supera consistentemente as bases PTQ estabelecidas (GPTQ, AWQ, OmniQuant) e métodos de alta complexidade (AQLM, QuIP#). Por exemplo, no Llama-3-70B, ele alcança uma precisão média de 69,02% em 2 bits, reduzindo significativamente a lacuna para a precisão completa.
Precisão Mista Adaptativa: Com uma largura de bits média de 2,5 bits, o método alcança desempenho quase sem perdas em configurações mistas MXFP, reduzindo a lacuna de desempenho para aproximadamente 1% em comparação com modelos de precisão completa. No Llama-3.1-8B em 2,5 bits, ele melhora a taxa de recuperação sobre a base AMQ em 12,24 pontos percentuais.
Formatos MXFP e NVFP: O framework demonstra desempenho robusto em regimes MXFP/NVFP de 4 bits e 4,5 bits, frequentemente superando as bases SignRoundV1 e Arredondamento para o Mais Próximo (RTN), aproximando-se da precisão de precisão completa em 4,5–5 bits.
Eficiência: O processo de quantização é altamente eficiente. O SignRoundV2 completa a quantização para o Llama-2-70B em 2,5 horas em uma única GPU A100, em comparação com centenas de horas para métodos como QuIP# ou AQLM.

Significado

O artigo postula que o SignRoundV2 representa um passo significativo para fechar a lacuna de desempenho na PTQ de bits extremamente baixos. Ao integrar uma métrica de sensibilidade informada por gradiente com técnicas de estabilização, o framework permite a implantação de LLMs com compressão agressiva (até 2 bits) sem os custos proibitivos de retreinamento ou quantização vetorial complexa. Os resultados sugerem que a PTQ eficaz pode reduzir significativamente as pegadas computacional e de memória dos LLMs, oferecendo uma solução escalável para inferência eficiente em GPUs de consumo e dispositivos de borda.

Limitações

Os autores reconhecem várias restrições:

Desempenho Uniforme de 2 Bits: Mesmo com o SignRoundV2, uma lacuna de precisão perceptível permanece em configurações uniformes de 2 bits em comparação com modelos de precisão completa, indicando que precisão mista ou treinamento adicional ainda são necessários para a compressão mais extrema.
Alocação de Bits Estática: A configuração da largura de bits é determinada antes do ajuste por bloco e permanece estática; atualizar conjuntamente a alocação de bits e os parâmetros de arredondamento poderia melhorar a precisão, mas aumentaria a complexidade da busca.
Dependência de Gradiente: A dependência do DeltaLoss requer computação de gradiente, limitando a aplicabilidade imediata em frameworks de apenas inferência (por exemplo, ONNX Runtime) que não suportam passadas de retropropagação.