Resumo Técnico: A Quantização Infla o Raciocínio

Declaração do Problema

Embora a Quantização Pós-Treinamento (PTQ) seja uma técnica padrão para reduzir o custo de inferência de Grandes Modelos de Linguagem (LLMs) ao diminuir a pegada de memória e acelerar a decodificação por token, seu impacto em modelos de raciocínio não é totalmente capturado pelas métricas de avaliação tradicionais. Os protocolos padrão focam na precisão da resposta final e na latência por token. No entanto, os modelos de raciocínio (por exemplo, treinados para Cadeia de Pensamento ou CoT passo a passo) dependem fortemente do volume de computação em tempo de teste.

Este artigo identifica um custo oculto: a PTQ de baixa precisão pode causar a Inflação de Tokens de Raciocínio. Modelos quantizados frequentemente preservam a precisão da resposta final, mas geram cadeias de pensamento significativamente mais longas do que seus equivalentes de precisão total (BF16). Esse aumento na contagem de tokens pode compensar, ou até exceder, o ganho de velocidade por token obtido com a quantização, levando a uma pior latência de ponta a ponta e custos de serviço superiores.

Metodologia

Os autores conduziram uma avaliação abrangente através de múltiplas dimensões:

• Modelos: Avaliaram modelos de raciocínio de código aberto variando de 4B a 30B de parâmetros, incluindo arquiteturas densas (Qwen3-4B, Phi-4-14B) e de Mistura de Especialistas (MoE) (Qwen3-30B).
• Benchmarks: Abrangeram raciocínio matemático (AIME25, GSM8K), geração de código (LiveCodeBench, MBPP), raciocínio científico (GPQA-Diamond), uso de ferramentas agênticas (BFCLv4) e compreensão de linguagem geral (HellaSwag, MMLU-Pro, PIQA).
• Métodos de Quantização: Focaram em métodos de PTQ de apenas pesos, incluindo RTN (baseline), GPTQ, AWQ, HQQ e ParoQuant, aplicados em larguras de bits de INT4 e INT3. O BF16 serviu como referência de precisão total.
• Métricas:
  • Precisão: Correção da resposta final.
  • Razão de Inflação de Tokens de CoT (CTIR): Uma nova métrica definida como o aumento relativo na contagem média de tokens de raciocínio entre um modelo quantizado e sua referência BF16:
    $$\text{CTIR}(M_q; D) = \frac{\bar{\ell}(M_q; D) - \bar{\ell}(M_{org}; D)}{\bar{\ell}(M_{org}; D)} \times 100\%$$
  • Análise Comportamental: Mediu contagens de etapas intermediárias e repetitividade semântica (usando embeddings de sentenças para detectar passos de raciocínio quase duplicados).
  • Eficiência de Serviço: Mediu o Tempo para o Primeiro Token (TTFT) e o throughput no vLLM com GPUs H100.

Principais Resultados

1. A Preservação da Precisão Mascara a Perda de Eficiência

• Desempenho INT4: Para muitos modelos e benchmarks, a quantização INT4 preserva a precisão da resposta final (as quedas são frequentemente negligenciáveis ou pequenas). No entanto, essa estabilidade de precisão não se traduz em eficiência.
• O Custo Oculto: Modelos quantizados frequentemente geram traços de CoT mais longos. Por exemplo, no benchmark BBH com o Qwen3-4B, a quantização INT4 aumentou o tempo total de geração de 285s (BF16) para 292s, apesar do ganho de velocidade em nível de kernel dos kernels Marlin W4A16.
• Sensibilidade INT3: À medida que a precisão cai para INT3, a degradação da precisão torna-se mais pronunciada em tarefas de raciocínio difíceis, mas a inflação de tokens ocorre mesmo quando a precisão é preservada.

2. Quantificação da Inflação de Tokens (CTIR)

• Inflação Generalizada: A PTQ de baixo bit aumenta consistentemente o uso de tokens de raciocínio.
  • Qwen3-4B (INT3): O CTIR atingiu níveis extremos, por exemplo, +276,1% para AWQ e +292,1% para HQQ.
  • Qwen3-30B (INT3): Embora mais resiliente, o CTIR permaneceu substancial (ex: +60,1% para HQQ).
  • Variância de Método: Métodos baseados em reconstrução como GPTQ geralmente produzem um CTIR menor do que métodos sensíveis à ativação (AWQ) ou métodos sem calibração (HQQ), mas não eliminam o efeito completamente.

3. Mudanças Comportamentais

• Aumento de Etapas: Modelos quantizados levam mais etapas intermediárias para chegar à mesma conclusão.
• Repetição Semântica: A análise dos traços de raciocínio revela aumento de autocrítica, retrocesso e repetição semântica (ex: "deixe-me verificar", "novamente"). Essas repetições não melhoram a correção, mas inflam a contagem de tokens.
• Cargas de Trabalho Agênticas: Em cenários de uso de ferramentas de múltiplos turnos (BFCLv4), a quantização aumentou os tokens de CoT em cerca de 13–23% sem alterar significativamente o número de chamadas de ferramentas, indicando que a penalidade de latência provém do raciocínio interno, não da frequência de invocação da ferramenta.

4. Impacto no Serviço

• Latência: Mesmo aumentos modestos no CTIR (ex: 1,1x) degradam significativamente a latência percebida pelo usuário. Um aumento de 1,1x no CTIR elevou o p90 TTFT em 33% (de 1050s para 1400s na configuração de teste específica).
• Throughput: Traços mais longos ocupam slots de decodificação e memória de cache KV por períodos mais longos, reduzendo a capacidade de serviço efetiva sob batching contínuo.

Estratégias de Mitigação Avaliadas

O artigo avalia três abordagens para reduzir a inflação de tokens:

1. Controles de Inferência (Decodificação/Prompting):

   • Penalidade de Repetição: Reduz a contagem de tokens, mas frequentemente com um custo significativo para a precisão.
   • Prompt de Concisão: Prompts como "não pense" ou "não reestatize" reduzem os tokens, mas causam quedas de precisão inconsistentes e muitas vezes severas (ex: quedas de 5 a 11 pontos).
   • Veredito: São heurísticas instáveis que trocam precisão por comprimento.

2. Otimização de Dados de Calibração:

   • O uso de corpora específicos de raciocínio (Math-CoT, Code-CoT) para calibração de PTQ melhora significamente tanto a precisão quanto reduz o comprimento do token em comparação com texto genérico (Wikitext, C4).
   • Veredito: Eficaz e de baixo custo, mas ainda inferior ao QAT.

3. Treinamento Sensível à Quantização (QAT):

   • O uso de QAT (especificamente DiscQuant) permite que o modelo adapte os pesos às restrições de baixo bit durante o treinamento.
   • Veredito: O QAT alcança uma melhoria de Pareto, reduzindo simultaneamente a inflação de tokens e melhorando a precisão em comparação com todas as configurações de PTQ. Ele alinha a trajetória de raciocínio do modelo quantizado com o alvo de precisão total.

Significância e Alegações

O artigo argumenta que o uso de tokens de raciocínio deve ser relatado junto com a precisão ao avaliar modelos de raciocínio quantizados.

• Lacuna de Avaliação: Estudos de quantização padrão que relatam apenas precisão e latência por token estão incompletos para modelos de raciocínio. Eles perdem o "custo oculto de computação em tempo de teste", onde os modelos raciocinam por mais tempo para compensar o ruído da quantização.
• Realidade de Implantação: Para modelos de raciocínio, a latência de ponta a ponta é uma função tanto da velocidade por token quanto da contagem total de tokens. A quantização pode inadvertidamente aumentar esta última, anulando a primeira.
• Recomendação: Os autores sugerem que, embora a PTQ seja prática, ela requer monitoramento cuidadoso do comprimento do CoT. Para a implantação ideal de modelos de raciocínio, o Treinamento Sensível à Quantização (QAT) é apresentado como a direção mais promissora para mitigar tanto a degradação da precisão quanto a inflação de tokens.