🤖 AI

Model-Preserving Adaptive Rounding

Este artigo apresenta o YAQA, um algoritmo de quantização de arredondamento adaptativo que aproveita limites de erro fim a fim teóricos baseados em aproximações de Hessian para superar significativamente métodos existentes como GPTQ e treinamento consciente de quantização sem adicionar sobrecarga de inferência.

Autores originais: Albert Tseng, Zhaofeng Sun, Christopher De Sa

Publicado 2026-06-04

📖 6 min de leitura🧠 Leitura aprofundada

CC BY 4.0

Autores originais: Albert Tseng, Zhaofeng Sun, Christopher De Sa

Artigo original sob licença CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta é uma explicação gerada por IA do artigo abaixo. Não foi escrita nem endossada pelos autores. Para precisão técnica, consulte o artigo original. Ler aviso legal completo

Imagine que você tem uma biblioteca gigante e incrivelmente detalhada (um Large Language Model) que contém bilhões de livros (parâmetros). Esta biblioteca é incrível para responder perguntas, mas é tão massiva que ocupa um armazém inteiro e requer uma enorme equipe de bibliotecários para operá-la. Você quer encolher esta biblioteca para que ela caiba em uma mochila e possa ser operada por um único bibliotecário, sem perder a capacidade de contar histórias ou responder perguntas com precisão.

Este processo é chamado de quantização. É como pegar esses livros enormes, de alta definição, e imprimi-los em um papel menor e mais barato, com menos cores. O objetivo é fazer com que a biblioteca "encolhida" soe e se comporte exatamente como a original.

O Problema: O Bibliotecário "Miope"

A maioria dos métodos atuais para encolher essas bibliotecas usa uma estratégia que os autores chamam de "míope" (com visão curta).

Imagine um bibliotecário tentando condensar um livro. Ele olha para a primeira página, encolhe-a e diz: "Ok, esta página parece boa". Então ele passa para a segunda página, encolhe-a e diz: "Isso também parece bom". Ele faz isso para cada página individualmente.

O problema? Eles ignoram como as páginas se conectam.
Se você encolher a primeira página mal, a segunda página pode não fazer mais sentido, mesmo que a segunda página em si pareça boa. Os métodos atuais (como o GPTQ ou o LDLQ) tentam consertar cada camada do modelo uma por uma, ignorando como um erro na primeira camada estraga a saída da última camada. É como tentar consertar o motor de um carro apertando os parafusos um de cada vez, sem nunca dar a partida no carro para ver se ele realmente funciona.

A Solução: YAQA (Yet Another Quantization Algorithm)

Os autores introduzem o YAQA, um novo método que atua como um editor mestre que lê o livro inteiro do início ao fim antes de fazer qualquer alteração.

Em vez de apenas olhar para a página imediata, o YAQA pergunta: "Se eu mudar esta palavra aqui, como isso afetará a frase final ao final do capítulo?"

Aqui está como o YAQA funciona, dividido com analogias simples:

1. O "Mapa" de Erros (O Hessian)

Para saber como uma pequena mudança em uma parte do modelo afeta todo o conjunto, você precisa de um mapa. Na matemática, esse mapa é chamado de Hessian.

Métodos antigos usavam um mapa em baixa resolução e borrado que mostrava apenas a vizinhança imediata (a camada atual).
O YAQA constrói um mapa de ponta a ponta de alta resolução. Ele calcula exatamente como um erro minúsculo no início reverbera por todo o caminho até a resposta final.

2. O Atalho "Kronecker"

Construir este mapa perfeito para uma biblioteca com bilhões de livros é geralmente impossível porque o mapa seria grande demais para armazenar.

O Truque do YAQA: Eles usam um atalho matemático chamado aproximação fatorada por Kronecker.
A Analogia: Imagine que você precisa descrever uma escultura 3D complexa. Em vez de medir cada átomo, você percebe que a escultura é apenas uma combinação de algumas formas simples empilhadas. O YAQA percebe que o "mapa de erro" pode ser construído combinando dois mapas menores e mais simples (um para o lado da entrada, outro para o lado da saída) em vez de um mapa gigante e pesado. Isso torna o cálculo rápido e gerenciável.

3. A Busca por "Iteração de Potência"

Uma vez que eles têm a estrutura do mapa, precisam encontrar a melhor versão possível dele.

Eles usam uma técnica chamada iteração de potência (power iteration). Pense nisso como sintonizar um rádio. Você começa com um sinal bruto, ouve a estática, ajusta o dial levemente para obter um sinal mais claro e repete o processo.
O YAQA executa este processo de "sintonia" sobre um conjunto de dados de texto. Ele não apenas adivinha; ele prova matematicamente que este processo converge para a melhor estratégia de "encolhimento" que minimiza a diferença entre o modelo original e o novo.

Por que o YAQA é um grande feito

O artigo faz três afirmações principais sobre por que isso é melhor do que o que temos hoje:

É Provado que é Melhor: Os autores não apenas adivinharam; eles escreveram uma prova matemática mostrando que o erro do YAQA é estritamente menor do que o de métodos antigos (como GPTQ/LDLQ) porque considera o quadro geral, não apenas o vizinho local.
Encolhe a "Distância" em 30%: Quando mediram o quão diferente o novo modelo é do original (usando uma métrica chamada divergência KL), o YAQA reduziu essa diferença em cerca de 30% em comparação com os melhores métodos existentes.
- Analogia: Se o modelo original é uma foto perfeita, e o método antigo fez uma cópia levemente borrada, o YAQA faz uma cópia quase indistinguível da original.
Vence o "Treinamento do Zero" (QAT): Geralmente, para obter um modelo pequeno perfeito, você precisa re-treinar todo o sistema do zero (Treinamento Consciente de Quantização - QAT), o que consome uma quantidade massiva de tempo e poder computacional. O YAQA alcança resultados melhores do que este método de treinamento caro, mas o faz sem precisar re-treinar o modelo. É como conseguir um terno feito sob medida apenas ajustando o que já existe, em vez de comprar um novo tecido e costurar tudo de novo.

A Conclusão

O YAQA é uma nova maneira de comprimir modelos de IA. Em vez de consertar o modelo peça por peça e torcer pelo melhor, ele olha para o sistema como um todo. Ele usa matemática inteligente para descobrir exatamente como encolher o modelo para que a saída final seja o mais próxima possível da original.

O resultado? Você obtém um modelo muito menor e mais rápido que age quase exatamente como o gigante e caro, com custo zero adicional quando você o utiliza (sem overhead de inferência). É a diferença entre uma fotocópia borrada e um escaneamento de alta fidelidade, alcançado sem precisar de um supercomputador para imprimir.

Resumo Técnico: Arredondamento Adaptativo de Preservação de Modelo (YAQA)

Declaração do Problema

O objetivo principal da quantização de Grandes Modelos de Linguagem (LLMs) é comprimir os parâmetros do modelo em representações de baixa precisão, preservando o mais próximo possível a distribuição de saída do modelo original. Isso é formalmente definido como a minimização da divergência de Kullback-Leibler (KL) entre o modelo original $M(\theta^*, X)$ e o modelo quantizado $M(\theta, X)$ .

Os métodos atuais de estado da arte para quantização pós-treinamento (PTQ), como GPTQ e LDLQ, baseiam-se em arredondamento adaptativo local por camada. Esses algoritmos minimizam o erro de ativação imediato de uma única camada como um proxy para o erro de ponta a ponta. No entanto, essa abordagem ignora a propagação dos erros de quantização através das camadas subsequentes, tornando-a um proxy subótimo para o objetivo real. Embora outros métodos tentem incorporar informações globais (por exemplo, via matrizes de Fisher empíricas ou aproximações de bloco diagonal), eles frequentemente carecem de garantias teóricas em relação aos limites de erro de ponta a ponta e dependem de aproximações de Hessiana ad-hoc que não melhoram o desempenho de forma consistente.

Metodologia: Yet Another Quantization Algorithm (YAQA)

O YAQA é um novo algoritmo de arredondamento adaptativo projetado para minimizar diretamente a divergência KL de ponta a ponta, em vez de erros locais por camada. Ele consiste em dois componentes principais: um algoritmo de arredondamento teoricamente fundamentado e esboços de Hessiana (Hessian sketches) escaláveis.

1. Arredondamento Adaptativo de Ponta a Ponta por Camada

O YAQA generaliza a iteração de ponto fixo do LDLQ para considerar o erro total do modelo. Em vez de usar a Hessiana do erro de ativação imediato ( $H_1$ ), o YAQA utiliza uma aproximação de Hessiana fatorada por Kronecker $\tilde{H} = H_O \otimes H_I$ , onde $H_O$ e $H_I$ representam o feedback do lado da saída e do lado da entrada, respectivamente.

A atualização do arredondamento é definida como:
$W = \text{vec}^{-1} \left( Q \left( \text{vec}(W^*) + \text{vec}(W^* - W)(L - I) \right) \right)$
onde $L$ é o componente triangular da decomposição LDL de $\tilde{H}$ .

Grau de Nilpotência Estrutural (SND):
Para garantir que esta iteração seja tratável, os autores introduzem o conceito de Grau de Nilpotência Estrutural (Sward/SND). Para uma Hessiana densa geral, os passos de convergência seriam $O(mn)$. No entanto, ao utilizar uma estrutura fatorada por Kronecker ( $\tilde{H} = H_O \otimes H_I$ ), o SND é limitado por $m + n - 1$ . Isso permite que o algoritmo converja em $m+n$ passos iterativos, cada um envolvendo multiplicações de matrizes altamente paralelizáveis, em vez da complexidade $O(m^2n^2)$ de uma abordagem densa. Esta estrutura introduz um feedback simétrico de ambos os canais de entrada e saída, ao contrário de métodos anteriores que utilizam apenas o feedback do lado da entrada.

2. Esboços de Hessiana (Hessian Sketches)

Para computar os fatores de Kronecker $H_O$ e $H_I$ de forma tratável para grandes LLMs, o YAQA propõe dois esboços de Hessiana derivados de iteração de potência na verdadeira Hessiana da divergência KL ( $\nabla^2 L(W^*)$ ):

Esboço A: Assume que os tokens dentro de uma sequência são independentes. Ele realiza iterações de potência em uma estimativa de Hessiana que reduz a variância ao tratar os tokens como amostras independentes, embora introduza um leve viés. Requer múltiplas passagens sobre os dados.
Esboço B: Realiza uma única rodada de iteração de potência na verdadeira Hessiana partindo de uma inicialização identidade. Este método computa gradientes sobre sequências inteiras (contabilizando a mistura de sequências) e pode ser executado em uma única passagem de retropropagação (backward pass) sobre um conjunto de dados. É conceitualmente semelhante à base de precondicionamento do Shampoo, mas utiliza a verdadeira Matriz de Informação de Fisher.

A análise teórica mostra que o erro de ponta a ponta do YAQA é limitado pela similaridade de cosseno entre a aproximação de Kronecker ( $H_O \otimes H_I$ ) e a verdadeira Hessiana ( $\nabla^2 L(W^*)$ ). Ambos os esboços são projetados para maximizar essa similaridade enquanto mantêm baixa incoerência e baixo rank.

Principais Contribuições

Algoritmo YAQA: Introdução de um novo algoritmo de arredondamento adaptativo que generaliza métodos locais para otimizar a divergência KL de ponta a ponta de todo o modelo. É o primeiro algoritmo de quantização que vem com limites teóricos de erro de ponta a ponta.
Estrutura Teórica: Caracterização do tempo de convergência do arredondamento adaptativo via Grau de Nilpotência Estrutural (SND) e a derivação dos primeiros limites de erro de ponta a ponta para algoritmos de quantização. Esses limites vinculam o erro de aproximação à similaridade de cosseno entre o esboço da Hessiana e a verdadeira Hessiana.
Esboços de Hessiana Escaláveis: Desenvolvimento de dois esboços de Hessiana fatorados por Kronecker, tratáveis e quase ótimos (Esboço A e Esboço B), que permitem a computação de informações de erro global sem custos computacionais proibitivos.
Superioridade Empírica: Demonstração de que o YAQA alcança divergência KL significativamente menor e melhor desempenho em tarefas downstream comparado aos métodos de estado da arte existentes, incluindo GPTQ, LDLQ e até mesmo o Treinamento Ciente de Quantização (QAT).

Resultados

Os autores avaliaram o YAQA nos modelos Llama 3.1 (1B, 3B, 8B, 70B), Gemma 3 (12B) e Qwen 3 (8B).

Divergência KL: O YAQA reduz a divergência KL em aproximadamente 30% em comparação ao LDLQ e GPTQ. Notavelmente, o YAQA alcança uma divergência KL menor do que a receita de QAT do Google para o Gemma 3, apesar de o QAT exigir significativamente mais computação e dados.
Desempenho em Tarefas Downstream: O YAQA estabelece novos resultados de estado da arte em tarefas downstream zero-shot (ex: MMLU, GSM8K, BoolQ) em várias larguras de bits (de 2 a 4 bits).
Eficiência: O método adiciona nenhum overhead de inferência ao modelo quantizado, pois a complexidade é confinada à fase de quantização pós-treinamento.
Robustez: Experimentos mostram que o Esboço B atinge resultados de estado da arte mesmo com apenas 2.000 sequências, exigindo significativamente menos dados do que os métodos típicos de QAT.

Significância e Alegações

O artigo afirma que o YAQA representa uma mudança fundamental na estratégia de quantização ao passar da minimização de erro local por camada para a minimização de erro global de ponta a ponta. A significância reside em:

Garantias Teóricas: Fornecer os primeiros limites de erro de ponta a ponta prováveis para quantização, vinculando o desempenho do algoritmo às propriedades geométricas (similaridade de cosseno) das aproximações de Hessiana.
Desempenção: Alcançar uma quantização de maior fidelidade do que tanto métodos de arredondamento local quanto métodos de QAT computacionalmente caros.
Praticidade: Oferecer uma solução escalável que não requer retreinamento ou ajuste fino (fine-tuning) do modelo, tornando-a adequada para o implante eficiente de grandes modelos sem penalidades de inferência.

Os autores enfatizam que, embora métodos anteriores como o GuidedQuant tenham explorado informações globais, eles careciam de justificativa teórica e ganhos de desempenho consistentes. O YAQA preenche essa lacuna ao fornecer uma abordagem matematicamente fundamentada que é tanto teoricamente sólida quanto empiricamente superior.