💬 NLP

GaugeQuant: Online Learning of Quantization-Optimal Bases from LLM Symmetries

O GaugeQuant é um método de aprendizado online que aproveita as simetrias de LLMs e um termo de perda LogSumExp para aprender dinamicamente bases otimizadas para quantização durante o treinamento, reduzindo significativamente a perplexidade sob quantização de baixa bitagem sem exigir dados de calibração ou alterar o objetivo de modelagem de linguagem.

Autores originais: Miguel P. Bento, João F. Seabra

Publicado 2026-07-27

📖 6 min de leitura🧠 Leitura aprofundada

CC BY 4.0

Autores originais: Miguel P. Bento, João F. Seabra

Artigo original sob licença CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta é uma explicação gerada por IA do artigo abaixo. Não foi escrita nem endossada pelos autores. Para precisão técnica, consulte o artigo original. Ler aviso legal completo

Imagine que você está tentando encaixar uma biblioteca de conhecimento massiva e intrincada em uma mochila minúscula. Este é o combate diário da Inteligência Artificial moderna. Os "cérebros" desses sistemas de IA, chamados Modelos de Linguagem de Grande Escala (LLMs), são tão enormes que exigem montanhas de memória de computador apenas para rodar. Para fazê-los caber em dispositivos menores, os cientistas usam um truque chamado quantização. Pense nisso como comprimir um filme de alta definição em um arquivo de baixa resolução para economizar espaço. Você perde algum detalhe, mas o filme ainda é assistível. No entanto, há uma pegadinha: às vezes, o filme tem algumas cenas que são incrivelmente claras ou escuras (chamadas de "outliers" ou valores atípicos). Quando você tenta comprimir o arquivo inteiro para caber essas cenas extremas, o resto do filme fica borrado e distorcido.

Por muito tempo, os cientistas tentaram consertar isso depois que a IA já estava construída, como tentar editar um filme depois que ele já foi filmado. Eles olhavam para os "pontos brilhantes" e tentavam suavizá-los usando uma pequena amostra de dados. Mas este artigo introduz uma nova ideia: e se pudéssemos ensinar a IA a organizar sua própria biblioteca enquanto ela está sendo construída, para que ela caiba naturalmente na mochila sem precisar de uma limpeza bagunçada depois? Os pesquisadores propõem um método que usa a própria "flexibilidade" interna da IA para rearranjar seus dados antes de serem esmagados, tornando a compressão muito mais limpa.

O Artigo: GaugeQuant

O artigo que você está lendo é sobre uma técnica inteligente chamada GaugeQuant. Os autores, Miguel P. Bento e João F. Seabra, descobriram que a estrutura interna desses modelos de IA possui um superpoder oculto: a simetria.

Para entender isso, imagine que o cérebro da IA é feito de milhares de engrenagens giratórias. Em muitos lugares, essas engrenagens podem girar em perfeita sincronia umas com as outras sem alterar a resposta final que a IA fornece. É como se você tivesse uma equipe de dançarinos; se todos rotacionarem 90 graus juntos, a coreografia parece a mesma do ponto de vista da plateia. A IA não se importa com qual "ângulo" específico os dados estão vindo, desde que as relações entre as engrenagens permaneçam as mesmas.

O problema é que, quando tentamos comprimir a IA (quantizá-la), temos que escolher um ângulo específico. Se escolhermos o ângulo errado, os "outliers" (os pontos de dados super brilhantes ou super escuros) são esticados, arruinando a compressão. Normalmente, os cientistas precisam esperar até que a IA termine o treinamento para descobrir o melhor ângulo, usando um conjunto de dados separado para testá-lo.

O GaugeQuant muda o jogo ao fazer isso durante o treinamento. Os autores adicionaram uma "penalidade" especial ao dever de casa da IA. Imagine que a IA está aprendendo a escrever histórias e o professor (o computador) diz: "Ótima história! Mas, se você usar quaisquer palavras que sejam muito extremas ou estranhas, você perderá pontos". Esta penalidade é baseada em uma fórmula matemática chamada LogSumExp. Ela gentilmente induz a IA a rearranjar suas engrenagens internas (rotacionando seus dados) para que nenhum número individual se torne um outlier extremo.

Aqui está a parte mágica: a IA tem que fazer esse rearranjo sem estragar sua capacidade de escrever histórias. Os autores usaram um truque de "stop-gradient" (parada de gradiente). Pense nisso como um espelho de uma via só. A IA aprende a escrever histórias melhores usando suas lições normais, mas aprende a organizar seus dados para compressão usando uma lição separada e invisível. As duas não interferem uma na outra. A IA encontra o "ângulo perfeito" para seus dados automaticamente, de modo que, quando finalmente for comprimida, tudo se encaixe perfeitamente sem perder qualidade.

O Que Eles Descobriram

Os pesquisadores testaram isso em dois modelos famosos: Qwen-2.5 0.5B e LLaMA-2 7B. Eles simularam a compressão dos modelos para uma precisão muito baixa (usando apenas 4 bits para pesos e ativações, o que é um aperto muito forte).

Os resultados foram bastante promissores:

Para o modelo LLaMA-2 7B, quando comprimiram tanto os pesos quanto as ativações para 4 bits (W4A4) com um tamanho de grupo de 128, a "perplexidade" (uma pontuação onde menor é melhor, significando que a IA está menos confusa) caiu de 8.22 para 6.73.
Quando comprimiram apenas os pesos para 4 bits, mas mantiveram as ativações em precisão total (W4A16), a pontuação melhorou ainda mais dramaticamente, caindo de 11.16 para 5.45.
Para o modelo menor Qwen-2.5 0.5B, as melhorias também foram significativas, com a pontuação W4A4 caindo de 187.8 para 61.2.

Os autores observam que este método não requer nenhum dado de calibração especial (não há necessidade de um conjunto de teste separado) e adiciona quase nenhum tempo extra ao processo de treinamento. Ele compete com métodos que geralmente exigem que o modelo seja congelado e testado extensivamente após o treinamento.

O Que Eles Não Fazem (e O Que Ainda é Desconhecido)

É importante saber o que este método não resolve. Os autores descobriram que, se você tentar comprimir as ativações para 4 bits usando apenas uma única escala para todo o token (uma configuração muito rigorosa chamada "per-token"), os modelos ainda falham e tornam-se inutilizáveis, independentemente da rotação. O método funciona melhor quando você permite algum agrupamento (como o tamanho de grupo de 128).

Além disso, os autores admitem que seu método depende de um "proxy" (um substituto) para o erro de compressão real. Eles usam a fórmula LogSumExp para adivinhar onde estão os outliers, mas não é uma simulação perfeita da compressão do mundo real. Eles sugerem que isso pode, às vezes, suavizar dados que o modelo realmente precisa para distinguir entre coisas semelhantes.

Finalmente, estes resultados baseiam-se em simulações e execuções de treinamento em dois modelos específicos (0.5B e 7B). Os autores sugerem que, embora a matemática pareça sólida, ainda não sabemos como isso se comportará em modelos muito maiores ou em diferentes cenários do mundo real. Eles propõem que isto é uma nova ferramenta para ser usada durante o treinamento, que poderia então ser combinada com outros ajustes de "pós-treinamento" para obter resultados ainda melhores, mas ainda não provaram que funciona para todas as arquiteturas de IA possíveis.

Em resumo, o GaugeQuant sugere que, ao ensinar uma IA a arrumar seus próprios dados enquanto ela aprende, podemos compactá-la em uma mochila muito menor sem derramar o conteúdo. É uma maneira lúdica e eficiente de lidar com a realidade bagunçada de comprimir cérebros gigantes de IA.

Resumo Técnico: GaugeQuant

Definição do Problema
Grandes Modelos de Linguagem (LLMs) exigem recursos computacionais massivos, tornando necessária a quantização para reduzir as pegadas de memória durante a inferência. Embora a Quantização Pós-Treinamento (PTQ) seja computacionalmente barata, ela frequentemente degrada o desempenho do modelo devido a "outliers" na distribuição de pesos e ativações. Esses outliers esticam a faixa de quantização, deixando menos bits para representar valores frequentes. Métodos de PTQ existentes, como o SpinQuant, tentam mitigar isso aprendendo rotações ortogonais ideais para suprimir outliers, mas operam em modelos congelados usando conjuntos de dados de calibração estáticos. Este artigo aborda a necessidade de um mecanismo de treinamento que aprenda uma base otimizada para quantização sem exigir dados de calibração ou o congelamento do modelo, evitando assim a degradação de desempenho associada à PTQ padrão.

Metodologia
O GaugeQuant aproveita as simetrias contínuas inerentes às arquiteturas Transformer. Os autores observam que transformações lineares específicas (rotações) nas fronteiras das camadas de atenção e MLP deixam a saída de precisão total invariante. No entanto, a quantização uniforme é não linear e não comuta com essas rotações, o que significa que a escolha da base impacta significamente o erro de quantização.

A metodologia central envolve a introdução de um proxy diferenciável para o erro de quantização diretamente na função de perda de treinamento:

Exploração de Simetria: O método identifica simetrias $SO(d)$ na fronteira Valor-Saída (V-O) dos cabeças de atenção e na fronteira do MLP. Para o MLP, onde a não linearidade impede a absorção total das rotações, é empregada uma estrutura de rotação diagonal em blocos.
Proxy Diferenciável: Em vez de simular a quantização não diferenciável, os autores minimizam a norma $L_\infty$ das ativações rotacionadas, que dita o passo de quantização. Isso é aproximado usando uma função LogSumExp suave e diferenciável:
$L_{rot}(R) = \frac{1}{\beta} \log \left( \sum_i \exp(\beta |z_i|) \right), \quad z = \text{sg}(H) \cdot R$
Aqui, $H$ representa as ativações de fronteira, $R$ é a matriz de rotação e $\text{sg}(\cdot)$ é um operador de stop-gradient.
Separação de Perda: A perda total é definida como $L_{total} = L_{CE} + \lambda L_{rot}$ . O operador stop-gradient garante que o objetivo de modelagem de linguagem ( $L_{CE}$ ) atualize apenas os pesos do modelo, enquanto os parâmetros de rotação ( $R$ ) são atualizados exclusivamente pelo termo LogSumExp. Isso mantém os dois objetivos ortogonais.
Otimização: Para manter a ortogonalidade durante o gradiente descendente, as matrizes de rotação são parametrizadas via transformada de Cayley de uma matriz antissimétrica, garantindo que os parâmetros permançam no manifold $SO(d)$.

Principais Contribuições

Aprendizado de Base Durante o Treinamento: Ao contrário de trabalhos anteriores que otimizam rotações pós-treinamento, o GaugeQuant aprende a base ideal para quantização dinamicamente durante o processo de treinamento.
Sem Dados de Calibração: O método não requer conjuntos de dados de calibração estáticos, pois a supressão de outliers é impulsionada pelo próprio erro de treinamento.
Sobrecarga Desprezível: A abordagem adiciona um custo computacional mínimo ao treinamento e à inferência (limitado à aplicação em tempo de execução de rotações diagonais em blocos para MLPs).
Quebra de Simetria: Ele quebra explicitamente a simetria de gauge do transformer via um termo de perda específico para selecionar uma base única que minimize os outliers de ativação.

Resultados
Os autores avaliaram o GaugeQuant nos modelos Qwen-2.5 0B e LLaMA-2 7B usando o conjunto de dados WikiText-2.

W4A16 (pesos de 4 bits, ativações de 16 bits): No LLaMA-2 7B, a perplexidade caiu de 11.16 (baseline) para 5.45, uma redução de 51% na degradação induzida pela quantização.
W4A4 g128 (pesos e ativações de 4 bits, tamanho de grupo 128): No LLaMA-2 7B, a perplexidade melhorou de 8.22 para 6.73. No Qwen-2.5 0.5B, a perplexidade caiu de 187.8 para 61.2.
Comparação: O método compete com abordagens pós-treinamento como o SpinQuant, mas alcança esses resultados sem um modelo congelado ou conjunto de calibração. Um grupo de controle ajustado sem a perda de gauge não mostrou melhoria, confirmando que os ganhos se devem às rotações aprendidas.
Limitações: O método falha sob quantização rigorosa por token W4A4, onde os modelos colapsam independentemente da rotação, indicando que a quantização por grupo continua sendo necessária para uma inferência de 4 bits viável.

Significância e Alegações
O artigo afirma que o GaugeQuant demonstra que as simetrias contínuas nas arquiteturas transformer podem ser exploradas online durante o treinamento, em vez de apenas post-hoc. Os autores posicionam o método como complementar às técnicas de PTQ existentes; um modelo treinado com GaugeQuant poderia, posteriormente, ser refinado com métodos de pós-treinamento como o SpinQuant.

A significância reside na capacidade de produzir modelos "amigáveis à quantização" diretamente do processo de treinamento, eliminando a necessidade de etapas de calibração separadas. Os autores observam que o framework de gauge é generalizável além da quantização para qualquer restrição de hardware que quebre a simetria de rotação (ex: esparsidade estruturada ou formatos de precisão mista). No entanto, o artigo reconhece modestamente limitações, incluindo a dependência de rotações diagonais em blocos para MLPs (o que limita a redistribuição de outliers entre fronteiras de blocos) e o potencial do proxy LogSumExp para suprimir indiscriminadamente grandes ativações, possivelmente afetando a codificação de distinções finas. Experimentos estão atualmente limitados a modelos de 0.5B e 7B parâmetros.

O Artigo: GaugeQuant

O Que Eles Descobriram

O Que Eles Não Fazem (e O Que Ainda é Desconhecido)

Mais como este