🤖 machine learning

OSAQ: Outlier Self-Absorption for Accurate Low-bit LLM Quantization

O artigo propõe o OSAQ, um método de quantização pós-treinamento sem treinamento que aproveita a propriedade de baixo posto do espaço nulo da Hessiana para construir uma transformação aditiva de pesos que suprime outliers e melhora significativamente a precisão da quantização de LLMs em baixos bits sem introduzir sobrecarga de inferência.

Autores originais: Zhikai Li, Zhen Dong, Xuewen Liu, Jing Zhang, Qingyi Gu

Publicado 2026-05-07

📖 4 min de leitura☕ Leitura rápida

CC BY 4.0

Autores originais: Zhikai Li, Zhen Dong, Xuewen Liu, Jing Zhang, Qingyi Gu

Artigo original sob licença CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta é uma explicação gerada por IA do artigo abaixo. Não foi escrita nem endossada pelos autores. Para precisão técnica, consulte o artigo original. Ler aviso legal completo

O Grande Problema: A "Mochila Pesada"

Imagine um Modelo de Linguagem de Grande Escala (LLM) como um estudante genial que sabe quase tudo. No entanto, esse estudante carrega uma mochila massiva cheia de milhões de livros pesados (parâmetros). Como a mochila é tão pesada, o estudante se move muito devagar e precisa de um quarto enorme para armazená-la. Isso torna o uso caro e lento em dispositivos comuns, como celulares ou laptops.

Para corrigir isso, os engenheiros tentam "encolher" a mochila resumindo os livros em anotações menores e mais simples. Isso é chamado de quantização. Em vez de escrever cada detalhe com alta precisão (como números de 32 bits), eles escrevem resumos mais grosseiros (como números de 2 bits ou 4 bits).

O Problema: A mochila não está cheia apenas de livros normais; ela tem alguns enormes e pesados pedregulhos escondidos dentro (chamados de outliers). Esses pedregulhos são tão pesados que arruínam a tentativa de encolher a mochila. Se você tentar comprimir toda a bolsa, esses pedregulhos forçam você a manter a bolsa enorme, ou o estudante começa a esquecer coisas (o modelo fica burro).

As Soluções Antigas: Esticar e Rotacionar

Métodos anteriores tentaram corrigir isso por meio de:

Esticar (Escala): Tentar puxar os pedregulhos para separá-los e fazê-los caber melhor.
Rotacionar: Girar toda a mochila para que os pedregulhos fiquem em um local diferente.

O artigo argumenta que, embora essas truques ajudem um pouco, eles não são suficientes. É como tentar encaixar um pedregulho em uma caixa pequena apenas esticando a caixa ou virando-a de lado. O pedregulho ainda está lá, e ainda causa problemas.

A Nova Solução: OSAQ (A "Esponja Mágica")

Os autores propõem um novo método chamado OSAQ (Outlier Self-Absorption). Em vez de esticar ou rotacionar, eles usam um truque inteligente baseado na estrutura interna da mochila.

1. As "Zonas Silenciosas" (O Espaço Nulo do Hessiano)

Os pesquisadores descobriram que, dentro da mochila, existem certas direções onde os pedregulhos não empurram de volta. Imagine que a mochila é feita de uma espuma especial. Se você empurrar a espuma na maioria das direções, ela resiste. Mas se você empurrar em "zonas silenciosas" específicas, a espuma oferece resistência zero.

Em termos matemáticos, eles encontraram um "Espaço Nulo" na estrutura de dados do modelo onde as mudanças não prejudicam a inteligência do modelo. É como encontrar um bolso secreto na mochila onde você pode mover itens pesados sem que a mochila sinta o peso.

2. O Truque da "Auto-Absorção"

O OSAQ funciona assim:

Identifica essas "zonas silenciosas" (o Espaço Nulo).
Pega os gigantes pedregulhos (outliers) e adiciona um pouco de "espuma mágica" a eles.
Como essa espuma é adicionada em uma "zona silenciosa", ela cancela o peso do pedregulho sem alterar o comportamento da mochila.
O pedregulho efetivamente desaparece (é "absorvido"), deixando para trás uma pilha lisa e uniforme de areia que é fácil de comprimir.

A Analogia: Imagine que você tem um travesseiro irregular com uma pedra dentro.

Método antigo: Tente apertar o travesseino com mais força (escala) ou virá-lo de lado (rotação). A pedra ainda o deixa irregular.
Método OSAQ: Você percebe que o travesseiro tem uma costura oculta onde pode deslizar um pedaço de argila macia. Você desliza a argila exatamente ao lado da pedra. A argila preenche o espaço e faz a pedra parecer parte do travesseiro macio. Agora, todo o travesseiro está liso e fácil de espremer em uma bolsinha minúscula.

Por Que Isso é uma Mudança de Jogo

Sem Trabalho Extra: A "espuma mágica" é adicionada diretamente às pedras dentro da mochila. Você não precisa mudar as alças ou as outras camadas da bolsa. É uma correção "plug-and-play".
Correção Instantânea: Você não precisa reeducar o estudante ou passar semanas ajustando a mochila. A matemática fornece a quantidade exata de espuma a ser adicionada em uma única etapa (uma "solução de forma fechada").
Resultados Superiores: Quando testado em compressão de 2 bits (tornando as anotações extremamente pequenas), o OSAQ tornou o modelo 40% mais inteligente (menor perplexidade) do que o melhor método anterior. É como encolher a mochila para o tamanho de uma carteira sem que o estudante perca nenhum de seu gênio.

Resumo

O artigo apresenta uma maneira de tornar os modelos de IA menores e mais rápidos, encontrando "zonas silenciosas" em seus dados onde podem suavizar os problemáticos "pedregulhos" (outliers) sem prejudicar o desempenho do modelo. É uma nova e eficiente maneira de comprimir a IA que funciona melhor do que apenas esticar ou rotacionar os dados.

Resumo Técnico: OSAQ – Autoabsorção de Outliers para Quantização Precisa de LLMs de Baixo Bit

1. Declaração do Problema

Os Modelos de Linguagem de Grande Escala (LLMs) enfrentam desafios significativos de implantação devido às suas escalas massivas de parâmetros, que resultam em alto consumo de memória e latência de inferência. A quantização pós-treinamento (PTQ), especificamente a quantização apenas de pesos, oferece uma solução ao reduzir o tamanho do modelo e aliviar os gargalos limitados pela memória. No entanto, um obstáculo persistente para a quantização precisa de baixo bit é a presença de outliers sistemáticos nos pesos do modelo. Esses outliers, caracterizados por grandes magnitudes, expandem a faixa numérica dos pesos, reduzindo assim a resolução da quantização e degradando o desempenho do modelo.

Os métodos existentes dependem principalmente de transformações multiplicativas (por exemplo, escalonamento ou rotação) entre camadas adjacentes para mitigar outliers. Embora abordagens como GPTQ (usando informações do Hessiano), AWQ (escalamento consciente da ativação) e QuIP (rotação ortogonal) tenham feito progressos, o artigo argumenta que confiar exclusivamente em paradigmas multiplicativos é fundamentalmente inadequado para alcançar desempenho satisfatório em configurações de ultra-baixo bit (por exemplo, 2 bits ou 3 bits).

2. Metodologia: Quantização de Autoabsorção de Outliers (OSAQ)

Os autores propõem o OSAQ, um método inovador que introduz uma transformação aditiva de pesos guiada pelas propriedades de baixo posto de segunda ordem da matriz Hessiana. Diferentemente dos métodos anteriores que exigem ajustes entre camadas, o OSAQ opera como um mecanismo de "autoabsorção" que modifica pesos dentro de uma única camada sem afetar camadas vizinhas.

Componentes Técnicos Principais:

Consistência de Baixo Posto do Hessiano:
O método baseia-se na observação de que o Hessiano da perda da tarefa em relação aos pesos da camada exibe uma pronunciada propriedade de baixo posto através de diferentes entradas. Especificamente, certas direções no espaço de pesos consistentemente mostram curvatura desaparecente (autovalores próximos de zero). Essas direções formam um espaço nulo estável que permanece consistente independentemente da amostra de entrada.
Transformação Aditiva Invariante à Perda:
Aproveitando o espaço nulo, o OSAQ constrói uma perturbação aditiva $\Delta W$ tal que a transformação $W' = W + \Delta W$ garante que a perturbação de segunda ordem da perda da tarefa permaneça zero ( $\Delta w^T H_w \Delta w = 0$ ). Isso assegura que o desempenho do modelo na tarefa original seja preservado enquanto os pesos são modificados.
Extração do Espaço Nulo:
O Hessiano $H_w$ é aproximado e decomposto via decomposição de autovalores. Para lidar com casos em que os autovalores não são exatamente zero, é empregada uma estratégia de energia de cauda. A dimensão do espaço nulo $K$ é determinada acumulando os menores autovalores até que um limiar de energia predefinido $\gamma$ seja atingido. A matriz resultante $N$ representa o espaço nulo estável.
Otimização de Coeficientes via Aproximação Softmax- $\infty$ :
O objetivo é encontrar uma matriz de coeficientes $\beta$ tal que $\Delta W = \beta N$ minimize a faixa numérica (especificamente a norma $\ell_\infty$ ) dos pesos transformados para suprimir outliers.
- Como a norma $\ell_\infty$ é não diferenciável, os autores empregam uma aproximação Softmax- $\infty$ . Isso envolve aplicar uma operação softmax ao longo da dimensão do canal de saída com um coeficiente de temperatura $\tau$ . À medida que $\tau \to 0$ , isso aproxima a norma $\ell_\infty$ enquanto permanece diferenciável.
- O objetivo de otimização inclui um termo de regularização $\ell_2$ para prevenir correções excessivas e uma restrição anti-deslocamento para penalizar traduções uniformes.
- Crucialmente, essa otimização produz uma solução de forma fechada para os coeficientes $\beta$ via uma equação normal, eliminando a necessidade de treinamento intensivo em recursos ou procedimentos iterativos.

3. Contribuições Principais

Paradigma Inovador: O artigo introduz uma estratégia de transformação aditiva para supressão de outliers, complementando as abordagens multiplicativas existentes (escalamento/rotação). Opera independentemente dentro de uma camada, não exigindo transformações entre camadas ou sobrecarga de inferência.
Insight Teórico: Identifica e explora a consistência de baixo posto do espaço nulo do Hessiano através das entradas, fornecendo um subespaço estável para a construção de ajustes de pesos invariantes à perda.
Construção Eficiente: O método deriva os coeficientes de transformação ótimos em forma fechada usando uma aproximação diferenciável Softmax- $\infty$ , evitando otimização iterativa ou retreinamento.
Compatibilidade Plug-and-Play: O OSAQ é projetado para ser integrado com métodos PTQ existentes (por exemplo, GPTQ, AWQ) para aprimorar ainda mais o desempenho de baixo bit.

4. Resultados Experimentais

Extensos experimentos foram conduzidos em vários LLMs (LLaMA2, LLaMA3, Mistral-Large, Llama-3.1) em tarefas de geração de linguagem e QA de senso comum.

Redução de Perplexidade: Na quantização de 2 bits, o OSAQ integrado ao GPTQ alcançou mais de 40% de redução na perplexidade em comparação com o GPTQ puro no LLaMA2-7B. Por exemplo, no WikiText2, o OSAQ+GPTQ reduziu a perplexidade de 36,8 para 21,2 (e ainda mais para 10,6 com iterações de descida de coordenada) para o LLaMA2-7B.
Melhorias de Precisão:
- Commonsense QA: No LLaMA3-8B (2 bits), o OSAQ+GPTQ melhorou a precisão média zero-shot de 38,3% para 44,4% (e 51,7% com iterações).
- MMLU: Para o LLaMA2-7B (4 bits), o OSAQ+GPTQ elevou a pontuação média de 38,7% para 39,6%.
- Modelos Grandes: O método permaneceu eficaz em modelos massivos ajustados por instrução (123B e 405B parâmetros), superando o GPTQ puro nos benchmarks MMLU e ARC.
Robustez: Estudos de ablação confirmaram que a transformação aditiva tem um impacto negligenciável em modelos de precisão total (FP16) e que o espaço nulo permanece estável através de diferentes lotes de entrada. O método também demonstrou robustez em relação às escolhas de hiperparâmetros (por exemplo, limiar de energia de cauda $\gamma$ , temperatura $\tau$ ).

5. Significado e Alegações

O artigo alega que o OSAQ representa um passo significativo para a frente na quantização de LLMs de baixo bit ao abordar a limitação fundamental dos paradigmas exclusivamente multiplicativos. Ao explorar as propriedades geométricas intrínsecas da paisagem de perda (espaço nulo do Hessiano), o OSAQ fornece um mecanismo computacionalmente eficiente e livre de treinamento para suprimir outliers.

Os autores enfatizam que essa abordagem:

Preserva a Perda da Tarefa: A transformação é matematicamente garantida para manter a perturbação de perda de segunda ordem em zero.
Não Introduz Sobrecarga: A transformação é absorvida offline nos pesos, não exigindo alterações no pipeline de inferência ou camadas adicionais.
Escalabilidade: É aplicável a modelos que variam de 7B a 405B parâmetros e integra-se perfeitamente com algoritmos de quantização de última geração.

O trabalho sugere que explorar transformações aditivas baseadas em propriedades de segunda ordem oferece uma rota promissora e complementar para alcançar quantização precisa de baixo bit para modelos de linguagem em grande escala.