🤖 machine learning

HARP: Hadamard-Preconditioned Adaptive Rotation Processor for Extreme LLM Quantization

HARP introduz um processador ortogonal estruturado de dois lados e aprendível que adapta a base de quantização a camadas específicas e dados de calibração, melhorando significativamente a precisão da quantização de LLMs em bits extremamente baixos (2-4 bits) em relação aos métodos Hadamard fixos, ao mesmo tempo que mantém a eficiência de implantação.

Autores originais: Artur Zagitov, Gleb Molodtsov, Aleksandr Beznosikov

Publicado 2026-05-29

📖 4 min de leitura☕ Leitura rápida

CC BY 4.0

Autores originais: Artur Zagitov, Gleb Molodtsov, Aleksandr Beznosikov

Artigo original sob licença CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta é uma explicação gerada por IA do artigo abaixo. Não foi escrita nem endossada pelos autores. Para precisão técnica, consulte o artigo original. Ler aviso legal completo

Imagine que você tem uma biblioteca massiva e incrivelmente detalhada (um Modelo de Linguagem de Grande Escala) que deseja levar no bolso. O problema é que os livros são pesados demais e as prateleiras largas demais para caberem em uma pequena bolsa. Para torná-la portátil, você decide reduzir os livros a anotações minúsculas e comprimidas. Isso é chamado de quantização.

No entanto, quando você encolhe esses livros demais (para apenas 2 ou 3 bits de informação), algumas páginas ficam amassadas ou perdidas. Essas "páginas amassadas" são chamadas de outliers — números extremamente importantes que são muito maiores que os demais. Se você tentar comprimir o livro inteiro usando um método padrão, esses outliers arruínam a compressão, tornando as anotações difíceis de ler.

O Jeito Antigo: A "Embaralhada Aleatória"

Anteriormente, cientistas usavam um truque chamado RHT (Transformada de Hadamard Randomizada). Pense nisso como pegar todas as páginas do seu livro, embaralhá-las aleatoriamente e, em seguida, comprimi-las.

O Bom: É rápido e espalha as páginas amassadas para que não fiquem todas esmagadas em um único ponto.
O Ruim: É uma embaralhada fixa. É como usar o mesmo padrão de embaralhamento aleatório para cada livro, independentemente de ser um livro de receitas, um romance ou um dicionário. Não se adapta à história específica dentro dele.

O Jeito Novo: HARP (O "Sastre Inteligente")

Os autores deste artigo introduzem o HARP (Processador de Rotação Adaptativa Pré-condicionado por Hadamard). Pense no HARP como um sastre inteligente que não usa apenas uma embaralhada genérica.

Ele Aprende o Ajuste: Em vez de uma embaralhada aleatória, o HARP examina a "forma" específica dos dados em cada camada do modelo (como examinar o tecido específico de uma camisa). Ele aprende a maneira perfeita de reorganizar os números para que se encaixem no espaço comprimido minúsculo sem perder detalhes importantes.
É uma Atualização de Encaixe Direto: A melhor parte é que o HARP começa parecendo exatamente com a antiga "Embaralhada Aleatória" (RHT). É como um terno que começa como um tamanho padrão de prateleira, mas possui zíperes ocultos e costuras ajustáveis. Assim que você o veste, o sastre (o processo de calibração) ajusta rapidamente o caimento para ficar perfeito para você. Isso significa que você pode substituir o método antigo pelo HARP sem reconstruir todo o sistema.
É Estruturado e Rápido: O HARP não faz apenas uma reorganização bagunçada e complexa. Ele usa um padrão de "borboleta" (uma maneira específica e eficiente de misturar coisas) que é matematicamente garantida como reversível e rápida. É como organizar uma biblioteca não jogando livros aleatoriamente em todos os lugares, mas usando um sistema de classificação altamente eficiente e pré-planejado que leva segundos.

O Que Acontece Quando Você o Usa?

O artigo testou isso em modelos que variam de pequenos (1 bilhão de parâmetros) a gigantes (70 bilhões de parâmetros).

Melhor Qualidade: Quando comprimiram os modelos para tamanhos extremos (2 a 4 bits), o HARP tornou os modelos "mais inteligentes" (menor perplexidade, maior precisão) do que o antigo método de embaralhada aleatória. Foi especialmente bom em salvar as "páginas amassadas" (outliers) que normalmente se perdem.
Ainda Rápido: Mesmo que o HARP aprenda um ajuste personalizado, ele não deixa o modelo mais lento. Na verdade, os modelos comprimidos com HARP ainda eram muito mais rápidos (128 tokens por segundo) do que os modelos originais, não comprimidos (61 tokens por segundo).
Versátil: Eles mostraram que o HARP funciona não apenas com uma ferramenta de compressão específica, mas pode ser inserido em diferentes sistemas de compressão (como o QTIP) e ainda assim melhorá-los.

A Conclusão

O HARP é uma ferramenta que pega a embaralhada aleatória "tamanho único" usada na compressão de IA e a transforma em um ajuste sob medida. Ele aprende a partir de uma pequena amostra de dados para encontrar a maneira perfeita de reorganizar os números antes de esmagá-los. O resultado é um modelo de IA menor e mais rápido que lê melhor e comete menos erros, tudo isso sem precisar reeducar todo o modelo do zero.

Resumo Técnico: HARP (Processador de Rotação Adaptativa Pré-condicionada por Hadamard)

1. Declaração do Problema

A quantização pós-treinamento (PTQ) é crítica para a implantação de Modelos de Linguagem de Grande Escala (LLMs) sob restrições de memória e largura de banda. No entanto, a quantização extrema de baixo bit (2–4 bits) enfrenta dois desafios principais:

Outliers de Ativação e Estatísticas de Cauda Pesada: Um pequeno subconjunto de coordenadas carrega massa de peso e sensibilidade à curvatura desproporcionais, causando erros severos de reconstrução quando quantizados.
Curvatura Anisotrópica dos Pesos: Quantizadores padrão (escalares ou vetoriais por bloco) performam mal quando a massa dos pesos ou direções sensíveis à curvatura se alinham com eixos de coordenadas específicos.

Soluções existentes dependem de Processamento de Incoerência, que aplica uma mudança de base ortogonal estruturada antes da quantização para distribuir a massa dos pesos entre as coordenadas. O padrão atual é a Transformada de Hadamard Randomizada (RHT). Embora a RHT seja rápida ( $O(d \log d)$ ) e exatamente ortogonal, ela é fixa. Ela não se adapta a:

Estatísticas específicas de camadas.
A distribuição dos dados de calibração.
A estrutura de blocos do quantizador a jusante.

Trabalhos recentes sugerem que aprender rotações de ponta a ponta melhora a qualidade, mas esses métodos frequentemente relaxam a natureza "plug-and-play" (drop-in) de pipelines de PTQ, alteram o modelo de precisão total ou introduzem custos computacionais excessivos para inferência. Existe uma lacuna para um processador que seja aprendível a partir de dados de calibração, permaneça uma mudança de base ortogonal exata (preservando o modelo de precisão total) e mantenha eficiência semelhante à de Hadamard.

2. Metodologia: HARP

Os autores propõem o HARP (Processador de Rotação Adaptativa Pré-condicionada por Hadamard), um processador ortogonal de dois lados aprendível, projetado para substituir a RHT fixa em pipelines de PTQ.

2.1 Arquitetura Central

O HARP parametriza a rotação ortogonal como um produto de estágios esparsos baseados em stride, imitando a estrutura de transformadas rápidas de Hadamard e borboleta.

Estrutura: Para uma dimensão $d$ , o HARP utiliza um agendamento de Misto-Raiz $\mathbf{b} = (b_0, \dots, b_{m-1})$ onde $\prod b_t = d$ .
Estágios: Cada estágio $t$ aplica uma matriz ortogonal em bloco-diagonal $\mathbf{B}_t$ a grupos de coordenadas, separados por permutações de stride.
Suporte a Misto-Raiz: Diferentemente das transformadas de Hadamard padrão limitadas a potências de dois, o HARP suporta dimensões arbitrárias (por exemplo, 5120) usando um agendamento de Misto-Raiz (por exemplo, $8, 8, 8, 5, 2$). Radizes que não são potências de dois utilizam um fallback ortogonal determinístico (fatoração QR de uma matriz Gaussiana fixa).

2.2 Pré-condicionamento por Hadamard e Inicialização

Uma inovação chave são os kernels de bloco pré-condicionados por Hadamard. Cada bloco aprendível $B_{t,c}$ é definido como:
$B_{t,c}(\theta) = Q_{t,c}(\theta) G_{b_t}$

$G_{b_t}$ é um misturador base fixo (Hadamard de Sylvester Normalizado para potências de dois, fallback QR caso contrário).
$Q_{t,c}(\theta)$ é uma matriz ortogonal aprendível (rotação de Givens para $b_t=2$ , mapa de Cayley para $b_t > 2$ ).

Inicialização: Todos os parâmetros aprendíveis $\Theta$ são inicializados em zero. Em $\Theta=0$ , $Q_{t,c}(0) = I$ , significando que $B_{t,c}(0) = G_{b_t}$ . Consequentemente, a transformação HARP recupera exatamente o processador RHT fixo (até uma convenção de permutação fixa) na inicialização. A calibração então aprende um refinamento ortogonal estruturado ao redor dessa forte linha de base.

2.3 Objetivo de Otimização

O HARP é ajustado por camada usando apenas dados de calibração. A otimização minimiza uma perda substituta alinhada com o quantizador por blocos implantado:

Reconstrução Ponderada pelo Hessiano Diagonal: Minimiza o erro entre o peso rotacionado e seu alvo de código por blocos, ponderado pela diagonal do proxy do Hessiano. Gradientes são interrompidos através da atribuição discreta do código para garantir estabilidade.
Penalidade de Energia de Hessiano Fora de Bloco: Um termo de regularização ( $R_{bd}$ ) penaliza a energia em blocos fora da diagonal do proxy do Hessiano, incentivando a rotação a alinhar a curvatura com a estrutura de blocos do quantizador.

A perda total é:
$\mathcal{L}_{fit}(\Theta) = \mathcal{L}_{diag}(\Theta) + \lambda_{bd} R_{bd}(\Theta_V)$

2.4 Eficiência de Implantação

Armazenamento: Os parâmetros do HARP podem ser armazenados no formato int8 com impacto mínimo na perplexidade.
Cálculo: O custo de aplicação é $O(d \log d)$ , semelhante à RHT. Os autores implementam kernels fundidos Triton para GPU para estágios de stride para evitar permutações materializadas, mantendo a sobrecarga de latência baixa.
Compatibilidade: O HARP é um substituto plug-and-play para a etapa de pré-processamento nos pipelines QuIP# e QTIP, não exigindo alterações no backend do quantizador ou no solucionador.

3. Contribuições Principais

Processador de Incoerência Aprendível: Introdução do HARP, um processador ortogonal de dois lados ajustado via dados de calibração que se adapta às estatísticas da camada e às estruturas de quantizadores de backend.
Compatibilidade Plug-and-Play: O HARP inicializa exatamente para o processador RHT fixo, garantindo que seja uma atualização transparente para pipelines de PTQ baseados em Hadamard existentes, sem exigir re-treinamento completo do modelo ou reconfiguração do grafo.
Eficiência Estruturada: A utilização de estágios semelhantes a borboleta de Misto-Raiz permite ortogonalidade exata e complexidade $O(d \log d)$ em dimensões que não são potências de dois, preservando as vantagens de vazão da inferência quantizada.
Validação Empírica: Demonstração de ganhos consistentes de qualidade (perplexidade e precisão zero-shot) sobre a RHT fixa em configurações de 2–4 bits em modelos variando de 1B a 70B parâmetros.

4. Resultados Experimentais

Os autores avaliaram o HARP em Llama 3.2 (1B, 3B) e Llama 2 (7B, 13B, 70B) usando o backend QuIP#.

Perplexidade (PPL): O HARP supera consistentemente a RHT fixa.
- 2-bit: Os ganhos são mais significativos aqui, onde a quantização é mais sensível. Para o Llama 2 7B, o HARP reduz a PPL do WikiText2 de 8,22 (RHT) para 7,23. Para o Llama 2 70B, cai de 4,16 para 4,01.
- 3-4 bit: As melhorias persistem, mas são menores em magnitude absoluta à medida que a linha de base se aproxima da precisão total.
Precisão Zero-Shot: O HARP melhora a precisão nas tarefas ARC-Challenge, ARC-Easy e WinoGrande, confirmando que os ganhos de perplexidade se traduzem em desempenho a jusante.
Latência e Vazão:
- Em uma NVIDIA RTX 5080, o HARP 2-bit alcança 128 tokens/seg para o Llama 2 7B, comparado a 61 tokens/seg para FP16.
- A sobrecarga de latência do HARP sobre a RHT fixa é modesta (por exemplo, 0,0078s vs 0,0070s por token para 2-bit 7B), preservando a maior parte da aceleração da quantização.
Portabilidade: Quando integrado ao QTIP (um backend diferente usando quantização codificada por treliça), o HARP novamente melhorou a perplexidade sobre a RHT fixa, demonstrando utilidade agnóstica ao backend.
Sobrecarga de Armazenamento: Usando armazenamento de parâmetros int8, o aumento efetivo de bits por parâmetro (BPP) é mínimo (por exemplo, 2,00 $\to$ 2,05 para 2-bit 7B), com impacto negligenciável na qualidade do modelo.

5. Significado e Alegações

O artigo afirma que o HARP aborda uma lacuna específica no cenário de PTQ: a necessidade de pré-processamento adaptativo que não sacrifique eficiência ou exatidão.

Adaptatividade vs. Fixo: Diferentemente da RHT fixa, o HARP adapta a base de rotação à estrutura específica da camada e do bloco do quantizador, reduzindo o erro de reconstrução em regimes de baixo bit extremo.
Exatidão vs. Aproximação: Diferentemente de alguns métodos de rotação aprendida que alteram o modelo de precisão total ou exigem treinamento de ponta a ponta, o HARP é uma mudança de base exata. O modelo de precisão total é preservado matematicamente; apenas o sistema de coordenadas exposto ao quantizador muda.
Eficiência vs. Custo: Diferentemente de rotações aprendidas densas ou modificações complexas de grafo (por exemplo, SpinQuant), o HARP mantém o custo computacional $O(d \log d)$ das transformadas de Hadamard, tornando-o prático para implantação de LLMs em grande escala.

Os autores posicionam o HARP não como um pipeline independente novo, mas como um módulo reutilizável que aprimora backends existentes baseados em Hadamard (como QuIP# e QTIP) aprendendo um refinamento estruturado ao redor de uma forte linha de base fixa. Os resultados sugerem que, para quantização de baixo bit extremo (2–3 bits), o custo de uma calibração única para aprender essas rotações vale bem a recuperação substancial na qualidade do modelo.