Resumo Técnico: ORPQUANT – Projeção de Resíduo Ortogonal Geométrica para Quantização de Transformers sem Multiplicadores e em Potências de Dois

1. Declaração do Problema

A implantação de Modelos de Linguagem de Grande Escala (LLMs) e Vision Transformers (ViTs) em dispositivos de borda é limitada pelo "imposto do multiplicador"—o consumo significativo de energia, a complexidade de roteamento e os gargalos de temporização associados às unidades de Hardware Multiply-Accumulate (MAC). Embora a quantização em Potências de Dois (PoT) ofereça uma alternativa eficiente em hardware, substituindo a multiplicação por deslocamentos de bits, ela sofre de uma limitação geométrica fundamental: o Regime de Baixa Resolução Angular.

Na quantização PoT, o reticulado discreto é não uniforme, governado por uma distribuição $arctan(2^k)$. Isso cria "Lacunas Angulares" onde a orientação dos vetores quantizados desvia significativamente dos vetores contínuos originais, particularmente em espaços de alta dimensão. Diferentemente dos erros de magnitude escalar, que são previsíveis e corrigíveis, essas desvios angulares comprometem a integridade semântica dos variedades de características, levando a uma degradação severa da precisão em regimes de bits ultra-baixos (sub-4-bit). Métodos existentes frequentemente dependem de otimização baseada em gradiente computacionalmente cara ou de desquantização em tempo de execução para unidades MAC, falhando em eliminar totalmente os gargalos de temporização ou abordar o desalinhamento geométrico inerente aos reticulados PoT.

2. Metodologia: Projeção de Resíduo Ortogonal (ORP)

Os autores propõem ORP, um framework de co-design algoritmo-hardware que reformula a quantização como uma projeção geométrica de base dupla. Em vez de mapear vetores para um único reticulado PoT 1D, o ORP constrói um subespaço ortogonal 2D para capturar e corrigir erros direcionais usando estritamente operações de deslocamento e adição.

Framework Central

O pipeline ORP consiste em três estágios desacoplados:

1. Pré-condicionamento Alinhado ao Variedade:
   Para mitigar outliers de ativação, os pesos são pré-condicionados usando um vetor de escala de suavização derivado de estatísticas de calibração (por exemplo, RMS para CV, valor absoluto máximo para LLMs). Isso alinha o espaço euclidiano dos pesos com o variedade de características empírico, priorizando canais que dominam a estabilidade da saída sem re-pesagem iterativa.

2. Busca de Base Discreta Geométrica:

   • Projeção Primária ($b_1$): Os pesos são projetados em um reticulado PoT assimétrico (por exemplo, $\{-1, -0.5, \dots, 0, \dots, 1\}$ para 3-bit) para garantir um estado zero absoluto para a eliminação de zeros em hardware.
   • Extração de Resíduo Ortogonal: O vetor residual $r_\perp$ é calculado via ortogonalização de Gram-Schmidt: $r_\perp = w_{proc} - \frac{\langle w_{proc}, b_1 \rangle}{\|b_1\|^2}b_1$.
   • Construção de Base Secundária ($b_2$): Para capturar a informação direcional perdida, o ORP constrói uma base discreta secundária $b_2$ ortogonal a $b_1$. Isso é alcançado via o Teorema de Dupla Troca com Passos, que gera um vetor ortogonal aplicando permutações de índices localizadas e inversões de sinal dentro de micro-blocos. Este processo é determinístico e opera em tempo $O(N)$, evitando busca exaustiva.

3. Otimização Conjunta de Escala Orientada a Dados:
   Uma vez fixas as bases discretas ($b_1, b_2$), os coeficientes de escala contínuos ($c_1, c_2$) são resolvidos. O framework oferece dois modos:

   • Modo GEO (Otimização Geométrica): Uma solução de forma fechada que minimiza a distância euclidiana sem dados de calibração, adequada para implantação zero-shot.
   • Modo REF (Refinamento Consciente de Ativação): Usa regressão Ridge em entradas de calibração para otimizar as escalas, compensando correlações de características e ruído espacial enquanto evita a instabilidade numérica de incorporar ruído de ativação discreto no solucionador.

Fluxo de Dados de Hardware

O fluxo de dados final de inferência transforma a camada linear $Y = XW$ em uma operação sem multiplicadores:
$$\hat{Y} = (s_x s_{c1}) [(\tilde{X}B_1)\text{diag}(\tilde{c}_1)] + (s_x s_{c2}) [(\tilde{X}B_2)\text{diag}(\tilde{c}_2)]$$
As multiplicações matriciais centrais são executadas via deslocamentos de bits paralelos e adições, com fatores de escala aplicados apenas na etapa final de acumulação.

3. Contribuições Principais

• Formalização Geométrica: O artigo formaliza o "Regime de Baixa Resolução Angular" da quantização PoT extrema e propõe o ORP como uma solução determinística, de forma fechada e $O(N)$ para extrair bases discretas ortogonais sem otimização baseada em gradiente.
• Eficiência de Calibração: Ao substituir buscas iterativas estocásticas por um solucionador analítico, o ORP reduz o tempo de calibração de modelo completo para LLaMA-2-7B de horas (por exemplo, AWQ, SpinQuant) para aproximadamente 15,1 minutos em uma única estação de trabalho.
• Fidelidade Competitiva sob Restrições de Zero-MAC: O ORP alcança precisão confiável em diversas modalidades sem depender de escala assimétrica ou desquantização em tempo de execução. Alcança uma perplexidade de 5,09 no LLaMA-2-13B (W4/A16) e 79,54% de precisão Top-1 no ViT-Base (W4/A4).
• Validação de Hardware: Através de síntese RTL em 28nm, os autores demonstram que substituir árvores de multiplicadores densas por um caminho de dados paralelo de deslocamento e adição reduz o atraso do caminho crítico para 0,35 ns, permitindo uma frequência de relógio teórica de 2,85 GHz e uma eficiência energética de 3,33 TOPS/W a 1,8 GHz.

4. Resultados Experimentais

• Vision Transformers (ImageNet-1K): Sob restrições W3/A4, o ORP alcança 78,49% de precisão Top-1 no ViT-B, superando baselines de 4/4-bit como APQ-ViT (41,41%) e aproximando-se do desempenho de precisão total (80,32%) com W3/A6.
• Desempenho de LLM (LLaMA-2):
  • W3/A16: O ORP alcança uma perplexidade de 6,10 no LLaMA-2-7B, superando o AWQ (6,49) e aproximando-se da baseline de 4-bit (5,66) sem exigir escala assimétrica.
  • W4/A16: Alcança perplexidade de 5,09 no LLaMA-2-13B.
  • Raciocínio Zero-Shot: O modo GEO fornece uma baseline robusta para diversas tarefas de raciocínio (por exemplo, 67,72% no WinoGrande a 3-bit), enquanto o modo REF oferece melhorias adicionais de precisão.
• Métricas de Hardware: O acelerador ORP exibe um atraso de caminho crítico de 0,35 ns comparado a 0,90 ns para baselines AWQ, permitindo teoricamente operação a 2,85 GHz em silício de 28nm.

5. Significado e Alegações

O artigo alega que o ORP oferece um caminho viável para a implantação ágil de grandes modelos fundamentais em dispositivos de borda com recursos limitados, alinhando princípios geométricos com eficiência de temporização em nível de silício.

• Eficiência Algorítmica: O significado primário reside na mudança de calibração iterativa computacionalmente intensiva para um solucionador analítico determinístico, permitindo adaptação rápida em tempo real na borda.
• Sinergia de Hardware: O trabalho demonstra que restrições de hardware estritas (sem multiplicadores, deslocamento e adição) não necessitam de um trade-off na fidelidade representacional. Ao abordar a "Lacuna Angular" geométrica através de resíduos ortogonais, o ORP alcança desempenho competitivo com baselines intensivas em MAC.
• Flexibilidade de Implantação: O paradigma de dupla via (GEO vs. REF) fornece aos praticantes uma escolha flexível entre raciocínio zero-shot instantâneo e sem dados e precisão orientada a dados, mitigando os riscos de viés de calibração.

Em última análise, o ORP sugere que a quantização extrema pode ser realizada efetivamente sem depender de escala assimétrica, desquantização em tempo de execução ou árvores profundas de multiplicadores, oferecendo um novo paradigma de execução para inteligência de borda de alto rendimento.