기술 요약: ORPQUANT – 곱셈기 없는 2 의 거듭제곱 트랜스포머 양자화를 위한 기하학적 직교 잔차 투영

1. 문제 제기

에지 장치에 대규모 언어 모델 (LLM) 과 비전 트랜스포머 (ViT) 를 배포하는 것은 하드웨어 곱셈 - 누적 (MAC) 유닛과 관련된 상당한 에너지 소비, 라우팅 복잡성, 타이밍 병목 현상으로 인한'곱셈기 과세 (multiplier tax)'에 의해 제한됩니다. 2 의 거듭제곱 (PoT) 양자화는 곱셈을 비트 시프트로 대체하여 하드웨어 효율적인 대안을 제공하지만, **낮은 각도 해상도 영역 (Low Angular Resolution Regime)**이라는 근본적인 기하학적 한계를 겪습니다.

PoT 양자화에서 이산 격자는 $arctan(2^k)$ 분포에 의해 지배되는 비균일한 격자입니다. 이는 양자화된 벡터의 방향이 특히 고차원 공간에서 원래의 연속 벡터와 크게 벗어나는'각도 간극 (Angular Gaps)'을 생성합니다. 스칼라 크기 오차는 예측 가능하고 수정 가능하지만, 이러한 각도 편차는 특징 다양체 (feature manifolds) 의 의미적 무결성을 훼손하여 초저비트 영역 (4 비트 미만) 에서 심각한 정확도 저하를 초래합니다. 기존 방법들은 종종 계산 비용이 많이 드는 경사 기반 최적화나 MAC 유닛으로의 런타임 디양자화에 의존하여, 타이밍 병목 현상을 완전히 제거하거나 PoT 격자에 내재된 기하학적 정렬 불일치를 해결하지 못합니다.

2. 방법론: 직교 잔차 투영 (ORP)

저자들은 양자화를 이중 기하학적 투영으로 재정의하는 알고리즘 - 하드웨어 공동 설계 프레임워크인 ORP를 제안합니다. 벡터를 단일 1 차원 PoT 격자에 매핑하는 대신, ORP 는 엄격한 시프트 - 덧셈 연산을 사용하여 방향성 오차를 포착하고 수정하는 2 차원 직교 부분 공간을 구성합니다.

핵심 프레임워크

ORP 파이프라인은 세 가지 분리된 단계로 구성됩니다:

1. 다양체 정렬 전처리 (Manifold-Aligned Preconditioning):
   활성화 이상치를 완화하기 위해, 보정 통계 (예: CV 의 RMS, LLM 의 최대 절대값) 에서 유도된 스무딩 스케일링 벡터를 사용하여 가중치를 전처리합니다. 이는 반복적인 재가중치 없이 출력 안정성을 지배하는 채널을 우선시하면서 유클리드 가중치 공간을 경험적 특징 다양체에 정렬합니다.

2. 기하학적 이산 기저 탐색:

   • 주 투영 ($b_1$): 하드웨어 제로 스킵 (zero-skipping) 을 위한 절대 영 상태 (zero-state) 를 보장하기 위해 가중치를 비대칭 PoT 격자 (예: 3 비트의 경우 $\{-1, -0.5, \dots, 0, \dots, 1\}$) 에 투영합니다.
   • 직교 잔차 추출: 잔차 벡터 $r_\perp$는 그람 - 슈미트 직교화를 통해 계산됩니다: $r_\perp = w_{proc} - \frac{\langle w_{proc}, b_1 \rangle}{\|b_1\|^2}b_1$.
   • 이차 기저 구성 ($b_2$): 손실된 방향성 정보를 포착하기 위해, ORP 는 $b_1$에 직교하는 이차 이산 기저 $b_2$를 구성합니다. 이는 **스트라이드 듀얼 - 교환 정리 (Strided Dual-Exchange Theorem)**를 통해 미세 블록 내에서 국소적 인덱스 치환과 부호 반전을 적용하여 직교 벡터를 생성함으로써 달성됩니다. 이 과정은 결정적이며 $O(N)$ 시간으로 작동하여 포괄적 탐색을 피합니다.

3. 데이터 기반 공동 스케일 최적화:
   이산 기저 ($b_1, b_2$) 가 고정되면, 연속 스케일링 계수 ($c_1, c_2$) 가 해결됩니다. 프레임워크는 두 가지 모드를 제공합니다:

   • GEO 모드 (기하학적 최적화): 보정 데이터 없이 유클리드 거리를 최소화하는 폐쇄형 해를 제공하며, 제로샷 배포에 적합합니다.
   • REF 모드 (활성화 인식 정제): 보정 입력에 대한 릿지 회귀를 사용하여 스케일을 최적화하여 특징 상관관계와 공간적 노이즈를 보상하면서도 이산 활성화 노이즈를 솔버에 임베딩하는 수치적 불안정성을 피합니다.

하드웨어 데이터 흐름

최종 추론 데이터 흐름은 선형 레이어 $Y = XW$를 곱셈기 없는 연산으로 변환합니다:
$$\hat{Y} = (s_x s_{c1}) [(\tilde{X}B_1)\text{diag}(\tilde{c}_1)] + (s_x s_{c2}) [(\tilde{X}B_2)\text{diag}(\tilde{c}_2)]$$
핵심 행렬 곱셈은 병렬 비트 시프트와 덧셈을 통해 실행되며, 스케일링 인자는 최종 누적 단계에서만 적용됩니다.

3. 주요 기여

• 기하학적 형식화: 이 논문은 극단적 PoT 양자화의'낮은 각도 해상도 영역'을 형식화하고, 경사 기반 최적화 없이 직교 이산 기저를 추출하기 위한 결정적 $O(N)$ 폐쇄형 해인 ORP 를 제안합니다.
• 보정 효율성: 확률적 반복 탐색을 분석적 솔버로 대체함으로써, ORP 는 LLaMA-2-7B 의 전체 모델 보정 시간을 (AWQ, SpinQuant 등의) 수 시간에서 단일 워크스테이션에서 약 15.1 분으로 단축합니다.
• 제로-MAC 제약 하의 경쟁력 있는 충실도: ORP 는 비대칭 스케일링이나 런타임 디양자화에 의존하지 않고 다양한 모달리티에서 신뢰할 수 있는 정확도를 달성합니다. LLaMA-2-13B(W4/A16) 에서 5.09의 퍼플렉시티와 ViT-Base(W4/A4) 에서 **79.54%**의 Top-1 정확도를 달성합니다.
• 하드웨어 검증: 28nm RTL 합성을 통해 저자들은 밀집된 곱셈기 트리를 병렬 시프트 - 덧셈 데이터 경로로 대체함으로써 임계 경로 지연을 0.35 ns로 줄여, 1.8 GHz 에서 이론적 클록 주파수 2.85 GHz와 3.33 TOPS/W의 에너지 효율을 가능하게 함을 입증했습니다.

4. 실험 결과

• 비전 트랜스포머 (ImageNet-1K): W3/A4 제약 하에서 ORP 는 ViT-B 에서 78.49% 의 Top-1 정확도를 달성하여 APQ-ViT(41.41%) 와 같은 4/4 비트 베이스라인을 능가하고, W3/A6 으로 전체 정밀도 성능 (80.32%) 에 근접합니다.
• LLM 성능 (LLaMA-2):
  • W3/A16: ORP 는 LLaMA-2-7B 에서 6.10 의 퍼플렉시티를 달성하여 AWQ(6.49) 를 능가하고 비대칭 스케일링 없이 4 비트 베이스라인 (5.66) 에 근접합니다.
  • W4/A16: LLaMA-2-13B 에서 5.09 의 퍼플렉시티를 달성합니다.
  • 제로샷 추론: GEO 모드는 다양한 추론 작업 (예: 3 비트에서 WinoGrande 에서 67.72%) 을 위한 강력한 기준선을 제공하며, REF 모드는 추가적인 정밀도 개선을 제공합니다.
• 하드웨어 지표: ORP 가속기는 AWQ 베이스라인의 0.90 ns 에 비해 0.35 ns 의 임계 경로 지연을 보여주어, 28nm 실리콘에서 이론적으로 2.85 GHz 로 작동할 수 있습니다.

5. 중요성과 주장

이 논문은 기하학적 원리를 실리콘 수준의 타이밍 효율성과 정렬함으로써 자원이 제한된 에지 장치에 대규모 기반 모델을 민첩하게 배포할 수 있는 실현 가능한 경로를 ORP 가 제공한다고 주장합니다.

• 알고리즘 효율성: 주요 중요성은 계산 집약적인 반복적 보정에서 결정적 분석적 솔버로의 전환에 있으며, 이는 신속한 현장 에지 적응을 가능하게 합니다.
• 하드웨어 시너지: 이 연구는 엄격한 하드웨어 제약 (곱셈기 없음, 시프트 - 덧셈) 이 표현 충실도의 타협을 필요로 하지 않음을 보여줍니다. 직교 잔차를 통해 기하학적'각도 간극'을 해결함으로써 ORP 는 곱셈 - 누적 집약적 베이스라인과 경쟁하는 성능을 달성합니다.
• 배포 유연성: 듀얼 트랙 패러다임 (GEO 대 REF) 은 실무자에게 즉각적이고 데이터가 없는 제로샷 추론과 데이터 기반 정밀도 사이의 유연한 선택지를 제공하여 보정 편향의 위험을 완화합니다.

궁극적으로 ORP 는 비대칭 스케일링, 런타임 디양자화, 또는 심층 곱셈기 트리에 의존하지 않고 극단적 양자화를 효과적으로 실현할 수 있음을 시사하며, 고성능 에지 지능을 위한 새로운 실행 패러다임을 제공합니다.