🤖 machine learning

HARP: Hadamard-Preconditioned Adaptive Rotation Processor for Extreme LLM Quantization

HARP 은 특정 계층과 보정 데이터에 양자화 기저를 적응시키는 학습 가능한 구조화된 양측 직교 프로세서를 도입하여 고정된 하다마르 방법 대비 극저비트 (2~4 비트) LLM 양자화의 정확도를 크게 향상시키면서도 배포 효율성을 유지합니다.

원저자: Artur Zagitov, Gleb Molodtsov, Aleksandr Beznosikov

게시일 2026-05-29

📖 3 분 읽기☕ 가벼운 읽기

CC BY 4.0

원저자: Artur Zagitov, Gleb Molodtsov, Aleksandr Beznosikov

원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

상상해 보세요. 거대하고 놀라울 정도로 상세한 도서관(대규모 언어 모델)을 주머니에 넣고 다니고 싶다고 가정해 봅시다. 문제는 책들이 너무 무겁고 책장들이 너무 넓어 작은 가방에 들어가지 않는다는 점입니다. 이를 휴대 가능하게 만들기 위해 책들을 작고 압축된 메모로 줄이기로 결정합니다. 이를 양자화 (quantization) 라고 합니다.

하지만 이러한 책들을 너무 많이 줄이면 (정보를 2 비트 또는 3 비트로만 줄이면) 몇 페이지가 구겨지거나 사라집니다. 이러한 "구겨진 페이지"를 아웃라이어 (outliers) 라고 부르며, 이는 나머지 숫자보다 훨씬 큰 매우 중요한 숫자들입니다. 표준 방법을 사용하여 책 전체를 압축하려고 하면 이러한 아웃라이어들이 압축을 망쳐 메모를 읽기 어렵게 만듭니다.

구식 방법: "무작위 셔플"

과거 과학자들은 RHT(Randomized Hadamard Transform, 무작위 할라마드 변환) 라는 트릭을 사용했습니다. 이는 책의 모든 페이지를 가져와 무작위로 섞은 다음 압축하는 것과 같습니다.

장점: 빠르며 구겨진 페이지들이 한곳에 모두 찌그러지지 않도록 분산시킵니다.
단점: 이는 고정된 셔플입니다. 요리책이든, 소설이든, 사전이든 모든 책에 대해 동일한 무작위 셔플 패턴을 사용하는 것과 같습니다. 책 내부의 특정 이야기에 적응하지 못합니다.

신식 방법: HARP(스마트 재단사)

이 논문의 저자들은 HARP(Hadamard-preconditioned Adaptive Rotation Processor, 할라마드 전처리 적응형 회전 프로세서) 를 소개합니다. HARP 는 단순한 범용 셔플을 사용하지 않는 스마트 재단사와 같습니다.

맞춤형 핏 학습: 무작위 셔플 대신 HARP 는 모델의 각 레이어에 있는 데이터의 특정 "형태"(셔츠의 특정 원단을 살펴보는 것과 같음) 를 살펴봅니다. 중요한 세부 사항을 잃지 않고 작은 압축 공간에 들어맞도록 숫자를 재배열하는 완벽한 방법을 학습합니다.
바로 교체 가능한 업그레이드: 가장 좋은 점은 HARP 가 처음에는 기존의 "무작위 셔플"(RHT) 과 정확히 동일하게 보인다는 것입니다. 이는 표준 오프더랙 사이즈로 시작하지만 숨겨진 지퍼와 조절 가능한 솔기가 있는 정장과 같습니다. 이를 입으면 재단사(보정 과정) 가 즉시 핏을 당신에게 완벽하게 맞춰줍니다. 이는 전체 시스템을 다시 구축하지 않고도 기존 방법을 HARP 로 교체할 수 있음을 의미합니다.
구조화되고 빠름: HARP 는 messy 한 복잡한 재배열을 수행하지 않습니다. 수학적으로 역전 가능하고 빠르다는 것이 보장된 "나비 (butterfly)" 패턴(물건을 섞는 특정 효율적인 방법) 을 사용합니다. 이는 책을 무작위로 여기저기 던지는 것이 아니라, 몇 초 만에 이루어지는 매우 효율적이고 사전 계획된 정렬 시스템을 사용하여 도서관을 정리하는 것과 같습니다.

이를 사용하면 어떤 일이 일어날까요?

이 논문은 10 억 개 파라미터의 작은 모델부터 700 억 개 파라미터의 거대 모델까지 다양한 모델을 테스트했습니다.

더 나은 품질: 모델을 2~4 비트와 같은 극단적인 크기로 압축했을 때, HARP 는 기존 무작위 셔플 방법보다 모델을 "더 똑똑하게"(더 낮은 퍼플렉시티, 더 높은 정확도) 만들었습니다. 특히 일반적으로 손실되는 "구겨진 페이지"(아웃라이어) 를 보존하는 데 특히 뛰어났습니다.
여전히 빠름: HARP 가 맞춤형 핏을 학습하더라도 모델의 속도를 늦추지 않습니다. 사실, HARP 가 적용된 압축 모델은 원래의 압축되지 않은 모델 (초당 61 개 토큰) 보다 훨씬 더 빠릅니다(초당 128 개 토큰).
다용도성: HARP 는 특정 압축 도구와만 작동하는 것이 아니라 QTIP 와 같은 다양한 압축 시스템에 교체되어 삽입될 수 있으며 여전히 성능을 향상시킬 수 있음을 보여주었습니다.

결론

HARP 는 AI 압축에 사용되는 "일률적"인 무작위 셔플을 맞춤형 핏으로 변환하는 도구입니다. 숫자를 압축하기 전에 재배열하는 완벽한 방법을 찾기 위해 소량의 데이터 샘플에서 학습합니다. 그 결과, 전체 모델을 처음부터 다시 학습시킬 필요 없이 더 작고 빠르며 읽기 좋고 실수가 적은 AI 모델이 만들어집니다.

기술 요약: HARP (Hadamard-Preconditioned Adaptive Rotation Processor)

1. 문제 제기

포스트 트레이닝 양자화 (PTQ) 는 메모리 및 대역폭 제약 하에서 대규모 언어 모델 (LLM) 을 배포하는 데 필수적입니다. 그러나 극단적인 저비트 양자화 (2~4 비트) 는 두 가지 주요 난관에 직면해 있습니다:

활성화 이상치 및 heavy-tailed 통계: 소수의 좌표가 불균형적으로 큰 가중치 질량과 곡률 민감도를 지녀, 양자화 시 심각한 재구성 오류를 유발합니다.
비등방성 가중치 곡률: 표준 양자화기 (스칼라 또는 블록 단위 벡터) 는 가중치 질량이나 곡률 민감 방향이 특정 좌표 축과 정렬될 때 성능이 저하됩니다.

기존 솔루션은 양자화 전에 구조화된 직교 기저 변환을 적용하여 가중치 질량을 좌표 간에 분산시키는 비간섭성 처리 (Incoherence Processing) 에 의존합니다. 현재 표준은 무작위화 하데마르 변환 (RHT) 입니다. RHT 는 빠르고 ( $O(d \log d)$ ) 정확히 직교하지만 고정되어 있습니다. 이는 다음에 적응하지 않습니다:

특정 레이어 통계.
보정 데이터 분포.
하류 양자화기의 블록 구조.

최근 연구는 엔드 투 엔드 학습을 통한 회전 학습이 품질을 향상시킨다고 제안하지만, 이러한 방법들은 종종 PTQ 파이프라인의 '플러그인 (drop-in)' 특성을 훼손하거나, 정밀 모델 전체를 변경하거나, 추론에 너무 높은 계산 비용을 초래합니다. 따라서 보정 데이터로부터 학습 가능하고, 정확한 직교 기저 변환으로 남아 정밀 모델을 보존하며, 하데마르와 유사한 효율성을 유지하는 프로세서에 대한 공백이 존재합니다.

2. 방법론: HARP

저자들은 PTQ 파이프라인에서 고정된 RHT 를 대체하도록 설계된, 학습 가능한 양측 직교 프로세서인 HARP(Hadamard-Preconditioned Adaptive Rotation Processor) 를 제안합니다.

2.1 핵심 아키텍처

HARP 는 빠른 하데마르 및 버터플라이 변환의 구조를 모방하는 희소 스트라이드 기반 단계의 곱으로 직교 회전을 매개변수화합니다.

구조: 차원 $d$ 에 대해 HARP 는 $\prod b_t = d$ 인 혼합 기수 (Mixed-Radix) 스케줄 $\mathbf{b} = (b_0, \dots, b_{m-1})$ 을 사용합니다.
단계: 각 단계 $t$ 는 스트라이드 순열로 분리된 좌표 그룹에 블록 대각 직교 행렬 $\mathbf{B}_t$ 를 적용합니다.
혼합 기수 지원: 2 의 거듭제곱으로 제한된 표준 하데마르 변환과 달리, HARP 는 혼합 기수 스케줄 (예: $8, 8, 8, 5, 2$) 을 사용하여 임의의 차원 (예: 5120) 을 지원합니다. 2 의 거듭제곱이 아닌 기수는 고정된 가우시안 행렬의 QR 분해와 같은 결정론적 직교 대체 수단을 활용합니다.

2.2 하데마르 전조건부 및 초기화

핵심 혁신은 하데마르 전조건부 블록 커널입니다. 각 학습 가능한 블록 $B_{t,c}$ 는 다음과 같이 정의됩니다:
$B_{t,c}(\theta) = Q_{t,c}(\theta) G_{b_t}$

$G_{b_t}$ 는 고정된 기본 믹서입니다 (2 의 거듭제곱인 경우 정규화된 실베스터 하데마르, 그 외의 경우 QR 대체 수단).
$Q_{t,c}(\theta)$ 는 학습 가능한 직교 행렬입니다 ( $b_t=2$ 인 경우 기브스 회전, $b_t > 2$ 인 경우 케일리 맵).

초기화: 모든 학습 가능한 매개변수 $\Theta$ 는 0 으로 초기화됩니다. $\Theta=0$ 에서 $Q_{t,c}(0) = I$ 이므로, $B_{t,c}(0) = G_{b_t}$ 가 됩니다. 결과적으로 HARP 변환은 초기화 시 고정된 RHT 프로세서를 (고정된 순열 관례까지) 정확히 복원합니다. 보정은 이 강력한 기준선 주변에서 구조화된 직교 정교화를 학습합니다.

2.3 최적화 목적 함수

HARP 는 보정 데이터만을 사용하여 레이어별로 적합됩니다. 최적화는 배포된 블록 단위 양자화기와 정렬된 대리 손실 (surrogate loss) 을 최소화합니다:

대각 헤시안 가중 재구성: 헤시안 프록시의 대각선으로 가중된, 회전된 가중치와 블록 단위 코드북 목표 간의 오차를 최소화합니다. 안정성을 보장하기 위해 이산 코드북 할당을 통한 그래디언트 흐름을 차단합니다.
블록 외 헤시안 에너지 패널티: 정규화 항 ( $R_{bd}$ ) 은 헤시안 프록시의 비대각 블록 내 에너지를 패널티하여, 회전이 양자화기의 블록 구조와 정렬되도록 유도합니다.

총 손실은 다음과 같습니다:
$\mathcal{L}_{fit}(\Theta) = \mathcal{L}_{diag}(\Theta) + \lambda_{bd} R_{bd}(\Theta_V)$

2.4 배포 효율성

저장: HARP 매개변수는 perplexity 에 미치는 영향이 미미한 int8 형식으로 저장할 수 있습니다.
연산: 적용 비용은 RHT 와 유사한 $O(d \log d)$ 입니다. 저자들은 물질화된 순열을 피하고 지연 시간 오버헤드를 낮게 유지하기 위해 스트라이드 단계를 위한 퓨즈드 Triton GPU 커널을 구현했습니다.
호환성: HARP 는 QuIP# 및 QTIP 파이프라인의 전처리 단계를 위한 플러그인 대체재로, 양자화기 백엔드나 솔버에 변경 사항이 필요 없습니다.

3. 주요 기여

학습 가능한 비간섭성 프로세서: 레이어 통계와 백엔드 양자화기 구조에 적응하도록 보정 데이터를 통해 적합된 양측 직교 프로세서인 HARP 도입.
플러그인 호환성: HARP 는 고정된 RHT 프로세서로 정확히 초기화되어, 전체 모델 재학습이나 그래프 재배선이 필요 없이 기존 하데마르 기반 PTQ 파이프라인을 위한 원활한 업그레이드를 보장합니다.
구조화된 효율성: 혼합 기수 버터플라이 유사 단계를 활용하여 2 의 거듭제곱이 아닌 차원에서도 정확한 직교성과 $O(d \log d)$ 복잡도를 가능하게 하여, 양자화 추론의 처리량 장점을 보존합니다.
경험적 검증: 1B 에서 70B 파라미터에 이르는 모델에서 2~4 비트 설정을 통해 고정된 RHT 대비 일관된 품질 향상 (perplexity 및 제로샷 정확도) 입증.

4. 실험 결과

저자들은 QuIP# 백엔드를 사용하여 Llama 3.2(1B, 3B) 및 Llama 2(7B, 13B, 70B) 에서 HARP 를 평가했습니다.

Perplexity (PPL): HARP 는 고정된 RHT 보다 일관되게 우월한 성능을 발휘합니다.
- 2 비트: 양자화가 가장 민감한此处에서 개선이 가장 큽니다. Llama 2 7B 의 경우, HARP 는 WikiText2 PPL 을 8.22(RHT) 에서 7.23 으로 낮춥니다. Llama 2 70B 의 경우 4.16 에서 4.01 로 감소합니다.
- 3~4 비트: 기준선이 정밀도에 가까워짐에 따라 절대적 크기는 작아지지만 개선은 지속됩니다.
제로샷 정확도: HARP 는 ARC-Challenge, ARC-Easy, WinoGrande 작업에서 정확도를 향상시켜, perplexity 개선이 하류 성능으로 전환됨을 확인합니다.
지연 시간 및 처리량:
- NVIDIA RTX 5080 에서 2 비트 HARP 는 Llama 2 7B 에 대해 초당 128 토큰을 달성하며, FP16 의 61 토크/초와 비교됩니다.
- 고정된 RHT 대비 HARP 의 지연 시간 오버헤드는 미미합니다 (예: 2 비트 7B 기준 토큰당 0.0078 초 vs 0.0070 초), 양자화 속도 향상의 대부분을 보존합니다.
이식성: QTIP(트레리스 부호화 양자화를 사용하는 다른 백엔드) 에 통합되었을 때, HARP 는 다시 한번 고정된 RHT 보다 perplexity 를 개선하여 백엔드 무관한 유용성을 입증했습니다.
저장 오버헤드: int8 매개변수 저장을 사용할 경우, 유효 비트당 파라미터 (BPP) 증가는 미미합니다 (예: 2 비트 7B 의 경우 2.00 $\to$ 2.05), 모델 품질에 미치는 영향은 무시할 수 있습니다.

5. 중요성 및 주장

본 논문은 HARP 가 PTQ 환경의 특정 공백, 즉 효율성이나 정확성을 희생하지 않는 적응형 전처리의 필요성을 해결한다고 주장합니다.

적응성 vs 고정: 고정된 RHT 와 달리 HARP 는 특정 레이어와 양자화기 블록 구조에 맞춰 회전 기저를 적응시켜 극단적 저비트 영역에서의 재구성 오류를 줄입니다.
정확성 vs 근사: 정밀 모델을 변경하거나 엔드 투 엔드 학습을 요구하는 일부 학습된 회전 방법과 달리, HARP 는 정확한 기저 변환입니다. 정밀 모델은 수학적으로 보존되며, 양자화에 노출되는 좌표계만 변경됩니다.
효율성 vs 비용: 밀집된 학습된 회전이나 복잡한 그래프 수정 (예: SpinQuant) 과 달리 HARP 는 하데마르 변환의 $O(d \log d)$ 계산 비용을 유지하여 대규모 LLM 배포에 실용적입니다.

저자들은 HARP 를 새로운 독립형 파이프라인이 아닌, 기존 하데마르 기반 백엔드 (QuIP# 및 QTIP 등) 를 강화하는 재사용 가능한 모듈로 위치시킵니다. 이는 강력한 고정 기준선 주변에서 구조화된 정교화를 학습함으로써 이를 가능하게 합니다. 결과는 극단적 저비트 양자화 (2~3 비트) 의 경우, 이러한 회전을 학습하기 위한 일회성 보정의 비용이 모델 품질의 상당한 회복에 비해 가치가 있음을 시사합니다.