AWQ: Activation-aware Weight Quantization for LLM Compression and Acceleration

본 논문은 활성화 통계를 기반으로 대규모 언어 모델 (LLM) 의 가장 중요한 1% 의 가중치를 식별하고 보호하여 효율적인 4 비트 온디바이스 추론을 가능하게 하는 하드웨어 친화적 방법인 활성화 인식 가중치 양자화 (AWQ) 를 소개하며, 이는 모바일 GPU 에서 Llama-2 70B 와 같은 대규모 모델의 배포를 가능하게 하고 3 배 이상의 속도 향상을 달성하는 TinyChat 프레임워크와 함께 제시됩니다.

핵심

"AWQ: 온디바이스 LLM 압축 및 가속화를 위한 활성화 인식 가중치 양자화"라는 논문에 대한 설명을 쉬운 언어와 일상적인 비유로 제공합니다.

거대한 문제: 거대한 여행 가방

세상 최고의 요리사 (대형 언어 모델 또는 LLM) 가 있다고 상상해 보세요. 이 요리사는 이야기를 쓰고, 수학 문제를 풀며, 당신과 대화할 수 있습니다. 이 요리사는 재능이 뛰어나서 그 레시피 책 (모델) 이 거대합니다—약 350GB 하드 드라이브 크기입니다.

이 요리사를 인터넷 없이 요리할 수 있도록 외진 오두막 (휴대전화, 노트북, 자동차) 으로 데려가고 싶다면 문제가 생깁니다: 오두막이 레시피 책을 담을 만큼 크지 않습니다. 가장 큰 여행 가방 (현대 컴퓨터 메모리) 조차도 이를 담을 수 없습니다. 게다가 이렇게 무거운 책을 들고 가면 요리사가 매우 느리게 움직입니다.

이를 해결하기 위해 사람들은 레시피를 더 작은 필기로 적음으로써 (양자화) 레시피 책을 줄이려 했습니다. 하지만 모든 것을 균등하게 줄이기만 하면, 요리사는 가장 중요한 재료를 잊어버리고 음식 맛은 형편없어집니다.

해결책: AWQ ("주요 가중치" 통찰)

이 논문의 저자, 지린 (Ji Lin) 과 송한 (Song Han) 의 팀은 비밀을 발견했습니다: 레시피 책의 모든 단어가 equally 중요하지는 않습니다.

레시피 책을 도서관이라고 상상해 보세요.

• **책의 99%**는 단순한 참고 매뉴얼이나 채움재입니다. 이들을 4 비트 노트처럼 작게 줄여도 맛은 크게 잃지 않습니다.
• **책의 1%**는 "마스터 레시피"입니다. 이 레시피들은 요리를 놀랍게 만드는 결정적인 비밀을 담고 있습니다. 이들을 줄이면 요리사는 실패합니다.

발견: 저자들은 이 "마스터 레시피" 중 **1%**만 보호하고 원래의 고품질 형식을 유지하면 요리사의 성능이 거의 완벽하게 유지된다는 것을 발견했습니다.

트릭: "마스터 레시피"를 어떻게 찾나요?

여기가 교묘한 부분입니다. 책 중 어떤 1% 가 "마스터 레시피"인지 어떻게 알 수 있을까요?

• 옛 방법: 책들을 살펴보고 두께 (가중치의 크기) 를 바탕으로 어떤 것이 중요한지 추측합니다. 이는 책이 무거운 표지를 가졌다는 이유만으로 그 책이 중요하다고 추측하는 것과 같습니다. 이는 잘 작동하지 않습니다.
• AWQ 방법: 요리사가 요리하는 모습을 관찰합니다. 요리사가 요리를 만드는 동안 실제로 가장 자주 열어보고 사용하는 책을 봅니다 (이것이 활성화입니다).
  • 요리사가 케이크를 만들기 위해 특정 책을 100 번 집어 든다면, 그 책은 "주요 (salient)"합니다 (중요합니다).
  • AWQ 는 말합니다: "요리사가 실제로 사용하는 책들을 보호합시다."

마법의 수순: "확대"

중요한 책들을 식별한 후, 그들은 모든 것을 늦추는 거대한 무거운 권지 (huge, heavy volumes) 로 유지하지 않습니다. 대신 **확대 (Scaling)**라는 수학적 트릭을 사용합니다.

중요한 책들이 작은 종이 위에 쓰여 있다고 상상해 보세요. 읽기 쉽게 (오류가 적게) 만들기 위해, 책 전체를 줄이기 전에 그 특정 페이지의 텍스트를 확대합니다.

• "중요한" 숫자들을 약간 더 크게 만듭니다.
• 이렇게 하면 책을 줄일 때 발생하는 "노이즈" (오류) 가 그 중요한 숫자들에게는 덜 눈에 띄게 됩니다.
• 이는 오케스트라에서 가장 중요한 악기들의 볼륨을 높여, 전체 밴드가 조용해질 때 그 소리가 묻히지 않도록 하는 것과 같습니다.

왜 이것이 훌륭한가요?

1. 재학습 불필요: 요리사를 다시 가르칠 필요가 없습니다 (역전파 불필요). 요리사가 무엇을 사용하는지 보기 위해 몇 가지 샘플 요리 (작은 "보정 세트") 만 살펴보면 됩니다.
2. 과적합 없음: 샘플 요리를 외우지 않기 때문에, 요리사는 어떤 요리 (코딩, 수학, 다양한 언어) 를 하더라도 혼란 없이 훌륭한 요리를 할 수 있습니다.
3. 하드웨어 친화적: 특별한 "혼합" 여행 가방 (일부는 크고 일부는 작음) 이 필요하지 않습니다. 책 전체를 줄이지만, "확대된" 중요한 부분들은 축소 과정을 완벽하게 견딥니다.

엔진: TinyChat

책을 줄이는 방법을 아는 것과, 실제로 작은 장치에서 이를 빠르게 실행하는 것은 별개의 문제입니다. 저자들은 TinyChat이라는 새로운 엔진을 구축했습니다.

TinyChat 을 이러한 줄여진 책들을 위해 특별히 설계된 초효율 배송 트럭이라고 생각하세요.

• 옛 트럭: 이동할 때마다 책을 내려놓고, 읽어서 줄였다가 다시 포장해야 했습니다. 매우 느렸습니다.
• TinyChat: 운전하는 동안 책을 펼쳐 놓습니다. 책을 펴는 과정과 요리를 하는 과정을 하나의 매끄러운 동작으로 융합합니다.
• 결과: 표준 노트북이나 작은 모바일 칩 (Jetson 이나 휴대폰 등) 에서 TinyChat 은 표준 최적화되지 않은 버전보다 3 배에서 4 배 더 빠르게 줄여진 모델을 실행합니다.

현실 세계의 승리

이 논문은 AWQ 와 TinyChat 으로 다음과 같은 것이 가능함을 보여줍니다:

• 이전에 불가능했던 64GB 메모리를 가진 단일 모바일 장치에서 거대한 700 억 파라미터 모델 (Llama-2-70B 등) 을 실행할 수 있습니다.
• 메모리가 8GB 에 불과한 노트북에서 130 억 파라미터 모델을 초당 30 단어 속도로 실행할 수 있습니다 (실시간 대화에 충분한 속도).
• 텍스트뿐만 아니라 이미지와 텍스트를 모두 읽는 멀티모달 모델 (OpenFlamingo, LLaVA 등) 에도 작동하며, 그림을 이해하는 능력을 잃지 않습니다.

요약

AWQ는 "뇌 전체를 균등하게 줄이지 마라. 가장 많이 활성화되는 뉴런 1% 를 찾아 조금 보강한 후, 나머지를 줄이라"는 방법입니다.
TinyChat은 이 줄여진 뇌가 휴대폰이나 노트북에서 빠르게 실행되도록 보장하는 소프트웨어입니다.

이 둘은 함께 우리가 세상에서 가장 똑똑한 AI 모델을 클라우드 밖으로 끌어내어 직접 주머니에 넣을 수 있게 해줍니다. 이는 비용을 절감하고, 프라이버시를 보호하며, 인터넷이 끊겨도 작동하게 합니다.

기술 요약

"AWQ: 온디바이스 LLM 압축 및 가속화를 위한 활성화 인식 가중치 양자화" 논문에 대한 상세한 기술 요약은 다음과 같습니다.

1. 문제 제기

대규모 언어 모델 (LLM) 은 방대한 크기 (예: GPT-3 는 FP16 기준 350GB 필요) 와 제한된 하드웨어 자원 (메모리 및 연산 능력) 으로 인해 엣지 디바이스에서의 배포에 심각한 도전에 직면해 있습니다. **양자화 인식 학습 **(QAT)은 효과적이지만 계산 비용이 많이 들고 확장하기 어렵습니다. **학습 후 양자화 **(PTQ)는 선호되는 대안이지만, 기존 저비트 방법 (GPTQ 등) 은 다음과 같은 문제점을 겪고 있습니다:

• 정확도 저하: 매우 낮은 비트 폭 (예: 4 비트 또는 3 비트) 으로 양자화할 때 성능이 크게 떨어집니다.
• 과적합: 재구성 또는 역전파에 의존하는 방법은 보정 세트에 과적합되어 분포 외 도메인이나 다른 모달리티 (예: 멀티모달 모델) 에 일반화되지 못합니다.
• 하드웨어 비효율성: 소수의 가중치를 고정밀도로 유지하여 정확도를 보존하려는 이전 시도들은 혼합 정밀도 방식으로 인해 하드웨어 비효율성을 초래하여 속도 향상 이점을 상쇄시킵니다.

2. 방법론: 활성화 인식 가중치 양자화 (AWQ)

AWQ 는 역전파나 재구성 없이 작동하는 하드웨어 친화적인 가중치 전용 양자화 방법입니다. 이는 세 가지 핵심 통찰에 기반합니다:

A. 중요한 가중치는 가중치 크기가 아닌 활성화에 의해 식별됨

저자들은 모든 가중치가 동등하게 중요하지 않음을 관찰했습니다. 극히 일부 (0.1%–1%) 의 "중요한 (salient)" 가중치가 모델 성능에 결정적입니다.

• 핵심 통찰: 가중치 채널의 중요성은 가중치 자체의 크기가 아니라 **활성화 **(activation)에 의해 결정됩니다. 더 큰 활성화 크기를 가진 채널은 더 중요한 특징을 처리합니다.
• 관찰: 이러한 중요한 채널 중 1% 만 FP16 으로 유지하고 나머지는 양자화하면 퍼플렉시티가 극적으로 감소합니다 (예: OPT-6.7B 에서 43.2 에서 13.0 으로). 그러나 혼합 정밀도는 하드웨어 비효율적입니다.

B. 채널별 스케일링을 통한 동등 변환

혼합 정밀도의 하드웨어 비용을 피하기 위해 AWQ 는 양자화 전에 중요한 가중치 채널을 스케일링하면 상대적 양자화 오차가 감소함을 수학적으로 유도합니다.

• 메커니즘: 가중치 $w$를 스케일 인자 $s > 1$로 곱하고 해당 입력 활성화 $x$를 $s$로 나누면 출력은 수학적으로 동일하게 유지됩니다 ($y = wx$).
• 오차 감소: 양자화 오차는 양자화 단계 크기 ($\Delta$) 에 비례합니다. 중요한 가중치를 스케일링하면 $\Delta$에 비해 값이 더 커져, 이러한 중요한 채널에 대한 반올림 오차가 효과적으로 감소합니다.
• 최적화: 시스템은 원래 모델과 양자화된 모델 간의 출력 차이를 최소화하기 위해 최적의 스케일링 인자 $\alpha$ (여기서 $s = s_X^\alpha$, $s_X$는 평균 활성화 크기) 를 자동으로 탐색합니다. 이 탐색은 작은 보정 세트를 통해 빠른 그리드 탐색으로 수행됩니다.

C. 데이터 효율성 및 일반화

• 역전파 불필요: AWQ 는 경사 하강법이나 재구성이 필요하지 않으므로 과적합에 강건합니다.
• 소규모 보정 세트: 채널별 평균 활성화 크기 측정만 필요하므로 도메인별 미세 조정 없이도 instruction-tuned 모델과 멀티모달 모델에 잘 일반화됩니다.

3. 시스템 구현: TinyChat

4 비트 양자화의 이론적 메모리 절감을 실제 추론 속도 향상으로 전환하기 위해 저자들은 효율적인 추론 프레임워크인 TinyChat을 개발했습니다.

• **실시간 역양자화 **(On-the-fly Dequantization) DRAM 에 역양자화된 가중치를 저장하는 것 (대역폭 낭비) 대신, TinyChat 은 역양자화 로직을 행렬 곱셈 커널에 직접 융합합니다.
• SIMD 인식 가중치 패킹: CPU/GPU SIMD 아키텍처 (예: ARM NEON, CUDA) 를 최적화하기 위해 가중치를 오프라인에서 재배열하고 패킹합니다. 이를 통해 런타임에서 최소한의 비트 연산 (AND, 시프트) 으로 언패킹이 가능해져 명령어 오버헤드를 크게 줄입니다.
• 커널 융합: 커널 시작 오버헤드와 중간 메모리 접근을 최소화하기 위해 레이어 정규화, QKV 프로젝션, 위치 임베딩 계산을 융합합니다.

4. 주요 결과

AWQ 와 TinyChat 은 다양한 모델 (LLaMA, OPT, Mistral, Mixtral, Vicuna, OpenFlamingo) 과 작업에 걸쳐 평가되었습니다.

• 양자화 정확도:
  • AWQ 는 7B 에서 70B 모델에 걸쳐 Round-to-Nearest (RTN) 와 GPTQ (재정렬 유무 포함) 보다 일관되게 우수한 성능을 보입니다.
  • Instruction-Tuned 모델: FP16 기준 대비 Vicuna (7B/13B) 에서 거의 손실 없는 성능을 달성합니다.
  • 멀티모달 모델: OpenFlamingo 와 VILA 모델을 성공적으로 양자화하여 11 개의 시각 - 언어 벤치마크에서 손실 없는 성능을 달성했습니다 (저비트 VLM 양자화 분야 최초).
  • 복잡한 작업: 코딩 (MBPP) 및 수학 (GSM8K) 작업에서 베이스라인을 능가하며, 일부 4 비트 구성에서는 FP16 성능과 일치합니다.
• 일반화:
  • AWQ 는 보정 세트 분포 변화에 강건합니다. 다른 데이터셋으로 테스트할 때 (예: PubMed 에서 보정, Enron 에서 평가), AWQ 의 퍼플렉시티 저하는 GPTQ (2.3–4.9) 에 비해 미미했습니다 (0.5–0.6).
  • GPTQ 와 비교해 동등한 성능을 내기 위해 10 배 작은 보정 세트만 필요합니다.
• **추론 속도 **(TinyChat)
  • 속도 향상: 데스크톱 (RTX 4090) 과 모바일 GPU (Jetson Orin) 에서 HuggingFace FP16 구현 대비 3.2 배에서 3.9 배의 속도 향상을 달성했습니다.
  • 배포: 단일 Jetson Orin (RAM 64GB) 에서 Llama-2-70B를, RAM 8GB 만 있는 노트북에서 Llama-2-13B를 초당 33 토큰으로 실행할 수 있게 하여, 이는 FP16 에서는 불가능한 일입니다.
  • 엣지 디바이스: Raspberry Pi 4B 에서 7B 모델을 초당 0.7 토큰 속도로 실행합니다.

5. 의의 및 영향

• LLM 의 민주화: AWQ 와 TinyChat 은 소비자급 하드웨어, 모바일 디바이스, IoT 엣지 노드에서 70B 파라미터 모델을 포함한 최첨단 LLM 을 실행할 수 있게 하여 클라우드 인프라에 대한 의존도를 줄입니다.
• 개인정보 보호 및 비용: 로컬 실행을 가능하게 하여 사용자 개인정보 보호를 강화하고 클라우드 지연 시간 및 비용을 제거합니다.
• 일반화: instruction-tuned 또는 멀티모달 모델에 어려움을 겪던 이전 방법과 달리, AWQ 는 LLM 의 "범용성"을 보존하여 다양한 AI 응용 분야에 다용도로 활용 가능한 솔루션을 제공합니다.
• 채택: 이 방법은 HuggingFace Transformers, NVIDIA TensorRT-LLM, Microsoft DirectML, vLLM 을 포함한 주요 산업계 플레이어와 오픈소스 프로젝트에 널리 채택되었습니다.

결론적으로, AWQ 는 저비트 LLM 양자화를 위한 수학적으로 근거 있고 하드웨어 효율적인 솔루션을 제공하며, TinyChat 은 이러한 이론적 이득이 엣지 디바이스에서 실용적이고 고속의 추론으로 실현되도록 보장합니다.