기술 요약: AAAC (활성화 인식 적응형 코드북)

1. 문제 제기

대규모 언어 모델 (LLM) 은 메모리 및 연산 제약에 직면해 있어, 학습 후 가중치만 4 비트로 양자화 (W4A16/W4A8) 하는 것이 중요한 배포 전략이 되고 있습니다. 기존 학습 후 양자화 (PTQ) 방법들은 일반적으로 고정 그리드 가정 하에 작동합니다. 채널 스케일링 (AWQ), 클리핑, 또는 오차 보상 (GPTQ) 과 같은 기법을 통해 가중치를 사전에 정의된 정적 4 비트 스칼라 그리드 (예: 표준 INT4 또는 NVFP4 형식) 에 매핑하는 방식을 최적화하여 정확도를 높이려 합니다.

저자들은 이러한 접근 방식이 잠재적인 품질 향상을 놓치고 있다고 주장합니다. 4 비트 형식은 저장되는 코드의 수와 그룹 단위 스케일 구조를 고정하지만, 실제 스칼라 재구성 그리드 자체가 고정되어야 하는 것은 아닙니다. 추론 시 실제 사용되는 가중치를 결정하는 역양자화 값들은 이 고정된 테이블에 의해 제약받습니다. 현재 방법들은 테이블로의 매핑을 개선하지만, 주어진 층의 특정 가중치 분포와 활성화 통계에 맞춰 테이블 자체를 적응시키지는 못합니다.

2. 방법론: AAAC

본 논문은 AAAC(활성화 인식 적응형 코드북) 을 제안합니다. 이는 경사 기반이 아닌 경량화된 방법으로, 층당 단일 고정 스칼라 테이블 $T$를 학습된 두 개의 스칼라 코드북 ($T_0$ 및 $T_1$) 으로 대체합니다.

핵심 메커니즘

1. 적응형 코드북: 단일 고정 그리드 대신, AAAC 는 층당 두 개의 작은 스칼라 코드북을 학습합니다. 이 코드북들은 기본 4 비트 형식과 동일한 카디널리티를 가지지만 (예: NVFP4 의 경우 15 개 항목, INT4 의 경우 16 개 항목), 그 값들은 형식 사양에 의해 고정되는 것이 아니라 보정 데이터를 통해 최적화됩니다.
2. 활성화 인식 선택: 각 가중치 그룹에 대해, 활성화 가중 재구성 오차를 최소화하는 코드북 ($T_0$ 또는 $T_1$) 을 선택합니다. 각 가중치의 중요도는 보정 세트에서 해당 열에 대응하는 활성화 에너지의 제곱 ($I_k = \sum X_{t,k}^2$) 으로 결정됩니다.
3. 제로 오버헤드 저장:
   • 코드북 크기: 각 코드북은 약 15~16 개의 BF16 값만 포함하며, 층당 약 64 바이트를 차지합니다. 7B 모델의 경우 이는 약 14 KB 의 저장 공간만 추가하며, 이는 무시할 수준입니다.
   • 선택 비트: 그룹별 코드북 선택은 그룹의 양수 스케일 인자의 사용되지 않는 부호 비트에 인코딩됩니다 (스케일은 항상 양수이므로). 선택 그룹 크기 ($S$) 가 스케일 그룹 크기 ($g$) 와 일치할 경우, 추가 저장 오버헤드 없이 그룹별 선택이 가능합니다.
4. 학습 알고리즘:
   • 초기화: $T_0$와 $T_1$은 정규화된 가중치 분포의 균등 간격 분위수를 사용하여 초기화되며, $T_1$은 명확한 시작점을 제공하기 위해 반 단계만큼 이동됩니다.
   • 교대 최적화: 알고리즘은 다음 두 단계를 교대로 수행합니다:
     • 할당: 각 가중치 그룹을 활성화 가중 오차를 최소화하는 코드북에 할당합니다.
     • 정제: 각 항목에 대한 보로노이 셀의 가중 중심을 계산하여 활성화 가중 k-평균을 사용하여 코드북 항목을 업데이트합니다.
   • 효율성: 이 과정은 역전파, 헤시안 계산, 전체 모델 경사가 필요 없으며, 순전파 활성화만 사용하여 층을 독립적으로 처리합니다.

3. 주요 기여

• PTQ 목적의 재정의: AAAC 는 가중치를 고정 그리드에 매핑하는 데 중점을 두는 것에서 그리드 자체를 학습하는 것으로 전환하여 양자화에 새로운 자유도를 도입합니다.
• 경량 경사 없는 최적화: 수시간의 역전파와 막대한 메모리 오버헤드 (모델 크기의 2~4 배) 가 필요한 경사 지원 방법 (예: OmniQuant, SqueezeLLM) 과 달리, AAAC 는 순전파 활성화에 대한 간단한 k-평균을 통해 학습합니다.
• 제로 저장 오버헤드: 스케일 인자의 사용되지 않는 부호 비트를 활용함으로써, AAAC 는 모델의 메모리 풋프린트를 증가시키지 않고 적응형 코드북 선택을 달성합니다.
• 속도: 양자화는 단일 GPU 에서 3~30 분 내에 완료되며, 경사 지원 베이스라인보다 수 배에서 수 십 배 빠릅니다.

4. 실험 결과

저자들은 Llama(1B13B) 및 Qwen(0.5B32B) 모델 계열을 NVFP4($g=16$) 및 INT4($g=128$) 레이아웃 모두 사용하여 AAAC 를 평가했습니다.

• 경사 없는 방법 대비: AAAC 는 RTN, IF4, AWQ, GPTQ 보다 일관되게 우수한 성능을 발휘합니다.
  • WikiText-2 에서 AAAC 는 NVFP4 기준 평균 59.2% 의 갭 회복 (RTN 대비) 을 달성하여, AWQ(28.1%) 와 IF4(12.3%) 를 크게 능가했습니다.
  • INT4 설정($g=128$) 에서 AAAC 는 제로 오버헤드($S=128$) 로도 대부분의 모델에서 AWQ 를 능가했으며, 무시할 수 있는 0.0625 bpw 오버헤드($S=16$) 를 추가하면 성능이 더욱 향상되었습니다.
• 경사 지원 방법 대비: AAAC 는 수시간의 최적화와 높은 메모리가 필요한 방법들의 성능과 일치하거나 초과합니다.
  • AAAC 는 60.0% 의 평균 갭 회복을 달성하여, 파인튜닝이 적용된 QuIP#(60.0%) 과 동일한 수준이며, OmniQuant(55.0%), SqueezeLLM(55.0%), GPTVQ(25.0%) 보다 우수한 성능을 보였습니다.
  • 특히 AAAC 는 최대 메모리 사용량이 원래 모델 크기를 초과하지 않으며, 수시간이 아닌 수 분 내에 이를 달성합니다.
• 하류 작업: Qwen3.5 모델을 사용한 추론, 지식, 상식, 수학 등 8 가지 하류 작업에서 AAAC 는 모든 양자화 방법 중 가장 높은 평균 정확도 (64.21%) 를 달성하여 BF16 기준 대비 갭의 49.3% 를 회복했습니다.
• AWQ 와의 결합: 양자화 전에 가중치를 스케일링하는 AWQ 와 결합할 경우, AAAC 는 평균적으로 양자화 갭의 70.5% 를 회복하여 다른 PTQ 기법과의 호환성을 입증했습니다.

5. 의의 및 주장

본 논문은 AAAC 가 4 비트 양자화 모델과 정밀도 기준 간의 품질 격차를 해소하기 위해 경사가 필수적이라는 지배적인 가정에 도전한다고 주장합니다. 경량화된 경사 없는 방법이 복잡하고 경사 지원 알고리즘의 성능과 일치하거나 초과할 수 있음을 입증함으로써, 저자들은 최소한의 규모로 학습된 코드북이 4 비트 LLM 양자화를 위한 실용적이고 효율적인 방향임을 시사합니다.

의의는 트레이드오프에 있습니다: AAAC 는 100 GPU 시간 이상이 필요한 방법들과 견줄 만한 최첨단 수준의 정확도를 제공하면서도, 최소한의 계산 비용 (수 분) 과 제로 메모리 오버헤드를 제공하여 고품질 4 비트 양자화를 더 넓은 범위의 배포 시나리오에서 접근 가능하게 만듭니다.

저자가 지적한 한계:

• 평가는 최대 32B 파라미터 모델로 제한되었으며, 70B 이상의 동적 특성은 테스트되지 않았습니다.
• 경사 지원 방법과의 비교는 이전 문헌의 프로토콜 일관성으로 인해 LLaMA 7B/13B 로 제한되었습니다.
• 이 방법은 가중치 전용 양자화 (W4A16/W4A8) 를 대상으로 하며, 가중치 - 활성화 결합 양자화 (W4A4) 는 다루지 않습니다.