기술 요약: OSAQ – 정확한 저비트 LLM 양자화를 위한 이상치 자기흡수

1. 문제 제기

대규모 언어 모델 (LLM) 은 막대한 파라미터 규모로 인해 높은 메모리 소비와 추론 지연이라는 심각한 배포 과제를 안고 있습니다. 훈련 후 양자화 (PTQ), 특히 가중치 전용 양자화는 모델 크기를 줄이고 메모리 병목 현상을 완화함으로써 해결책을 제시합니다. 그러나 정확한 저비트 양자화를 방해하는 지속적인 장애물은 모델 가중치에 존재하는 체계적인 이상치입니다. 이러한 이상치는 큰 크기를 특징으로 하여 가중치의 수치 범위를 확장시키고, 이로 인해 양자화 해상도가 낮아져 모델 성능이 저하됩니다.

기존 방법들은 주로 인접 계층 간의 승법 변환(예: 스케일링 또는 회전) 에 의존하여 이상치를 완화합니다. Hessian 정보를 사용하는 GPTQ, 활성화 인식 스케일링인 AWQ, 직교 회전인 QuIP와 같은 접근법들이 진전을 이루었지만, 본 논문은 승법 패러다임에만 의존하는 것이 2 비트 또는 3 비트와 같은 초저비트 설정에서 만족스러운 성능을 달성하는 데 근본적으로 부적절하다고 주장합니다.

2. 방법론: 이상치 자기흡수 양자화 (OSAQ)

저자들은 Hessian 행렬의 2 차 저랭크 특성에 의해 안내되는 가산 가중치 변환을 도입한 새로운 방법인 OSAQ를 제안합니다. 이전 방법들이 계층 간 조정을 필요로 하는 것과 달리, OSAQ 는 인접 계층에 영향을 주지 않고 단일 계층 내에서 가중치를 수정하는 "자기흡수" 메커니즘으로 작동합니다.

주요 기술 구성 요소:

• Hessian 의 저랭크 일관성:
  이 방법은 레이어 가중치에 대한 작업 손실의 Hessian 이 다양한 입력에 걸쳐 뚜렷한 저랭크 특성을 보인다는 관찰에 기반합니다. 구체적으로, 가중치 공간의 특정 방향은 일관되게 소멸하는 곡률 (거의 0 에 가까운 고유값) 을 나타냅니다. 이러한 방향은 입력 샘플과 무관하게 일관되게 유지되는 안정적인 **영공간 (null space)**을 형성합니다.

• 손실 불변 가산 변환:
  영공간을 활용하여 OSAQ 는 변환 $W' = W + \Delta W$가 작업 손실의 2 차 섭동이 0 이 되도록 보장하는 가산 섭동 $\Delta W$를 구성합니다 ($\Delta w^T H_w \Delta w = 0$). 이는 가중치가 수정되는 동안 모델의 원래 작업에 대한 성능이 유지되도록 보장합니다.

• 영공간 추출:
  Hessian $H_w$는 근사화되어 고유값 분해를 통해 분해됩니다. 고유값이 정확히 0 이 아닌 경우를 처리하기 위해 꼬리 에너지 (tail-energy) 전략이 사용됩니다. 영공간 차원 $K$는 미리 정의된 에너지 임계값 $\gamma$에 도달할 때까지 가장 작은 고유값들을 누적하여 결정됩니다. 결과적으로 생성된 행렬 $N$은 안정적인 영공간을 나타냅니다.

• Softmax-$\infty$ 근사를 통한 계수 최적화:
  목표는 변환된 가중치의 수치 범위 (특히 $\ell_\infty$ 노름) 를 최소화하여 이상치를 억제하는 계수 행렬 $\beta$를 찾는 것입니다 ($\Delta W = \beta N$).

  • $\ell_\infty$ 노름은 미분 불가능하므로, 저자들은 Softmax-$\infty$ 근사를 사용합니다. 이는 온도 계수 $\tau$를 사용하여 출력 채널 차원을 따라 softmax 연산을 적용하는 것을 포함합니다. $\tau \to 0$일 때, 이는 미분 가능한 상태로 유지되면서 $\ell_\infty$ 노름을 근사합니다.
  • 최적화 목적 함수는 과도한 보정을 방지하기 위한 $\ell_2$ 정규화 항과 균일한 이동을 억제하기 위한 반 이동 (anti-shift) 제약 조건을 포함합니다.
  • 결정적으로, 이 최적화는 정규 방정식을 통해 계수 $\beta$에 대한 **폐형 해 (closed-form solution)**를 제공하여 자원 집약적인 훈련이나 반복적 절차의 필요성을 제거합니다.

3. 주요 기여

1. 새로운 패러다임: 본 논문은 기존 승법 (스케일링/회전) 접근법을 보완하는 이상치 억제를 위한 가산 변환 전략을 도입합니다. 이는 계층 내에서 독립적으로 작동하며 계층 간 변환이나 추론 오버헤드가 필요 없습니다.
2. 이론적 통찰: 입력 전반에 걸쳐 Hessian 의 영공간이 갖는 저랭크 일관성을 식별하고 활용하여, 손실 불변 가중치 조정을 위한 안정적인 부분 공간을 제공합니다.
3. 효율적인 구성: 미분 가능한 Softmax-$\infty$ 근사를 사용하여 최적 변환 계수를 폐형으로 유도함으로써, 반복적 최적화나 재훈련을 피합니다.
4. 플러그 앤 플레이 호환성: OSAQ 는 기존 PTQ 방법 (예: GPTQ, AWQ) 과 통합되어 저비트 성능을 더욱 향상시키도록 설계되었습니다.

4. 실험 결과

LLaMA2, LLaMA3, Mistral-Large, Llama-3.1 등 다양한 LLM 에 대해 언어 생성 및 상식 QA 작업 전반에 걸쳐 광범위한 실험이 수행되었습니다.

• 퍼플렉시티 감소: 2 비트 양자화에서 OSAQ 를 GPTQ 와 통합한 결과는 LLaMA2-7B 에서 일반 GPTQ 대비 40% 이상 낮은 퍼플렉시티를 달성했습니다. 예를 들어, WikiText2 에서 OSAQ+GPTQ 는 LLaMA2-7B 의 퍼플렉시티를 36.8 에서 21.2 로 낮췄으며 (좌표 하강 반복을 통해 10.6 으로 추가 감소), 이는 LLaMA2-7B 에 대한 것입니다.
• 정확도 향상:
  • 상식 QA: LLaMA3-8B(2 비트) 에서 OSAQ+GPTQ 는 평균 제로샷 정확도를 38.3% 에서 44.4% 로 향상시켰으며 (반복을 통해 51.7%),
  • MMLU: LLaMA2-7B(4 비트) 의 경우 OSAQ+GPTQ 는 평균 점수를 38.7% 에서 39.6% 로 높였습니다.
  • 대규모 모델: 이 방법은 방대한 지시 튜닝 모델 (123B 및 405B 파라미터) 에서도 효과적이었으며, MMLU 및 ARC 벤치마크에서 일반 GPTQ 를 능가했습니다.
• 강건성: 제거 실험 (ablation studies) 은 가산 변환이 정밀도 (FP16) 모델에 미미한 영향을 미치고 영공간이 서로 다른 입력 배치 전반에 걸쳐 안정적으로 유지됨을 확인했습니다. 또한 이 방법은 하이퍼파라미터 선택 (예: 꼬리 에너지 임계값 $\gamma$, 온도 $\tau$) 에도 강건함을 보였습니다.

5. 중요성 및 주장

본 논문은 OSAQ 가 승법 전용 패러다임의 근본적인 한계를 해결함으로써 저비트 LLM 양자화 분야에서 중요한 진전을 이루었다고 주장합니다. 손실 지형 (Hessian 영공간) 의 고유한 기하학적 특성을 활용함으로써, OSAQ 는 이상치를 억제하는 계산 효율적이고 훈련이 불필요한 메커니즘을 제공합니다.

저자들은 이 접근법이 다음과 같음을 강조합니다:

• 작업 손실 보존: 변환은 수학적으로 2 차 손실 섭동을 0 으로 유지하도록 보장됩니다.
• 오버헤드 부재: 변환은 오프라인에서 가중치에 흡수되므로 추론 파이프라인 변경이나 추가 계층이 필요 없습니다.
• 확장성: 7B 에서 405B 파라미터에 이르는 모델에 적용 가능하며, 최첨단 양자화 알고리즘과 원활하게 통합됩니다.

이 연구는 2 차 특성에 기반한 가산 변환을 탐구하는 것이 대규모 언어 모델을 위한 정확한 저비트 양자화를 달성하는 유망하고 보완적인 경로임을 시사합니다.