기술 요약: SAGE-PTQ

문제 정의

사후 학습 양자화(Post-training quantization, PTQ)는 대규모 언어 모델(LLM)을 효율적으로 배포하는 데 필수적이지만, 최근의 초저비트(ultra-low-bit) 방식들은 상당한 문제에 직면해 있습니다. BiLLM이나 PB-LLM과 같은 방법들은 "돌출된(salient)" 성분(아웃라이어)과 "돌출되지 않은(unsalient)" 성분(인라이어)을 분리하여 가중치를 이진화하려고 시도하지만, 다음과 같은 네 가지 핵심적인 한계점을 가집니다:

1. 경직된 돌출성 처리: 이들은 고정된 임계값이나 위치 기반 휴리스틱에 의존하는 경우가 많아, 다양한 모델 아키텍처와 레이어 전반에 걸쳐 일반화되는 데 실패합니다.
2. 최적화되지 않은 가중치 분할: 균일하거나 경직된 분할 전략은 돌출되지 않은 가중치의 롱테일(long-tailed) 및 비가우시안(non-Gaussian) 분포를 고려하지 못하여 압축 효율이 떨어집니다.
3. 숨겨진 스케일링 오버헤드: 많은 서브 2비트(sub-2-bit) 방식들은 블록 기반 스케일링을 가정하거나 과도한 스케일링 인자(예: 블록당 여러 개의 컬럼)를 사용하여, 이진화로 얻은 이득을 상쇄할 정도로 높은 1비트 이상의 숨겨진 오버헤드를 발생시킵니다.
4. 룩업(Lookup) 비효율성: 기존 방식들은 런타임 인식 디코딩 및 룩업 메커니즘을 무시하는 경우가 많아, 실제 배포 효율성을 제한합니다.

방법론: SAGE-PTQ

저자들은 숨겨진 스케일링 비용을 최소화하면서 모델의 충실도(fidelity)를 유지하도록 설계된 프레임워크인 SAGE-PTQ(Saliency-Aware Graph-guided Efficient PTQ)를 제안합니다. 파이프라인은 세 가지 주요 단계로 구성됩니다:

1. 돌출성 인식 가중치 분할 (Saliency-Aware Weight Partitioning)

고정된 임계값을 사용하는 대신, SAGE-PTQ는 분포 통계에 기반하여 가중치를 돌출된 집합과 돌출되지 않은 집합으로 적응적으로 분리합니다.

• 필터링: 이 방식은 아웃라이어를 식별하기 위해 크기 기반 돌출성(magnitude-based saliency)을 활용합니다(이 작업에는 헤시안 기반 메트릭보다 이것이 더 효과적임이 입증됨). 각 레이어 $l$에 대해 사전 설정된 저장 예산에 따라 임계값 $\zeta^{sal}_l$을 결정하여, 가중치를 $\Omega^{sal}_l$과 $\Omega^{uns}_l$로 분할합니다.
• 그래프 유도 그룹 추정 (Graph-Guided Group Estimation): 비균일한 분포를 보이는 경우가 많은 돌출되지 않은 가중치들을 위해, 이 방법은 샘플링된 가중치 집합을 희소 K-최근접 이웃(K-Nearest-Neighbor, KNN) 그래프로 모델링합니다. 이후 스펙트럴 클러스터링(spectral clustering)을 적용하고, 클러스터링 품질과 메모리 제약 사이의 균형을 맞추는 최적의 돌출되지 않은 그룹 수($N^{optimal}_{uns,l}$)를 결정하기 위해 **실루엣 점수(Silhouette Score)**를 평가합니다.

2. 이중 모드 양자화 (Dual-Mode Quantization)

프레임워크는 분리된 구성 요소에 서로 다른 양자화 전략을 적용합니다:

• 모드 1 (돌출된 가중치): 돌출된 가중치는 단일 **채널별 스케일(per-channel scale)**을 사용하여 멀티 비트 정밀도(예: 4-bit)로 양자화됩니다. 이는 아웃라이어의 표현 정밀도를 보존합니다.
• 모드 2 (돌출되지 않은 가중치): 돌출되지 않은 가중치는 그래프 유도 추정에 따라 그룹화되고 이진화됩니다( $\{-1, 0, 1\}$로 매핑). 결정적으로, 각 그룹에는 단 하나의 스칼라(스케일 인자)만 할당되어, 블록 기반 방식에 비해 스케일링 오버헤드를 획기적으로 줄입니다.

3. 적응형 돌출성 임계값 설정 및 효율적 추론

• 최적화: 최적의 돌출 비율($\zeta^{sal}_l$)을 찾기 위해 정규화된 재구성 오차를 최소화하는 최적화 목적 함수를 사용하여, 압축 효율성과 양자화 오차 사이의 균형을 맞춥니다.
• 런타임 룩업: 비용이 많이 드는 블록 단위 마스크를 피하기 위해, SAGE-PTQ는 호스트 메모리에 저장된 경량화된 비트 패킹 룩업 테이블($L^{LUT}_l$)을 사용합니다. 이 테이블은 그룹 인덱스를 인코딩하여, GPU가 추론 중에 최소한의 I/O 지연 시간으로 올바른 스케일로 가중치를 라우팅할 수 있게 합니다.

주요 기여

1. 새로운 분할 방식: 분포 기반 접근 방식을 통해 돌출된 가중치와 돌출되지 않은 가중치를 분리하며, 그래프 유도 알고리즘을 결려 레이어당 최적의 돌출되지 않은 그룹 수를 적응적으로 추정합니다.
2. 이중 모드 양자화기: 돌출된 가중치에는 멀티 비트 정밀도를 할당하고, 돌출되지 않은 그룹은 그룹당 단일 스칼라를 사용하여 이진화하는 체계입니다. 이를 통해 평균 1.03 가중치 비트와 단 0.004 스케일링 비트를 달성하여 BiLLM을 크게 앞섭니다.
3. 적응형 임계값 설정: 각 행렬에 대한 최적의 돌출 비율을 결정하는 최적화 공식을 통해, 고정된 임계값과 비교했을 때 돌출 가중치 비트를 약 30% 적게 사용하면서도 LLaMA-7B에서 퍼플렉시티(perplexity)를 약 50% 낮추었습니다.
4. 효율적인 런타임: BiLLM 대비 룩업 비용을 25% 줄이는 효율적인 그룹 룩업 메커니즘을 제공하며, 메모리가 제한된 하드웨어에서 더 빠른 디코딩을 가능하게 합니다.

실험 결과

저자들은 WikiText2 및 C4 데이터셋을 사용하여 LLaMA (1.3B–70B), OPT, Vicuna, DeepSeek, Qwen 모델에 대해 SAGE-PTQ를 평가했습니다.

• 퍼플렉시티 성능: LLaMA-3-8B에서 SAGE-PTQ는 BiLLM의 55.8 대비 6.74 WikiText2 퍼플렉시티를 달성하여 엄청난 개선을 보였습니다. LLaMA-2-70B에서는 BiLLM의 8.41 대비 7.51 퍼플렉시티를 달성했습니다.
• 비트 효율성: SAGE-PTQ는 일관되게 약 1.03의 평균 가중치 비트와 무시할 만한 수준의 스케일링 오버헤드(0.004 비트)를 달성한 반면, BiLLM은 1.09 가중치 비트와 1.0 스케일링 비트가 필요했습니다.
• 메모리 풋프린트: LLaMA 모델에서 SAGE-PTQ는 BiLLM 대비 런타임 GPU 메모리 사용량을 50% 이상 줄였습니다 (예: 단일 46GB GPU에서 LLaMA-2-70B를 약 12.7 GB에 수용).
• 추론 지연 시간: 단일 NVIDIA L40 GPU에서, SAGE-PTQ는 더 큰 레이어 밴드를 온더플라이(on-the-fly)로 역양자화할 수 있게 함으로써 전체 레이어 전송을 피하고 LLaMA-2-70B의 토큰당 디코딩 시간을 1.5배 가속했습니다.
• 제로샷 정확도: SAGE-PTQ는 대부분의 NLU 벤치마크(PIQA, BoolQ 등)에서 FP16 정확도와 일치하는 성능을 보였으며, BiLLM보다 평균 5% 더 높은 성능을 기록했습니다.

의의 및 주장

본 논문은 SAGE-PTQ가 초저비트 양자화의 효과를 제한해 온 역사적인 "스케일의 숨겨진 비용" 문제를 해결한다고 주장합니다. 스케일링 오버헤드를 거의 제로 수준으로 최소화하고 그래프 유도 통계에 따라 가중치를 적응적으로 분할함으로써, 이 프레임워크는 재학습 없이도 다양한 모델 제품군에 대해 최첨단(SoTA) 성능을 달anim합니다.

저자들은 SAGE-PTQ를 자원이 제한된 플랫폼에 LLM을 배포하기 위한 실질적인 솔루션으로 제시하며, 실질적인 메모리 풋프린트와 추론 지연 시간을 모두 크게 줄이면서도 서브 2비트 유효 정밀도로 FP16에 근접한 정확도를 달성하는 것이 가능하다는 것을 입증했습니다. 이 작업은 1.3B에서 70B 파라미터에 이르는 다양한 아키텍처 전반에서 검증된 모델 불가지론적(model-agnostic) 프레임워크로 제시되었습니다.