🤖 machine learning

High-Rate Quantized Matrix Multiplication II

본 논문은 공분산 인식 워터필링이 균등 비트 할당보다 어떻게 개선된 성능을 보이는지 입증하고, 베이스 프리 및 근사 최적 성능을 가진 WaterSIC 방식을 분석하며, 무작위 회전과 함께 적용된 GPTQ가 동등한 근사 최적 결과를 달성함을 보여줌으로써 가중치 전용 LLM 사후 훈련 양자화를 위한 고비트율 양자화 행렬 곱셈을 조사한다.

원저자: Or Ordentlich, Yury Polyanskiy

게시일 2026-05-14

📖 4 분 읽기☕ 가벼운 읽기

CC BY 4.0

원저자: Or Ordentlich, Yury Polyanskiy

원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

"High-Rate Quantized Matrix Multiplication II" 논문에 대한 설명을 쉬운 언어와 일상적인 비유로 정리합니다.

큰 그림: AI 의 두뇌 압축하기

문제를 해결하려는 거대한 인공지능 (AI) 모델, 즉 지식의 거대한 도서관을 상상해 보세요. 이를 위해 AI 는 **행렬 곱셈 (Matrix Multiplication, MatMul)**이라는 수학적 연산을 수십억 번 수행합니다. 이는 AI 의 '생각' 과정이라고 볼 수 있습니다.

하지만 이러한 AI 내부의 숫자인 '가중치 (weights)'는 막대한 메모리를 차지합니다. AI 를 더 빠르게 실행하고 더 작은 장치에서 구동하기 위해 엔지니어들은 이러한 숫자를 압축하는데, 이 과정을 **양자화 (Quantization)**라고 합니다. 이는 고해상도 사진을 더 작은 파일 크기로 줄여 로딩 속도를 높이는 것과 같습니다.

이 논문은 이러한 압축을 가장 효율적으로 수행하는 방법에 대한 연구의 두 번째 부분입니다. 첫 번째 부분이 사전 지식 없이 압축하는 방법을 다뤘다면, 이 논문은 우리가 AI 가 처리하는 데이터의 통계적 '형태'를 알고 있다는 전제 하에 시나리오를 다룹니다.

핵심 문제: '가중치 전용' 퍼즐

현대 AI 시스템 (LLM 등) 에서는 시스템을 통과하는 데이터 (활성화) 는 고정밀도로 유지되지만, 정적인 지식인 '가중치'는 압축됩니다.

목표: AI 의 답변 ( $Y$ ) 이 너무 틀리지 않도록 가중치 ( $W$ ) 를 최대한 압축하는 것입니다.
문제점: '틀림 (왜곡)'의 정도는 가중치가 유입 데이터와 어떻게 상호작용하는지에 따라 달라집니다. 유입 데이터가 긴 타원형과 같은 특정 패턴을 가진다면, 표준적인 사각 격자 방식으로 가중치를 압축하는 것은 비효율적입니다. 이는 긴 얇은 여행 가방을 정사각형 상자에 넣으려 할 때 많은 공간을 낭비하는 것과 같습니다.

구식 방법: "모든 것에 맞는 한 가지 크기" (GPTQ)

현재 인기 있는 GPTQ와 같은 방법들은 행렬의 모든 부분을 동일하게 취급합니다. 그들은 숫자를 반올림하기 위해 표준 격자 (그래프 용지) 를 사용합니다.

비유: 크기가 다른 물건들을 여행 가방에 싸는 상황을 상상해 보세요. 구식 방법은 모든 것을 동일한 크기의 상자로 된 격자에 넣습니다. 작은 자갈을 큰 상자에 넣고, 거대한 바위를 또 다른 큰 상자에 넣는 식입니다. 자갈은 공간을 낭비하고 바위는 완벽하게 들어맞지 않을 수 있습니다.
결함: 이 방법은 데이터의 특정 형태를 고려하지 않습니다. 데이터가 완벽하게 둥글다고 (등방성) 가정합니다. 실제로 데이터가 타원형이라면 이 방법은 최적의 결과를 내지 못합니다.

새로운 이론: "워터필링 (Waterfilling)" (이상적인 해결책)

저자들은 **가중 평균 제곱 오차 (WMSE)**의 수학을 살펴봅니다. 그들은 **워터필링 (Waterfilling)**이라는 개념을 사용합니다.

비유: 데이터의 중요성을 나타내는 언덕과 계곡이 있는 지형이 있다고 상상해 보세요. 제한된 양의 '물' (제한된 비트/대역폭) 을 이 지형에 붓고자 합니다.
- 워터필링 전략은 다음과 같습니다: 가장 깊은 계곡부터 물을 붓습니다. 이는 데이터 중 가장 중요하거나 민감한 부분들입니다. 이들에게 더 많은 '해상도' (더 많은 비트) 를 할당합니다.
- 얕은 언덕에는 적은 양의 물 (적은 비트) 이 채워집니다.
- 이를 통해 주어진 물의 양으로 가능한 가장 좋은 이미지를 얻을 수 있습니다.

수학적으로 이는 '정보 이론적 한계'로, 이론상 가능했던 절대적인 최상의 성능을 의미합니다.

실용적인 해결책: WaterSIC

워터필링의 문제는 실시간 계산이 어렵다는 점입니다. 저자들은 WaterSIC라는 실용적인 알고리즘을 제안합니다.

작동 원리: **연속 간섭 상쇄 (Successive Interference Cancellation, SIC)**라는 기술을 사용합니다. 시끄러운 방에서 대화를 듣는 상황을 상상해 보세요. 가장 큰 소리를 먼저 듣고 이해한 뒤, 이를 '상쇄'하여 더 작은 소리를 더 잘 들을 수 있게 합니다.
혁신: WaterSIC 는 이 아이디어를 가중치에 적용합니다. 데이터의 형태를 수학적인 도구인 **코레스키 분해 (Cholesky decomposition)**를 사용하여 파악하고, 가중치의 각 부분에 대해 '격자 크기'를 조정합니다.
- '뻣뻣'하거나 중요한 데이터 부분에는 더 정교한 격자 (더 많은 비트) 를 사용합니다.
- '느슨'하거나 덜 중요한 부분에는 더 거친 격자 (적은 비트) 를 사용합니다.

주요 발견 사항

거의 완벽한 효율성: 저자들은 WaterSIC 가 이론적인 '워터필링' 한계에 매우 근접함을 증명했습니다. 절대적인 최상의 성능과 약 0.25 비트 차이만 있을 뿐입니다. 이는 차이가 매우 작아 방법이 거의 완벽함을 의미합니다.
회전에 대한 면역: 가장 흥미로운 발견 중 하나는 WaterSIC 가 '기저 자유 (basis free)'라는 점입니다.
- 비유: 지도가 있다고 상상해 보세요. 지도를 회전시키면 북극의 위치가 바뀝니다. 일부 압축 방법은 데이터를 회전시키면 (지도를 돌리면) 망가지거나 성능이 떨어집니다. 그러나 WaterSIC 는 데이터가 어떻게 회전하든 상관없이 동일하게 잘 작동합니다. 이는 데이터가 향하는 방향이 아니라 데이터의 형태에 적응합니다.
GPTQ 의 놀라운 성능 (비밀이 있음): 이 논문은 정교한 워터필링 조정을 사용하지 않는 표준 GPTQ 방법도 데이터를 먼저 무작위로 회전시킨다면 놀라울 정도로 잘 수행된다는 사실을 발견했습니다.
- 현재 AI 데이터가 조직화되는 방식은 사실 '운이 좋은' 상태 (최적의 형태에 근접함) 라는 것입니다. 하지만 이를 건드리면 (회전시키면) GPTQ 는 성능이 떨어지는 반면, WaterSIC 는 강세를 유지합니다.

요약

이 논문은 AI 가중치를 압축하는 더 지능적인 방법인 WaterSIC를 소개합니다.

구식 방법: 모든 것에 표준 격자를 사용 (GPTQ).
신식 방법: 데이터의 형태를 살펴보고 각 부분에 대해 격자 크기를 조정 (WaterSIC).
결과: 새로운 방법은 거의 완벽하며, 이론상 불가침이고, 데이터가 뒤섞이거나 회전되더라도 견고합니다. 이는 복잡한 수학 이론과 실용적이고 빠른 AI 압축 사이의 간극을 메웁니다.

저자들은 현재 방법들이 좋지만, 특히 매우 낮은 비트 수로 압축할 때 (작업할 비트가 매우 적을 때) 그리고 컴퓨터 칩에서 데이터 '형태화'를 더 빠르게 만드는 데에는 여전히 개선의 여지가 있다고 결론지었습니다.

기술 요약: 고율 양자화 행렬 곱셈 II

문제 정의
본 논문은 대규모 언어 모델 (LLM) 에 대한 가중치-only 양자화의 이론적 및 실용적 한계를 조사합니다. 구체적인 설정은 추론 시 활성화 행렬 $X$ 가 고정밀도로 사용 가능한 반면, 메모리 대역폭 및 저장 요구 사항을 줄이기 위해 가중치 행렬 $W$ 는 저해상도 표현 $\hat{W}$ 로 양자화되어야 한다고 가정합니다. 목표는 기대 가중 평균 제곱 오차 (WMSE) 왜곡을 최소화하는 것입니다:
$D = \frac{1}{n} \mathbb{E} \| X^\top (W - \hat{W}) \|_F^2 = \frac{1}{n} \text{tr}((W - \hat{W})^\top \Sigma_X (W - \hat{W}))$
여기서 $\Sigma_X = \mathbb{E}[XX^\top]$ 는 활성화의 공분산 행렬이며, 이는 (보정을 통해) 알려져 있다고 가정되지만 디코더 (추론 엔진) 는 $\Sigma_X$ 나 그 기저에 접근할 수 없고 양자화된 비트만 접근할 수 있습니다.

방법론 및 이론적 프레임워크
저자들은 정보 이론적 한계와 실용적 알고리즘 설계라는 두 가지 렌즈를 통해 문제에 접근합니다.

정보 이론적 한계 (고율 영역):
- 등방성 vs. 이방성 코딩: 본 논문은 $\Sigma_X$ 에 무관한 표준 코드북을 사용하는 "등방성" 양자화와 $\Sigma_X$ 에 적응하는 "이방성" 양자화를 대비시킵니다.
- 워터필링 솔루션: 고전적 소스 코딩 이론에 기반하여, 저자들은 고율 영역에서 최적 왜곡 $D^*$ 가 역 워터필링 전략을 통해 달성된다고 유도합니다. 이는 $\Sigma_X$ 의 고유값에 기반하여 좌표 간에 양자화율을 불균일하게 할당하여, 고유값의 기하평균에 비례하는 왜곡을 초래합니다: $D^* \propto |\Sigma_X|^{1/n} 2^{-2R}$ .
- 격차: 표준 등방성 코딩은 고유값의 산술평균에 비례하는 왜곡을 산출합니다. 최적 해법과 등방성 해법 사이의 격차는 산술평균 - 기하평균 (AM-GM) 부등식에 의해 지배됩니다.
- 무관한 디코더: 중요한 점은, 디코더가 $\Sigma_X$ 에 무관하다면 (SVD 기저를 적용할 수 없다 하더라도), 적응형 인코더가 등방성 코드북을 사용할 경우, 코드북으로의 반올림이 최적이라면 고율 영역에서 점근적으로 워터필링 왜곡 한계에 도달할 수 있음을 본 논문은 보여줍니다.
실용적 알고리즘 (연속 간섭 상쇄):
- 본 논문은 고정된 비율을 각 항목에 적용하고 Cholesky 분해 $\Sigma_X = U^\top U$ 에 기반한 연속 간섭 상쇄 (SIC) 접근법 (Babai 알고리즘) 을 사용하는 GPTQ(및 동등한 LDLQ) 알고리즘을 분석합니다.
- GPTQ 의 이론적 한계: 저자들은 표준 GPTQ(균등 간격) 가 $U$ 의 대각 요소의 제곱 ( $U_{i,i}^2$ ) 의 산술평균에 비례하는 왜곡을 달성함을 보여줍니다. 이 성능은 $\Sigma_X$ 의 기저에 민감합니다. 구체적으로, $U$ 가 대각행렬인 PCA 기저에서는 가장 나쁘게 수행되며, 무작위 기저에서는 더 잘 수행됩니다.
- WaterSIC 알고리즘: 워터필링 이론에 영감을 받아, 저자들은 WaterSIC를 제안합니다. 이 알고리즘은 Cholesky 인자 $U$ 의 대각 요소에 기반하여 각 좌표의 양자화 단계 크기 (간격) 를 조정합니다. 구체적으로, 더 큰 $U_{i,i}$ 값을 가진 좌표에 더 많은 비트를 할당합니다.
- 성능: WaterSIC 는 $U_{i,i}^2$ 의 기하평균에 비례하는 왜곡을 달성합니다. $U_{i,i}$ 의 곱이 $\sqrt{|\Sigma_X|}$ 와 같으므로, WaterSIC 는 정보 이론적 하한선 대비 $\frac{2\pi e}{12}$ (약 1.423 또는 항목당 0.25 비트) 의 곱셈 인자 내의 왜곡을 달성합니다.

주요 결과

WaterSIC 의 근접 최적성: WaterSIC 알고리즘은 "기저 자유"임이 입증되었습니다 (성능은 $\Sigma_X$ 의 행렬식에만 의존하므로 입력 공간의 무작위 회전에 면역입니다). 또한 고율 영역에서 이론적 최적치로부터 항목당 0.25 비트 이내입니다.
GPTQ 성능: 표준 GPTQ 는 특정 기저에서 비최적이지만, 저자들은 Llama-3-8B 레이어의 경우 가중치의 무작위 회전을 적용한 GPTQ 는 놀랍도록 잘 수행되어 종종 WaterSIC 와 0.1 비트 이내임을 발견했습니다. 이는 LLM 에서 사용되는 표준 기저 (아마도 Adam 옵티마이저 동역학의 영향을 받은) 가 GPTQ 에게 최악의 시나리오가 아니며, 무작위 회전이 기저 민감성을 완화할 수 있음을 시사합니다.
실증적 검증: Wikitext-2 보정 데이터를 사용한 Llama-3-8B 레이어에 대한 실험은 엔트로피 코딩을 적용한 WaterSIC 가 이론적 워터필링 한계를 밀접하게 추적하는 반면, 표준 GPTQ 는 레이어와 기저에 따라 변동적인 성능을 보임을 확인했습니다.

의의 및 주장
본 논문은 추상적 정보 이론과 실용적 LLM 양자화 사이의 격차를 해소한다고 주장합니다:

이론적 정당성: 가중치-only 양자화에서 균일 할당보다 좌표별 비율 할당 (워터필링) 이 우월한 이유에 대한 엄격한 정보 이론적 정당성을 제공합니다.
알고리즘적 개선: 이러한 이론적 이득을 실현하는 실용적이고 저복잡도의 알고리즘인 WaterSIC 를 도입하여, 근접 최적 왜곡으로 가는 증명 가능한 경로를 제시합니다.
기존 방법에 대한 통찰: GPTQ 의 행동을 명확히 하여, $\Sigma_X$ 의 기저에 대한 민감성을 설명하고 무작위 회전이 이를 거의 최적화할 수 있음을 보여줌으로써 그 광범위한 사용을 검증하면서도 WaterSIC 를 통한 추가 이득의 가능성을 강조합니다.
한계 및 향후 작업: 저자들은 겸손하게 고율 근사가 고해상도를 가정한다고 지적합니다. 저율 (예: < 2 비트) 에서는 차원 축소 및 특정 가중치 구조와 같은 다른 요소들이 결정적이 된다고 식별합니다. 또한, 엔트로피 코딩 (EC) 이 이론적으로 최적이지만 GPU 에 대한 계산 비용이 prohibitive 할 수 있으며, GPU 를 위한 효율적인 셰이핑 방법은 여전히 열려 있는 과제임을 강조합니다. 또한 WaterSIC 의 0.25 비트 격차는 정수 격자 $\mathbb{Z}^n$ 의 비최적성에서 비롯된 것으로, 고차원 격자를 사용하면 줄일 수 있지만 이는 엔트로피 코딩을 복잡하게 만든다고 덧붙입니다.