🤖 machine learning

Preserve-Then-Quantize: Balancing Rank Budgets for Quantization Error Reconstruction in LLMs

원저자: Yoonjun Cho, Dongjae Jeon, Soeun Kim, Moongyu Jeon, Albert No

게시일 2026-05-14

📖 4 분 읽기☕ 가벼운 읽기

원저자: Yoonjun Cho, Dongjae Jeon, Soeun Kim, Moongyu Jeon, Albert No

원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

"Preserve-Then-Quantize" 논문에 대한 설명을 쉬운 언어와 창의적인 비유로 제시합니다.

큰 그림: 최고의 책을 잃지 않고 도서관을 압축하기

수백만 권의 책이 있는 거대하고 고품질의 도서관 (대규모 언어 모델) 이 있다고 상상해 보세요. 이 도서관을 쉽게 휴대할 수 있도록 작은 배낭 (저비트 양자화) 에 들어갈 만큼 줄이고 싶다고 가정해 봅시다.

문제:
모든 책을 배낭에 던져 넣고 들어맞게 꾹꾹 누르면, 책등이 갈라지고 페이지가 얼룩지며 가장 중요한 이야기들이 망가집니다. 이것이 AI 모델을 압축할 때 발생하는 일입니다. '꾹꾹 누르는 행위 (양자화)'가 가장 중요한 정보를 파괴하여, 성능이 떨어지는 모델을 만들어냅니다.

기존의 해결책 (양자화 오차 재구성):
과거 과학자들은 "좋아요, 책을 꾹꾹 눌렀지만, 이 손상을 복구할 작은 '수리 키트 (저랭크 보정)'를 추가하자"라고 말하며 이를 해결하려 했습니다.

결함: 기존 방법은 꾹꾹 눌림으로 인한 손상을 복구하기 위해 전체 수리 키트를 사용하려 했습니다. 하지만 여기서 함정이 있습니다. 꾹꾹 눌림은 무작위 페이지를 손상시킨 것이 아니라, 가장 중요하고 에너지가 높은 이야기들 (주요 방향) 을 특히 망가뜨렸습니다. 수리 키트는 주요 이야기의 큰 구멍을 메우고 나머지 부분의 작은 흠집을 고칠 만큼 충분히 크지 않았습니다. 너무 적은 공간으로 너무 많은 일을 하려 했던 것입니다.

새로운 해결책: SRR (구조화된 잔여 재구성)

저자들은 SRR이라는 새로운 전략을 제안하며, 이를 **"보존한 후 양자화 (Preserve-Then-Quantize)"**라고 설명합니다.

엄격한 무게 제한이 있는 여행을 준비하는 것과 같지만, 특별한 규칙이 하나 있습니다: 나머지를 포장하기 전에 가장 소중한 물건들을 별도의 안전한 주머니에 보관할 수 있습니다.

SRR 의 작동 방식은 다음과 같습니다.

1. "보존" 단계 (안전한 주머니)

책을 꾹꾹 누르기 전에 도서관을 살펴 가장 중요하고 에너지가 높은 상위 10% 의 이야기들 ("주요 부분 공간") 을 식별합니다.

행동: 이 특정 이야기들을 꺼내 "안전한 주머니"에 넣습니다 (보존). 이 이야기들은 꾹꾹 눌리거나 손상되지 않도록 약속합니다. 원래의 완벽한 형태로 남습니다.

2. "양자화" 단계 (꾹꾹 누르기)

이제 남은 책들 (덜 중요한 이야기들) 을 배낭에 꾹꾹 눌러 넣습니다.

결과: 가장 중요한 이야기들을 꾹꾹 누르지 않았기 때문에 배낭의 손상은 훨씬 적습니다. 꾹꾹 누름으로 인해 발생하는 "노이즈"나 오차는 이제 훨씬 작아지고 관리하기 쉬워집니다.

3. "재구성" 단계 (수리 키트)

여전히 배낭에 제한된 공간만큼의 "수리 키트 (저랭크 보정)"를 넣을 수 있습니다.

마법: 기존 방법에서는 수리 키트가 전체 도서관을 복구해야 했습니다. SRR 에서는 수리 키트가 꾹꾹 눌린 남은 책들만 복구하면 됩니다.
교환 조건: "랭크 예산 (총 복구 공간)"을 두 부분으로 나눕니다.
- 부분 A: "안전한 주머니"를 유지하는 데 사용 (상위 이야기 보존).
- 부분 B: 꾹꾹 눌린 나머지 책들의 손상을 복구하는 데 사용.

이 논문은 "안전한 주머니"를 위해 몇 개의 이야기를 꺼낼지와 수리 키트를 위해 얼마나 많은 공간을 남겨둘지를 정확히 계산하는 똑똑한 공식을 제시합니다. 두 가지를 균형 있게 조정하여 최상의 결과를 얻도록 합니다.

"파인튜닝 (모델에 새로운 기술 가르치기)"에 왜 중요한가

이 논문은 또한 이 방법이 압축된 모델에 새로운 기술을 가르칠 때 (QPEFT 라고 함) 도움이 된다는 것을 보여줍니다.

비유: "안전한 주머니"에 있는 이야기들은 AI 의 핵심 성격이라고 상상해 보세요. 새로운 언어를 가르치려 할 때, 새로운 단어를 가르치는 동안 실수로 핵심 성격이 바뀌지 않도록 하고 싶을 것입니다.
해결책: SRR 은 "핵심 성격 (보존된 방향)"과 "새로운 학습 (재구성된 방향)"을 분리합니다. 학습 과정에서 시스템은 AI 에게 이렇게 부드럽게 말합니다: "핵심 성격은 너무 많이 바꾸지 마라, 하지만 배낭의 나머지 부분으로 새로운 것들을 배우는 것은 자유롭게 하라."
결과: 모델은 더 빠르게 학습하고 특히 배낭이 매우 작을 때 (2 비트 양자화) 더 안정적으로 유지됩니다.

결과

저자들은 LLaMA 와 Gemma 와 같은 다양한 AI 모델에서 이를 테스트한 결과 다음과 같은 사실을 발견했습니다.

더 나은 정확도: 이전 방법들에 비해 모델이 실수를 더 적게 했습니다 (낮은 "퍼플렉시티"). 심하게 압축되었음에도 불구하고 그랬습니다.
더 나은 학습: 이러한 압축된 모델을 파인튜닝할 때, SRR 은 언어 이해와 추론과 같은 작업에서 성능을 훨씬 더 향상시켰으며, 2 비트 설정에서 이전 방법보다 최대 5.9 퍼센트 포인트를 끌어올렸습니다.

요약

부서진 도서관을 부숴진 후에 고치려 하는 대신, SRR은 이렇게 말합니다: "나머지를 부술 전에 가장 가치 있는 책들을 보호하고, 그 다음에 실제 손상된 물건들에만 제한된 수리 도구를 사용하자." 이 간단한 전략의 변화로 인해 AI 모델은 지능을 잃지 않으면서 훨씬 더 작아질 수 있습니다.

기술 요약: Preserve-Then-Quantize (SRR)

문제 정의

포스트 트레이닝 양자화 (PTQ) 는 고정밀 가중치를 저비트 표현으로 변환함으로써 대규모 언어 모델 (LLM) 의 메모리 풋프린트와 추론 비용을 줄이는 주요 방법입니다. 그러나 공격적인 저비트 양자화 (예: 2 비트 또는 3 비트) 는 종종 상당한 정확도 저하를 초래합니다. 널리 채택된 해결책은 **양자화 오차 재구성 (QER)**으로, 이는 정밀 가중치 행렬 $W$ 를 $W \approx Q + LR$ 로 근사합니다. 여기서 $Q$ 는 양자화된 가중치이며, $LR$은 양자화 과정에서 손실된 정보를 복구하도록 설계된 저랭크 보정 항입니다.

기존 QER 방법들은 일반적으로 전체 랭크 예산 $r$ 을 양자화 잔차 재구성 (즉, $S(W-Q)$ 를 근사, 여기서 $S$ 는 활성화 스케일 행렬) 에 전념합니다. 저자들은 이 접근 방식이 두 가지 주요 이유로 최적이지 않다고 주장합니다:

비효율적인 자원 할당: 저비트 영역에서 양자화 오차는 종종 밀집되어 있고 고랭크입니다. 이 오차를 보정하는 데 모든 랭크 용량을 할당하는 것은 비효율적일 수 있습니다.
구조적 손상: 활성화 스케일 공간 ($SW$) 의 트랜스포머 가중치는 종종 매우 이방성 (anisotropic) 이며, 대부분의 에너지가 소수의 지배적인 특이 방향에 집중되어 있습니다. 표준 QER 은 이러한 지배적인 방향을 먼저 양자화하여 불균형하게 큰 스케일된 오차를 주입합니다. 이후 저랭크 보정은 가장 정보량이 많은 부분 공간에서 '회피 가능한 왜곡'을 수리하는 데 제한된 용량을 소모하게 되어 잔차 노이즈를 보정하는 데 필요한 자원을 잃게 됩니다.

해결하려는 핵심 질문은 다음과 같습니다: 고정된 랭크 예산 하에서, 지배적 구조의 보존과 양자화 오차의 재구성 사이를 어떻게 균형 있게 조정해야 하는가?

방법론: 구조화된 잔차 재구성 (SRR)

이 논문은 지배적 구조 보존과 양자화 오차 재구성 사이에서 랭크 예산을 명시적으로 할당하는 "보존 후 양자화 (preserve-then-quantize)" 프레임워크인 **구조화된 잔차 재구성 (Structured Residual Reconstruction, SRR)**을 제안합니다.

1. 보존 후 양자화 파이프라인

전체 가중치 행렬 $W$ 를 양자화한 후 잔차를 보정하는 대신, SRR 은 선택된 분할점 $k$ ( $0 \le k \le r$ ) 에 대해 다음 단계들을 수행합니다:

보존: 스케일된 가중치 행렬 $SW $의 상위-$ k $개 지배적 특이 방향을 추출합니다. 이러한 방향은 원래 공간 ($ L^{(1)}_k R^{(1)}_k$) 으로 매핑되어 양자화를 우회합니다.
양자화: 나머지 잔차 성분 ( $W - L^{(1)}_k R^{(1)}_k$ ) 을 양자화하여 $Q_k$ 를 생성합니다.
재구성: 잔차에 유도된 양자화 오차 ( $E_k = (W - L^{(1)}_k R^{(1)}_k) - Q_k$ ) 를 스케일된 공간에서 잘라낸 SVD 를 통해 남은 랭크 예산 $r-k$ 를 사용하여 재구성합니다 ( $L^{(2)}_k R^{(2)}_k$ ).

최종 근사식은 $\hat{W}_{SRR} = L^{(1)}_k R^{(1)}_k + Q_k + L^{(2)}_k R^{(2)}_k$ 입니다.

2. 이론 기반 랭크 선택 ( $k^*$ )

최적의 분할점 $k$ 를 선택하는 것은 중요합니다. SRR 은 비용이 많이 드는 열거 없이 스케일된 재구성 오차를 최소화하기 위한 기준을 유도합니다.

목적: $\|S(W - \hat{W}_{SRR}(k))\|_F$ 를 최소화합니다.
유도: 오차는 양자화 오차의 스케일과 복구 불가능한 에너지 비율로 분해됩니다.
- 가정 4.1: 스케일된 양자화 오차 에너지는 스케일된 입력 에너지에 대략 비례합니다 ( $\|SE_k\|_F \approx \eta_Q \|S(W - L^{(1)}_k R^{(1)}_k)\|_F$ ).
- 가정 4.2: 정규화된 양자화 오차의 스펙트럼 프로파일은 특정 실현에 민감하지 않으며, i.i.d. 항을 가진 무작위 행렬 $E$ 로 근사할 수 있습니다.
선택 규칙: 최적의 $k^*$ 는 보존된 부분의 복구 불가능한 에너지와 잔차 부분의 복구 불가능한 에너지의 곱을 최소화함으로써 선택됩니다:
$k^* = \arg \min_{0 \le k \le r} \rho_k(SW) \cdot \rho_{r-k}(SE)$
여기서 $\rho_p(A)$ 는 랭크- $p$ 잘라내기 후 남은 에너지의 비율입니다. 이를 통해 무작위 프로브 행렬 $E$ 를 사용하여 $k$ 를 경량화되고 일회성으로 선택할 수 있습니다.

3. 양자화된 매개변수 효율적 미세 조정 (QPEFT) 에의 적용

SRR 은 양자화된 백본을 고정하고 저랭크 어댑터만 학습하는 QPEFT 로 자연스럽게 확장됩니다.

초기화: SRR 분해는 어댑터 ( $LR = L^{(1)}R^{(1)} + L^{(2)}R^{(2)}$ ) 를 위한 고정밀 초기화를 제공합니다.
그라디언트 스케일링: 두 구성 요소는 서로 다른 역할을 수행합니다: $L^{(1)}R^{(1)}$ 은 지배적 부분 공간을 보존하고, $L^{(2)}R^{(2)}$ 은 적응을 처리합니다. 보존된 방향이 구조를 불안정하게 할 수 있는 과도한 업데이트를 방지하기 위해 SRR 은 보존된 구성 요소에 그라디언트 스케일링을 적용합니다:
$\nabla_{L^{(1)}R^{(1)}} L \leftarrow \gamma \nabla_{L^{(1)}R^{(1)}} L, \quad \gamma \in (0, 1)$
이는 보존된 부분 공간에서의 업데이트를 감쇠시키면서 잔차 방향이 자유롭게 적응할 수 있게 함으로써 미세 조정을 안정화합니다.

주요 기여

랭크 할당 프레임워크: SRR 은 지배적 저랭크 구조 보존과 양자화 오차 재구성 사이에서 랭크 예산을 명시적으로 분할하는 원칙적인 프레임워크를 도입하여, "잔차 전용" 재구성의 비효율성을 해결합니다.
이론 기반 선택: 논문은 스케일된 가중치의 스펙트럼 감쇠와 양자화 노이즈에 대한 무작위 행렬 프록시를 기반으로 분할점 $k$ 를 선택하는 간단하고 이론 기반의 기준을 유도하여 비용이 많이 드는 열거를 피합니다.
QPEFT 안정화: 이 방법은 QPEFT 를 위한 구조화된 초기화를 제공하고, 보존된 방향과 재구성된 방향의 역할을 분리하여 학습을 안정화하는 그라디언트 스케일링 메커니즘을 도입합니다.
플러그 앤 플레이 구현: SRR 은 기존 활성화 인식 QER 방법 (예: LQER, QERA) 과 호환되는 미세 조정 불필요, 플러그 앤 플레이 모듈로 설계되었습니다.

실험 결과

저자들은 다양한 모델 (TinyLLaMA, Gemma-2, LLaMA-2, LLaMA-3.1) 과 양자화 설정 (2 비트에서 4 비트) 에서 SRR 을 평가했습니다.

포스트 트레이닝 양자화 (PTQ):
- SRR 은 LQER 및 QERA 와 같은 베이스라인과 비교하여 모든 모델과 랭크 예산 ( $r=32, 64$ ) 에서 WikiText2 의 퍼플렉시티를 일관되게 감소시켰습니다.
- 주목할 만한 개선 사항으로는 3 비트 정밀도에서 LLaMA-2 7B 에서 27.1% 의 상대적 퍼플렉시티 감소와 Gemma-2 2B 에서 **12.2%**의 감소가 있었습니다.
- 하류 작업 (HellaSwag, Winogrande 등) 에 대한 제로샷 정확도도 일관되게 향상되었습니다.
양자화된 PEFT (QPEFT):
- RoBERTa-base 를 사용한 GLUE 벤치마크에서 SRR 은 2 비트 양자화 하에서 QERA 베이스라인보다 5.9 퍼센트 포인트의 평균 향상을 달성했습니다.
- SRR 은 반복적 정제가 필요 없는 2 비트 정밀도에서 LoftQ 및 LQ-LoRA 와 같은 반복적 방법보다 10 퍼센트 포인트 이상 우월한 성능을 보였습니다.
- 학습 손실 곡선은 SRR 이 베이스라인에 비해 수렴을 가속화함을 보여주었습니다.
- GSM8K 및 SlimPajama 에서 SRR 은 2 비트 정밀도에서 QERA 및 기타 베이스라인에 비해 정확도를 향상시키고 퍼플렉시티를 크게 감소시켰습니다.
강건성:
- SRR 은 다양한 양자화기 (MXINT, GPTQ, QuIP#) 에서 일관된 개선을 보여주었습니다.
- 랭크 선택 $k^*$ 는 무작위 시드 간에 안정적으로 발견되었으며 (일반적으로 $\pm 1$ 범위 내에서 변동), 이는 신뢰할 수 있음을 시사합니다.

중요성 및 주장

이 논문은 $W \approx Q + LR$ 에 대한 정확한 저비트 근사를 위해 보존과 재구성의 균형이 결정적이라고 주장합니다. 양자화가 고에너지 방향을 손상시키는 것을 방지하고 가장 효과적인 보정을 위해 저랭크 용량을 확보함으로써, SRR 은 동일한 랭크 예산 하에서 이전 방법들보다 더 정확한 근사를 달성합니다.

저자들은 SRR 이 양자화된 모델에서 저랭크 정정을 위한 원칙적인 프레임워크를 제공한다고 강조합니다. 이는 저랭크 예산이 단일 목적 (오차 보정) 을 위해 사용되어서는 안 되며, 가중치의 고유한 구조적 속성에 기반하여 동적으로 할당되어야 함을 보여줍니다. 이 방법은 PTQ 와 QPEFT 모두에 대한 견고하고, 계산 효율적 (무작위 SVD 를 통한 오버헤드 무시할 수준), 그리고 일반화 가능한 솔루션으로 제시되어 LLM 의 더 정확한 저비트 배포를 가능하게 합니다.