🤖 machine learning

InfoQuant: Shaping Activation Distributions for Low-Bit LLM Quantization

InfoQuant 은 피크 억제 직교 변환 (PSOT) 과 적응형 이상치 토큰 선택을 활용하여 활성화 분포를 컴팩트하고 잘 분산된 형태로 재구성함으로써 양자화 오차를 크게 줄이고 기존 저비트 LLM 배포 기준선보다 우수한 성능을 보이는 훈련이 불필요한 사후 훈련 양자화 방법입니다.

원저자: Ke Li, Dong An, Xiaoling Zang, Can Ye, Liang Xie, Qibo Qiu, Chen Shen, Xiaofei He, Wenxiao Wang

게시일 2026-05-27

📖 3 분 읽기☕ 가벼운 읽기

CC BY 4.0

원저자: Ke Li, Dong An, Xiaoling Zang, Can Ye, Liang Xie, Qibo Qiu, Chen Shen, Xiaofei He, Wenxiao Wang

원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

INFOQUANT 논문에 대한 설명을 창의적인 비유를 곁들여 쉬운 언어로 번역한 것입니다.

큰 문제: "너무 높은" 상자

거대하고 혼란스러운 모래 더미가 있다고 상상해 보세요 (이는 대규모 언어 모델, 즉 LLM 내부의 데이터를 나타냅니다). 이 모래를 작은 깔끔한 상자에 담아 공간을 절약하고 운반하기 쉽게 만들고 싶습니다 (이는 양자화—모델을 축소하여 더 빠르게 실행되고 메모리를 덜 사용하도록 만드는 것—입니다).

보통 모래의 대부분은 정상적이고 관리 가능한 높이입니다. 하지만, 하늘 높이 솟은 몇 개의 거대한 뾰족한 모래 기둥이 있습니다 (이를 이상치라고 합니다).

이 몇 개의 거대한 뾰족한 부분 때문에, 모든 것을 담기 위해 엄청난 상자를 사용해야만 합니다. 모래를 그 거대한 상자에 넣으면, 바닥의 "정상적인" 모래가 작고 납작한 층으로 눌려집니다. 나중에 모래를 꺼내려 할 때, 모든 것이 같은 자리로 납작해졌기 때문에 정상적인 모래의 서로 다른 층들 사이의 차이를 구별할 수 없습니다. 모델이 명확하게 "생각"하는 능력을 잃게 되는 것입니다.

이전의 해결책: 뾰족한 부분 다듬기

이전 방법들은 다음과 같이 이 문제를 해결하려 했습니다:

뾰족한 부분 부수기: 거대한 모래 더미의 꼭대기를 잘라내려 시도합니다.
뾰족한 부분 이동하기: 무거운 모래를 한 곳에서 다른 곳으로 옮깁니다.

문제는 뾰족한 부분을 잘라내더라도, 남은 모래가 작은 상자에 잘 들어맞지 않도록 뭉쳐져 있을 수 있다는 점입니다. 상자가 더 작아졌을지라도, 모래가 서로 다른 입자 사이를 구별하기 어렵게 뭉쳐져 있는 상태일 수 있습니다.

새로운 아이디어: INFOQUANT

이 논문의 저자들인 INFOQUANT는 목표가 단순히 모래를 "작게" 만드는 것이 아니라, 모래가 상자를 위해 설계된 것처럼 보이게 만드는 것이라고 깨달았습니다.

그들은 새로운 질문을 던집니다: "작은 상자에 완벽하게 들어맞는 모래 더미는 어떤 모습이어야 할까?"

그들의 답은 다음과 같습니다: 상자 안에 들어갈 수 있도록 낮아야 하지만 (짧아야), 모든 모래 알갱이를 볼 수 있도록 고르게 퍼져 있어야 합니다.

INFOQUANT 작동 방식 (3 단계 레시피)

1. "돌리고 퍼뜨리기" (피크 억제 직교 변환)
모래가 팽이 안에 있다고 상상해 보세요. 저자들은 직교 회전이라는 특별한 수학적 트릭을 사용하여 모래를 돌립니다.

무엇을 하는가: 거대한 뾰족한 부분들을 가져와 그 에너지를 전체 더미에 퍼뜨립니다.
결과: 거대한 뾰족한 부분들이 사라지고 모래는 매끄럽고 넓은 언덕이 됩니다. 결정적으로, 이 언덕은 이제 낮아져서 (상자에 들어맞음) 하지만 넓어져서 (모래가 퍼져 층을 구별할 수 있음) 상자에 들어맞습니다.

2. "똑똑한 정찰병" (적응형 이상치 - 토큰 선택)
때로는 모래 더미에 뾰족한 것처럼 보이지만 실제로는 중요하지 않은 몇 가지 이상하고 시끄러운 부분이 있습니다. 만약 그것들을 고치려 한다면 좋은 부분을 망칠 수 있습니다.

무엇을 하는가: INFOQUANT 는 모래를 살펴보는 "정찰병"을 가지고 있어, *"저기 있는 그 뾰족한 부분은 진짜이고 위험하니 고치자. 하지만 저기 있는 그 작은 혹? 무시하자."*라고 말합니다.
결과: 모델은 진짜 문제들을 고치는 데 에너지를 집중하여, 과정을 더 견고하게 만들고 노이즈에 혼동될 가능성을 줄입니다.

3. "미세 조정 클립" (학습 가능한 활성화 클리핑)
돌리고 퍼뜨린 후, 저자들은 마지막 점검을 한 번 더 합니다. 모래가 구석에서 손실되거나 으깨지지 않고 완벽하게 들어맞도록 상자의 정확한 크기를 조정합니다.

결과: 최종 패키지는 상자의 특정 크기에 최적화되어, 어떤 정보도 구석에서 손실되지 않도록 보장합니다.

왜 이것이 중요한가

이 논문은 LLaMA-2 와 LLaMA-3 와 같은 유명한 AI 모델에서 이를 테스트했습니다.

결과: 모델을 4 비트 (100 페이지짜리 책을 엽서 크기로 줄이는 것과 같은 매우 작은 크기) 로 축소했을 때, INFOQUANT 는 원래 지능의 **97%**를 유지했습니다.
비교: 이전 방법들은 이 크기로 축소할 때 훨씬 더 많은 지능을 잃었습니다. INFOQUANT 는 "엽서"를 읽을 수 있고 유용하게 유지하는 데 성공한 반면, 다른 방법들은 그것을 흐릿한 낙서로 만들어 버렸습니다.

결론

INFOQUANT를 마스터 포장꾼으로 생각하세요. messy 하고 뾰족한 모래 더미를 작은 상자에 억지로 넣는 것 (이는 세부 사항을 으깨버림) 대신, 먼저 더미를 재형성하여 자연스럽게 상자에 완벽하게 들어맞게 합니다. 그들은 더미를 상자에 들어맞을 만큼 낮게 만들지만, 모든 세부 사항을 볼 수 있도록 충분히 퍼뜨립니다.

이를 통해 우리는 거대하고 강력한 AI 모델을 "두뇌 능력"을 잃지 않고 더 작고 저렴한 컴퓨터에서 실행할 수 있게 됩니다.

기술 요약: INFOQUANT

문제 정의

저비트 활성화 양자화는 대규모 언어 모델 (LLM) 의 효율적인 배포를 위한 주요 병목 현상으로 남아 있습니다. LLM 의 가중치는 일반적으로 평탄하고 균일하게 분포되어 있는 반면, 활성화 값은 양자화 범위를 확장하는 소수의 지배적인 좌표 (이상치) 를 종종 포함합니다. 이로 인해 반올림 양자화 (round-to-nearest quantization) 는 많은 일반 값을 동일한 소수의 이산 레벨로 매핑하게 되어 상당한 정보 손실이 발생합니다.

기존의 학습 후 양자화 (PTQ) 방법들은 이상치를 억제하거나, 채널을 균형 있게 조정하거나, 재구성 오차 (예: MSE) 를 최소화함으로써 이를 완화하려 시도합니다. 그러나 본 논문은 이러한 접근법들이 실제로 어떤 활성화 분포가 "양자화에 친화적인지"를 명시적으로 정의하지 못한다고 주장합니다. 방법론들이 가시적인 피크를 줄이거나 수치적 오차를 낮출지라도 분포의 근본적인 "이산화 가능성 (discretizability)"을 개선하지 못해, 종종 양자화 범위가 너무 넓어지거나 값들이 평균 근처로 붕괴되는 결과를 초래합니다.

방법론: INFOQUANT

저자들은 INFOQUANT을 제안합니다. 이는 활성화 변환을 "양자기 facing 분포 설계"로 재해석하는 학습이 불필요한 PTQ 프레임워크입니다. 핵심 철학은 정보 이론적 분석에서 도출된 것으로, 낮은 양자화 오차는 두 가지 상호 보완적인 속성을 필요로 함을 보여줍니다:

더 작은 수치 범위 (양자화 단계 크기를 줄이기 위해).
해당 범위 내에서의 충분한 분산 (사용 가능한 양자화 레벨을 효과적으로 활용하기 위해).

INFOQUANT 은 다음 세 가지 주요 구성 요소를 통해 이를 달성합니다:

1. 피크 억제 직교 변환 (PSOT)

PSOT 은 활성화 분포를 재구성하기 위해 직교 회전 행렬을 학습합니다. 고정된 회전 (예: Hadamard) 과 달리, PSOT 은 특정 손실 함수를 최소화하도록 블록 대각 직교 행렬 $R$ 을 최적화합니다:
$\ell_{ps}(x; R) = \|\pi_T(y) \odot y\|^2$
여기서 $y = xRP_\perp$ (중심화된 회전된 활성화) 이고, $\pi_T$ 는 크기에 기반한 소프트맥스 가중치입니다. 이 목적 함수는 고강도 좌표 (피크) 를 명시적으로 패널티합니다. 직교성으로 인해 총 토큰 에너지를 보존하면서 가장 큰 중심 좌표를 억제함으로써, PSOT 은 나머지 에너지가 더 많은 차원에 퍼지도록 강제합니다. 이는 동시에 클리핑 스케일을 줄여 (범위를 좁혀) 정규화된 분산 ( $b_n$ ) 을 증가시킵니다.

2. 적응형 이상치 토큰 선택 (ASOT)

강건한 최적화를 보장하기 위해 INFOQUANT 은 모든 보정 토큰을 동등하게 취급하지 않습니다. "양자화 민감 이상치 구조"를 가진 토큰을 식별하여 회전 최적화 과정에서 재가중치를 적용합니다.

통계적으로 극단적인 좌표를 하나 이상 포함하는 토큰을 선택합니다.
과적합 (고정된 프롬프트 레이아웃 또는 보정 인공물) 을 방지하기 위해 선택된 이상치 위치가 샘플 간에 다양하게 변하도록 임계값 선택 메커니즘을 사용합니다.
이러한 선택된 토큰은 손실 함수에서 상향 가중치 ( $\gamma > 1$ ) 를 받고, 일반 토큰은 정규화제로 작용합니다.

3. 학습 가능한 활성화 클리핑 (LAC)

분포가 PSOT 에 의해 재구성된 후, 이 방법은 학습 가능한 클리핑 매개변수 ( $\alpha, \beta$ ) 를 사용하여 최종 보정 단계를 적용합니다. 이러한 매개변수는 재구성된 분포에 특화되어 재구성 오차를 최소화하면서 양자화된 블록 출력을 정밀도 출력에 맞추기 위해 활성화 단계 크기를 정제합니다.

주요 기여

정보 이론적 프레임워크: 본 논문은 양자화 오차와 활성화 분포 속성 간의 이론적 연결을 확립합니다. 양자화 오차를 최소화하는 것이 정규화된 클리핑 오차 상한을 줄이는 것과 동등하며, 이는 더 작은 수치 범위와 더 높은 분산을 필요로 함을 입증합니다.
INFOQUANT 알고리즘: 하드웨어 효율적이고 학습이 불필요한 방법으로, 활성화 값을 양자화에 친화적인 분포로 만들기 위해 직교 변환을 학습하며, 적응형 토큰 선택과 학습 가능한 클리핑을 보완합니다.
실증적 검증: LLaMA-2 및 LLaMA-3 계열 (7B~70B) 과 Qwen2.5 모델을 아우르는 광범위한 실험.

실험 결과

이 방법은 다양한 비트 폭 구성, 특히 까다로운 W4A4KV4 설정 (4 비트 가중치, 4 비트 활성화, 4 비트 KV 캐시) 에서 평가되었습니다.

정확도 보존: W4A4KV4 설정에서 INFOQUANT 은 LLaMA-2 및 LLaMA-3 모델 전반에 걸쳐 원래 부동소수점 정확도의 평균 **97%**를 보존합니다.
최첨단 성능: W4A4KV4 하에서 이전 최첨단 (SpinQuant) 대비 LLaMA-2 13B 모델의 성능 격차를 42% 줄입니다.
베이스라인 비교: INFOQUANT 은 회전 기반 방법 (QuaRot, SpinQuant) 과 가중치 재구성 방법 (GPTQ, AWQ) 일관적으로 우위를 점합니다. 또한 전체 정밀도 감독이 필요 없이 여러 모델 (예: LLaMA-3 8B, LLaMA-2 13B) 에서 증류 기반 OSTQuant 보다도 우수한 성능을 보입니다.
효율성: 이 방법은 24GB 의 GPU 메모리만을 사용하여 LLaMA-2 70B 모델의 양자화를 가능하게 합니다. 이는 추론 중 동적 변환과 관련된 높은 FLOP 오버헤드를 피하면서 기존 저비트 커널과 호환되는 경량 추론 경로를 유지합니다 (FlatQuant 와는 대조적).

의미 및 주장

본 논문은 현재 저비트 활성화 양자화의 주요 한계가 단순히 이상치의 존재가 아니라, 활성화 분포와 저비트 균일 양자기의 능력 간의 불일치라고 주장합니다. "이상치 억제"에서 "분포 형성"으로 초점을 이동시킴으로써, INFOQUANT 은 특정 직교 변환을 학습하는 것이 이산화 가능성을 크게 향상시킬 수 있음을 보여줍니다.

저자들은 그들의 접근 방식이 학습이 불필요하며 하드웨어 효율적임을 강조하여 소비자 등급 하드웨어에서의 배포를 실용적으로 만듭니다. 그들은 그들의 방법이 보정 데이터와 블록 대각 행렬과 같은 특정 구현 선택에 의존하지만, 감독 미세 조정이나 무거운 증류 파이프라인에 대한 견고한 대안을 제공한다고 지적합니다. 논문은 향후 연구가 종 모양 활성화 가정을 넘어 더 넓은 분포 영역으로 이 분석을 확장해야 한다고 결론지었습니다.