🤖 machine learning

SPECTRA: Pushing the KV Cache Beyond the 2-Bit Cliff via Spectral Transform Coding

SPECTRA는 스펙트럼 변환 코딩을 적용하여 특징들을 비상관화하고 비트 예산을 가장 정보가 많은 채널에 집중시킴으로써, LLM KV 캐시의 2비트 양자화 절벽을 극복하고 긴 컨텍스트 추론에서 최대 12배의 고충실도 압축률을 가능하게 하는 학습이 필요 없는 드롭인 코덱입니다.

원저자: Jiamu Zhang, Liang Wu, Kelly Wan, Hanjie Chen, Liangjie Hong

게시일 2026-08-11

📖 3 분 읽기☕ 가벼운 읽기

CC BY 4.0

원저자: Jiamu Zhang, Liang Wu, Kelly Wan, Hanjie Chen, Liangjie Hong

원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

당신이 거대한 도서관의 책들을 배낭에 담아 옮기려 한다고 상상해 보세요. 이야기를 쓰고, 코드를 짜고, 우리와 대화하는 인공지능, 구체적으로는 "대규모 언어 모델(LLM)"의 세계에서도 이와 유사한 문제가 존재합니다. 이 모델들이 긴 문서를 읽거나 긴 대화를 나눌 때, 다음 단어를 이해하기 위해 지금까지 본 모든 단어를 기억해야 하기 때문입니다. 그들은 이 기억을 "KV 캐시(Key-Value cache)"라고 불리는 특별한 고속 주머니에 저장합니다. 이 캐시는 모델이 지금까지 읽은 모든 것의 가장 중요한 세부 사항들을 적어 내려가는 일종의 진행 중인 노트라고 생각하면 됩니다.

문제는 대화가 길어질수록 이 노트가 거대해진다는 점입니다. 만약 소설 한 권 전체를 배낭에 넣으려 한다면, 첫 장을 다 마치기도 전에 공간이 부족해질 수도 있습니다. 이를 해결하기 위해 과학자들은 더 작고 단순한 글씨체로 기록하는 기술인 "양자화(quantization)"를 통해 노트를 줄이려고 시도했습니다. 그들은 모든 메모를 단 2비트의 정보(데이터의 가장 작은 단위)로 압축하려고 시도했습니다. 하지만 여기에는 함정이 있습니다. 2비트보다 더 작게 만들려고 하면 글씨체가 너무 엉망이 되어 모델이 무언가를 잊어버리거나 헛소리를 하기 시작했습니다. 즉, 메모를 더 작게 만들면 모델이 망가지는 "절벽"에 부딪힌 것입니다. 이 논문은 다음과 같은 간단한 질문을 던집니다. 우리가 모델을 혼란스럽게 만들지 않으면서도 훨씬 더 많은 것을 담을 수 있도록 배낭을 더 똑똑하게 채우는 방법은 없을까?

이 논문의 연구진인 SPECTRA는 그 답이 "예"라고 말하며, 우리가 단순히 어떻게 작게 쓸 것인가가 아니라 무엇을 담을 것인가를 바꿔야 한다고 주장합니다. 그들은 모델의 메모리에 담긴 정보가 무작위로 쌓인 돌더미처럼 고르게 퍼져 있는 것이 아니라는 사실을 발견했습니다. 대신, 그것은 마치 음악의 화음과 같습니다. 몇몇 음은 크고 멜로디를 실어 나르는 반면, 나머지 대부분의 음은 거의 들리지 않는 배경 소음에 불과합니다.

기존 방식들의 문제는 모든 음을 똑같이 취급했다는 점입니다. 그들은 큰 음과 작은 음을 정확히 같은 양만큼 줄이려고 했습니다. 모든 것을 아주 작은 조약돌 크기(2비트)로 줄이려고 했을 때, 큰 음들이 작은 음들 속으로 짓눌려 버렸고, 결국 전체 노래는 잡음으로 변해버렸습니다. 저자들은 모델의 메모리가 "상관관계(correlated)"를 가지고 있다는 것, 즉 음들이 서로 얽혀 있어 단순히 보는 것만으로는 어떤 것이 중요한지 구분하기 어렵다는 점을 깨달았습니다.

이를 해결하기 위해 SPECTRA는 마법의 해독기 역할을 합니다. 메모리를 담기 전에, 먼저 음들을 풀어헤치고(untangle), 크고 중요한 음들이 작고 중요하지 않은 음들과 명확히 분리되는 새로운 순서로 재배열합니다. 이렇게 메모리가 정렬되면, 모델은 큰 음들에게는 비트(bit)를 매우 관대하게 사용하여 (그것들이 명확하게 유지될 수 있도록 충분한 공간을 주고), 작은 음들에게는 매우 인색하게 하여 (그것들을 거의 아무것도 아닌 수준으로 찌그러뜨리거나 아예 버려버립니다).

이 논문은 이러한 접근 방식이 놀라울 정도로 효과적이라는 것을 보여줍니다. Llama-3.1 및 Qwen2.5와 같은 인기 있는 AI 모델을 대상으로 한 테스트에서, SPECTRA는 품질 저하 없이 메모리를 4배까지 압축했습니다. 더욱 인상적인 것은, 다른 방식들이 완전히 무너지고 모델이 작동을 멈추는 지점인 8배, 심지어 12배 압축에서도 여전히 유용성을 유지했다는 점입니다. 이 "스펙트럼(spectral)" 정렬 기술을 사용함으로써, 이전에는 짧은 대화만 처리할 수 있었던 동일한 컴퓨터 칩이 이제는 책 한 권이나 방대한 코드베이스를 담을 수 있게 되어, AI 에이전트가 메모리 부족 없이 훨씬 더 긴 작업을 수행할 수 있게 되었습니다. 저자들은 이것이 단순한 미세 조정이 아니라, 모든 것을 똑같이 줄이려는 시도에서 제한된 공간을 어디에 가장 중요하게 쓸 것인지 지능적으로 결정하는 방식으로의 근본적인 전환임을 밝혀냈습니다.

기술 요약: SPECTRA

문제 정의

에이전트형 대규모 언어 모델(LLM)의 시대에, 추론은 전체 코드베이스나 다회차 대화와 같은 긴 컨텍스트 입력을 중심으로 점점 더 지배되고 있습니다. 컨텍스트 길이가 길어짐에 따라, 키-값(KV) 캐시(어텐션 키와 값의 실행 저장소)는 주요 병목 현상이 되며, 종종 모델 가중치 자체의 크기를 초과하기도 합니다. 이 캐시는 빠른 메모리에 상주해야 하며 매 생성 단계마다 다시 읽혀야 하므로, 최대 컨텍스트 길이와 GPU가 지원할 수 있는 배치 크기를 제한합니다.

기존의 압축 방법은 일반적으로 세 가지 범주(토큰 제거(불필요한 토큰 폐기), 저차원 투영(차원 축소), 양자화(정밀도 저하))로 나뉩니다. 양자화는 널리 사용되지만, 성능이 급격히 저하되는 "2비트 절벽(2-bit cliff)"에 부딪힙니다. 값당 2비트(4단계) 수준에서는 제한된 동적 범위가 캐시의 아웃라이어(outlier)가 많은 분포를 수용하지 못합니다. 즉, 큰 값들이 가용한 레벨을 모두 점유하여 작은 값들의 중요한 신호들을 노이즈로 붕괴시키는 것입니다. 또한, 표준 양자화는 모든 채널에 균일한 비트 폭을 적용하는데, 이는 원시 KV 캐시 채널들이 강하게 상관되어 있다는 사실을 간과하며, 어떤 특정 채널이 가장 많은 정보를 운반하는지 식별하기 어렵게 만듭니다.

방법론: SPECTRA

저자들은 SPECTRA를 제안합니다. 이는 KV 캐시 압축을 레이트-왜곡(rate-distortion) 문제로 재정의한, 학습이 필요 없는 드롭인(drop-in) 코덱입니다. 미리 예산(예: 특정 랭크나 비트 폭)을 고정하는 대신, SPECTRA는 비트를 가장 중요한 캐시 부분에 동적으로 할당합니다. 이 방법은 사전 훈련된 LLM을 프로빙(probing)하여 얻은 세 가지 핵심 관찰에 기반합니다.

올바른 기저에서의 집중(Concentration in the Right Basis): 원시 채널 기저에서는 KV 캐시 채널들이 매우 높은 상관관계를 가집니다. 그러나 캐시 자체의 통계량(특히 활성화 그람 행렬, Activation Gram matrix)으로부터 계산된 기저로 회전시키면, 채널들은 서로 상관관계가 없어지며 에너지가 급격히 집중됩니다. 즉, 극소수의 채널이 대부분의 신호를 운반합니다.
중요도 가중 할당(Importance-Weighted Allocation): 채널 중요도(에너지)에 따라 비트를 할당하는 것은 균일한 정밀도를 사용하는 것보다 훨씬 우수한 성능을 보이며, 특히 2비트 미만의 영역에서 그러합니다. 비트가 0인 채널은 효과적으로 제거되므로, 양자화와 랭크 축소를 하나의 제어 메커니즘으로 통합합니다.
활성화 가중 중요도(Activation-Weighted Importance): 채널의 중요도는 단순히 투영 가중치의 크기가 아니라, 입력 활성화가 해당 채널을 얼마나 강하게 구동하는지에 의해 결정됩니다. 따라서 변환(transform)은 가중치 행렬만이 아니라 활성화 통계량( $G = E[h^\top h]$ )에 의해 가중치가 부여되어야 합니다.

SPECTRA 파이프라인

SPECTRA는 다음의 3단계 과정을 통해 이러한 관찰을 구현합니다.

G-가중 변환 (잠재 캐싱, Latent Caching):
이 방법은 활성화 그람 행렬 $G$ 에 의해 가중치가 부여된 SVD(특이값 분해)를 사용하여 키 및 값 투영( $W_K, W_V$ )을 인수분해합니다. $G^{1/2}$ 를 사용하여 가중치를 화이트닝(whitening)함으로써, 이 방법은 원시 가중치 공간이 아닌 실제 모델이 생성하는 활성화의 메트릭 내에서 오차를 최소화하는 저차원 인수분해를 찾아냅니다. 이를 통해 좌표가 직교하고 분산에 따라 정렬된, 압축되고 에너지 순서가 정렬된 잠재 표현( $C$ )을 얻습니다.
- 정교화: 저차원 절단으로 인해 발생하는 구조적 잔차를 보상하기 위해 출력 투영( $W_O$ )에 대해 폐쇄형(closed-form)의 학습이 필요 없는 보정이 적용됩니다.
레이트-왜곡 양자화 (워터 필링, Water-Filling):
캐시가 이 에너지 순서 기반의 잠재 공간으로 변환되면, SPECTRA는 비트를 할당하기 위해 "역 워터 필링(reverse water-filling)" 알고리즘을 적용합니다. 측정된 잠재 좌표의 한계 분산을 바탕으로, 알고리즘은 고분산(고에너지) 채널에는 더 많은 비트를 할당하고, 저분산 채널에는 더 적은 비트(0까지)를 할당합니다.
- 그룹화: 스트리밍 추론에 적합한 추가 전용(append-only) 캐시 구조를 유지하기 위해, 인접한 좌표들을 그룹화하여 단일 비트 폭을 공유하도록 합니다.
시스템 통합:
변환 행렬( $W_{down}, W_{up}$ )과 $W_O$ 보정치는 모델 가중치에 다시 폴딩(fold back)되어, SPECTRA를 추가적인 미세 조정(fine-tuning)이 필요 없는 드롭인 교체 가능 모델로 만듭니다. 추론 중에 토큰은 다운 프로젝션(down-projected)되고, 토큰별로 양자화된 후 잠재 캐시에 추가됩니다. 전체 키와 값은 표준 어텐션을 위해 온더플라이(on-the-fly)로 재구성됩니다.

주요 기여

압축의 통합된 관점: 본 논문은 KV 캐시 압축을 고정된 비트 예산을 채널 전체에 소비하는 단일 문제로 재구성하여, 저차원 투영(채널 제거)과 양자화(비트 감소)를 동일한 제어 스펙트럼의 양 끝단으로 통합했습니다.
활성화 가중 변환: 가중치 공간의 인수분해보다 모델 활성화의 메트릭을 통한 재구성 오차를 최소화하는 것(via $G$ -weighted transform)이 더 우수함을 밝혀냈으며, 이를 통해 에너지 순서가 정렬되고 2차 모멘트가 직교하는 잠재 공간을 생성합니다.
SPECTRA 코덱: 신호를 전달하는 채널에 비트 예산을 집중시킴으로써, 2비트 절벽 너머로 압축 성능을 밀어 올리는 실용적이고 학습이 필요 없는 구현체를 제시합니다.

실험 결과

저자들은 Llama-3.1-8B, Mistral-7B, Qwen2.5-7B를 대상으로 LongBench 및 RULER (Needle-in-a-Haystack) 벤치마크에서 SPECTRA를 평가했습니다.

성능 대비 압축률:
- 4배 압축 시, SPECTRA는 거의 손실이 없으며(near-lossless), 밀집(dense, fp16) 모델의 성능과 일치하거나 KIVI, OTT, PolarQuant와 같은 베이스라인을 능가합니다.
- 균일 양자화 방식이 무너지는 8배 압축 구간에서도 SPECTRA는 경쟁력을 유지합니다. Llama-3.1-8B의 경우, SPECTRA는 8.84배 압축에서 평균 LongBench 점수 51.89를 달성한 반면, TurboQuant와 RotateKV 같은 베이스라인은 각각 ~47, ~46으로 떨어졌습니다.
- SPECTRA는 다른 방법들이 완전히 실패하는 12배 압축(예: Llama의 경우 11.12배 압축 시 48.81 점) 영역에서도 사용 가능한 수준을 유지합니다.
메모리 용량:
- 24GB 메모리를 갖춘 H200 GPU에서 밀집 Llama-3.1-8B 모델은 약 65k 토큰의 컨텍스트를 지원합니다. 12배 압축된 SPECTRA는 이를 793k 토큰까지 확장하여, 하드웨어 변경 없이 컨텍스트 용량을 12배 이상 배가시킵니다.
검색(Retrieval):
- Needle-in-a-Haystack 작업에서 SPECTRA는 12배 압축까지도 완벽에 가까운 검색 정확도를 유지하는 반면, 2비트 베이스라인들은 긴 컨텍스트에서 급격히 성능이 저하됩니다.

의의 및 주장

본 논문은 KV 캐시 압축의 핵심 동력이 단순히 얼마나 정밀하게 양자화하느냐가 아니라, 무엇을 저장하느냐에 있다고 주장합니다. 모델 자체의 통계량으로부터 유도된 좌표계로 캐시를 회전시킴으로써, SPECTRA는 정보가 매우 집중되어 있음을 드러냅니다. 이를 통해 SPECTRA는 가장 중요한 곳에 비트를 소비할 수 있으며, 균일 양자화가 겪는 "2비트 절벽"을 효과적으로 우회합니다.

저자들은 SPECTRA가 사전 훈련이나 미세 조정, 또는 구조적 변경을 요구하지 않는 학습이 필요 없는 드롭인 솔루션임을 강조합니다. 현재 구현은 메모리 절감(키/값을 온더플라이로 재구성)에 초점을 맞추고 있지만, 논문은 이러한 잠재 공간 구조가 직접적인 잠재 공간 어텐션(direct latent-space attention)을 통한 연산량 절감으로 이어질 수 있는 경로를 이론적으로 열어준다고 언급하며, 이를 향후 과제로 남겨두었습니다. 핵심 기여는 캐시를 텐서로서 균일하게 트리밍하는 것이 아니라, 신호 처리의 변환 코딩(transform coding) 원칙에 따라 코딩해야 할 신호로 취급함으로써 2비트 절벽 너머의 압축을 가능하게 했다는 점을 입증한 데 있습니다.