기술 요약: 모든 사고가 HBM 을 필요로 하는 것은 아님

문제 정의

OpenAI o1 및 DeepSeek-R1 과 같은 추론 능력을 갖춘 대규모 언어 모델 (LLM) 은 수천 개의 토큰으로 구성된 광범위한 사고 연쇄 (CoT) 를 생성합니다. 이러한 숙고 과정은 심각한 메모리 부담을 초래합니다. 생성된 모든 토큰은 추론 중 희소하고 비싼 GPU 고대역폭 메모리 (HBM) 에 상주해야 하는 캐시에 키 - 값 (KV) 쌍을 추가하기 때문입니다. 예를 들어, 7B 모델에서 2,000 토큰의 추론 연쇄는 요청당 약 800MB 의 HBM 을 소비합니다.

HBM 부족에 대한 주류 산업의 대응은 **퇴거 (eviction)**였습니다. 즉, 캐시를 GPU 메모리 내에 맞추기 위해 '저중요도'로 간주되는 토큰을 영구히 폐기하는 것입니다. 그러나 저자들은 이 접근 방식이 추론 작업에 치명적임을 입증했습니다. 원거리 문맥이 종종 중복되는 표준 언어 모델링과 달리, 추론 연쇄는 프로그램과 같이 작동하여 수백 토큰 전에 계산된 중간 결과가 나중에 예측 불가능하게 참조될 수 있습니다. 해당 논문은 중요도 점수화 메커니즘의 정교함과 무관하게 KV 캐시에서 단 50% 만 퇴거시켜도 정확도가 약 22% 에서 0~2.5% 로 붕괴됨을 보여줍니다 (절벽 효과).

방법론: 의미 인식 메모리 계층 구조

저자들은 "어떤 토큰을 폐기할 수 있는가?"라는 질문을 "각 토큰은 어디에 존재해야 하는가?"라는 질문으로 근본적으로 전환할 것을 제안합니다. 그들은 토큰을 영구히 폐기하는 대신 누적 어텐션 점수를 기반으로 토큰을 분류하는 4 단계 의미 인식 메모리 계층 구조를 도입합니다.

1. 4 단계 분류

시스템은 실시간 중요도 점수화를 기반으로 추론 토큰을 4 단계로 분류합니다:

• T0 (HBM): 보호된 토큰 (프롬프트, 어텐션 싱크, 최근 윈도우) 과 가장 높은 중요도의 추론 토큰을 포함합니다. 이들은 즉시 접근을 위해 GPU HBM 에 상주합니다.
• T1 (DDR): 중간 중요도 토큰은 정밀도 유지 (full precision) 상태로 CPU DDR 메모리로 오프로딩됩니다. 중요하게도, 이러한 토큰은 모든 어텐션 단계 전에 GPU 로 **선적 (prefetch)**됩니다.
• T2 (압축): 낮은 중요도 토큰은 CPU 에서 감소된 정밀도 (예: 8 비트 양자화) 로 저장됩니다. 저자들은 이 단계가 높은 정밀도 민감성으로 인해 현재 추론에는 덜 효과적이라고 지적합니다.
• T3 (퇴거): 절대적으로 가장 낮은 중요도의 토큰 꼬리 부분만 영구히 제거됩니다.

2. 중요도 점수화

시스템은 누적 어텐션 점수화를 사용합니다. 각 디코딩 단계 $t$에서 위치 $i$에 대한 중요도 점수 $s_i$는 모든 레이어와 헤드의 어텐션 가중치를 합산하여 업데이트됩니다:
$$s_i^{(t)} = s_i^{(t-1)} + \frac{1}{|L|} \sum_{\ell \in L} \frac{1}{H} \sum_{h=1}^{H} \alpha_{\ell,h}^{(t)}[i]$$
이 접근 방식은 토큰이 수백 단계 후에 중요해질 수 있는 추론의 비정상적 특성을 수용하여 토큰의 유용성에 대한 전체 역사를 포착합니다.

3. 제로-근사오차 오프로딩

핵심 이론적 기여는 제로-근사오차 오프로딩의 형식화입니다. T1 토큰은 어텐션 계산 전에 정밀도 유지 상태로 GPU 로 선적되므로, HBM 에서 결코 떠나지 않았던 경우와 정확히 동일한 항을 어텐션 출력에 기여합니다.

• 명제 1: 근사 오차는 영구히 퇴거된 토큰 집합 ($T3$) 에만 의존하며, HBM ($T0$) 과 DDR ($T1$) 간의 분할에는 의존하지 않습니다.
• 함의: 정확도는 퇴거 비율(얼마나 많은 토큰이 파괴되었는지) 에 의해 결정되며, HBM 비율(GPU 메모리에 얼마나 많은 토큰이 남아 있는지) 에 의해 결정되는 것이 아닙니다.

4. 시스템 구현

시스템은 정렬 비용을 분산시키기 위해 $\Delta=64$ 디코딩 단계마다 동적 단계 할당을 수행합니다. 비동기 차등 선적을 활용하여 DDR 에서 GPU 로 새로 승진된 토큰만 전송하여 PCIe 트래픽을 최소화합니다. 시스템 프로토타입은 지연 시간과 처리량을 검증하기 위해 실제 GPU-CPU 데이터 이동 (PCIe Gen5) 을 사용하여 구축되었습니다.

주요 결과

1. 정확도 대 퇴거 비율

세 가지 모델 규모 (7B, 14B, 32B) 와 네 가지 벤치마크 (GSM8K, MATH-500, MATH Level-5, ARC-Challenge) 에 걸친 실험은 다음을 확인합니다:

• 퇴거는 파괴적입니다: 토큰을 오프로딩 없이 순수하게 제거하는 경우, 50% 예산에서 정확도가 거의 0 으로 붕괴됩니다.
• 오프로딩은 효과적입니다: 3% 의 영구 퇴거만으로도 계층 구조는 GSM8K (n=200) 에서 전체 캐시 정확도의 **91%**를, MATH-500 에서 **71%**를 유지합니다.
• HBM 독립성: 퇴거 비율을 고정하면서 HBM 비율 (30%, 50%, 70%) 을 변경해도 통계적으로 유의미한 정확도 차이가 발생하지 않습니다 (p > 0.3). 반면, 퇴거 비율을 변경하면 최대 18% 에 달하는 거대한 정확도 변동이 발생합니다.

2. 최신 기술과의 비교

• H2O/StreamingLLM 대비: 이 계층 구조는 헤비히터 퇴거 기준선보다 압도적으로 우수합니다. 동등한 메모리 예산에서 H2O 는 약 230% 의 정확도를 달성하는 반면, 계층 구조는 5865% 를 달성합니다.
• R-KV(추론 인식 퇴거) 대비: 저자들은 공동의 SOTA 방법인 R-KV(연결 중요도 - 중복성 점수화 사용) 를 해당 설정에서 재현했습니다. R-KV 는 예산에 따라 032% 의 정확도를 달성한 반면, 계층 구조는 3% 퇴거로 5662% 의 정확도를 달성했습니다. 저자들은 영구히 파괴된 정보는 어떤 점수 함수로도 복구할 수 없다고 주장합니다.

3. 시스템 오버헤드

시스템 프로토타입 (RTX 5080, PCIe Gen5) 은 DDR 에 토큰을 보존하는 비용이 미미함을 보여줍니다:

• 전송 오버헤드: PCIe 전송은 전체 추론 시간의 **5~7%**만을 차지합니다.
• 처리량: 전체 캐시 추론 대비 처리량은 약 14% 감소합니다 (21.8 에서 약 18.7 토큰/초). 그러나 정확도는 기준선과 일치합니다.
• 메모리 절감: 확장 전망에 따르면, 생산 배치 크기 (예: 배치=8, 70B 모델) 의 경우 이 접근 방식은 2~48GB 의 HBM을 절감할 수 있어, 그렇지 않으면 멀티 GPU 설정이 필요한 모델의 단일 GPU 서빙을 가능하게 할 수 있습니다.

4. 정밀도 민감성

논문은 추론 토큰이 정밀도 민감도가 매우 높다고 지적합니다. 5% 퇴거 시 T2(8 비트 양자화) 로 오프로딩하면 정확도가 58% 에서 20% 로 떨어졌으며, 이는 추론 인식 압축이 필요한 미래 방향이지만 아직 정밀도 유지 오프로딩의 대체재로는 실현 가능하지 않음을 시사합니다.

의의 및 주장

이 논문은 추론 LLM 을 위한 KV 캐시 관리의 패러다임을 근본적으로 변화시킨다고 주장합니다:

1. 용량과 품질의 분리: 토큰이 폐기되는 대신 더 저렴한 메모리 (DDR) 로 오프로딩된다면, HBM 용량을 공격적으로 줄여도 추론 품질을 희생하지 않을 수 있음을 증명합니다.
2. "절벽" 대 "노브": 퇴거의 "절벽 효과"를 추론의 근본적인 실패 모드로 식별하는 반면, 퇴거 비율은 계층 구조를 위한 조정 가능한 노브로 작용합니다.
3. 아키텍처 병렬: 이 작업은 현대 AI 시스템 문제를 해결하기 위해 60 년간의 컴퓨터 아키텍처에서 메모리 계층 구조라는 원칙을 차용하며, "모든 데이터가 프로세서와 동등하게 가까울 필요는 없다"고 주장합니다.
4. 제로 오류 보장: 압축이나 양자화 방법이 본질적으로 정보를 잃는 것과 구별되는, 오프로딩이 근사 오차를 도입하지 않는다는 형식적 보장을 제공합니다.

저자들은 추론 연쇄가 테스트 시간 컴퓨팅 확장으로 인해 길어짐에 따라 "기억해야 할 것"과 "빠르게 해야 할 것" 사이의 간격이 벌어질 것이라고 결론지으며, "퇴거 아니면 무"라는 패러다임 너머의 메모리 계층 구조가 필수적인 진화라고 주장합니다.