🤖 machine learning

Trust the Mass: Forced Weights in KV-Cache Eviction

이 논문은 기존의 KV 캐시 제거 방식들이 얻는 성능 향상이 우수한 선택 전략보다는 암묵적인 메모리 예산의 이점에서 비롯되는 경우가 많다고 주장하며, 메모리 제약을 엄격히 준-수하면서도 최첨단(SOTA) 결과를 달성하는 "드롭된 질량(dropped-mass)" 통계 기반의 훈련이 필요 없는 할당 방식인 ContourKV를 소개한다.

원저자: Jack Shi, Jerry Gu

게시일 2026-08-27

📖 3 분 읽기☕ 가벼운 읽기

CC BY 4.0

원저자: Jack Shi, Jerry Gu

원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

현대 인공지능의 엔진인 대규모 언어 모델은 텍스트를 생성할 때 대화의 맥락을 유지하기 위해 방대한 내부 메모리에 의존합니다. 모델이 긴 문서를 읽거나 여러 차례의 대화를 진행함에 따라, 모델은 지금까지 본 모든 단어의 표현을 저장합니다. 키-값 캐시(key-value cache)라고 알려진 이 저장 공간은 모델이 새로운 문장을 만들 때 이전의 세부 사항을 회상할 수 있게 해주는 작업용 공책과 같은 역할을 합니다. 그러나 대화가 길어짐에 따라 이 공책은 컴퓨터의 메모리를 압도할 정도로 커질 수 있으며, 시스템을 느려지게 하거나 충돌을 일으킬 수 있습니다. 이러한 모델을 원활하게 계속 구동하기 위해, 엔지니어들은 이 공책에서 오래되었거나 덜 중요한 항목을 삭제하는 규칙을 개발하여 공간을 절약하기 위해 데이터의 일부만을 남겨두도록 했습니다. 핵심적인 과제는 텍스트를 이해하는 능력을 잃지 않으면서 어떤 정보를 버릴 것인지 결정하는 것이었습니다.

스탠퍼드 대학교의 한 연구팀은 이 문제에 대해 새로운 시각을 제시하며, 효과적인 삭제를 위해 복잡하고 맞춤 제작된 규칙이 반드시 필요하다는 가설에 도전했습니다. 그들은 가장 단순한 접근 방식, 즉 모델이 현재 가장 중요하다고 간주하는 항목들을 단순히 유지하고 나머지는 버리는 방식이 이미 정교한 방법들만큼이나 훌륭한 수준이 아닌지 조사했습니다. 이 아이디어를 다섯 가지 서로 다른 대규모 언어 모델에 걸쳐 테스트하고, 모델이 정보를 처리하는 수십만 개의 구체적인 사례를 분석한 결과, 가장 강한 신호를 유지하는 단순한 전략이 이미 이론적으로 가능한 최선의 결과에 놀라울 정도로 근접해 있다는 것을 발견했습니다. 그들의 측정 결과에 따르면, 어떤 항목을 유지할지 선택하는 가장 완벽하고 수학적으로 이상적인 방법이라 할지라도 압축된 버전과 전체 압축되지 않은 메모리 사이의 남은 격차를 보통 단 2~5% 정도만 줄일 수 있을 뿐이었습니다.

연구진은 기존의 많은 방법론이 가진 이점들이 실제로는 더 나은 정보 선택 때문이 아니라는 사실을 발견했습니다. 대신, 이 방법들은 주장하는 것보다 더 많은 데이터를 보유하고 있었습니다. 학계에서 사용되는 표준 테스트 파이프라인에서, 일부 고급 기술들은 데이터를 물리적으로 제거하는 대신 전체 압축되지 않은 메모리 블록에 대한 지침 목록으로서 자신들의 선택을 저장했습니다. 이는 그들이 공간을 절약하는 척하면서 실제로는 전체 공책을 그대로 가지고 있었음을 의미했습니다. 연구진이 이 방법들에게 실제로 데이터를 삭제하고 엄격한 메모리 제한을 준수하도록 강제했을 때, 성능은 표준 벤치마크에서 때때로 60점까지 급격히 떨어졌습니다. 이는 실제 차별점이 정교한 선택 규칙이 아니라, 시스템이 사용할 수 있는 물리적인 메모리 양이었다는 점을 드러냈습니다.

이를 해결하기 위해 연구팀은 ContourKV라고 불리는 새로운 무료 사용 가능 방법을 도입했습니다. 이 방식은 추가적인 학습이나 복잡한 계산을 요구하지 않습니다. 대신, 시스템의 각 부분에서 얼마나 많은 메모리를 유지할지를 결정하는 단순한 물리적 규칙을 사용하여 메모리 예산이 실제로 집행되도록 보장합니다. 기존의 선도적인 방법들과 비교 테스트했을 때, ContourKV는 동일한 엄격한 메모리 제한을 사용하면서도 대다수의 비교에서 승리했습니다. 이는 ContourKV가 자신의 메모리 제한을 엄격히 적용하는 기존의 가장 강력한 방법들과 대등한 성능을 보였음을 확인시켜 주었으며, 서로 다른 접근 방식 사이의 격차가 이전에 생각했던 것보다 훨씬 작다는 것을 입증했습니다. 이 연구는 효율적인 롱 컨텍스트(long-context) 처리의 미래가 복잡한 새로운 선택 알고리즘을 발명하는 데 있는 것이 아니라, 모델의 각 부분이 필요에 따라 서로 다른 양의 데이터를 보유할 수 있도록 물리적 메모리 관리를 더 유연하게 구축하는 데 있다는 점을 시사합니다.

또한 이 연구는 이러한 시스템들을 평가하는 방식의 치명적인 결함을 강조했습니다. 많은 경우, 어떤 정보를 유지할지에 대한 순위가 모델이 질문이나 프롬프트를 여전히 읽고 있는 동안 계산되어 모델에게 부당한 이점을 주었습니다. 연구진이 질문이 완전히 보이기 전에 정보 삭제 결정이 내려져야 하도록 테스트를 다시 실행했을 때, 가장 우수한 방법들의 성능은 극적으로 하락했습니다. 이러한 발견은 메모리 절약 규칙의 진정한 시험대는 미래를 엿보지 않고도 작동할 수 있는 능력이며, 현재의 많은 방법이 메모리가 엄격히 제한될 때 이 조건을 충족하지 못한다는 점을 분명히 보여줍니다. 연구진은 향로의 방향이 물리적 메모리 관리에 집중하고, 선택 규칙의 이론적 잠재력이 아닌 실제 저장된 바이트 수를 측정함으로써 방법들 간의 비교가 공정하도록 보장하는 것이라고 결론지었습니다.

기술 요약: 질량(Mass)을 믿어라: KV-캐시 축출에서의 강제 가중치(Forced Weights)

문제 정의

대규모 언어 모델(LLM)은 과거 토큰의 표현을 저장하기 위해 키-값(KV) 캐시에 의존하며, 이는 긴 문맥 추론 시 메모리 사용량의 대부분을 차지합니다. 이를 관리하기 위해 배포된 시스템들은 일부 키를 유지하고 나머지는 버린 뒤, 유지된 집합에 대해 어텐션 가중치를 **재정규화(renormalize)**하는 희소 어텐션(sparse-attention) 또는 KV-캐시 축출 규칙을 채택합니다.

본 논문이 다루는 핵심 문제는 이러한 배포된 방법들의 성능과 이론적 최적치 사이의 간극입니다. 기존 문헌들이 벤치마크 점수를 기준으로 축출 방법을 비교하는 반면, 본 논문은 이러한 점수가 실제로 무엇을 측정하는지에 대해 의문을 제기합니다. 구체적으로, 저자들은 이러한 방법들 간의 성능 차이가 우수한 부분 집합 선택(subset selection) 때문인지, 아니면 메모리 할당 및 측정 방식의 아티팩트(artifact) 때문인지를 조사합니다. 저자들은 **강제 가중치(forced weights)**라는 제약 조건에 집중합니다. 즉, 일단 부분 집합이 선택되면 어텐션 가중치는 재최적화되지 않고 고정(재정규화)된다는 것입니다. 본 논문은 다음과 같은 질문을 던집니다: 가중치가 강제되었을 때, 부분 집합 선택만으로 출력을 얼마나 개선할 수 있는가?

방법론

1. 이론적 분석 및 열거

저자들은 축출 문제를 덴스(dense) 어텐션 출력 $\mu$ 와 강제 가중치 하의 출력 $m_A$ 사이의 오차 $e_s(A) = \|\mu - m_A\|$ 를 최소화하는 크기 $s$ 의 부분 집합 $A$ 를 찾는 문제로 공식화합니다.

난해성(Hardness): 저자들은 오차를 0으로 만들 수 있는지( $ES(s)=0$ ) 결정하는 문제가 균등한 질량(uniform masses)을 가진 1D 데이터에서도 NP-완전임을 증명합니다.
열거(Enumeration): "선택 천장(selection ceiling)"을 정량화하기 위해, 저자들은 제한된 후보 집합(상위 질량 키들과 단일 키 오차가 가장 큰 키들)에 대해 5개 모델(Qwen, Llama, OLMo, Gemma)의 168,192개 어텐션 행을 대상으로 최적의 부분 집합을 정확히 열거합니다.
밸런싱 셀렉터(Balancing Selector): 저자들은 상위 질량 집합에서 시작하여 오차를 최소화하도록 키를 반복적으로 교체하는 그리디 스왑 규칙인 "밸런싱 셀렉터"를 도입합니다. 이는 강제 가중치 하에서 어떤 선택 규칙도 달성할 수 있는 상한선 역할을 합니다.

2. 메모리 및 예산 측정

논문은 기존 평가 방식의 결정적인 결함을 지적합니다. 많은 최신 방법들(예: KVzip, ExpectedAttention)은 캐시를 압축한다고 주장하지만, 표준 평가 파이프라인에서는 전체 캐시를 보유한 채 **마스크(mask)**를 통해 선택을 적용합니다. 즉, 이들은 압축을 주장하면서도 실제로는 전체 메모리 풋프린트를 유지하고 있습니다.

물리적 강제(Physical Enforcement): 저자들은 단순히 마스킹하는 것이 아니라 캐시 크기를 실제로 줄이는(ragged storage) 엄격한 물리적 메모리 예산을 강제합니다.
감사(Audit): 저자들은 "선택 품질"과 "메모리 보유" 효과를 분리하기 위해, 물리적으로 강제된 예산 하에서 기존 방법들(SnapKV, Compactor, KVzip 등)을 재평가합니다.

3. ContourKV

저자들은 학습이 필요 없는 할당 규칙인 ContourKV를 제안합니다.

메커니즘: "드롭된 질량(dropped mass)" 통계량( $\bar{m}_s$ )을 사용하여, 상위 질량 선택과 덴스 출력 사이에 큰 격차가 발생하는 어텐션 헤드(셀)를 예측합니다.
할당: 선택을 통해 출력을 개선할 수 있는 이러한 "평탄한(flat)" 셀들에 고정된 예산을 직접 할당하는 한편, 모든 셀에 최신성 바닥(recency floor)을 유지합니다. 이는 기존 방법들(예: KVzip의 재구성 점수 또는 SnapKV의 관찰 창)의 중요도 점수를 재사용하되 할당 로직을 대체합니다.

주요 기여

상위 질량 선택의 근사 최적성(Near-Optimality of Top-Mass Selection): 전수 열거를 통해, 저자들은 가장 큰 어텐션 가중치(top-mass)를 유지하는 것이 강제 가중치 하에서 이미 근사 최적임을 입증했습니다. 최적의 부분 집합은 top-mass 집합보다 덴스 출력과의 남은 격차 중 중앙값 기준 **2%에서 5%**만을 더 개선할 뿐입니다.
"선택 천장(Selection Ceiling)": 더 나은 부분 집합이 메울 수 있는 격차의 비율은 작고 예측 가능하다는 것을 입증했습니다. 드롭된 질량(버려진 키들의 가중치 합)은 특정 어텐션 행이 단순 top-mass보다 복잡한 선택을 통해 이득을 볼 수 있을지를 예측하는 강력한 지표(AUC 0.76–0.89)입니다.
메모리 vs. 선택의 회계(Memory vs. Selection Accounting): 논문은 기존 축출 방법들 간의 성능 차이가 선택 품질보다는 메모리 차이에서 기인하는 경우가 많음을 밝혀냈습니다. 전체 캐시를 마스크로 보유하는 방법들은 엄격하게 예산을 강제하는 방법들보다 높은 성능을 보입니다.
쿼리 불가지론(Query-Agnostic) vs. 쿼리 인지(Query-Aware): 저자들은 질문이 보이는 동안 계산된 순위(query-aware)가 87.6점의 검색 마진을 만든다는 것을 추적했습니다. 선택이 엄격하게 쿼리 불가지론적(질문이 보이기 전)일 때, 성능 격차는 크게 좁혀집니다.
ContourKV: 물리적 예산을 강제하고 드롭된 질량 통계량에 따라 지능적으로 예산을 배분함으로써, 학습 없이도 최첨단(SOTA) 결과를 달하는 새로운 할당기입니다.

결과

이론적 발견

격차 해소: 8개 모델 제품군과 다양한 예산( $s=4$ to $32$)에 대해, 최적의 부분 집합이 메우는 격차의 중앙값은 0.021에서 0.047입니다.
강제 가중치의 페널티: 강제 가중치 하의 오차와 자유 가중치 하의 오차 비율( $\pi(s)$ )은 예산이 증가함에 따라 증가하며, $s$ 가 4에서 32로 증가함에 따라 1.07에서 1.79로 상승합니다.
예측 가능성: 드롭된 질량 통계량은 특정 인스턴스가 유의미한 격차( $\hat{\kappa} > 1.11$ )를 갖는지 여부를 독점적으로 예측합니다.

벤치마크 실험

ContourKV vs. KVzip: 160개의 쌍 비교에서, ContourKV(예산 강제 적용)는 KVzip(전체 캐시 보유)을 상대로 93회 승리, 22회 무승부, 22회 패배했습니다. ContourKV의 예산을 KVzip의 바이트 수와 일치하도록 강제했을 때도 93회 승리했습니다.
예산 강제의 비용: 단일 고정 선택(적응형 할당 없이)에 명목상의 예산을 강제하면 LongBench와 RULER에서 14.1 ~ 62.2 벤치마크 포인트의 손실이 발생합니다.
검색 성능: 검색 작업에서, ContourKV(윈도우 스코어링, 예산 강제 적용)는 $s=128$ 일 때 SnapKV를 상대로 23번 승리하고 23번 무승부를 기록하며, SnapKV의 승률(0.00 ~ 0.11) 대비 높은 성능을 보였습니다.
Compactor와의 비교: ContourKV는 가장 강력한 예산 강제 베이스라인인 Compactor와 160개 비교 중 96개에서 무승부를 기록했습니다. 저자들은 두 방법 모두 남은 격차가 너무 작은 근사 최적 영역에서 작동하기 때문에 발생하는 현상이라고 설명합니다.

의의 및 주장

본 논문은 주요 기여가 알고리즘의 우월성보다는 측정과 회계에 있다고 주장합니다.

문제의 재정의: 저자들은 덴스 출력과의 격차를 최적화하는 것이 쿼리가 도착하기 전 압축기가 최적화할 수 있는 유일한 양이라고 주장합니다. 또한 이 격차는 일단 가중치가 강제되면 선택만으로는 거의 줄일 수 없음을 보여줍니다.
인프라 vs. 알고리즘: 저자들은 문헌에서 보이는 "마진"이 알고리즘의 우수성보다는 인프라 차이(예: ragged vs. uniform storage, full cache vs. evicted cache)를 반영하는 경우가 많다고 주장합니다.
겸손한 낙관론: 저자들은 추가적인 이득의 가능성에 대해 신중한 태도를 취합니다. "선택 천장"이 매우 낮기 때문에(2-5%), 근사 최적에 도달한 두 규칙을 구분하기는 어렵다는 점을 언급합니다. 또한 이러한 최적화는 단일 턴 작업보다는 하나의 압축된 캐시가 여러 쿼리에 쓰이는 멀티 턴 시나리오에서 더 가치가 있다고 봅니다.
향ium 방향: 향후 개선은 더 나은 선택 휴리스틱을 찾는 것보다, 래기드 페이징(ragged paging)(헤드마다 다른 수의 엔트리를 보유할 수 있게 함)이나 선택이 포착할 수 없는 **가치 측 잔차(value-side residual)**를 이해하는 데 있을 수 있다고 제안합니다.

요약하자면, 본 논문은 커뮤니티가 KV-캐시 축출에서 부분 집합 선택의 힘을 과대평가해 왔다고 주장합니다. 성능의 결정적 요인은 선택 규칙의 정교함보다는 물리적 메모리 예산과 해당 방법이 실제로 데이터를 축출하는지 여부입니다. ContourKV는 단순하고 학습이 필요 없는 할당기가 엄격한 메모리 강제 및 지능적인 예산 배분과 결다될 때 최신 방법들을 능가하거나 대등할 수 있음을 보여주는 개념 증명 역할을 합니다.