Every Cache Entry Earns Its Place: Global Allocation of Resolution and Coverage for KV Cache Compression

당신이 42,000페이지에 언급된 등장인물에 대한 단 하나의 질문에 답하기 위해, 10만 페이지에 달하는 거대한 소설을 기억하려고 노력하고 있다고 상상해 보십시오. 당신의 뇌는 슈퍼컴퓨터이지만, 한 번에 몇 페이지의 책장만 펼쳐 놓을 수 있는 아주 작고 비싼 책상을 가지고 있습니다. 다음 문장을 읽기 위해 페이지를 넘길 때마다, 당신은 새 페이지를 위한 공간을 만들기 위해 기존의 페이지들을 바닥으로 던져버리며 책상을 정리해야 합니다. 이것이 바로 현대의 "대규모 언로 모델(LLM)"이 긴 이야기나 문서를 읽을 때 작동하는 방식입니다. 그들은 계산을 다시 하지 않기 위해 지금까지 읽은 모든 내용을 담은 "Key-Value 캐시"(세련된 메모리 책상)를 유지합니다. 하지만 이야기가 길어질수록 이 책상은 너무 붐비게 되어, 컴퓨터의 속도를 늦추고 메모리를 가득 채우게 됩니다. 과학자들은 "덜 중요한" 페이지를 버리거나(토큰 제거), 유사한 페이지들을 하나의 요약 시트로 묶는(KV 병합) 방식으로 이를 해결하려 노력해 왔습니다. 그러나 이러한 기존 방식들은 당신이 던지는 구체적인 질문을 고려하지 않고, 미리 정해진 규칙에 따라 어떤 페이지를 남기거나 어떻게 묶을지를 결정하는 경직된 규칙과 같습니다. 그들은 질문이 바뀔 때 가장 중요한 부분에 집중하기 위해 자원을 쉽게 이동시키지 못합니다.

이 논문은 그 메모리 책상을 관리하는 더 똑똑하고 새로운 방법인 GraceKV를 소개합니다. GraceKV는 메모리를 고정된 규칙을 따르는 것이 아니라, 가장 필요한 곳 어디에나 쓸 수 있는 유연한 예산처럼 취급합니다. 당신에게 제한된 수의 "메모리 토큰"(마치 동전과 같은)이 있다고 상상해 보십시오. 기존 방식들은 "모든 장의 10%를 반드시 유지해야 한다"라거나 "매 10페이지마다 묶어야 한다"라고 말할 수 있습니다. 하지만 GraceKV는 다음과 같이 묻습니다: "이 특정 질문에 대해 가장 가치 있는 정보는 어디인가?" GraceKV는 모든 이야기 부분에 대해 특별한 트리 형태의 지도를 구축합니다. 트리의 꼭대기에는 거대한 텍스트 덩어리를 아우르는 단 하나의 "요약 동전"이 있습니다(광범위한 커버리지). 만약 이야기의 특정 지점이 흥미로워지거나 혼란스러워지면, GraceKV는 그 요약 동전을 "쪼개서" 오직 그 작은 구역만을 위한 더 상세하고 고해상도의 동전을 살 수 있습니다(국소적 해상도). GraceKV는 전체 이야기에 걸쳐 광범ful한 요약을 유지하는 것과 세밀한 조각을 유지하는 것의 가치를 레이어별로 끊임없이 비교하며, 최선의 답을 내기 위해 가장 좋은 조합에 예산을 사용합니다. 논문은 메모리를 자유롭게 "흐르게" 함으로써, GraceKV가서서히 변하는 규칙을 사용하는 다른 방법들을 능가하면서도 최대 128배까지 메모리를 압축할 수 있음을 보여줍니다. 이는 마치 단순히 책을 보관할 목록을 따르는 것이 아니라, 필요한 책이 바로 앞에 있도록 실시간으로 도서관 전체를 재배치하는 사서와 같습니다.

문제점: "너무 길어서 기억할 수 없는" 딜레마

대규모 언로 모델은 거의 무엇이든 읽을 수 있는 천재적인 학생과 같지만, 단기 기억력 문제를 가지고 있습니다. 긴 문서를 읽어 질문에 답할 때, 모델은 자신이 본 모든 단어의 "Key"와 "Value"(누가, 무엇을, 어디서, 왜)를 기억해야 합니다. 이 메모리는 KV 캐시라고 불리며, 텍스트의 길이에 따라 선형적으로 증가합니다. 만약 10만 단어의 소설을 입력하면, 그 키와 값을 보유하는 데 필요한 메모리가 엄청나게 커져서 컴퓨터의 RAM을 가득 채우고 다음 단어를 생성하는 과정을 느리게 만듭니다.

이를 해결하기 위해 연구자들은 두 가지 주요 기술을 시도했습니다:

1. 토큰 제거(Token Eviction): "지루한" 단어들은 버리고 "중요한" 단어들만 남기는 것입니다. 이는 책에서 관련 없어 보이는 페이지를 삭제하는 것과 같습니다.
2. KV 병합(KV Merging): 유사한 단어들을 하나의 "요약" 항목으로 묶는 것입니다. 이는 이야기의 열 페이지를 가져와서 그 핵심을 담은 한 단락으로 대체하는 것과 같습니다.

이러한 기존 기술들의 문제는 그것들이 경직되어 있다는 점입니다. 이들은 대개 "마지막 100단어를 유지하라"거나 "매 5단어마다 병합하라"와 같이 미리 설정된 규칙을 따릅니다. 따라서 당신이 던지는 구체적인 질문에 잘 적응하지 못합니다. 때로는 지루해 보이는 단어가 정답의 열쇠가 될 수도 있고, 때로는 거대한 텍스트 덩어리가 무의미할 수도 있습니다. 기존 방식들은 커버리지(전체 이야기를 기억하는 것)와 해상도(세부 사항을 기억하는 것) 사이의 균형을 맞추는 데 어려움을 겪는데, 이는 메모리 예산을 자유롭게 이동시킬 수 없기 때문입니다.

해결책: GraceKV의 "글로벌 예산"

저자들은 GraceKV를 제안하며, 이는 메모리 압축을 규칙을 따르는 게임이 아니라 글로벌 자원 할당 문제로 취급합니다. 이것은 마치 한정된 전력 예산을 관리하는 스마트한 도시 계획가와 같습니다. 모든 동네에 동일한 양의 전력을 주는 대신, 계획가는 지금 당장 전력이 가장 필요한 곳이 어디인지 살핍니다.

GraceKV는 세 가지 주요 단계로 작동합니다:

1. 트리 지도 구축:
   먼저, GraceKV는 단순히 무작위로 자르는 것이 아니라 의미가 변하는 방식에 기초하여 긴 이야기를 "슬롯"(텍스트 덩어리)으로 나눕니다. AI 뇌의 모든 레이어와 모든 어텐션 헤드에 대해, GraceKV는 프로토타입 트리를 구축합니다.

   • 트리의 **루트(Root)**는 거대한 텍스트 덩어리를 아우르는 하나의 거친 요약입니다.
   • **가지(Branches)**는 이 덩어리를 더 작고 상세한 조각들로 나눌 수 있습니다.
   • **잎(Leaves)**은 원래의 정확한 단어들입니다.
     이 트리를 통해 시스템은 광범위한 개요부터 단 하나의 정밀한 단어에 이르기까지, 다양한 수준의 세부 정보로 동일한 텍ست를 표현할 수 있습니다.

2. 가치 흐름 (보물 찾기):
   시스템은 텍스트의 어느 부분이 현재 질문에 실제로 유용한지를 파악합니다. 단순히 질문을 직접 보는 것이 아니라, 정보가 텍스트를 통해 어떻게 흐르는지 추적합니다(마치 탐정이 단서의 흔적을 쫓는 것처럼). 만약 어떤 단어가 질문에 언급되었거나 다른 중요한 단어들과 연결되어 있다면, 그 단어는 높은 "가치 점수"를 받습니다. 이 점수는 시스템에 이 이야기의 어느 부분에 "보물"이 숨겨져 있는지를 알려줍니다.

3. 예산 흐름 (동전 쓰기):
   이제 마법이 일어납니다. GraceKV는 고정된 메모리 슬롯(동전)의 예산을 가지고 있습니다. 시스템은 전체 이야기에 걸쳐 가능한 모든 행동을 검토합니다:

   • 추가(Add): 동전을 사용하여 덮이지 않은 새로운 텍스트 덩어리를 거친 요약으로 덮습니다(커버리지 확장).
   • 분할(Split): 동전을 사용하여 거친 요약을 더 작고 상세한 조각들로 나눕니다(해상도 개선).

   모든 가능한 "추가" 또는 "분할" 행동은 하나의 글로벌 큐(Queue)에서 경쟁합니다. 시스템은 각 행동의 "효용성"(동전당 가치)을 계산합니다. 만약 아주 작고 구체적인 단어가 정답에 결정적이라면, 그 단어의 요약을 "분할"하는 것이 엄청난 효용을 가질 수 있습니다. 만약 한 단락 전체가 지루하다면, 그것에 대해 거친 요약을 "추가"하는 것이 동전을 사용하는 최선의 방법일 수 있습니다. 시스템은 예산이 다 떨어질 때까지 가장 가치가 높은 행동을 탐욕적으로 선택합니다.

   또한 **싱글톤 플로어(Singleton Floor)**라는 안전장치가 있습니다. 탐욕적 알고리즘은 단계를 하나씩 밟아가는 비용이 너무 비싸다는 이유로 매우 중요한 단어를 놓칠 수도 있습니다. GraceKV는 몇몇 고가치의 단어들을 있는 그대로 유지할 것을 보장하기 위해 예산의 일부를 따로 떼어 놓음으로써, 결정적인 세부 사항이 유실되지 않도록 합니다.

연구 결과

저자들은 질문 답변, 이야기 요약, 거대 데이터셋에서의 특정 사실 검색 등 다양한 작업에서 GraceKV를 테스트했습니다. 그들은 4배에서 128배에 이르는 다양한 압축 수준에서 기존의 최고 방법들(H2O, SnapKV, PyramidKV 등)과 비교했습니다.

• 성능: GraceKV는 32개의 서로 다른 설정 중 24개에서 우위를 점했습니다. 메모리 예산이 극도로 적을 때(128배 압축)에도 일관되게 1위 또는 2위를 차지했습니다.
• 강건성(Robustness): 특정 유형의 작업에는 잘 작동하지만 다른 작업에는 실패할 수 있는 다른 방법들과 달리, GraceKV는 모든 작업에서 강력한 모습을 보였습니다. "광범위한 커버리지" 작업(요약 등)과 "정밀한 검색" 작업(특정 이름 찾기 등) 모두를 똑같이 잘 처리했습니다.
• 효율성: 메모리를 압축함으로써, GraceKV는 메모리 필요량을 크게 줄였으며(전체 메모리보다 최대 92% 적음), 특히 매우 긴 문맥에서 텍스트 생성 속도를 높였습니다.
• 학습 불필요: 가장 멋진 점 중 하나는 GraceKV가 재학습을 필요로 하지 않는다는 것입니다. 이는 텍스트와 질문을 처리하는 과정 중에 분석하여 작동하므로, 기존의 어떤 모델에도 즉시 적용 가능한 플러그 앤 플레이(plug-and-play) 솔루션입니다.

이것이 중요한 이유

이 논문은 긴 문맥을 가진 AI의 미래가 무엇을 남기고 무엇을 버릴지에 대한 단 하나의 "완벽한" 규칙을 찾는 것이 아니라는 점을 시사합니다. 대신, 그것은 유연성에 관한 것입니다. 메모리를 광범위한 커버리지와 세밀한 디테일 사이의 균형을 맞추기 위해 동적으로 할당할 수 있는 공유된 글로벌 자원으로 취급함으로써, 우리는 복잡하고 긴 이야기를 이해하는 능력을 잃지 않으면서도 AI 모델을 훨씬 더 효율적으로 만들 수 있습니다. GraceKV는 스마트하고 적응 가능한 메모리 관리 방식이 경직된 사전 설정 규칙을 능가할 수 있음을 증명하며, AI가 압도당하지 않고 전체 도서관을 읽을 수 있는 길을 열어줍니다.