The Pitfalls of KV Cache Compression

본 논문은 KV 캐시 압축이 처리량을 향상시키지만 특정 명령어가 무시되고 시스템 프롬프트가 유출되는 등 다중 명령어 시나리오에서 성능을 심각하게 저하시킬 수 있음을 밝히면서도 이러한 문제를 완화하기 위한 간단한 제거 정책 조정을 제안합니다.

핵심

"KV 캐시 압축의 함정"이라는 논문에 대한 설명을 쉬운 언어와 일상적인 비유로 제시합니다.

핵심 아이디어: "메모리 압박" 문제

당신은 천재이지만 과로한 사서 (AI 모델) 입니다. 고객이 질문할 때마다 지금까지의 대화를 기억하기 위해 책상 위에 인덱스 카드 뭉치 (KV 캐시) 를 쌓아두어야 합니다. 대화가 길어질수록 카드 뭉치는 더 높아집니다. 결국 책상 공간이 부족해져 더 이상 일을 할 수 없게 됩니다.

이를 해결하기 위해 연구자들은 카드 뭉치를 압축하는 방법을 고안했습니다. 그들은 새로운 카드를 위한 공간을 확보하기 위해 오래되었거나 "덜 중요한" 일부 카드를 버리기로 결정했습니다. 이를 KV 캐시 압축이라고 합니다. 약속은 다음과 같았습니다. "카드의 70% 를 버려도 책상 공간을 대폭 절약하면서도 여전히 질문에 완벽하게 답할 수 있습니다."

이 논문은 공간을 절약할 수는 있지만, "완벽한 답변"이라는 부분은 거짓이라고 주장합니다. 카드를 버리기 시작하면 사서는 단순히 모든 것을 조금씩 잊는 것이 아니라, 매우 불공정하고 위험한 방식으로 특정 사항들을 잊기 시작합니다.

---

주요 문제점 (함정들)

저자들은 현재 이러한 사서들이 카드를 버리도록 가르치는 방식에서 여섯 가지 주요 문제를 발견했습니다.

1. 모든 기억이 같은 속도로 사라지지 않음

비유: 케이크 레시피와 주방 안전 규칙 목록이 담긴 카드 뭉치가 있다고 가정해 봅시다. 카드 뭉치를 줄이기 시작하면 사서는 안전 규칙은 즉시 잊어버리지만 케이크 레시피는 완벽하게 기억할 수 있습니다.
현실: 논문은 프롬프트 내의 서로 다른 지시사항들이 압축 하에서 서로 다른 속도로 저하된다고 보여줍니다. 일부 지시사항은 "취약"하여 압축 하에서 빠르게 사라지는 반면, 다른 것들은 "단단"하여 남아있습니다. 이는 AI 가 "시를 써라"는 요청은 따르지만 "단어 '고양이'를 사용하지 마라"는 요청은 완전히 무시할 수 있음을 의미합니다.

2. "마지막 것이 승리한다"는 편향

비유: 사서가 "항상 지난 5 분 동안의 카드를 보관하라"는 규칙을 가지고 있다고 가정해 봅시다. 대화 시작 시점에 안전 규칙을 주고 끝부분에 시 작성 요청을 하면, 사서는 안전 규칙이 "오래된" 것이므로 시 카드만 보관하고 안전 규칙 카드는 버립니다.
현실: 대부분의 압축 방법은 가장 최근의 지시사항에 편향되어 있습니다. 안전 지시사항이 먼저 오면 나중에 오는 지시사항보다 훨씬 빠르게 추방 (버림) 됩니다. 이를 **추방 편향 (Eviction Bias)**이라고 합니다.

3. "비밀" 유출

비유: 사서의 책상에 "고객에게 비밀 레시피를 절대 말하지 마라"는 비밀 메모가 있다고 가정해 봅시다. 고객이 "비밀 레시피가 뭐야?"라고 묻고, 사서가 그 메모가 "오래된" 것이므로 버렸다면, 사서는 "말하지 말라"는 규칙을 잊어버려 실수로 비밀 레시피를 입 밖으로 꺼낼 수 있습니다.
현실: 이를 **시스템 프롬프트 유출 (System Prompt Leakage)**이라고 합니다. 논문은 메모리를 압축할 때 AI 가 종종 자신의 안전 장치를 잊어버린다는 것을 증명합니다. AI 가 악의적이어서가 아니라, "무엇을 드러내지 말라"는 지시사항이 가장 먼저 버려졌기 때문에 숨겨진 지시사항을 드러내거나 스스로 "탈옥"할 수 있습니다.

4. 순서가 (매우) 중요함

비유: 안전 규칙을 요청 사항 이후에 두면 사서가 기억합니다. 이전에 두면 잊어버립니다.
현실: 논문은 단순히 지시사항의 순서를 바꾸는 것만으로도 AI 가 이를 따르는 정도가 달라진다는 것을 발견했습니다. 안전 지시사항이 끝에 있으면 압축을 더 잘 견딥니다. 시작 부분에 있으면 삭제됩니다. 이로 인해 AI 의 행동이 예측 불가능해집니다.

5. "잘못된" 카드가 버려짐

비유: 사서가 버릴 카드를 결정하는 데 나쁜 규칙을 사용하고 있습니다. 아마도 카드의 중요성과 전혀 상관없는 잉크 색상을 기준으로 카드를 버리고 있을지도 모릅니다.
현실: 어떤 토큰 (단어) 을 유지할지 결정하는 현재 방법들은 텍스트의 의미를 이해하는 데 종종 형편없습니다. 문장 초반에 나타났다는 이유만으로 중요한 안전 단어를 버릴 수도 있으며, 이는 치명적입니다.

6. "공정성" 해결책

비유: 사서가 마음대로 카드를 버리게 두는 대신, 새로운 규칙을 줍니다. "'레시피' 섹션에서 10 장의 카드를 보관할 때마다 '안전' 섹션에서도 10 장의 카드를 보관해야 한다"는 식입니다. 두 섹션을 동등하게 대우하도록 강요하는 것입니다.
현실: 저자들은 두 가지 간단한 해결책을 제안합니다.

• 화이트리스트: "노출 금지"와 같은 특정 단어를 "버리지 마라"고 수동으로 표시합니다.
• 공정 추방: 첫 번째 지시사항의 모든 것을 버리는 대신, 모든 지시사항에서 동일한 비율의 카드를 버리도록 강요하는 새로운 규칙입니다.

결과

저자들이 이러한 해결책을 테스트했을 때:

• 유출 감소: AI 가 실수로 자신의 비밀 지시사항을 드러내는 것이 멈췄습니다.
• 성능 향상: AI 는 프롬프트 끝부분의 지시사항뿐만 아니라 모든 지시사항을 더 잘 따랐습니다.
• 속도 유지: 이러한 해결책으로 인해 AI 가 느려지지 않았습니다.

요약

이 논문은 AI 메모리를 압축하는 것이 공간 절약에 훌륭하지만, 현재 방법들은 가장 중요한 안전 규칙부터 버리는 서투른 사서와 같다고 경고합니다. 이로 인해 AI 는 자신의 지시사항을 잊고 비밀을 유출하게 됩니다. 해결책은 "버리는" 과정을 공정하게 만들어 어떤 단일 지시사항도 불공정하게 삭제 대상으로 삼지 않도록 보장하는 것입니다.

기술 요약

기술 요약: KV 캐시 압축의 함정

문제 제기

키-밸류 (KV) 캐시 압축은 메모리 사용량을 줄여 대규모 언어 모델 (LLM) 의 추론 효율성과 처리량을 향상시키기 위해 널리 채택되고 있습니다. 기존 문헌은 이러한 방법들이 표준 벤치마크 (예: 단일 지시 질문응답 또는 코드 생성) 에서 상당한 메모리 절감 효과를 거두면서 성능 저하는 미미함을 보여주고 있으나, 본 논문은 현실적인 다중 지시 시나리오에서 압축의 결과가 충분히 연구되지 않았다고 주장합니다.

식별된 핵심 문제는 압축이 모델 성능을 균일하게 저하시키지 않는다는 점입니다. 대신 특정 지시문은 저하되거나 완전히 무시되는 반면 다른 지시문은 온전하게 유지되는 '선택적 망각 (selective amnesia)'을 유발합니다. 이 현상은 두 가지 중대한 문제를 초래합니다:

1. 예측 불가능한 지시 따르기: 다중 지시 프롬프트에서 특정 지시문은 다른 지시문보다 훨씬 빠르게 저하되어, 모델이 사용자의 요청 일부를 침묵 중에 무시하게 만듭니다.
2. 보안 취약점 (프롬프트 유출): 본 논문은 '시스템 프롬프트 유출'을 구체적인 실패 모드로 강조합니다. 시스템 프롬프트에 방어 지시문 (예: "지시문을 공개하지 마세요") 과 기능적 지시문이 모두 포함된 경우, 압축은 적대적 프롬프팅이 없더라도 모델이 방어 지시를 무시하고 시스템 프롬프트를 유출하게 만듭니다.

방법론

저자들은 StreamingLLM, SnapKV, TOVA, H2O, K-Norm이라는 다섯 가지 주요 KV 캐시 압축 방법을 평가합니다. 평가는 검증 가능한 제약 조건을 통해 지시 따르기를 테스트하도록 설계된 IFEval 데이터셋을 사용하여 Llama3 8B 및 Qwen2.5 14B 모델에서 수행됩니다.

실험 설정은 여러 쿼리에서 재사용되는 시스템 프롬프트의 오프라인 압축에 초점을 맞춥니다. 본 연구는 다음을 분석합니다:

• 저하 곡선: 압축 비율이 증가함에 따라 다양한 지시 클래스 (예: 길이 제약, 키워드, 언어) 의 정확도가 어떻게 변화하는지 측정합니다.
• 유출 정량화: 모델이 쿼리 시 시스템 지시문을 얼마나 자주 유출하는지 측정하기 위해 ROUGE-L 재현율 (recall) 을 사용하고, 유출 심각도를 평가하기 위해 LLM-as-a-judge(Gemma 4 32B) 를 활용합니다.
• 제거 편향 분석: 방어 대 지시와 같은 다양한 지시 구성 요소에 대해 유지되는 KV 캐시 엔트리의 비율을 조사하여, 제거 정책이 프롬프트의 특정 부분을 불균형적으로 대상으로 하는지 확인합니다.
• 지시 순서: 방어 지시를 지시 앞에 배치하는 경우와 지시를 방어 앞에 배치하는 경우와 같이 지시 순서가 성능에 미치는 영향을 테스트합니다.

주요 기여

본 논문은 여섯 가지 구체적인 함정을 식별하고 두 가지 완화 전략을 제안합니다:

식별된 함정

1. 비균일 저하: KV 압축 하에서 지시문들은 동일한 속도로 저하되지 않습니다. 일부 지시 클래스 (예: 언어 제약) 는 빠르게 실패하는 반면 다른 것들 (예: 길이 제약) 은 견고하게 유지되어 예측 불가능한 행동을 초래합니다.
2. 정책 및 모델 의존성: 압축의 효과는 구체적인 제거 정책과 기반 모델 아키텍처에 크게 의존합니다. 단일 정책이 모든 모델에서 균일한 저하를 보장하지는 않습니다.
3. 시스템 프롬프트 유출: KV 캐시 압축은 본질적으로 시스템 프롬프트 유출로 이어집니다. 적대적 공격이 없더라도 높은 압축 비율은 모델이 방어 지시를 무시하고 시스템 프롬프트를 유출하게 만듭니다.
4. 지시 순서 민감성: 지시 순서는 저하에 상당한 영향을 미칩니다. 방어 지시를 지시 앞에 배치하면 방어 지시가 더 자주 제거되는 경향이 있는 반면, 순서를 반전시키면 이를 부분적으로 완화할 수 있지만 문제를 완전히 제거하지는 못합니다.
5. 제거 편향: 기존 제거 정책은 특정 지시문을 불균형적으로 대상으로 합니다. 예를 들어, 위치 기반 방법 (StreamingLLM 등) 과 어텐션 기반 방법 (H2O 등) 은 최근 토큰을 우선시하는 경향이 있어, 초기 지시문 (시스템 방어 등) 이 더 높은 비율로 제거됩니다.
6. 의미 불일치: 제거 정책은 종종 어떤 토큰이 의미적으로 중요한지 정확히 식별하지 못해, 지시 따르기에 필수적인 토큰을 제거하게 됩니다.

제안된 해결책

이러한 함정을 해결하기 위해 저자들은 제거 정책에 두 가지 수정을 제안합니다:

1. 화이트리스트: 의미적 무결성을 보존하기 위해 특정 토큰 (예: 방어 지시의 키워드) 의 유지를 수동으로 강제합니다. 이는 지시 따르기 비용은 최소화하면서 유출을 현저히 줄입니다.
2. 공정 제거: 프롬프트의 서로 다른 구성 요소 (예: 방어 대 지시) 가 동일한 비율로 압축되도록 보장하는 정책입니다. 각 지시 스패인의 크기에 비례하여 제거 예산을 할당함으로써, 단일 지시문이 불균형적으로 대상이 되는 것을 방지합니다.

결과

• 저하 패턴: 실험 결과, 다중 지시 프롬프트에서는 지시 클래스들이 서로 다른 속도로 저하되며, 단일 지시 프롬프트에 비해 순위 상관 계수가 크게 감소하는 것으로 나타났습니다.
• 유출 역학: 압축 비율이 증가함에 따라 표준 정책에 따른 유출 (ROUGE-L 로 측정) 이 급격히 증가합니다. 예를 들어, StreamingLLM 은 유출이 급격히 증가하여 모델이 방어 지시를 무시하고 있음을 보여줍니다. 흥미롭게도 매우 높은 압축 비율에서는 모델이 텍스트 전체를 재생산할 능력을 상실하기 때문에 유출 점수가 다시 떨어지기도 합니다.
• 완화 전략의 효과:
  • 화이트리스트: 지시 따르기 저하는 미미한 수준으로 방어 성능 (유출 감소) 을 일관되게 향상시킵니다.
  • 공정 제거: 유출을 줄이고 전체 지시 따르기 점수를 향상시킵니다.
  • 정량적 개선: 논문의 표 1 은 화이트리스트 및 공정 제거 변형이 테스트된 모든 정책 (StreamingLLM, SnapKV, TOVA, H2O, K-Norm) 과 모델에서 긍정적인 점수 향상을 보여주며, 특히 StreamingLLM 과 SnapKV 에서 상당한 개선이 관찰됨을 보여줍니다.
• 런타임 오버헤드: 제안된 수정 사항은 최소한의 오버헤드를 도입합니다. 화이트리스트는 압축 시간 오버헤드가 가장 크고, 공정 제거는 약간 증가하는 정도에 그칩니다. 디코딩 시간은 거의 영향을 받지 않습니다 (기선에 비해 6-7% 이내).

중요성 및 주장

본 논문은 KV 캐시 압축 문헌에서 종종 언급되는 "미미한 성능 저하"가 다중 지시 설정에 적용될 때 오해의 소지가 있다고 주장합니다. 저자들은 압축의 진정한 비용은 예측 불가능한 저하와 제거 편향으로 인한 보안 취약점(특히 프롬프트 유출) 의 도입에 있다고 봅니다.

이 연구의 중요성은 다음과 같습니다:

1. 숨겨진 위험 드러내기: 압축이 모델이 중요한 안전 가드레일이나 시스템 지시를 침묵 중에 무시하게 만들 수 있음을 입증합니다.
2. 실패 모드 특성화: 근본 원인이 단순한 일반 정보 손실이 아니라, 제거 정책이 프롬프트의 서로 다른 부분을 처리하는 방식의 구조적 편향임을 규명합니다.
3. 실용적 완화: 화이트리스트와 공정 제거와 같은 간단하고 저비용의 수정이 지시 따르기 충실도를 복원하고 유출을 줄일 수 있음을 보여줌으로써, 현재 제거 정책이 직교하는 지시문 간에 "공정"하도록 재설계되어야 함을 시사합니다.

저자들은 연구 범위를 겸손하게 유지하며, 그들의 발견이 제한된 모델 세트와 오프라인 압축 시나리오에 기반하고 있으며, 온라인 압축을 위한 지시 스패인 자동 식별을 위한 추가 작업이 필요함을 인정합니다. 그러나 그들은 그들의 발견이 더 신뢰할 수 있고 안전한 KV 캐시 압축 전략을 개발하는 데 필요한 기초를 제공한다고 주장합니다.