Shadow in the Cache: Unveiling and Mitigating Privacy Risks of KV-cache in LLM Inference

본 논문은 LLM 추론의 핵심 요소인 KV 캐시가 민감한 사용자 입력을 복원할 수 있는 심각한 프라이버시 취약점을 노출하고 있음을 최초로 입증하고, 이를 해결하기 위해 모델 정확도와 성능 저하 없이 강력한 보안을 제공하는 경량 방어 메커니즘 'KV-Cloak'을 제안합니다.

핵심

🍳 1. 배경: 왜 '레시피 노트'가 필요한가요?

거대 인공지능 (LLM) 은 방대한 양의 데이터를 학습한 '초고급 요리사'입니다. 사용자가 "오늘 저녁 메뉴 추천해줘"라고 말하면, AI 는 한 글자씩 순서대로 답변을 만들어냅니다.

이때 KV-cache(Key-Value Cache) 는 AI 가 이전에 쓴 레시피 노트와 같습니다.

• 문제: AI 가 문장을 만들 때마다 처음부터 모든 계산을 다시 하면 너무 느립니다.
• 해결: 그래서 AI 는 "아까까지 쓴 내용"을 메모장에 적어두고 (KV-cache), 다음 글자를 쓸 때 그 메모를 참고합니다. 이렇게 하면 속도가 엄청나게 빨라집니다.

🕵️ 2. 위험: 메모장이 유출되면 어떻게 될까요?

이 논문은 충격적인 사실을 발견했습니다. **이 메모장 **(KV-cache)

• 현재 상황: 사용자와 AI 서버 간의 대화는 암호화되어 있지만, AI 내부에서 계산된 '메모장 (KV-cache)'은 암호 없이 그대로 저장되거나 전송됩니다.
• 위험: 해커가 이 메모장을 훔쳐보면, AI 가 계산한 숫자들을 분석해서 **사용자가 처음 입력한 비밀스러운 내용 **(비밀번호, 개인 정보 등)을 그대로 복원해낼 수 있습니다.

⚔️ 3. 공격 방법: 해커는 어떻게 메모장을 훔쳐볼까요?

저자들은 메모장을 해독하는 세 가지 방법을 개발했습니다.

1. **거꾸로 계산하기 **(Inversion Attack)
   • 메모장에 적힌 숫자 공식을 거꾸로 뒤집어서 원래 입력값을 찾아내는 방법입니다. (마치 "결과가 10 이라면, 더하기 5 를 한 원래 숫자는 5 가 아닐까?"라고 추론하는 것과 같습니다.)
2. **맞춤 찾기 **(Collision Attack)
   • 해커가 자신의 컴퓨터에 똑같은 AI 를 설치해두고, "만약 사용자가 A 라는 말을 했다면 메모장에 어떤 숫자가 나올까?"를 수천 번 시뮬레이션합니다. 그리고 훔쳐온 메모장과 숫자가 똑같은 경우를 찾아냅니다. (이게 가장 강력하고 범용적으로 쓰입니다.)
3. **강요하기 **(Injection Attack)
   • 해커가 훔쳐온 메모장에 "이전 내용을 반복해"라는 명령을 붙여 AI 에게 입력합니다. AI 는 메모장에 있는 내용을 바탕으로 명령을 수행하느라, 비밀 정보를 입으로 직접 말해버리는 우를 범합니다.

🛡️ 4. 해결책: KV-Cloak (메모장 가리기)

이제 이 문제를 해결할 방법을 제안합니다. 이름은 KV-Cloak(메모장 가리개)입니다.

• 핵심 아이디어: 메모장에 적힌 숫자들을 알 수 없는 방식으로 섞고 변형시키는 것입니다.
• 어떻게 작동할까요?
  1. **비밀스러운 섞기 **(Obfuscation) 메모장의 숫자들을 해커가 풀 수 없는 복잡한 수학 공식으로 뒤섞습니다. 마치 메모장을 투명하고 복잡한 유리 조각으로 덮어씌우는 것과 같습니다.
  2. **자동 복원 **(Reversible) AI 는 이 섞인 숫자를 보고도, 내부에 숨겨진 '비밀 열쇠'를 이용해 원래의 의미를 정확히 이해하고 답변을 만들어냅니다.
  3. 해커는 무력화: 해커가 이 섞인 메모장을 훔쳐도, 숫자 패턴이 완전히 뒤죽박죽이라서 원래 내용을 추측할 수 없습니다.

🚀 5. 장점: 안전하면서도 빠릅니다!

기존의 보안 방법들은 너무 느리거나 AI 의 성능을 떨어뜨렸습니다.

• **암호화 **(Encryption) 계산이 너무 느려서 AI 가 답을 늦게 줍니다.
• **소음 추가 **(Differential Privacy) 정보를 숨기려고 소음을 넣으면 AI 가 멍청해져서 엉뚱한 답을 합니다.

하지만 KV-Cloak은 다릅니다.

• 속도: 메모장을 섞는 작업이 AI 의 계산 과정에 자연스럽게 녹아들어서, **속도 저하가 거의 없습니다 **(약 1% 미만).
• 정확도: AI 의 성능은 100% 그대로 유지됩니다.
• 안전성: 해커가 어떤 공격을 해도 메모장은 완전히 무의미한 숫자 덩어리로만 보입니다.

💡 요약

이 논문은 "**AI 가 빠른 속도로 대화하기 위해 쓰는 메모장 **(KV-cache)"을 경고하고, "**메모장을 해커가 볼 수 없도록 섞어두되, AI 는 원래대로 잘 쓸 수 있게 해주는 새로운 기술 **(KV-Cloak)"을 제안합니다.

이는 우리가 AI 를 더 안전하고 신뢰할 수 있게 사용하면서, 동시에 그 빠른 속도와 똑똑함을 잃지 않을 수 있는 길을 열어줍니다.

기술 요약

1. 문제 정의 (Problem Statement)

대형 언어 모델 (LLM) 의 추론 속도를 가속화하기 위해 핵심적인 역할을 하는 Key-Value (KV) 캐시가 심각한 프라이버시 취약점을 가지고 있다는 것이 본 논문의 핵심 주제입니다.

• 배경: LLM 은 autoregressive(자기회귀) 방식으로 토큰을 생성할 때, 이전 토큰들의 Key(K) 와 Value(V) 벡터를 재계산하지 않고 KV 캐시에 저장하여 재사용함으로써 지연 시간 (latency) 을 줄입니다.
• 취약점: 성능 최적화를 위해 KV 캐시는 일반적으로 평문 (plaintext) 으로 처리, 전송 및 저장됩니다. 암호화된 통신 채널을 사용하더라도, 클라우드 서비스 제공자 (CSP) 나 내부 공격자가 KV 캐시에 접근할 수 있는 환경 (예: TEE 의 보호 경계를 벗어난 고처리량 아키텍처) 에서 심각한 위험이 발생합니다.
• 위협: KV 캐시는 사용자의 입력 텍스트와 직접적인 상관관계를 가지며, 단순한 임베딩이 아닌 어텐션 메커니즘의 원시 입력 (raw inputs) 을 포함하고 있습니다. 따라서 공격자가 KV 캐시를 탈취하면 민감한 사용자 입력 (비밀번호, 개인 식별 정보, 기업 로직 등) 을 복원할 수 있습니다.

2. 공격 방법론 (Attack Methodology)

저자들은 KV 캐시로부터 사용자 입력을 복원하는 세 가지 새로운 공격 벡터를 설계하고 구현했습니다.

1. Inversion Attack (역산 공격):

   • 원리: 모델의 가중치 행렬 ($W_k, W_v$) 을 알고 있을 때, KV 캐시의 $K$와 $V$ 벡터를 수학적으로 역산하여 입력 토큰을 직접 계산합니다.
   • 한계: 현대의 최신 모델 (GQA, MLA 등) 은 비정방 행렬을 사용하여 역산이 수학적으로 불가능하거나, 깊은 레이어에서는 의미론적 정보가 융합되어 있어 복원이 어렵습니다. 주로 첫 번째 레이어의 MHA(Multi-Head Attention) 구조 모델에 유효합니다.

2. Collision Attack (충돌 공격):

   • 원리: 역산을 시도하는 대신, 공격자가 로컬에 모델 인스턴스를 보유하고 있다고 가정합니다. 어휘집 (Vocabulary) 의 각 후보 토큰을 로컬 모델에 입력하여 생성된 KV 캐시와 탈취한 타겟 KV 캐시를 비교합니다.
   • 메커니즘: 거리 메트릭 (예: Frobenius norm) 을 사용하여 가장 유사한 (충돌하는) 토큰을 찾습니다. 확률 기반 우선순위 정렬과 배치 처리를 통해 전수 조사를 최적화하여 실용성을 높였습니다.
   • 강점: 모델 아키텍처 (MHA, GQA 등) 나 레이어 깊이에 관계없이 적용 가능하며, 파인튜닝된 모델에도 효과적입니다.

3. Injection Attack (주입 공격):

   • 원리: LLM 의 지시 따르기 (instruction-following) 능력을 악용합니다. 탈취된 KV 캐시 컨텍스트 끝에 "이전 내용을 반복해"와 같은 지시문을 추가하여 모델이 캐시된 정보를 "메아리"처럼 출력하도록 유도합니다.
   • 특징: 정확한 토큰 복원이 아니더라도 입력의 핵심 의미와 의도를 유출할 수 있으며, 캐시 압축 (H2O 등) 이 적용된 경우에도 효과적입니다.

3. 제안된 방어 기법: KV-Cloak

기존의 암호화 (HE 등) 는 연산 오버헤드가 너무 크고, 차분 프라이버시 (DP) 는 모델 정확도를 떨어뜨린다는 한계를 극복하기 위해 KV-Cloak을 제안했습니다.

• 핵심 메커니즘:
  1. 가역적 행렬 기반 오프스큐레이션 (Reversible Matrix-based Obfuscation): 비밀 키 행렬 ($S, M$) 을 사용하여 KV 벡터를 선형 변환합니다.
  2. 블록 단위 일회성 패드 (One-Time Pad Block-wise Shuffling): KV 캐시 블록 내에서 토큰의 물리적 순서를 무작위로 섞습니다. 이는 토큰과 벡터 간의 위치 상관관계를 끊어 통계적 공격을 무력화합니다.
  3. 암시적 키 복구 (Implicit Key Recovery): 순열 키를 저장하지 않고, 벡터 크기가 큰 '비콘 (beacon)' 값을 추가하여 탈오프스큐레이션 시 순열 인덱스를 동적으로 복원하도록 설계하여 저장 오버헤드를 제거했습니다.
• 성능 최적화 (Operator Fusion):
  • 오프라인에서 모델의 어텐션 레이어 가중치 ($W_q, W_k, W_v, W_o$) 에 오프스큐레이션 행렬을 융합 (Fusion) 시킵니다.
  • 이로 인해 온라인 추론 단계에서는 추가적인 행렬 곱셈이 거의 발생하지 않아 지연 시간이 최소화됩니다.

4. 주요 실험 결과 (Key Results)

• 공격의 유효성:
  • Collision Attack은 LLaMA-3, Qwen 등 다양한 최신 모델에서 높은 정확도로 입력을 복원했습니다. 특히, 파인튜닝된 모델에서도 기본 모델 가중치만으로도 90% 이상의 복원 성공률을 보였습니다.
  • Injection Attack은 정확한 텍스트 복원은 어렵더라도 입력의 핵심 의미 (Semantic gist) 를 성공적으로 유출했습니다.
• KV-Cloak 의 방어 효과:
  • 보안성: KV-Cloak 을 적용하면 모든 공격 (Inversion, Collision, Injection) 의 복원 정확도가 무작위 소음 수준으로 떨어졌습니다. BERTScore 와 ROUGE-L 점수가 통계적으로 무작위와 구별되지 않을 정도로 낮아졌습니다.
  • 정확도 (Lossless): 오프스큐레이션이 수학적으로 가역적이기 때문에 모델의 추론 정확도 (MMLU, SQuAD 벤치마크) 에 전혀 손실 (0% degradation) 이 발생하지 않았습니다.
  • 성능 오버헤드: 연산 융합 (Operator Fusion) 기법으로 인해 KV-Cloak 의 지연 시간 오버헤드는 약 1% 미만 (약 15.41 ms/GB) 으로 매우 낮았습니다. 이는 AES 암호화 (약 3020 ms/GB) 나 DP 보다 훨씬 효율적입니다.

5. 의의 및 기여 (Significance and Contributions)

1. 새로운 위협 모델 제시: LLM 추론 시스템의 KV 캐시가 단순한 성능 최적화 도구가 아닌, 심각한 프라이버시 유출 경로임을 최초로 체계적으로 증명했습니다.
2. 실용적인 공격 기법 개발: 다양한 아키텍처와 모델에 적용 가능한 강력한 공격 (특히 Collision Attack) 을 제시하여 현재 LLM 서비스의 보안 취약점을 경고했습니다.
3. 효율적이고 강력한 방어 솔루션: KV-Cloak 을 통해 보안, 정확도, 성능이라는 세 가지 상충되는 요구사항을 동시에 만족시키는 솔루션을 제시했습니다.
   • 기존 DP 방식은 정확도를 희생해야 하지만, KV-Cloak 은 정확도를 유지하면서 강력한 보안을 제공합니다.
   • 기존 암호화 방식은 성능을 희생하지만, KV-Cloak 은 거의 오버헤드 없이 작동합니다.
4. 실제 배포 가능성: vLLM 과 같은 최신 추론 프레임워크에 통합 가능한 경량화된 설계를 통해, 신뢰할 수 있는 LLM 서비스 배포를 위한 실질적인 가이드라인을 제공합니다.

결론

본 논문은 LLM 추론의 핵심인 KV 캐시가 사용자의 민감한 정보를 직접적으로 노출할 수 있음을 밝히고, 이를 해결하기 위해 모델 정확도를 해치지 않으면서도 성능 저하를 최소화하는 KV-Cloak이라는 새로운 방어 메커니즘을 제안했습니다. 이는 차세대 신뢰할 수 있는 AI 서비스 구축을 위한 중요한 이정표가 될 것입니다.