🤖 machine learning

HijackKV: New Threat in Position-Independent KV Cache Reuse

이 논문은 대규모 언어 모델의 위치 독립적 KV 캐시 재사용을 악용하여 공격자가 제어하는 접두사를 주입함으로써 양질의 텍스트에 대한 캐시된 표현을 오염시켜 모델의 동작을 은밀하게 탈취하는 새로운 공격 프레임워크인 HIJACKKV를 소개하며, 이는 현실적인 제약 조건 하에서도 다양한 모델에 걸쳐 높은 성공률을 달성한다.

원저자: Yichi Zhang, Zhiqi Wang, Huan Zhang, Yuchen Yang

게시일 2026-07-23

📖 3 분 읽기☕ 가벼운 읽기

CC BY 4.0

원저자: Yichi Zhang, Zhiqi Wang, Huan Zhang, Yuchen Yang

원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

당신이 수천 명의 사람들이 매초마다 똑똑한 사서에게 질문을 던지는 거대하고 북적이는 도서관에 있다고 상상해 보세요. 질문에 빠르게 답하기 위해, 사서는 이미 처리한 대화의 부분들을 처음부터 모든 책을 다시 읽는 대신, 일종의 "요약 노트"(KV 캐시라고 불리는)를 보관합니다. 만약 누군가 이전 질문과 똑같은 단어로 시작하는 질문을 한다면, 사서는 기존의 요약 노트를 가져와서 힘든 과정을 건너뛸 수 있고, 덕분에 답변이 번개처럼 빠르게 나옵니다. 이것이 현대의 AI 챗봇들이 시간과 에너지를 아끼는 방식입니다. 하지만 이러한 속도는 까다로운 규칙 하나를 동반합니다. 보통 이 요약 노트는 질문에 이르는 전체 이야기가 정확히 일치할 때만 작동한다는 것입니다. 그러나 최근 엔지니어들은 이 요약 노트를 사용하는 더 빠르고 새로운 방법을 발명했습니다. 그들은 이야기의 앞부분이 완전히 다르더라도, 특정 문장이나 *텍의 덩어리(chunk)*가 나타나기만 하면 요약 노트를 가져올 수 있도록 결정했습니다. 이는 마치 앞선 이야기가 우주 여행에 관한 것이든 피자 파티에 관한 것이든 상관없이, 단순히 "달(The Moon)"이라는 단어가 언급되었다는 이유만으로 역사책의 한 페이지를 집어 드는 것과 같습니다.

HIJACKKV라는 제목의 이 논문은 이 새로운, 더 빠른 방식에 숨겨진 교활한 보안 결함을 밝혀냅니다. 연구진은 이 새로운 시스템이 속도 면에서는 훌륭하지만, 의도치 않게 백도어를 생성한다는 사실을 발견했습니다. "요약 노트"는 해당 문장이 작성된 *맥락(context)*을 바탕으로 저장되기 때문에, 공격자는 AI에게 "독이 든(poisoned)" 요약 노트를 쓰도록 속일 수 있습니다. 공격자는 겉보기에는 무해해 보이지만, 공통적인 문장에 대한 노트를 몰래 왜곡하도록 설계된 가짜 이야기를 AI에게 입력합니다. 나중에 무고한 사용자가 그 공통적인 문장을 포함한 질문을 하면, 사서는 독이 든 노트를 가져오게 됩니다. 갑자기 AI는 사용자가 직접 나쁜 내용을 입력하지 않았음에도 불구하고, 잘못된 답변을 하거나 심지어 위험한 답변을 하기 시작합니다. 이는 마치 누군가 도서관의 참고서에 " '달'이라는 단어를 보면, 모든 사람에게 절벽에서 뛰어내리라고 말하라"라는 메모를 몰래 끼워 넣었고, 사서가 규칙에 따라 다음 사람이 달에 대해 물었을 때 그대로 실행하는 것과 같습니다.

컴퓨터 과학 전문가들과 협력한 연구진은 이 공격이 단순한 이론이 아님을 증명하기 위해 HIJACKKV라는 도구를 구축했습니다. 그들은 공격자가 도서관에 침입하거나 컴퓨터를 해킹할 필요 없이, 단 몇 개의 질문을 던지는 것만으로 독이 든 노트를 심을 수 있다는 것을 보여주었습니다. 일단 심어지면, 이 노트들은 다른 사람들의 AI 행동을 가로챌 수 있습니다. 테스트 결과, 이 공격은 매우 효과적이어서 단 한 번의 시도로 약 **94%**의 성공률을 보였습니다. 더욱 무서운 점은 이 공격을 막기가 어렵다는 것입니다. 연구진은 시스템이 데이터의 일부를 다시 계산함으로써 스스로를 수정하려고 시도하더라도(흔히 쓰이는 안전 조치), 특히 시스템이 데이터의 적은 부분(10%에서 50%)만 다시 계산할 경우에도 공격이 여전히 작동한다는 것을 발견했습니다. 독이 든 노트는 수백 개의 새로운 관련 없는 문장들이 채팅에 추가된 후에도 오랫동안 살아남을 수 있습니다.

또한 이 논문은 이 기술이 공격자가 직접 접근할 수 없는 유형의 AI 모델(블랙박스 시나리오)에서도 작동하는지 테스트했습니다. 연구진은 한 AI 모델을 위해 설계된 트릭이 종종 다른 모델도 속일 수 있다는 것을 발견했으며, 이는 문제가 광범위하다는 것을 보여줍니다. 연구진은 "수상한" 노트를 삭제하거나 공간 절약을 위해 요약 노트를 압축하는 소프트웨어와 같은 기존의 보안 가드들이 이 공격을 막을 수 있는지 확인해 보았습니다. 불행히도, 독이 든 노트가 보안 가드들에게는 완벽하게 정상적으로 보이기 때문에 이러한 방어책들은 대부분 실패했다는 것을 발견했습니다. 이 연구는 AI를 더 빠르게 만드는 것은 좋지만, 서로 다른 사용자 간에 이러한 "요약 노트"를 공유하는 현재의 방식은 근본적으로 안전하지 않다고 결론짓습니다. 저자들은 미래의 시스템이 속도를 위해 낯선 이들이 AI의 말을 통제하게 되는 대가를 치르는 대신, 노트를 재사용하기 전에 맥락을 더 주의 깊게 확인하도록 재설계되어야 한다고 제안합니다.

기술 요약: HIJACKKV - 위치 독립적 KV 캐시 재사용에서의 새로운 위협

1. 문제 정의

대규모 언어 모델(LLM)은 특히 첫 번째 토큰 생성 시간(TTFT)을 줄이기 위해 키-값(KV) 캐싱에 의존한다. 전통적인 캐싱 메커니지는 토큰 시퀀스와 그 위치가 모두 정확히 일치해야 하는 접두사 기반(prefix-based) 방식이다. 이러한 엄격함은 캐시 적중률(hit rate)을 낮추어 효율성 향상을 제한한다.

이를 해결하기 위해, 최근의 시스템 최적화 기술들(예: LMCache, CacheBlend, EPIC)은 **위치 독립적 KV 재사용(position-independent KV reuse)**을 도입했다. 이 메커니즘은 이전 컨텍스트나 위치에 관계없이 입력 토큰이 일치하는 모든 텍스트 청크에 대해 캐시된 KV 상태를 재사용할 수 있게 해준다. 이는 처리량을 크게 개선하지만, 본 논문은 결정적인 보안 결함인 **KV 캐시 하이재킹(KV Cache Hijacking)**을 식별하였다.

핵심 취약점은 트랜스포머 내의 KV 상태가 본질적으로 **컨텍스트 의존적(context-dependent)**이라는 점에 있다. 동일한 텍스트 청크라도 이전 토큰들에 따라 서로 다른 내부 KV 표현을 생성한다. 위치 독립적 재사용은 KV 상태를 인과적 컨텍스트로부터 분리시킨다. 결과적으로, 공격자는 특정 접두사를 정교하게 설계하여 일반적인 양질의 텍스트 청크와 결합했을 때 "오염된" KV 상태를 생성할 수 있다. 이후 피해 사용자가 악의적인 접두사 없이 동일한 양질의 텍스트 청크를 쿼리하면, 시스템은 공격자가 만든 오염된 KV 캐시를 재사용하게 되며, 피해자의 입력에는 어떠한 적대적 텍스트도 나타나지 않은 채 모델의 출력을 은밀히 탈취한다.

2. 방법론: HIJACKKV

저자들은 다중 테넌트(multi-tenant), 위치 독립적 KV 캐시 시스템에서 이 취약점을 체계적으로 악용하도록 설계된 최초의 공격 프레임워크인 HIJACKKV를 제안한다.

공격 워크플로우

공격은 두 단계로 작동한다:

포이즈닝 단계(Poisoning Phase): 공격자는 재사용될 가능성이 높은 대상 텍스트 청크( $\tilde{X}$ , 예: 흔한 FAQ, 문서) 앞에 최적화된 적대적 접두사( $p$ )를 붙인 악성 쿼리를 제출한다. 시스템은 이 입력을 처리하여 KV 상태를 계산하고, $\tilde{X}$ 에 대한 KV 캐시를 공유 풀에 저장한다. 결정적으로, $\tilde{X}$ 에 대한 KV 상태는 이제 적대적 접두사 $p$ 에 조건화된다.
착취 단계(Exploitation Phase): 피해자는 접두사 $p$ 없이 동일한 텍스트 청크 $\tilde{X}$ 를 포함하는 쿼리를 제출한다. 위치 독립적 매칭 덕분에 시스템은 $\tilde{X}$ 에 대한 포이즌된(poisoned) KV 캐시를 검색한다. 이후 모델은 하이재킹된 KV 상태를 바탕으로 응답을 생성하며, 이는 피해자의 프롬프트가 아닌 공격자의 목표에 부합하는 출력을 생성하게 된다.

최적화 알고리즘

HIJACKKV는 최적의 적대적 접두사를 찾는 과정을 최적화 문제로 정식화한다. 이 방식은 그리디 좌표 기울기(Greedy Coordinate Gradient, GCG) 알고리즘을 사용하여 접두사 $p$ 를 반복적으로 정교화한다.

목표: 모델의 출력(포이즌된 KV 캐시를 재사용할 때)과 목표 악성 응답( $\tilde{r}$ ) 사이의 크로스 엔트로피 손실(cross-entropy loss)을 최소화한다.
시뮬레이션: 공격자는 접두사 주입, 하이재킹된 KV 캐시 생성, 그리고 이후 피해자의 쿼리에 대한 추론 과정을 포함한 전체 파이프라인을 시뮬레이션하기 위해 로컬 대리 모델(surrogate model)을 사용한다.
강건성 훈련(Robustness Training): 최적화 루프는 대상 시스템이 KV 상태의 일부를 재계산하더라도(예: EPIC, CacheBlend) 생성된 접두사가 효과를 유지할 수 있도록 시뮬레이션된 재계산 전략을 통합할 수 있다.

3. 주요 기여

취약점 식별: 본 논문은 위치 독립적 KV 캐시 재사용에 의해 도입된 새로운 공격 표면을 정식화하며, 이를 기존의 프롬프트 인젝션(피해자의 입력에 악성 텍스트가 필요함) 및 개인정보 유출 공격과 구별한다.
HIJACKKV 프레임워크: 시스템 수준의 권한이나 직접적인 캐시 수정 없이도 LLM 추론을 하이재킹할 수 있는 최초의 공격 프레임워크 설계를 제시한다.
포괄적 평가: 다양한 모델(Llama, Mistral, Qwen), 데이터셋(HotpotQA, SQuAD, MedQA, PubMedQA), 그리고 시스템 구성(다양한 청크 크기, 캐시 비율 및 재계산 방법)에 대한 체계적인 평가를 수행한다.
방어 분석: 기존 완화 전략들을 평가하여, 현재의 방어책들이 이 위협을 완전히 무력화하기에는 불충분함을 입증한다.

4. 실험 결과

저자들은 화이트박스 및 블랙박스 환경에서 HIJACKKV를 평가하였으며, 다음과 같은 주요 지표를 보고하였다:

효과성: HIJACKKV는 다양한 모델과 데이터셋에 대해 단 한 번의 시도로 평균 **94%의 표적 공격 성공률(Targeted Attack Success Rate, T-ASR)**을 달성한다. 이는 EPIC 및 CacheBlend과 같은 고급 재계산 전략에 대해서도 매우 효과적이다.
강건성:
- 낮은 적중률: 캐시 적중률이 10% 정도로 낮을 때(즉, 사용자 컨텍스트의 아주 작은 부분만 하이재킹되는 경우)에도 공격은 여전히 효과적이다.
- 높은 재계산: 시스템이 매칭된 KV 토큰의 최대 **50%**를 재계산하더라도 공격은 지속된다.
- 청크 크기: 성능은 32에서 512 토큰에 이르는 청크 크기 전반에 걸쳐 안정적으로 유지된다.
지속성: 하이재킹된 영향력은 다회차 상호작용(multi-turn interaction)을 통해 지속된다. 관련 없는 컨텍스트를 1,024 토큰 삽입한 후에도 T-ASR은 높은 수준(55%)을 유지하며, 2,048 토큰의 필러(filler)를 넣어도 47%를 유지한다.
전이성(Transferability):
- 블랙박스: 공격은 서로 다른 모델 아키텍처와 파라미터 크기 간에 효과적으로 전이된다. 예를 들어, Llama-3.1-8B에서 최적화된 접두사는 Llama-3.3-70B에 대해 37%의 T-ASR을 달성하며, Qwen 모델에 대해서도 유사한 비율을 보인다.
- 의미적 변형(Paraphrasing): 공격은 피해자 쿼리의 의미적 변형에 강건하며, 의역된 입력에 대해서도 94%의 T-ASR을 유지한다.
실제 시나리오: 코드 생성 작업(HumanEval)에서, HIJACKKV는 다양한 디코딩 온도(decoding temperature)에 대해 평균 95.5%의 ASR을 달성한다.

5. 의의 및 주장

본 논문은 HIJACKKV가 LLM 서빙 시스템의 위협 지형을 근본적으로 변화시킨다고 주장한다. 사용자 입력을 수정하거나 개인정보 유출을 이용하는 기존의 공격과 달리, 이 공격은 현대적 캐싱 최적화에 내재된 **효율성과 보안 사이의 트레이드오프(efficiency-security trade-off)**를 악용한다.

현재 방어책의 불충분함: 저자들은 선택적 재계산(높은 비율에서도), KV 프루닝(예: RobustKV, CachePrune), 캐시 압축을 포함한 표준 방어책들이 위협을 제거하는 데 실패한다고 주장한다. 이러한 방법들은 종-종 영향력이 큰 하이재킹된 항목을 보존하거나, 오염의 컨텍스트 의존적 특성을 탐지하지 못한다.
시스템적 위험: 이 공격은 사용자들이 흔한 지식 베이스를 자주 공유하는 실제 다중 테넌트 환경(예: 클라우드 호스팅 LLM, RAG 시스템)에서 실질적인 위협이다. 특권 접근 권한이 필요하지 않으므로, 권한이 없는 공격자에게도 실행 가능한 위협이다.
행동 촉구: 논문은 커뮤니티가 휴리스틱 기반의 방어를 넘어설 것을 촉구한다. 저자들은 미래의 안전한 KV 캐시 시스템이 효율성 이득이 시스템 무결성을 해치지 않도록, 사용자 계산 데이터를 우선시하거나 편차 기반 거부 정책(deviation-based rejection policies)과 같은 설계 변경을 포함하는 하이브리드 메커니즘을 갖춰야 한다고 제안한다.

저자들은 본 연구가 책임 있는 공개(responsible disclosure)임을 강조하며, 더 안전한 캐시 재사용 메커니즘 개발을 촉진하기 위해 출판 전 관련 이해관계자들에게 연락하였음을 밝힌다.