🤖 AI

Can Transformer Memory Be Corrupted? Investigating Cache-Side Vulnerabilities in Large Language Models

이 논문은 추론 과정 중 키-값(key-value) 캐시를 섭동시키는 것이 트랜스포머 언어 모델을 체계적으로 손상시킬 수 있음을 입증하는 프레임워크인 악성 토큰 주입(Malicious Token Injection, MTI)을 소개하며, 이를 통해 캐시 무결성이 LLM 보안에서 매우 중요하지만 이전에 간과되었던 취약점임을 밝힌다.

원저자: Elias Hossain, Swayamjit Saha, Somshubhra Roy, Ravi Prasad

게시일 2026-02-03

📖 4 분 읽기☕ 가벼운 읽기

CC BY 4.0

원저자: Elias Hossain, Swayamjit Saha, Somshubhra Roy, Ravi Prasad

원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

거대한 언어 모델(LLM)을 아주 똑똑하고 빠르게 생각하는 학생이 긴 시험을 치르고 있다고 상상해 보세요. 질문에 답하기 위해 이 학생은 단순히 현재의 질문만 보는 것이 아니라, 답변의 일관성을 유지하기 위해 지금까지 써 내려간 모든 내용을 기억해야 합니다. AI의 세계에서 이 "기억"을 **KV 캐시(KV Cache)**라고 부릅니다. 이는 모델이 다음 단어를 쓸 때마다 책 전체를 다시 읽지 않아도 되도록 대화의 가장 중요한 부분들을 저장해 두는 디지털 메모장입니다.

*"Transformer의 메모리가 오염될 수 있는가?(Can Transformer Memory Be Corrupted?)"*라는 제목의 이 논문은 무섭지만 단순한 질문을 던집니다: 만약 누군가 학생이 시험을 치르는 동안 그 메모장에 몰래 낙서를 한다면 어떻게 될까?

다음은 일상적인 비유를 사용한 연구 결과의 요약입니다:

1. 숨겨진 약점: "보이지 않는" 메모장

보통 우리는 해커가 모델의 교과서(학습 데이터)를 바꾸거나 이상한 질문으로 속이는 것(프롬프트 인젝션)을 걱정합니다. 하지만 이 논문은 시스템을 망가뜨릴 수 있는 더 은밀하고 교활한 방법을 발견했습니다.

연구진은 "메모장"(KV 캐시)이 종종 보호받지 못한 채 방치되어 있다는 사실을 깨달았습니다. 설령 교과서와 시험 문제가 철저히 통제되고 있더라도, 모델을 실행 중인 컴퓨터 내부로 침입할 수 있는 공격자는 그 메모장 위의 숫자들을 미세하게 조작할 수 있습니다.

비유: 복잡한 스튜를 요리하는 요리사를 상상해 보세요. 레시피는 안전하고 재료도 신선합니다. 하지만 만약 사보타주를 하는 사람이 요리사가 맛을 보는 동안 몰래 소금 한 꼬집을 설탕으로 바꾼다면, 레시피나 재료를 바꾸지 않았음에도 불구하고 요리 전체를 망칠 수 있습니다.

2. 공격 방식: "악의적 토큰 주입(Malicious Token Injection, MTI)"

저자들은 이를 테스트하기 위해 MTI V.1이라는 도구를 만들었습니다. 그들은 모델을 파괴한 것이 아니라, 단지 메모리를 "툭 건드린" 것입니다. 그들은 메모장을 망가뜨리기 위해 세 가지 주요 방법을 시도했습니다:

"정적" 자극 (가우시안 노이즈/Gaussian Noise): 라디오 볼륨을 약간 높여서 소리가 뭉개지는 것처럼, 메모리에 무작위적인 정적이나 잡음을 추가하는 것입니다.
"지우개" (제로잉/Zeroing): 메모의 특정 부분을 완전히 지워버리는 것으로, 마치 메모지의 일부를 빨간 마커로 지워버리는 것과 같습니다.
"뒤틀기" (회전/Rotation): 메모를 옆으로 돌려버리는 것입니다. 정보는 여전히 존재하지만 방향이 잘못되어 모델을 혼란에 빠뜨립니다.

3. 결과: 작은 자극, 거대한 혼란

연구진은 인기 있는 AI 모델(GPT-2 및 LLaMA-2 등)을 대상으로 테스트했습니다. 그들은 메모리에 가해진 아주 작고 거의 보이지 않는 변화조차 큰 문제를 일으킨다는 것을 발견했습니다:

혼란: 모델이 말해서는 안 될 단어를 추측하기 시작했습니다. 확신이 떨어지고 사실을 지어내는 현상(환각)이 더 자주 발생했습니다.
과업 실패:
- 단순 과업: 문장이 행복한지 슬픈지 맞히라는 질문을 받았을 때, 모델은 혼란을 느껴 틀리기 시작했습니다.
- 복잡한 과업: 긴 문서에서 특정 사실을 찾아내라는 요청(예: 퀴즈)을 받았을 때, 모델은 완전히 실패했습니다. 마치 학생이 질문 읽는 법 자체를 잊어버린 것과 같았습니다.
- "에이전트" 테스트: AI가 일련의 단계(예: 항공권 예약)를 계획하는 로봇 역할을 수행할 때, 메모리 오염은 모델이 길을 잃고 잘못된 행동을 선택하게 만들었습니다.

4. "왜" 발생하는가: 전파의 원리

논문은 이 수학적 원리를 간단하게 설명합니다. AI는 자신의 메모리를 보고 다음에 올 단어를 결정합니다. 만약 메모리가 약간이라도 잘못되면, AI의 주의력(Attention)이 쏠리는 방향이 바뀝니다.

비유: 당신이 붐비는 방에서 친구를 찾으려고 한다고 상상해 보세요. 당신은 지도(메모리)를 보고 있습니다. 만약 누군가 지도 위에 아주 작은 잘못된 선 하나를 그었다면, 당신은 엉뚱한 구석을 보게 될 것입니다. 일단 엉뚱한 구석을 보게 되면, 남은 밤의 계획 전체가 무너집니다. 이 논문은 이러한 "작은 선들"이 수학적으로 AI의 주의력을 왜곡시킨다는 것을 증명합니다.

5. 해결할 수 있는가? (방어책)

연구진은 이 공격을 막을 수 있는지 확인하기 위해 몇 가지 빠른 해결책을 시도했습니다:

메모장 비우기: 주기적으로 메모리를 깨끗이 지우는 것입니다.
메모 무작위화: 메모의 일부를 무작위로 숨겨서 모델이 여전히 추측할 수 있는지 확인하는 것입니다.
노이즈 평활화: 숫자들을 평균 내어 "정적"을 제거하는 것입니다.

결론: 이러한 해결책들은 어느 정도 도움이 되었지만, 마법 같은 해결책은 아니었습니다. 그것들은 최악의 피해를 막아주기는 했지만, 공격이 강력하거나 지속적으로 발생할 경우 모델은 여전히 실패했습니다. 이는 마치 상처에 반창고를 붙이는 것과 같습니다. 도움이 되긴 하지만, 공격자가 계속해서 칼질을 한다면 상처가 깊어지는 것을 막을 수는 없습니다.

핵심 요약

이 논문은 AI가 고장 났으니 사용을 중단하라고 말하는 것이 아닙니다. 대신, AI를 구축하고 보호하는 사람들에게 경종을 울리고 있습니다.

주요 시사점: 우리는 AI의 "두뇌"(학습 데이터)와 "입"(입력 프롬프트)을 보호하는 데는 매우 능숙해졌지만, AI의 "단기 기억"(KV 캐시)은 대체로 간과해 왔습니다. 만약 공격자가 AI를 실행 중인 컴퓨터 내부로 들어올 수 있다면, 코드 한 줄 바꾸지 않고도 메모리를 오염시켜 AI를 신뢰할 수 없게 만들거나, 혼란스럽게 하거나, 위험하게 만들 수 있습니다.

저자들은 이 "메모장"을 시스템의 나머지 부분만큼이나 엄격하게 보호해야 할 핵심 안전 구역으로 취급하는 새로운 종류의 보안이 필요하다고 촉구하고 있습니다.

기술 요약: 대규모 언어 모델의 캐시 측면 취약성 조사

문제 정의
대규모 언어 모델(LLM)은 프롬프트 수준의 방어 기제와 학습 단계의 정렬(alignment)을 통해 점점 더 강력하게 보호되고 있지만, 이들의 내부 추론 시점 상태(inference-time state)는 아직 충분히 검토되지 않은 공격 표면으로 남아 있다. 구체적으로, 자기회귀적 디코딩을 가속화하기 위해 중간 어텐션 표현을 저장하는 키-값(Key-Value, KV) 캐시는 미래의 예측에 직접적인 영향을 미치는 지속적인 내부 메모리를 도입한다. 프롬프트 인젝션(입력 인터페이스에서 작동)이나 가중치 포이즈닝(학습 시 접근 권한 필요)과 달리, 캐시 측 변조(cache-side perturbations)는 토큰화 및 임베딩 이후에 완전히 작동한다. 이러한 공격은 입력값이나 모델 파라미터를 변경하지 않고도 캐시된 키 벡터를 수정함으로써 입력 수준의 필터와 정렬 검사를 우회하여 어텐션 분포를 편향시키고 하류 예측을 통해 오류를 전파할 수 있다.

방법론: MTI V.1 프레임워크
이 취약성을 조사하기 위해 저자들은 캐시 측 변조를 공식화하는 모듈형 프레임워크인 MTI V.1(Malicious Token Injection, 악성 토큰 주입)을 도입한다. 이 프레임워크는 KV 캐시를 별도의 견고성 경계(robustness boundary)로 취급하며, 공격자가 입력이나 가중치를 수정하지 않고 선택된 레이어와 타임스텝에서 캐시된 키를 변조할 수 있는 추론 시점 접근 권한을 가진다는 위협 모델을 정의한다.

프레임워크는 세 가지 축을 따라 변조를 특성화한다:

오염 강도(Corruption Magnitude): 주입된 변조의 세기.
주입 빈도(Injection Frequency): 디코딩 단계 전반에 걸쳐 변조가 적용되는 횟수.
레이어 배치(Layer Placement): 타겟이 되는 트랜스포머 레이어.

본 연구는 세 가지 전형적인 오염 메커니즘을 사용한다:

MTI-Gaussian: 캐시된 키에 가우시안 분포에서 샘플링된 가산적 확률 노이즈(additive stochastic noise)를 주입한다.
MTI-Zeroing: 캐시된 키를 완전히 제거하여 파괴적인 삭제를 시뮬레이션한다.
MTI-Rotation: 캐시된 키에 직교 변환(orthogonal transformations)을 적용하여 벡터의 크기는 유지하면서 쿼리와의 각도 정렬을 변화시킨다.

또한, 최적화된 변형 알고리즘(Algorithm 1)이 그래디언트 상승법(gradient ascent)을 통해 어드버셜 목적 함수를 최대화하는 변조를 계산하는 데 경험적으로 사용되지만, 이는 이론적 분석에 사용된 비적응적(non-adaptive), 노름 제한적(norm-bounded) 변조와는 구별된다.

이론적 분석
본 논문은 노름 제한적 캐시 변조가 어텐션 메커니즘을 통해 어떻게 전파되는지를 경계 짓는 이론적 분석을 제공한다.

변조-로그it 경계(Perturbation-to-Logit Bound): 어텐션 점수의 편차는 변조 강도( $\epsilon$ )와 쿼리 노름( $\|q_t\|_2$ ) 모두에 선형적으로 비례한다. 결과적인 비정규화된 로짓(unnormalized logits)의 편차는 $\|\Delta z_t\|_2 \leq \|q_t\|_2 \cdot \epsilon$ 으로 제한된다.
Softmax 안정성(Softmax Stability): 유계된 로짓 가정 하에서, 소프트맥스 매핑은 리프시츠 연속(Lipschitz continuous)이다. 이를 통해 로짓 편차를 제어된 어텐션 분포 및 출력 확률의 변화로 변환할 수 있다.
이 분석은 유계된 캐시 오염이 어텐션 분포와 다음 토큰 로짓에 유계된 편차를 유도함을 입증하며, 최악의 경우의 민감도 경향을 규명한다.

실험 결과
프레임워크는 GPT-2 Medium, LLaMA-2 7B, Gemma-7B 모델을 대상으로 감성 분류(SST-2), 추출형 질의응답(SQuAD, HotpotQA), 요약(CNN/DailyMail), 에이전트 추론 파이프라인 등 다양한 벤치마크에서 평가되었다.

토큰 수준 효과: 캐시 변조는 확률적 변동보다 한 자릿수 더 큰 분포 변화(KL 발산으로 측정)를 유도한다. 예를 들어, GPT-2에 대한 회전 기반 오염은 0.57의 KL 발산과 16.7%의 Top-1 정확도 하락을 초래했다.
하류 작업 성능 저하: 민감도는 작업마다 다르다. SST-2는 중간 정도의 견고성을 보인 반면, SQuAD(추출형 QA)는 동일한 변조 하에서 F1 점수가 77.4에서 7.2로 급락하며 파괴적인 실패를 보였다. 이는 정밀한 토큰 정렬과 긴 문맥 추론을 요구하는 작업이 매우 민감함을 시사한다.
검색 증강 생성(RAG): 검색된 컨텍스트에 적용된 변조는 근거의 충실도(grounding fidelity)를 크게 저하시키고 환각률을 높였으며, 이는 RAG 파이프라인이 증거 단계에서의 캐시 무결성에 결정적으로 의존함을 나타낸다.
에이전트 파이프라인: ReAct 및 AutoGPT 스타일의 프레임워크에서 폐쇄 루프 추론은 약한 변조에는 부분적인 회복력을 보였으나, 이러한 견고함은 완만한 수준의 환경에서만 제한적으로 나타났다.
절제 연구(Ablation Studies): 취약성은 레이어 배치, 변조 강도, 시간적 지속성의 상호작용에 의해 결정된다. 중간 레벨 레이어가 초기 또는 깊은 레이어보다 일관되게 더 취약한 것으로 나타났다. 지속적인 오염은 간헐적인 스케줄보다 더 큰 저하를 일으켰으며, 이는 캐시 변조가 상태 유지적(stateful)이며 시간이 지남에 따라 누적됨을 나타낸다.
방어 기제: 경량 방어 기제(캐시 리셋, 드롭아웃 마스크 무작위화, 어텐션 스무딩)가 평가되었다. 이들은 약한 변조 하에서 실행 시간 오버데헤드를 최소화하면서 베이스라인 정확도를 유지했으나, 지속적이거나 강한 오염에 대한 단독 방어책으로는 불충분했다.

의의 및 주장
본 논문은 추론 시점의 캐시 오염이 현대 LLM 파이프라인의 신뢰성, 교정(calibration) 및 근거 형성(grounding)에 대한 체계적인 위협이라고 주장한다. 주요 기여는 다음과 같다:

위협 모델의 공식화: KV 캐시 무결성을 중요한, 미개척된 견고성 경계로 식별하고, 캐시 측 변조를 신뢰할 수 있는 AI를 위한 원칙적인 위협 모델로 공식화하였다.
이론적 경계 제공: 유계된 캐시 오염이 어텐션 분포와 출력 로짓으로 어떻게 전파되는지를 특성화하는 이론적 경계를 제공하였다.
경험적 증거 제시: 프롬프트와 가중치가 변경되지 않더라도 캐시 변조가 언어 모델링, RAG 및 에이전트 추론 전반에서 분포 변화와 작업 실패를 유도함을 입증하였다.
진단적 유용성: 제어된 캐시 변조가 단순한 위협 모델뿐만 아니라 어텐션 민감도와 내부 모델 역학을 분석하기 위한 진단 도구로도 사용될 수 있음을 시사한다.

저자들은 단순한 방어 기제가 부분적인 완화책을 제공할 수는 있지만, 견고한 배포를 위해서는 명시적인 캐시 무결성 메커니즘이나 모니터링 전략이 필요하다고 결론짓는다. 본 연구는 추론 시점의 캐시 무결성을 미래의 신뢰할 수 있는 AI 연구를 위한 "일급 견고성 경계(first-class robustness boundary)"로 위치시키며, 이러한 발견이 모든 배포 시나리오에 대한 보편적 착취 가능성을 주장하기보다는 하나의 견고성 경계를 규명하는 것임을 강조한다.