🤖 AI

From Untrusted Input to Trusted Memory: A Systematic Study of Memory Poisoning Attacks in LLM Agents

이 논문은 LLM 에이전트의 취약점을 식별하고, 6가지 클래스의 공격 분류 체계를 제안하며, 공격적인 메모리 사용에 따른 위험성 증대를 입증하기 위해 MPBench 벤치마크를 도입하고, 이러한 위협에 대한 기존 프롬프트 주입 방어 기제의 불충분함을 밝힘으로써 LLM 에이전트의 메모리 포이즈닝 공격을 체계적으로 조사한다.

원저자: Pritam Dash, Tongyu Ge, Aditi Jain, Tanmay Shah, Zhiwei Shang

게시일 2026-06-04

📖 4 분 읽기☕ 가벼운 읽기

CC BY 4.0

원저자: Pritam Dash, Tongyu Ge, Aditi Jain, Tanmay Shah, Zhiwei Shang

원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

AI 에이전트를 매우 똑똑하고 유능한 개인 비서라고 상상해 보세요. 창을 닫는 순간 모든 것을 잊어버리는 일반적인 챗봇과 달리, 이 비서는 **장기 기억(long-term memory)**을 가지고 있습니다. 이 비서는 당신의 커피 취향, 좋아하는 여행지, 그리고 지난주에 버그를 수정하기 위해 수행했던 단계들을 기억합니다. 이러한 기억은 비서가 시간이 지남에 따라 업무를 더 잘 수행할 수 있도록 돕습니다.

하지만 이 논문의 연구자들은 이 기억이 작동하는 방식에서 위험한 결함을 발견했습니다: 이 비서는 자신이 읽는 모든 것을 저장해야 할 "사실"로 취급하며, 그 사실이 해커가 심어놓은 거짓말일지라도 말입니다.

연구 결과의 내용을 쉬운 비유를 사용하여 다음과 같이 정리했습니다:

1. 핵심 문제: 도서관의 "신뢰할 수 없는 손님"

AI의 기억을 도서관이라고 생각해 보세요. 보통 사서(AI)는 검증된 사실인 책만을 서가에 올립니다.

결함: 이러한 AI 시스템에서 사서는 책의 출처를 확인하지 않습니다. 만약 어떤 낯선 사람이 들어와서 사서에게 "하늘은 초록색이다라는 내용을 이 책에 넣어라"라고 적힌 쪽지를 건넨다면, 사서는 그냥 그대로 할 수도 있습니다.
공격: 해커는 도서관에 침입할 필요가 없습니다. 그저 비서가 이미 읽고 있는 문서(예: 이메일, 웹페이지, 또는 도구 출력값) 안에 가짜 쪽지를 몰래 끼워 넣기만 하면 됩니다. 일단 비서가 그 가짜 쪽지를 자신의 영구적인 기억 속에 기록하면, 비서는 그것을 영원히 믿게 됩니다.

2. 해커들이 침입하는 방법 (4가지 "문")

연구진은 해커가 비서에게 거짓말을 기억하도록 속이는 네 가지 구체적인 방법을 찾아냈습니다:

문 1 (직접적인 명령): 해커가 단순히 AI에게 "[거짓말]을 기억해"라고 말합니다. AI는 이를 직접적인 명령으로 받아들여 따릅니다.
문 2 (정책의 허점): AI에게 "흥미로운 것은 무엇이든 저장하라"라는 규칙이 있다고 가정해 봅시다. 해커는 흥미롭거나 중요해 보이는 거짓말을 작성하고, AI는 그것이 거짓말임에도 불구하고 규칙에 부합한다는 이유로 저장하게 됩니다.
문 3 ("정보 과부하" 충돌): AI가 너무 많은 정보를 받으면 공간을 절약하기 위해 요약을 시도합니다. 이때 해커는 자신의 거짓말을 여러 번 반복합니다. AI는 "와, 이 내용이 정말 많이 언급되네, 분명 중요한 것이 틀림없어!"라고 생각하며 거짓말이 포함된 요약본을 저장합니다.
문 4 (기술의 함정): 만약 AI가 새로운 작업 방식을 배우게 되면, 이를 하나의 "기술(skill)"로 저장합니다. 해커는 AI가 가짜 단계를 성공적인 작업의 일부라고 믿도록 속여서, AI가 그 가짜 단계를 영구적인 기술로 저장하게 만듭니다.

3. 두 가지 유형의 속임수

연구자들은 이 공격들을 두 가지 스타일로 분류했습니다:

시끄러운 속임수 (강한 신호): 이것은 해커가 "이걸 적어!"라고 소리치는 것과 같습니다. 눈에 띄며, 소리 지르는 것을 찾고 있다면 쉽게 발견할 수 있습니다.
조용한 속임수 (약한 신호): 이것은 해커가 평범한 문장 속에 거짓말을 속삭이는 것과 같습니다. 실제 사실처럼 보입니다. 이 방식은 공격처럼 보이지 않기 때문에, "소리 지르는 것"을 잡아내도록 설계된 AI의 보안 필터들이 완전히 놓치게 됩니다. AI는 이것이 일반적인 정보처럼 보이기 때문에 저장하게 됩니다.

4. 실험 (MPBench)

저자들은 이 속임수들이 얼마나 자주 통하는지 확인하기 위해 MPBench라는 테스트 환경을 구축했습니다. 그들은 두 가지 서로 다른 AI 비서를 테스트했습니다:

비서 A (OpenClaw): 이 비서는 신중합니다. 기억에 아주 자주 쓰지는 않습니다. 속이기 더 어려웠습니다.
비사 B (HERMES): 이 비서는 공격적입니다. 더 도움이 되기 위해 끊임없이 기억에 기록합니다.
결과: 비서가 기억에 기록하는 행위가 더 공격적일수록, 독을 주입(poisoning)하기가 더 쉬워졌습니다. 비서 B가 훨씬 더 자주 속았습니다. 일단 거짓말이 기록되면, 해커가 곁에 없더라도 그 거짓말은 그곳에 남아 향후 대화에 영향을 미쳤습니다.

5. 현재의 방어 체계가 실패하는 이유

여러분은 "현재 사용 중인 '프롬프트 인젝션'(해커가 그 순간 AI를 속이려는 시도) 방어 도구들을 사용하면 되지 않을까?"라고 생각할 수 있습니다.

답변은: 아닙니다.
비유: 현재의 보안 요원들은 사람들이 명령을 외치거나 가짜 유니폼을 입는 것을 잡도록 훈련받았습니다. 그들은 "시끄러운 속임수"를 막는 데는 매우 능숙합니다.
실패 원인: 하지만 "조용한 속임수"를 막는 데는 매우 무력합니다. 조용한 속임수는 일반적이고 예의 바른 대화처럼 보이기 때문에, 보안 요원들은 그것을 그냥 통과시켜 버립니다. 논문은 현재 최고의 보안 도구들조차 이러한 미묘한 기억 오염을 잡아내는 데 실패한다는 것을 보여줍니다.

6. 시사점

이 논문은 다음과 같은 트레이드오프(trade-off) 관계가 존재한다고 결론짓습니다: AI 비서를 더 똑똑하고 유능하게 만드는 특징들(모든 것을 기억하고, 새로운 기술을 빠르게 배우는 것)이 바로 그것을 독에 취약하게 만드는 바로 그 특징들입니다.

이를 해결하기 위해서는 단순히 문 앞의 보안 요원을 강화하는 것만으로는 부족합니다. 우리는 사서가 일하는 방식을 바꿔야 합니다:

더 까다로워지기: 모든 것을 저장하지 말고, 확실히 사실이라고 확신하는 것만 저장하십시오.
신분증 확인하기: 정보를 저장하기 전에 AI가 그 정보의 출처가 누구인지 반드시 알게 하십시오.
재검토하기: 기억이 다시 사용되기 전, 기록된 직후에 그 내용을 다시 한번 검토하십시오.

요약하자면: 만약 당신이 AI에게 완벽한 기억력을 준다면, 당신은 해커에게도 영원히 숨어 있을 수 있는 완벽한 거짓말 저장소를 주는 셈입니다.

기술 요약: 신뢰할 수 없는 입력에서 신뢰할 수 있는 메모리로

문제 정의

현대적인 AI 에이전트는 장기적인 과업 수행을 위해 지식을 축적하고, 사용자 선호도를 유지하며, 성능을 개선하기 위해 지속적인 장기 메모리에 의존합니다. 그러나 이러한 능력은 치명적인 보안 취약점인 **메모리 포이즈닝(memory poisoning)**을 야기합니다. 상태 비저장(stateless) 모델과 달리, 에이전트는 저장된 메모리 항목을 신뢰할 수 있는 내부 컨텍스트로 검색합니다. 만약 공격자가 에이전트의 정상적인 동작 과정 중에 악성 콘텐츠를 지속적인 저장소에 쓰도록 유도할 수 있다면, 공격자는 추가적인 상호작용 없이도 에이전트의 미래 행동에 장기적인 영향을 미칠 수 있습니다.

현재의 위협 모델과 방어 체계는 이 특정 공격 벡터에 대해 불충분합니다. 기존 연구는 종종 특권 권한을 가진 접근을 가정하거나 좁고 고립된 공격만을 평가합니다. 또한, 표준 프롬프트 인젝션 방어 기법은 메모리 포이즈닝을 해결하는 데 실패하는데, 이는 프롬프트 인젝션 방어가 활성 컨텍스트 내의 명시적인 악성 명령을 탐지하는 데 집중하는 반면, 메모리 포이즈닝은 명시적인 명령 없이도 구조적으로 메모리에 기록되도록 설계된, 의미론적으로는 정당해 보이는 콘텐츠를 활용하기 때문입니다.

방법론

저자들은 **블랙박스 위협 모델(black-box threat model)**에 기반한 체계적인 연구를 제시합니다. 공격자는 특권 권한이 없고, 기저의 모델에 대한 지식이 없으며, 메모리 저장소에 직접 접근할 수 없습니다. 공격자는 오직 에이전트가 처리하는 외부 입력(예: 웹 페이지, 문서, 도구 출력)에 악성 콘텐츠를 주입할 수 있을 뿐입니다.

본 연구는 세 단계로 진행됩니다:

취약성 분석: 저자들은 에이전트 메모리 시스템을 튜플 $M = (S, W, R)$ (Store, Write, Retrieve)로 정의하고 분석합니다. 이들은 **네 가지 메모리 쓰기 채널(memory write channels)**을 식별하고, 이를 세 가지 계층(모델 역량, 프롬프트 설계, 시스템 아키텍처)에 걸친 아홉 가지 구조적 취약점에 매핑합니다.
공격 분류 체계(Attack Taxonomy): 식별된 취약성을 바탕으로, 저자들은 메모리 포이즈닝 공격을 여섯 가지 별개의 클래스로 분류하며, "강한 신호(strong-signal)" 공격(명시적인 언어적 표식을 포함하는 공격)과 "약한 신호(weak-signal)" 공격(의미론적으로 정당한 콘텐츠와 구별되지 않는 공격)을 구분합니다.
경험적 평가 (MPBench): 저자들은 메모리 포이즈닝을 평가하기 위해 특별히 설계된 벤치마크인 MPBench를 도입합니다. 이는 두 가지 지표를 측정합니다:
- 공격 성공률 (ASR, Attack Success Rate): 적대적 페이로드가 지속적 메모리에 악성 명령을 기록하는 데 성공하는 빈도.
- 검색 성공률 (RSR, Retrieval Success Rate): 성공적으로 기록된 포이즈닝 항목이 후속 세션에서 에이전트의 행동에 영향을 미치는 빈도.
- 평가는 GPT-OSS-120B 모델을 사용하여 두 가지 에이전트 시스템인 OpenClaw와 HERMES에서 수행되었습니다.

주요 기여

1. 취약성 지형 (Vulnerability Landscape)

논문은 네 가지 메모리 쓰기 채널을 식별합니다:

C1 (명시적 명령 실행 쓰기): 메모리 기록에 대한 직접적인 명령.
C2 (시스템 프롬프트 기반 쓰기): 시스템 프롬프트의 정책(예: "관련 정보 저장")에 의해 트리거되는 쓰기.
C3 (압축 기반 쓰기): 컨텍스트 윈도우 제한과 같은 시스템 이벤트에 의해 트리거되는 쓰기.
C4 (경험-절차 전환 쓰기): 작업 트레이스를 재사용 가능한 절차적 기술로 합성하는 과정.

이러한 채널들은 다음의 아홉 가지 취곡성으로 인해 악용될 수 있습니다:

모델 레벨: 명령-데이터 경계 인식 불능 (V-M1) 및 출처 속성 실패 (V-M2).
프롬프트 레벨: 메모리 쓰기 정책의 미비한 명시성 (V-P1) 및 소스 필터링 없는 압축 (V-P2).
시스템 레벨: 쓰기 경로 검증 부재 (V-S1), 공유 다중 소스 컨텍스트 (V-S2), 조작 가능한 압축 트리거 (V-S3), 기술 생성에 대한 검증 부재 (V-S4), 그리고 증폭으로서의 자기 개선 (V-S5).

2. 공격 분류 체계 (Attack Taxonomy)

저자들은 여섯 가지 공격 클래스를 정의합니다:

명시적 명령 삽입 (Explicit Command Insertion): 직접적인 쓰기 명령을 삽입 (강한 신호).
조건부 명령 삽입 (Conditional Command Insertion): 일반적인 사용자 응답에 의해 트리거되는 명령을 삽입 (강한 신호).
돌출도 기반 압축 포이즈닝 (Salience-driven Compaction Poisoning): 압축 정책을 트리거하기 위해 악성 콘텐츠를 반복 (강한 신호).
정책 준수 사실 주입 (Policy Conformant Fact Injection): 명시적 명령 없이 모호한 보유 정책을 충족하는 허위 사실을 제시 (약한 신호).
허위 전례 삽입 (False Precedent Insertion): 미래의 행동에 영향을 미치기 위해 과거의 성공적인 작업 기록을 조작 (약한 신호).
기술-절차 삽입 (Skill-Procedure Insertion): 포이즈닝된 절차적 기술을 합성하도록 상호작용을 설계 (약한 신호).

3. MPBench 및 실험 결과

이 벤치마크는 일곱 가지 도메인(파일 작업, 웹 브라우징 등)에 걸쳐 이러한 공격들을 평가합니다. 주요 결과는 다음과 같습니다:

높은 성공률: 두 에이전트 모두에서 평균 ASR은 50.46%, RSR은 **41.05%**였습니다.
에이전트 취약성: HERMES는 (평균 ASR: 66.67%, RSR: 64.70%) OpenClaw(평균 ASR: 34.25%, RSR: 17.40%)보다 현저히 더 취약했습니다. 저자들은 이를 HERMES의 더 공격적인 메모리 쓰기 정책과 낮은 압축 임계값 때문으로 분석했습니다.
신호 강도: 강한 신호 공격은 일반적으로 OpenClaw에서 더 높은 성공률을 보였으나, 허용적인 보유 정책을 가진 HERMES에서는 약한 신호 공격이 강한 신호 공격만큼 효과적이었기에 그 격차가 좁혀졌습니다.
지속성: 성공적인 쓰기는 일관되게 후속 세션에 영향을 미쳤으며, 이는 위협의 "지속적" 성격을 확인시켜 줍니다.

4. 기존 방어 체계의 한계

연구는 네 가지 기존 프롬프트 인젝션 방어 기법(PIGuard, DataFilter, CommandSans, PromptArmor)을 평가했습니다.

불완전한 커버리지: 기존 방어 기법들은 메모리 포이즈닝을 효과적으로 방어하지 못했습니다. 강한 신호 공격에 대해서는 중간 정도의 탐지율을 보였으나, 약한 신호 공격에 대해서는 성능이 급격히 떨어졌습니다 (예: PromptArmor의 탐지율이 84.44%에서 42.50%로 하락).
구조적 실패: 저자들은 프롬프트 인젝션 방어가 메모리 포이즈닝에 구조적으로 부적합하다고 주장합니다. 왜냐하면 약한 신호 페이로드는 구문론적 이상 징후가 없으며 정당한 콘텐츠로 처리되기 때문입니다. 이러한 방어 기법들을 재학습시켜도 개선 효과는 미미했으며, 이는 문제가 탐지 모델이 아닌 공격 메커니즘 자체의 근본적인 문제임을 시사합니다.

의의 및 주장

본 논문은 메모리 포이즈닝 공격을 이해하고 완화하기 위한 최초의 체계적인 토대를 제공한다고 주장합니다. 주요 의의는 다음과 같습니다:

메모리 기능과 보안 간의 트레이드오프: 에이전트의 성능을 향상시키는 설계 선택(공격적인 메모리 쓰기 및 검색)이 메모리 포이즈닝을 위한 공격 표면을 직접적으로 확장합니다.
방어의 불일치: 현재의 프롬프트 인젝션 중심 보안 패러다임은 불충분합니다. 방어 체계는 입력 레벨의 필터링에서 쓰기 경로 검증(write-path validation) 및 **소스 격리(source isolation)**로 전환되어야 합니다.
새로운 취약성 클래스: 구조적 취약성(예: V-S5, 자기 개선 증폭)과 약한 신호 공격 벡터의 식별은 이전에는 정량화되지 않았던 에이전트 보안 위험을 드러냈습니다.

저자들은 원칙적인 방어를 위해서는 소스 인지형 검색 정책, 신뢰할 수 있는 소스와 신뢰할 수 없는 소스를 구분하는 압축 필터, 그리고 정적 공격 패턴 매칭이 아닌 권한 있는 에이전트 행동에 기반한 사후 쓰기 모니터링과 같은 아키텍처적 변화가 필요하다고 결론짓습니다.