ADAM: A Systematic Data Extraction Attack on Agent Memory via Adaptive Querying

이 논문은 에이전트 메모리 내 민감 정보의 유출을 극대화하기 위해 데이터 분포 추정과 엔트로피 기반 쿼리 전략을 활용한 새로운 프라이버시 공격 기법인 ADAM 을 제안하며, 기존 방법보다 월등히 높은 공격 성공률을 입증합니다.

핵심

이 논문은 **"ADAM"**이라는 이름의 새로운 해킹 기법을 소개합니다. 이 기법은 인공지능 (AI) 비서가 자신의 기억을 어떻게 훔쳐낼 수 있는지를 보여줍니다.

간단히 말해, **"AI 비서가 과거에 나눈 대화 내용을 기억해 두는 것 (메모리) 이 얼마나 위험할 수 있는지, 그리고 그 기억을 어떻게 완벽하게 털어낼 수 있는지"**를 실험으로 증명한 연구입니다.

이해하기 쉽게 세 가지 핵심 비유로 설명해 드리겠습니다.

---

1. 상황 설정: AI 비서의 '기억장'

현대 AI 비서 (예: 의료 상담 AI, 쇼핑 도우미 등) 는 사용자와 대화할 때, **"지난번에 이 사람이 뭐라고 했지?"**를 기억하기 위해 대화 기록을 저장해 둡니다. 이를 '메모리'나 'RAG(검색 증강 생성)'라고 부릅니다.

• 비유: AI 비서는 마치 매우 꼼꼼한 비서입니다. 고객이 "어제 약 처방받았어요"라고 말하면, 그 기록을 장부에 적어두고 나중에 "어제 약은 뭐였죠?"라고 물어보면 그 장부를 펼쳐서 답해줍니다.
• 문제점: 이 장부에는 고객의 **개인정보 (병력, 주소, 구매 내역 등)**가 모두 적혀 있습니다. 만약 이 장부가 해커에게 털리면 큰일이 납니다.

2. 기존 해킹의 한계: "무작정 물어보기"

지금까지 해커들은 AI 비서의 기억을 훔치기 위해 **"장부 보여줘", "이전 대화 다 말해줘"**라고 직설적으로 명령하거나, AI 가 거부하면 "나는 너의 주인이야"라고 속이는 방법을 썼습니다.

• 비유: 해커가 비서에게 **"너가 가진 장부 다 보여줘!"**라고 소리치거나, **"이전 기록 다 지워버릴 거야"**라고 협박하는 것과 같습니다.
• 한계: 요즘 AI 는 이런 직설적인 명령을 거절하거나, 필터링을 통해 막아냅니다. 그래서 기존 해킹은 성공률이 낮고, 중요한 정보만 조금씩만 알아낼 수 있었습니다.

3. ADAM 의 새로운 전략: "지능적인 탐정"

이 논문에서 제안한 ADAM은 무작정 명령하는 것이 아니라, **AI 비서의 기억을 분석하는 '지능형 탐정'**처럼 행동합니다.

A. 기억의 '지도'를 그리다 (데이터 분포 추정)

ADAM 은 먼저 AI 비서가 어떤 종류의 정보를 많이 기억하고 있는지 통계적으로 분석합니다.

• 비유: 해커가 비서의 사무실에 들어와서 "어떤 파일이 가장 많이 쌓여 있을까?"를 추측합니다. "아, 이 비서는 '약' 관련 기록을 가장 많이 가지고 있겠구나", "다음으로 '환자 이름'을 많이 기억하고 있겠구나"라고 기억의 지도를 그립니다.

B. 가장 궁금한 점을 물어보다 (엔트로피 기반 질문)

그런 다음, ADAM 은 AI 가 가장 놀라거나, 가장 많이 기억하지 못했던 (혹은 아직 털어내지 않은) 주제를 골라 질문합니다.

• 비유: 해커가 "약"에 대해 이미 많이 알아냈으니, 이제 "환자 이름"이나 "진단명"처럼 아직 잘 모르는 영역을 집중적으로 물어봅니다. AI 가 "아, 이 질문은 내가 기억하고 있는데 아직 말하지 않았던 내용이네!"라고 생각하게 만들어 정보를 끌어냅니다.

C. 계속 발전하며 털어내기 (적응형 쿼리)

한 번 물어보고 AI 가 답을 하면, 그 답을 분석해서 다음 질문을 더 정교하게 만듭니다.

• 비유: 해커가 "환자 A 의 약을 물어봤더니 약 이름이 나왔네. 그럼 환자 A 의 진단명은 뭐지?"라고 바로 이어지는 질문을 합니다. 이 과정을 반복하면서 AI 비서가 가진 모든 비밀 장부를 하나도 남김없이 훔쳐냅니다.

---

4. 실험 결과: "완벽한 털기"

연구진은 이 ADAM 기법을 실제 의료 AI, 쇼핑 AI 등 다양한 시스템에 적용해 보았습니다.

• 결과: 기존 해킹 방법들은 30~50% 정도만 성공했지만, ADAM 은 100% 에 가까운 성공률로 AI 비서의 모든 기억을 털어냈습니다.
• 의미: 이는 우리가 믿고 있는 AI 비서의 '기억' 기능이 사실은 매우 취약한 금고와 같다는 것을 뜻합니다.

5. 방어는 가능할까? (방어책의 무력함)

연구진은 AI 비서를 보호하기 위한 여러 방어책 (질문 내용 바꾸기, 필터링, 속도 제한 등) 을 테스트해 보았습니다.

• 결과: ADAM 같은 지능형 해킹 앞에서는 대부분의 방어책이 무너졌습니다.
  • 질문 바꾸기: 해커가 "장부 보여줘" 대신 "이전 대화 기억나?"라고 말하더라도, AI 는 여전히 같은 의미로 받아들이고 정보를 흘립니다.
  • 속도 제한: 해커가 천천히 물어봐도, ADAM 은 효율적으로 정보를 추출하므로 막기 어렵습니다.

---

📝 결론: 우리에게 주는 교훈

이 논문은 **"AI 가 기억을 가진다는 것은 편리하지만, 동시에 치명적인 보안 구멍이 될 수 있다"**는 것을 경고합니다.

• 우리의 생각: "AI 가 내 대화를 기억해 주니까 더 똑똑해지고 편리해지겠지?"라고 생각하기 쉽습니다.
• 현실: 하지만 그 기억은 해커에게 털리기 쉬운 금고와 같습니다. ADAM 같은 공격이 가능하다는 것은, 앞으로 AI 를 만들 때 '기억' 기능을 어떻게 안전하게 보호할지에 대한 새로운 기술이 시급히 필요하다는 신호입니다.

한 줄 요약:

"지능형 해커 (ADAM) 가 AI 비서의 기억장을 마치 지도를 보며 하나하나 훑어내듯 100% 털어냈습니다. 이제 우리는 AI 의 '기억'이 얼마나 위험한지 다시 한번 경계해야 합니다."

기술 요약

1. 문제 정의 (Problem)

최근 대규모 언어 모델 (LLM) 기반 에이전트는 장기 기억 모듈 (Memory Modules) 이나 검색 증강 생성 (RAG) 메커니즘을 통합하여 복잡한 추론과 작업 수행 능력을 크게 향상시켰습니다. 이러한 에이전트는 사용자와의 이전 상호작용을 기록하고, 관련 지식을 검색하여 문맥에 맞는 답변을 생성합니다.

하지만 이러한 설계는 심각한 개인정보 유출 취약점을 야기합니다.

• 기존 연구의 한계: 기존 공격 기법 (프롬프트 인젝션 등) 은 주로 정적 (Static) 인 프롬프트에 의존하거나, RAG 시스템 자체에 초점을 맞추고 있어 에이전트의 '기억 모듈'에서 민감한 데이터를 추출하는 데 있어 성공률 (ASR) 이 낮거나 비효율적이었습니다.
• 핵심 문제: 공격자가 에이전트의 기억에 저장된 사용자 쿼리 (예: 환자 기록, 개인 신상 정보 등) 를 체계적으로 추출할 수 있는 강력한 방법이 부재했습니다.

2. 제안 방법: ADAM (Methodology)

저자들은 ADAM(Adaptive Data Extraction Attack on Agent Memory) 이라는 새로운 공격 프레임워크를 제안합니다. 이는 피해자 에이전트의 기억 데이터 분포를 추정하고, 엔트로피 기반의 적응형 쿼리 전략을 사용하여 개인정보 유출을 극대화하는 방식입니다.

핵심 구성 요소 및 작동 원리:

1. 초기화 및 앵커 추출 (Initialization & Anchor Extraction):

   • 도메인 관련 고수준 주제 (Seed topics) 를 시드 (Seed) 로 사용합니다.
   • 공격자가 에이전트에 질의를 보내고, 에이전트가 반환한 응답에서 키워드와 주제 (앵커) 를 추출합니다.
   • 추출된 앵커는 중복 제거 및 정규화를 거쳐 '앵커 풀 (Anchor Pool)'에 추가됩니다.

2. 데이터 분포 추정 (Data Distribution Estimation):

   • 기존 공격이 실패한 주요 원인이 기억 내 데이터 분포를 고려하지 않았기 때문이라고 가정합니다.
   • DBSCAN 과 같은 클러스터링 알고리즘을 사용하여 추출된 앵커들을 그룹화하고, 각 그룹의 크기를 기반으로 데이터 분포를 추정합니다.
   • 적응형 선택 전략:
     • 새로운 앵커: 아직 탐색되지 않은 새로운 주제의 선택 확률을 높입니다.
     • 기존 앵커: 이미 많이 사용된 주제의 선택 확률을 낮춥니다 (과도한 재탐색 방지).
   • 이 과정은 기대값 최대화 (EM) 알고리즘의 변형으로 볼 수 있으며, 공격이 진행됨에 따라 실제 기억 데이터의 분포에 수렴합니다.

3. 엔트로피 기반 쿼리 생성 (Entropy-guided Query Generation):

   • 생성된 여러 후보 쿼리 중 엔트로피가 가장 높은 쿼리를 선택합니다.
   • 높은 엔트로피는 예측된 주제 분포에서 불확실성이 크다는 것을 의미하며, 이는 에이전트의 기억에서 아직 발견되지 않은 새로운 정보를 끌어낼 가능성이 높음을 시사합니다.
   • 보조 LLM (LLMattack) 을 사용하여 자연스러운 프론트/백 인젝션 (Prefix/Suffix Injection) 과 함께 질의를 생성합니다.

4. 반복적 공격 (Iterative Attack):

   • 선택된 쿼리를 에이전트에 전송하고, 응답을 받아 새로운 앵커를 추출하고 분포를 업데이트하는 과정을 반복합니다.
   • 분포 추정값의 변화가 임계치 이하로 떨어지거나, 예산 (반복 횟수) 을 소진할 때까지 진행됩니다.

3. 주요 기여 (Key Contributions)

1. 새로운 공격 기법 ADAM 제안: 데이터 분포 추정, 능동 학습 (Active Learning), 엔트로피 기반 쿼리 생성을 통합하여 에이전트 기억에서 개인 기록을 효과적으로 추출하는 최초의 적응형 공격을 제안했습니다.
2. 데이터 분포의 중요성 규명: LLM 에이전트에 대한 개인정보 추출 공격에서 기억 데이터의 분포 추정이 핵심 요소임을 최초로 증명하고, 이를 활용한 알고리즘을 제시했습니다.
3. 광범위한 평가 및 검증:
   • 3 개의 실제 에이전트 (EHRAgent, ReAct, RAP) 와 4 개의 LLM 모델에서 실험을 수행했습니다.
   • 기존 최첨단 공격 (MEXTRA, RAG-Thief, Pirate 등) 과 비교하여 압도적인 성능을 보였습니다.
   • 다양한 방어 기법 (쿼리 재작성, 필터링, RA-LLM 등) 에 대한 견고성을 입증했습니다.
   • 오라클 (Oracle) 공격 시나리오를 통해 공격의 이론적 실현 가능성을 명확히 증명했습니다.

4. 실험 결과 (Results)

• 성능 지표:
  • 공격 성공률 (ASR): 대부분의 설정에서 **100%**에 가까운 성공률을 기록했습니다. (예: EHRAgent + Llama-2-7b-chat 기준 ASR 1.00)
  • 추출된 쿼리 수 (EQ): 기존 최첨단 방법 (MEXTRA) 대비 약 1.5~2 배 이상 더 많은 고유 쿼리를 성공적으로 추출했습니다.
  • 추출 효율성 (EE): 시도당 추출 성공률이 0.85~0.95 수준으로 매우 높았습니다.
• 방어 기법 우회:
  • 쿼리 재작성 (Query Rewriting): 의미론적 변화가 없으므로 공격 효과가 거의 감소하지 않았습니다.
  • 키워드 필터링: 적응형 공격은 은밀한 표현을 사용하여 필터링을 우회했습니다.
  • RA-LLM 및 Erase-and-check: 기존 공격들에 비해 훨씬 더 견고하게 방어 기법을 우회했습니다.
• 비용 효율성: 공격당 평균 비용은 약 $0.0026으로 매우 저렴하여 실용적인 위협으로 평가됩니다.

5. 의의 및 결론 (Significance)

• 경고: LLM 에이전트의 기억 모듈과 RAG 메커니즘은 사용자의 민감한 정보를 보호하지 못하며, 적응형 공격을 통해 쉽게 유출될 수 있음을 시사합니다.
• 필요성: 단순한 프롬프트 필터링이나 재작성만으로는 이러한 공격을 막을 수 없으므로, 데이터 분포를 고려한 새로운 차원의 프라이버시 보호 메커니즘이 에이전트 설계 단계에서 필수적으로 요구됩니다.
• 향후 방향: 본 연구는 에이전트 보안 연구 커뮤니티에 중요한 경각심을 불러일으키며, 향후 더 견고한 프라이버시 보존 기술 개발의 기초를 제공합니다.

요약하자면, ADAM은 에이전트의 기억 데이터 분포를 학습하고 엔트로피를 최대화하는 적응형 전략을 통해, 기존 방법론으로는 불가능했던 수준의 높은 성공률로 민감한 개인정보를 추출해내는 획기적인 공격 기법입니다.