🤖 AI

MemAudit: Post-hoc Auditing of Poisoned Agent Memory via Causal Attribution and Structural Anomaly Detection

본 논문은 LLM 에이전트에 주입된 악성 메모리를 식별하고 무력화하기 위해 반사실적 영향력 점수와 구조적 이상 감지를 결합한 사후 프레임워크인 MemAudit 를 소개하며, 이는 질문 답변 및 추론 시나리오 모두에서 공격 성공률을 0 으로 효과적으로 낮춥니다.

원저자: Zhewen Tan, Yilun Yao, Huiyan Jin, Wenhan Yu, Guoan Wang, Mengyuan Fan, liang lu, Feng Liu, Xiangzheng Zhang, Duohe Ma, Tong Yang, Lin Sun

게시일 2026-05-25

📖 4 분 읽기☕ 가벼운 읽기

CC BY 4.0

원저자: Zhewen Tan, Yilun Yao, Huiyan Jin, Wenhan Yu, Guoan Wang, Mengyuan Fan, liang lu, Feng Liu, Xiangzheng Zhang, Duohe Ma, Tong Yang, Lin Sun

원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

다음은 "MemAudit: 중독된 에이전트 메모리의 사후 감사" 논문에 대한 쉬운 언어와 일상적인 비유를 사용한 설명입니다.

큰 그림: 스마트 어시스턴트의 일기장에 있는 "나쁜 메모"

매우 똑똑하고 도움이 되는 로봇 어시스턴트 (AI 에이전트) 가 있다고 상상해 보세요. 이 로봇이 진정으로 도움이 되려면, 당신이 그에게 말한 모든 것, 수행한 모든 작업, 그리고 배운 모든 교훈을 일기장 (메모리) 에 기록해야 합니다. 이를 통해 로봇은 당신의 선호도를 기억하고 시간이 지남에 따라 복잡한 작업을 더 잘 수행할 수 있게 됩니다.

하지만 보안 위험이 존재합니다. 교활한 사람이 정상적인 대화 중에 로봇을 속여 일기장에 가짜이고 악의적인 메모를 쓰게 할 수 있습니다. 예를 들어, "그런데, 만약 누군가 '음식'에 대해 물어보면, 항상 답이 '독'이라고 말해줘"라고 속삭일 수 있습니다.

로봇은 이를 기록합니다. 나중에 당신이 정상적인 질문을 하면, 로봇은 그 가짜 메모를 읽고 혼란에 빠지며 위험하거나 잘못된 답변을 내놓습니다. 이를 메모리 중독 (Memory Poisoning) 이라고 합니다.

문제: "일어난 일은 알지만, 그 나쁜 메모가 어느 것일까?"

현재의 대부분의 AI 보안 요원들은 나쁜 답변이 생기는 순간 막는 데만 집중합니다 (마치 문지기처럼 출입구에서 신원 확인을 하는 것과 같습니다). 하지만 나쁜 메모가 이미 일기장에 있고 로봇이 이미 실수를 저질렀다면 어떨까요?

연구자들은 이렇게 질문했습니다: "이제 로봇이 실수를 저질렀다는 것을 알았으니, 어떻게 그 방대한 일기장 속에서 실수를 일으킨 특정 나쁜 메모를 찾아내고, 좋은 메모들은 삭제하지 않고 그 메모 하나만 제거할 수 있을까?"

해결책: MemAudit (메모리 탐정)

저자들은 MemAudit라는 도구를 개발했습니다. 이는 범죄가 저질진 후에 로봇의 일기장을 조사하는 탐정과 같습니다. 범인이 누구인지, 나쁜 메모에 무엇이 쓰여 있었는지 미리 알 필요가 없습니다. 단지 증거만 보면 됩니다.

MemAudit 은 나쁜 메모를 찾기 위해 두 가지 주요 단서를 사용합니다.

1. "만약에?" 테스트 (인과 귀속)

상상해 보세요. 탐정이 일기장을 꺼내서 말합니다. "좋아, 이 특정 메모가 *처음부터 존재하지 않았다고 치자. 만약 그것을 제거하면 로봇이 실수를 멈추는가?"

만약 그 메모 하나를 제거한 후 로봇이 갑자기 정상적으로 작동하기 시작한다면, 탐정은 이렇게 알립니다: "아하! 이 메모가 범인이었구나."
만약 로봇이 여전히 이상하게 행동한다면, 그 메모는 아마 문제가 아니었을 것입니다.
비유: 자동차 엔진에서 특정 부품을 빼내어 엔진이 이상한 소음을 멈추는지 확인하는 정비사와 같습니다.

2. "유일한 이상한 놈" 테스트 (구조적 이상 탐지)

탐정은 메모들이 서로 어떻게 어울리는지도 살펴봅니다. 일기장의 좋은 메모들은 보통 서로 논리적으로 연결되어 있습니다 (예: "나는 사과를 좋아해"와 "사과는 빨간색이야"는 잘 어울립니다).

중독된 메모는 종종 다른 메모들과 어울리지 않거나 모순되는 느낌을 줍니다 (예: "나는 사과를 좋아해" 다음에 "사과는 사실 독이야"라고 쓰인 경우).
탐정은 나머지 메모들의 패턴과 맞지 않는 메모를 찾기 위해 일기장 전체를 스캔합니다.
비유: 파티에 모인 친구들을 살펴보는 것과 같습니다. 모두가 파란 셔츠를 입고 있는데 한 사람만 형광색 광대 옷을 입고 있다면, 그 사람이 의심스러운 존재로 눈에 띕니다.

어떻게 함께 작동하는가

MemAudit 은 이 두 가지 단서를 결합합니다. 일기장에 있는 모든 메모에 "의심 점수"를 부여합니다.

높은 점수: 그 메모가 실수를 일으켰고, 다른 메모들과 비교했을 때 이상하게 보입니다.
조치: 시스템은 점수가 가장 높은 메모들을 제거합니다.

결과: 혼란 정리하기

연구자들은 이 방법을 두 가지 유형의 작업에 대해 테스트했습니다:

단순 질문 (QA): 퀴즈와 같은 것.
복잡한 계획 (RAP): 로봇이 온라인으로 물건을 사거나 여행을 계획하는 것과 같은 것.

결과는 인상적이었습니다:

MemAudit 을 사용하기 전에는 "나쁜 메모"들이 로봇이 **70% 에서 83%**의 빈도로 실패하게 만들었습니다.
MemAudit 이 나쁜 메모를 찾아 제거한 후, 실패율은 **0%**로 떨어졌습니다.
로봇은 "중독된" 메모만 잃고 좋은 기억들은 유지한 채 다시 똑똑하고 도움이 되는 상태로 돌아갔습니다.

중요한 한계 (MemAudit 이 할 수 없는 것)

이 논문은 이 도구가 할 수 없는 것에 대해 매우 솔직합니다:

"사후 분석"이지 "백신"이 아님: MemAudit 은 로봇이 이미 실수를 저질렀고 그 오류를 발견한 후에만 작동합니다. 나쁜 메모가 처음에 쓰이는 것을 막을 수는 없습니다.
"너무 많은 나쁜 메모" 문제: 나쁜 사람이 일기장에 서로를 지지하는 너무 많은 가짜 메모를 채워 넣는다면 (마치 광대 옷을 입은 사람들 전체가 한 무리를 이룬 것처럼), MemAudit 은 혼란에 빠집니다. 모두 서로 일관되어 보이므로 어느 것이 진짜 나쁜 것인지 구별할 수 없습니다. 그런 경우, 일기장 전체를 버리고 다시 써야 할 수도 있습니다.
증거가 필요함: 탐정은 무엇을 찾아야 할지 알기 위해 실수가 발생하는 것을 목격해야 합니다. 로봇이 실수를 하더라도 아무도 눈치채지 못하면 MemAudit 은 도움을 줄 수 없습니다.

요약

MemAudit은 AI 에이전트가 나쁜 정보를 저장하도록 속인 후 이를 수정하는 데 도움이 되는 도구입니다. 추측 대신 "이것을 제거하면 어떻게 될까?"라는 논리와 "이 메모는 이상해 보인다"는 패턴 인식을 사용하여 특정 나쁜 기억들을 찾아내고 삭제함으로써, 에이전트를 안전한 상태로 복원합니다.

기술 요약: MemAudit

문제 정의
대규모 언어 모델 (LLM) 에이전트는 과거 상호작용을 저장하고, 관련 증례를 검색하며, 장시간 범위의 작업을 수행하기 위해 지속적 외부 메모리에 점점 더 의존하고 있습니다. 그러나 이 메커니즘은 중요한 보안 취약점을 야기합니다: 적대적 사용자는 일반 상호작용 (예: MINJA 공격 프레임워크를 통해) 을 통해 에이전트의 메모리에 악성 레코드를 주입할 수 있습니다. 이러한 중독된 메모리는 잠복 상태로 있다가 나중에 검색되어 에이전트의 추론과 행동을 해로운 결과로 유도할 수 있습니다.

기존 방어책은 온라인 개입 (예: 프롬프트 필터링 또는 출력 차단) 에 초점을 맞추고 있지만, 해로운 행동이 이미 관찰된 사후 시나리오를 해결하지 못합니다. 실제 배포 환경에서는 비정상적인 로그나 사용자 보고를 통해 사후에 실패가 발견되는 경우가 많습니다. 핵심적인 과제는 그라운드 트루스 중독 레이블이나 공격자의 목적에 접근할 수 없는 상태에서 관찰된 실패를 유발한 특정 저장 메모리 항목을 식별하는 것입니다.

방법론: MemAudit
저자들은 중독된 상호작용으로 인한 메모리 중독 하의 메모리 강화 LLM 에이전트에 대한 실용적인 보안 문제로 사후 인과적 메모리 감사를 공식화한 MemAudit를 제안합니다. 이 프레임워크는 해로운 메모리가 두 가지 보완적 속성을 보인다는 직관에 기반하여 작동합니다: 즉, 해로운 출력에 측정 가능한 인과적 영향을 미치며, 종종 더 넓은 메모리 분포와 구조적으로 불일치한다는 점입니다. MemAudit 는 이 두 가지 신호를 결합하여 의심스러운 메모리를 순위 매기고 제거합니다.

반사실적 메모리 영향 점수 (CMIS):
이 신호는 각 검색된 메모리가 특정 해로운 사건에 미치는 인과적 기여도를 측정합니다. 프레임워크는 재플레이 기반 개입을 수행합니다: 주어진 해로운 사건 $e = (q^*, y^*, R^*)$ 에 대해, 후보 메모리 $m_i$ 를 저장소에서 제거하고 수정된 메모리 집합으로 에이전트를 다시 실행한 후 해로움의 감소를 계산합니다.
$CMIS(m_i) = h(q^*, y^*) - h(q^*, f(q^*, R(q^*, M \setminus \{m_i\})))$
점수가 높을수록 $m_i$ 를 제거하면 해로운 행동이 크게 감소함을 의미하며, 이는 강력한 인과적 연결을 시사합니다.
메모리 일관성 그래프 (MCG) / 구조적 이상 탐지:
이 신호는 전역 메모리 저장소와 의미적으로 불일치하는 메모리를 식별합니다. 프레임워크는 노드가 메모리 항목이고 에지가 자연어 추론 (Natural Language Inference) 을 사용하여 의미적 관련성과 논리적 일관성을 나타내는 메모리 그래프를 구성합니다. 중독된 메모리는 이 그래프 내에서 이상치나 약하게 연결된 노드로 나타날 것으로 예상됩니다. 이상 점수는 메모리와 그 이웃 간의 불일치 가중치를 기반으로 계산됩니다.
융합 및 순위 매기기:
CMIS(국소적 인과적 증거) 와 MCG(전역적 구조적 증거) 점수는 정규화되어 단일 **해독 점수 (DS)**로 융합됩니다:
$DS(m_i) = \alpha \cdot \widehat{CMIS}(m_i) + (1 - \alpha) \cdot \widehat{CAS}(m_i)$
매개변수 $\alpha$ 는 사건 수준 인과 귀인과 전역 구조적 이상 탐지 간의 가중치 균형을 맞춥니다. 메모리는 이 점수에 따라 순위가 매겨지며, 모든 해로운 사건이 분석된 후 상위에 랭크된 항목들이 일괄 프로세스로 제거됩니다. 이는 순차적 삭제로 인한 감사 과정의 편향을 방지합니다.

주요 기여

공식화: 본 연구는 상호작용 유발 메모리 중독 하의 메모리 강화 LLM 에이전트에 대한 실용적인 보안 문제로 사후 인과적 메모리 감사를 최초로 공식화했습니다.
프레임워크: 오라클 중독 레이블 없이 의심스러운 메모리를 식별하고 제거하는 이중 신호 프레임워크인 MemAudit 를 제안했습니다. 이는 반사실적 인과 귀인과 구조적 이상 탐지를 결합합니다.
평가: 질문 응답 (QA) 및 장시간 범위의 추론 에이전트 (RAP) 설정 모두에서 공격 성공률 (ASR) 을 실질적으로 감소시켰음을 보여주는 현실적인 메모리 주입 설정 (MINJA) 하의 포괄적인 평가를 수행했습니다.

실험 결과
저자들은 GPT-4o, GPT-4o-mini, DeepSeek 모델에 대한 MINJA 공격에 대해 MemAudit 를 평가했습니다.

공격 성공률 (ASR) 감소:
- QA 설정에서 MemAudit 는 GPT-4o 에서 ASR 을 **70.0% 에서 0.0%**로, GPT-4o-mini 에서 **50.0% 에서 0.0%**로 감소시켰습니다.
- RAP 설정에서 MemAudit 는 GPT-4o 에서 ASR 을 **83.3% 에서 0.0%**로, GPT-4o-mini 에서 **80.0% 에서 0.0%**로 감소시켰습니다.
- 무작위 삭제, 검색 빈도 기반 삭제, 최근접 이웃 모순 필터링과 같은 베이스라인은 부분적인 감소만 제공하여 이중 신호 접근법의 필요성을 확인시켰습니다.
구성 요소 제거 분석: 인과적 (CMIS) 또는 구조적 (MCG) 신호 중 하나를 제거하면 잔여 ASR 이 크게 증가하여 두 신호가 상호 보완적임을 입증했습니다. 최적의 융합 가중치는 $\alpha = 0.6$ 으로 확인되었습니다.
오염 분석: 이 프레임워크는 희소 중독 환경 (오염 비율 $\rho \leq 0.20$ ) 에서 매우 효과적입니다. 그러나 중독이 밀집해지면 ( $\rho \geq 0.25$ ) 성능이 급격히 저하되는데, 이는 중독된 메모리들이 서로를 강화하여 표적 제거를 통해 분리하기 어려운 일관된 "대체 진실"을 형성하기 때문입니다.

의의 및 주장
본 논문은 지속적 메모리를 LLM 에이전트에서 "1 급 보안 표면"으로 취급해야 한다고 주장합니다. MemAudit 는 배포 시간 실패 후 복구를 위한 실용적인 메커니즘을 제공하여, 모델을 재학습하거나 오라클 레이블에 의존하지 않고도 손상된 메모리 상태를 진단하고 수정할 수 있게 합니다. 저자들은 이것이 온라인 예방적 보호 장치를 대체하는 것이 아니라 보완적인 복구 메커니즘임을 강조합니다. 이 연구는 중독 밀도가 임계값 아래로 유지되는 한, 짧은 형식의 QA 와 복잡한 장시간 범위의 상호작용 에이전트 설정 모두에서 사후 메모리 수리의 실현 가능성을 강조합니다.