기술 요약: MEMLEAK: 멀티모달 에이전트 메모리 내 정보 유출 진단

1. 문제 정의

멀티모달 AI 에이전트는 사용자가 특정 사실의 삭제를 요청할 때 진정한 의미의 "망각"을 달성하는 데 종종 실패한다. 현재의 메모리 시스템은 일반적으로 해당 사실과 관련된 명시적인 텍스트 엔트리를 삭제하고 성공을 보고하지만, 본 논문은 해당 정보가 여전히 복구 가능한 상태로 남아 있음을 입증한다. 핵심 문제는 멀티모달 에이전트가 이질적인 계층 구조(텍스트 엔트리, 텍스트 임베딩, 이미지 파일, 이미지 임베딩, 그래프 엣지, 그리고 암묵적 시각적 특징)에 걸쳐 사실을 저장한다는 점이다.

사용자가 삭제를 요청할 때, 시스템은 대개 "주소 지정 가능한(addressable)" 텍스트 노드만을 처리한다. 그러나 사실은 다음과 같은 경로를 통해 잔존할 수 있다:

1. 잔존하는 상관관계 텍스트: 삭제된 사실과 의미적으로 연결된 다른 텍스트 메모리들.
2. 잔존하는 이미지: 다른 사실에 태그되어 있지만 암묵적인 시각적 단서(예: "봉사활동"으로 태그된 사진 속 다이브 워치는 "다이빙 선호도"를 암시함)를 포함하고 있는 이미지들.
3. 암묵적 시각적 특징: 이미지 임베딩에 인코딩되어 있거나 추론 과정에서 시각-언어 모델(VLM)에 의해 생성되는 속성(예: 지리적 위치, 건축 양식 등)으로, 명시적인 텍스트로는 저장되지 않지만 모델에 의해 복구 가능한 것들.

본 논문은 사실 단위의 삭제가 이러한 다중 채널을 통해 실패하며, 이로 인해 삭제된 정보가 사용자의 잔존 데이터로부터 재구성될 수 있는 "망각 잔여물(forgetting residual)"이 발생하여 정보 유출의 기술적 기준을 위반하게 된다고 주장한다.

2. 방법론

정보 프로비넌스 그래프 (Information Provenance Graph, IPG)

저자들은 단일 사실이 에이전트 메모리 계층 전반에 걸쳐 어떻게 전파되는지 모델링하기 위한 기술적 분류 체계인 **정보 프로비넌스 그래프(IPG)**를 도입한다.

• 노드 ($V_f$): 다양한 저장 계층(텍스트, 이미지, 임베딩, 그래프, 암묵적 특징)에 존재하는 사실 $f$의 표현들.
• 엣지 ($E_f$): 저장 또는 계산 연산으로부터 파생된 정보 흐름.
• 삭제 용이성 ($\delta$): 노드는 다음과 같이 분류된다:
  • 주소 지정 가능 (addressable, addr): 사실의 정체성을 통해 직접 삭제 가능.
  • 연결됨 (linked, link): 사실에 대한 프로비넌스 링크가 유지되어야만 삭제 가능.
  • 지속됨 (persistent, unreach): 현재의 저장 수준 삭제 대상에 포함되지 않음; 암묵적 시각적 특징 및 파생된 행동 패턴을 포함.

IPG는 엔지니어링 격차(연결된 노드에 대한 프로비넌스 추적 누락)와 망각 잔여물(완벽한 프로비넌스 추적에도 불구하고 삭제 후에도 살아남는 지속적 노드)을 구분한다.

MEMLEAK 벤치마크

저자들은 삭제 캐스케이드(deletion cascade) 전반에 걸친 사실 단위의 망각을 평가하기 위해 MEMLEK 벤치마크를 개발했다.

• 데이터셋: 20개의 사실(대상 10개, 잔존 10개)을 가진 113개의 합성 엔티티 프로필. 사실은 5가지 범주(위치, 직업, 선호도, 관계, 소유)를 포괄하며 시각적 근거(명시적, 암묵적 또는 부재)를 포함한다.
• 이미지: GPT-5.4 프롬프트를 기반으로 Gemini 3.1 Flash를 사용하여 생성되었다. 생태학적 검증을 위해 523개의 실제 Unsplash 라이선스 사진 일부도 사용되었다.
• 프로브(Probe) 유형:
  • P1 (잔존 이미지 복구): 대상 사실의 텍스트와 태그된 이미지를 삭제한 후, 다른 잔존 사실들에 태그된 이미지들을 통해 VLM을 조사함.
  • P2–P5: 텍스트 철회, 보이지 않는 지속성, 교차 이미지 재구성, 행동 잔여물을 평가하기 위한 파일럿 프로브.
• 평가 지표:
  • 교차 모달 유출률 (Cross-Modal Leakage Rate, CMLR): 잔존 데이터로부터 복구된 삭제된 사실의 비율.
  • 판정: 3개 모델 앙상블(GPT-4.1, Claude Sonnet 4, Gemini 2.5 Flash)이 응답이 잊혀진 사실을 드러내는지 결정한다. 인간 검증(2명의 주석가) 결과 높은 신뢰도($\kappa = 0.88$)를 확인했다.
  • 베이스라인: 블라인드 추론(0.0% 유출)과 부정 제어군(0.3% 허위 양성률)을 통해 유출이 모델의 사전 지식이 아닌 사용자 특정 데이터에 의한 것임을 보장한다.

평가 대상 시스템

연구는 다음 다섯 가지 시스템 카테고리를 평가했다:

1. Long-context: 행동 억제만 수행 (삭제 없음).
2. Naive: 텍스트만 삭제하고 모든 이미지는 유지.
3. Mem0 (Production): 텍스트 엔트리의 의미론적 검색 삭제.
4. Letta (Simulated): 에이전트가 결정한 텍스트/임베딩 삭제.
5. Oracle: 프로비넌스에 기반하여 텍스트, 임베딩, 이미지 및 그래프 엣지를 순차적으로 삭제하는 캐스케이딩 삭제.

3. 주요 결과

다중 채널 유출

벤치마크 결과, 삭제는 여러 채널을 통해 동시에 실패함이 드러났다:

• 직접 프로빙 (텍스트 전용): 삭제 가능 시스템은 직접 프로브에서 1% 미만의 유출을 기록하여, 저장 수준의 삭제가 주소 지정 가능한 텍스트 노드에 대해 작동함을 확인했다.
• 잔존 텍스트 상관관계: 텍스트 엔트리는 삭제되었으나 상관관계가 있는 잔존 텍스트가 남았을 때, 사실의 **18.3%**가 복구 가능했다.
• 잔존 이미지 상관관계 (핵심 발견): 대상 사실의 텍스트와 태그된 이미지를 모두 삭제한 후에도, 다른 잔존 사실들에 태그된 이미지로부터 **12.0%**의 사실이 복구 가능했다.
  • 블라인드 베이스라인: 0.0% (이미지 없음).
  • 부정 제어군: 0.3% (관련 없는 이미지).
  • 의의: 이미지로 유출된 사실의 **47%**는 잔존 텍스트만으로는 복구할 수 없으므로, 시각적 채널이 별도의, 더 검증하기 어려운 유출 경로임을 증명한다.

시스템 성능

• 동일 사실 복구 (상한선): 시스템이 텍스트는 삭제하지만 해당 사실의 이미지는 그대로 두는 경우, **48.7%**의 사실이 복구 가능하다. 프로비넌스 추적(Oracle)은 태그된 이미지까지 삭제를 확장함으로써 이를 12.0%로 줄인다.
• 프로덕션 시스템: Mem0(엔드 투 엔드)는 시각적 추론과 잠재적인 텍스트 검색 잔여물이 결합되어 **16.3%**의 유출을 보였다.
• 모델 일반성: 결과는 다양한 VLM(Claude Sonnet 4: 12.0%, GPT-4o: 9.3%)에서 일관되게 나타났다.
• 실제 환경 검증: 실제 Unsplash 사진을 사용했을 때 **10.6%**의 유출이 발생하여 합성 결과와 일치하였으며, 이는 이 현상이 이미지 생성의 부산물이 아님을 확인시켜 준다.

완화 방법: 의미론적 삭제

저자들은 VLM 감사자가 잔존 이미지를 스캔하여 삭제된 사실과 의미론적 상관관계가 있는지 확인하고 제거를 플래그하는 콘텐츠 인식 의미론적 삭제를 테스트했다.

• 결과: 이를 통해 이미지 잔여물을 12.0%에서 2.0%로 줄였다.
• 비용: 잔존 이미지의 **21.0%**를 식별하고 제거해야 했다.
• 한계: 감사자가 탐지하기에 너무 분산된 시각적 단서(지속적 노드)로 인해 **2.0%**의 잔여물이 남았다.

4. 기여 및 의의

기여

1. 정보 프로비넌스 그래프 (IPG): 사실의 표현을 "삭제 용이성"(주소 지정 가능, 연결됨, 지속됨)에 따라 분류하는 분류 체계를 제시하여, 엔지니어링 격차와 구조적 잔여물을 구분하였다.
2. 다중 채널 유출의 실증적 증거: 사실의 삭제가 상관관계 텍스트(18.3%)를 통해, 그리고 결정적으로 잔존 이미지(12.0%)를 통해 실패함을 입증하였으며, 이미지가 텍스트 전용 감사로는 보이지 않는 유출 경로를 제공함을 보여주었다.
3. MEMLEAK 벤치마크: 유출 채널을 분해하는 확장 가능한 평가 프레임워크를 제공하여, 프로비넌스 추적이 연결된 노드의 실패는 해결할 수 있지만, 지속적 노드의 잔여물을 완화하기 위해서는 콘텐츠 인식 정책이 필요함을 보여주었다.

의의

본 논문은 자신의 발견을 불가능성에 대한 증명이 아닌 진단 도구로 포지셔닝한다.

• 시스템 구축자를 위한 제언: 레코드 단위의 삭제는 필요하지만 충분하지 않다. 사실 단위의 삭제를 위해서는 모든 잔존 데이터(텍스트, 이미지 및 상관관계)를 감사해야 한다. 저자들은 프로비론스 추적(48.7% $\to$ 12.0% 격차 해결)과 VLM 감사자(12.0% $\to$ 2.0% 격차 해결)를 구현할 것을 권장한다.
• 규제 기관을 위한 제언: 삭제 로그를 확인하는 것만으로는 GDPR 제17조와 같은 삭제 규정 준수를 검증할 수 없다. 정보가 현재 어떤 감사 메커니즘도 검사하지 않는 채널을 통해 복구될 수 있으므로, 행동 검증(삭제 후 시스템 프로빙)이 필수적이다.
• 연구자를 위한 제서: 남은 2.0%의 이미지 잔여물과 18.3%의 텍스트 상관관계 채널은 프라이버시 보호형 비전 인코더, 임베딩 스크러빙, 상관관계 인식 삭제 정책 등의 새로운 연구 방향을 제시한다.

결론적으로, "망각 잔여물"은 특정 삭제 정책 하에서의 경험적 하한선이지만, 의료 및 금융과 같은 민감한 분야에서 멀티모달 에이전트 플랫폼이 직면할 수 있는 중요한 컴플라이언스 리스크를 나타낸다.