기술 요약: MemLineage

문제 정의

현대적인 LLM 에이전트는 사용자 세션 전반에 걸쳐 채팅 로그, 도구 반환값, 그리고 파생된 관찰 데이터를 축적하기 위해 영구적인 메모리 저장소에 의존합니다. 이러한 메모리는 다단계 워크플로우를 가능하게 하지만, 동시에 치명적인 공격 표면이 되었습니다. 최근 연구 (예: AgentPoison, MINJA, MemoryGraft, Zombie Agents) 에 따르면, 적대자들은 에이전트의 메모리에 악성 콘텐츠를 주입할 수 있으며, 이는 세션 간에 잠복하다가 나중에 민감한 작업을 트리거하는 명령으로 재등장할 수 있음을 보여줍니다.

식별된 핵심 집행 격차는 기존 방어 체계가 **메모리 세탁 (memory laundering)**을 처리하지 못한다는 점입니다. 정교한 적대자는 신뢰할 수 없는 소스에 '재료'를 심어 에이전트의 정상적인 검색 및 요약 루프가 새로운 파생 항목을 생성하도록 할 수 있습니다. 이 파생 항목은 에이전트 자체에 의해 작성되었기 때문에 유효한 암호학적 서명을 지니게 되어, 서명만 확인하는 방어 체계에게는 benign(악의적이지 않은) 콘텐츠와 구별 불가능해집니다. 결과적으로 에이전트는 나중에 이 '세탁된' 항목을 검색하여 신뢰할 수 없는 계보를 기반으로 민감한 작업 (예: 금융 이체) 을 실행할 수 있으며, 이는 소명 (chain of custody) 의 연속성을 파괴합니다.

현재 솔루션들은 다음과 같은 특정 한계를 겪고 있습니다:

• 서명 전용 레이어는 작성자를 검증하지만 파생 이력을 추적할 수 없습니다.
• IFC 기반 플래너(예: Fides)는 계획 단계에서 라벨을 집행하지만 LLM 파생 단계를 거치면서 이를 상실합니다.
• 검색 필터(예: RAGPart)는 인증된 주체를 통해 전달된 경우 benign 요약과 세탁된 페이로드를 구별할 수 없습니다.
• 거친 방어(예: Memory Sandbox)는 노출 후 모든 회상을 차단하여 유용성을 희생하는 경우가 많습니다.

방법론: MemLineage 설계

MemLineage 는 메모리 보안을 필터링 문제가 아닌 소명 (chain-of-custody) 문제로 간주함으로써 이를 해결합니다. 이는 모든 메모리 항목에 암호학적 출처 (provenance) 와 가중치 부여된 파생 계보 (derivation lineage) 를 첨부합니다. 시스템은 여섯 개의 모듈을 중심으로 구축되었습니다:

1. 출처 메타데이터 (M1): 모든 항목은 작성자 주체, 소스 해시, 컨텍스트 해시, 그리고 귀속 가중치가 부여된 부모 항목 목록을 포함하는 ProvEntry 레코드입니다.
2. 암호학적 바인딩 (M2): 항목은 주체별 Ed25519 키를 사용하여 서명됩니다. 서명은 서명 자체를 제외한 모든 필드의 표준화된 CBOR 인코딩을 포함합니다.
3. 첨부 전용 로그 (M3): RFC 6962 스타일의 머클 로그가 항목 해시를 기록합니다. 삭제는 기록 재작성을 방지하기 위해 서명된 '토마스톤 (tombstone)' 마커를 통해 처리됩니다.
4. 계보 DAG (M4): 엣지가 LLM 매개 파생을 나타내는 방향성 비순환 그래프입니다. 각 엣지 $(p, c)$는 귀속 알고리즘에 의해 결정된 가중치 $w(p, c) \in [0, 1]$을 가집니다.
   • 전파 규칙: 신뢰는 강한 엣지의 최대값 (max-of-strong-edges) 규칙을 통해 전파됩니다. 항목 $c$는 $w(p, c) > \tau$(등급 해제 임계값) 일 때 부모 $p$의 신뢰 수준을 계승합니다.
   • 신뢰할 수 없는 경로 지속성 (정리 1): "외부" 조상으로부터 현재 항목까지 모든 엣지 가중치가 $\tau$를 초과하는 경로가 존재하면, 현재 항목은 "파생 - 신뢰할 수 없음 (Derived-Untrusted)"으로 라벨링됩니다.
5. 검증자 인식 검색 (M5): 항목이 LLM 프롬프트에 삽입되기 전에 M5 는 서명, 포함 증명 (inclusion proofs) 을 검증하고 항목을 구조적 신뢰 라벨 (예: [trust=DERIVED_UNTRUSTED]) 과 함께 렌더링합니다.
6. 민감 작업 게이트 (M6): 도구 호출 (특히 파일 쓰기나 결제와 같은 민감한 싱크로 향하는 호출) 을 전송하기 전에 M6 는 활성 프롬프트를 검사합니다. 파라미터에 대한 근거가 "파생 - 신뢰할 수 없음" 또는 "외부" 조상에서 유래한 경우 호출이 거부됩니다. M6 는 또한 **권한 복구 (Authority Repair)**를 지원하여, 적대자 소스 파라미터를 신뢰할 수 있는 출처의 값으로 외과적으로 교체할 수 있습니다.

시스템은 세 가지 귀속 알고리즘을 지원합니다:

• Coarse: 검색 컨텍스트에 부모가 있으면 이진 가중치 (1.0) 를 부여합니다.
• LmSelfEval: 보조 LLM 판정관이 의미적 영향력을 점수화합니다 (JSON 봉투를 통한 프롬프트 주입에 강화됨).
• AttnAttr: 화이트박스 어텐션 분석 (오픈 가중치 모델 필요).

주요 기여

1. 계보 - 스트레스 워크로드: 이 논문은 "파생을 통한 슬리퍼 (sleeper-via-derivation)" 공격 모델을 도입합니다. 직접 주입과 달리, 이 워크로드는 신뢰할 수 없는 소스에 재료를 심어 LLM 이 악성 페이로드를 새로운 서명된 항목으로 파생하도록 강제합니다. 이는 서명 전용 방어와 계보 인식 방어를 구분합니다.
2. 공식 전파 규칙: 설계는 신뢰할 수 없는 경로 지속성 정리를 공식화하여, 파생 체인의 모든 엣지가 "강한" (임계값 $\tau$ 이상) 경우 신뢰할 수 없음 라벨이 체인 끝까지 전파됨을 증명합니다.
3. 귀속 알고리즘 및 트레이드오프: 논문은 세 가지 귀속 전략을 평가하고 계보 임계값 ($\tau$) 과 체인 길이 ($K$) 간의 상호작용을 정량화합니다. 단일 샷 $\tau$ 측정은 불충분하며, 감소하는 귀속 신뢰도 하에서 안전성을 유지하려면 더 깊은 체인은 더 낮은 임계값이 필요함을 보여줍니다.
4. 종단 간 평가 하네스: 공격자 행동을 고정하고 핵심 지표에 대한 실제 LLM API 호출을 피하는 결정론적이고 재현 가능한 하네스가 제공됩니다. 이는 공격 성공률 (ASR), 유틸리티 기준, 계보 제거 실험에 대해 바이트 단위로 동일한 CI 검증 아티팩트를 생성합니다.

결과

평가에서는 no_defense, sig_only_baseline(서명 + 머클 로그, 계보 없음), MemLineage(풀 스택) 세 가지 구성을 비교합니다.

• 공격 성공률 (ASR):

  • AgentPoison (트리거 바운드): sig_only_baseline과 MemLineage 모두 0.00 ASR 을 달성합니다 (서명이 신뢰할 수 없는 작성자를 차단함).
  • MemoryGraft (검색 오염): sig_only_baseline은 실패합니다 (1.00 ASR). 항목이 에이전트에 의해 서명되었기 때문입니다. MemLineage는 계보를 외부 조상까지 추적하여 0.00 ASR 을 달성합니다.
  • 파생을 통한 슬리퍼: sig_only_baseline은 실패합니다 (1.00 ASR). 파생 항목이 유효하게 서명되었기 때문입니다. MemLineage는 파생 체인을 통해 신뢰할 수 없음 라벨을 전파하여 0.00 ASR 을 달성합니다.
  • 결론: MemLineage 는 세 가지 공격 계열 전반에 걸쳐 ASR 을 0 으로 낮춘 유일한 구성입니다.

• 성능:

  • 작업당 오버헤드는 1 밀리초 미만입니다. 쓰기 핫 경로 (서명 및 머클 로깅 포함) 는 평균 약 214 µs 이며, 검증은 약 82 µs 입니다. 이는 일반적인 LLM API 호출의 노이즈 바닥보다 훨씬 낮습니다.

• 유틸리티 (거짓 양성):

  • benign 워크플로우에서 MemLineage 는 1.00 의 합법적 전송률을 달성합니다 (거짓 양성 제로). 이는 파생 - 신뢰 체인과 외부 콘텐츠의 비민감 회상을 성공적으로 허용합니다.
  • 권한 복구: AgentDojo 은행 시나리오에서 권한 복구가 적용된 MemLineage 는 공격의 100% 를 차단하면서 5/6 쌍에서 유틸리티를 회복하여 단순 거부나 재시도 전략보다 우수한 성과를 냅니다.

• 임계값 민감도:

  • $\tau \times K$ 제거 실험은 감소하는 귀속 가중치 (예: $w_0=0.9, d=0.7$) 의 경우, $K=5$ 홉을 허용하는 배포는 $\tau \le 0.10$이 필요하지만, $K=1$ 측정은 $\tau \le 0.30$을 시사할 수 있음을 보여줍니다.

중요성 및 주장

이 논문은 MemLineage 가 유용한 장기 메모리를 유지하면서 신뢰할 수 없는 계보가 민감한 작업을 승인하는 것을 방지하는 **세밀한 집행 원시 (fine-grained enforcement primitive)**를 제공한다고 주장합니다.

• 차별화: 회상을 완전히 제거하는 거친 방어와 달리, MemLineage 는 소명에 기반하여 민감한 작업을 엄격하게 게이트하는 동시에 파생 메모리의 유틸리티를 유지합니다.
• 완전성: 이는 암호학적 무결성, LLM 파생 전반의 계보 귀속, 라벨의 세션 간 지속성, 에이전트 파생 항목의 포괄이라는 네 가지 차원을 공동으로 다루는 유일한 평가 시스템입니다.
• 겸손함: 저자들은 시스템이 LLM 추론 가중치의 신뢰성에 의존하며 (모델 자체의 백도어를 감지할 수 없음) 가장 강력한 귀속 알고리즘 (AttnAttr) 은 오픈 가중치 모델을 필요로 한다고 인정합니다. "강한 부모 없음" 폴백은 "신뢰할 수 있음"으로 기본 설정되는데, 이는 적대자가 모든 귀속 엣지를 $\tau$ 미만으로 억제할 경우 악용될 수 있으나, JSON 봉투 강화가 프롬프트 주입 위험을 완화합니다.

이 논문은 MemLineage 가 "콘텐츠 필터링"에서 "소명 집행"으로 방어 패러다임을 전환하여, 안전하고 영구적인 LLM 에이전트를 위한 실현 가능한 길을 제시한다고 결론짓습니다.