기술 요약: MIND (Memory Intent-Aware Neural Denoising)

1. 문제 정의

메모리 증강 대규모 언어 모델(LLM) 에이전트는 장기적 과업(long-horizon tasks)을 처리하기 위해 외부 검색 기반 메모리 시스템에 의존합니다. 그러나 이러한 시스템은 적대자가 메모리 저장소를 조작하여(직접적인 쓰기 권한 또는 간접적인 다회차 상호작용을 통해) 오염된 기록을 주입하는 **메모리 주입 공격(memory injection attacks)**에 취약합니다. 이러한 기록이 검색될 때, 에이전트의 행동을 초기 사용자 의도(user intent)로부터 이탈시켜 과업 실패나 유해한 출력을 유도합니다.

기존의 방어 메커니즘은 두 가지 결정적인 한계에 직면해 있습니다:

1. 높은 계산 비용: 추론 기반 방어(예: LLM Auditor)는 검색된 메모리를 감사하거나 상호작용 스트림을 모니터링하기 위해 LLM을 반복적으로 호출하며, 이는 긴 궤적(trajectory) 동안 상당한 지연 시간을 누적시킵니다.
2. 정보 중복성: 전체 다회차 궤적을 인코딩하는 경량 탐지기는 종종 과업과 무관하거나 반복적인 정보로 인해 어려움을 겪습니다. 이러한 중복성은 공격 신호를 가려, 정상적인 행동과 오염된 행동을 구분하는 능력을 저해합니다.

2. 방법론: MIND

저자들은 **MIND (Memory Intent-Aware Neural Denoising)**를 제안합니다. 이는 정보 병목(Information Bottleneck, IB) 원리에 기반하여 메모리 방어를 디노이징(denoising) 문제로 재정의한 경량 방어 프레임워크입니다.

핵심 관찰 사항

예비 분석 결과 두 가지 주요 현상이 밝혀졌습니다:

• 분리 가능성(Separability): 표현 공간(representation space)에서, 정상적인 궤적과 오염된 궤적은 초기 사용자 의도와 후속 행동 사이의 관계에 있어 구별 가능한 경향을 보입니다.
• 의도 감쇠 및 중복성(Intent Decay & Redundancy): 상호작용 턴이 증가함에 따라 에이전트의 초기 의도에 대한 주의력(attention)이 감소하며, 이 과정은 주입 공격에 의해 가속화됩니다. 또한, 다회차 상태는 의도 신호를 약화시키는 상당한 중복성을 포함하고 있습니다.

프레임워크 아키텍처

MIND는 세 단계로 작동합니다:

1. 궤적 표현 추출 (Trajectory Representation Extraction):

   • 사전 학습된 LLM(예: Llama-3.1-8B-Instruct)이 턴 단위 특징을 추출합니다.
   • 턴 $t$에 대한 표현($h_t$)은 <observation> 구성 요소의 마지막 토큰 은닉 상태(last-token hidden state)로 정의됩니다.
   • 초기 사용자 쿼리는 $h_0$로 표현됩니다.
   • 학습 데이터는 $(x_i, x_{anchor})$ 쌍으로 구성되며, 여기서 $x_i = [h_0; h_t]$이고, 해당 턴에서 검색된 메모리가 오염되었는지 여부에 따라 $x_{anchor} = h_0$로 라벨링됩니다.

2. 의도 인지 정보 병목 (IB) 인코더:

   • 원시 입력을 분류하는 대신, MIND는 IB 인코더 $E$를 사용하여 입력 $x_i$를 잠재 공간(latent space) $z_i$로 압축합니다.
   • 목표: 과업과 무관한 중복성을 버리기 위해 상호 정보량 $I(Z; X)$(압축성)를 최소화하는 동시에, 의도와 관련된 신호를 보존하기 위해 $I(Z; Y)$(정보성)를 최대화합니다.
   • 압축성(Compactness): 학습된 사후 분포 $q_E(z|x)$와 등방성 가우시안 사전 분포(isotropic Gaussian prior) 사이의 KL 발산(divergence)을 최소화함으로써 달성됩니다.
   • 정보성(Informativeness): 지도 학습 기반의 정렬 손실(supervised alignment loss)을 통해 달성됩니다. 정상적인 턴은 초기 의도 앵커($h_0$) 쪽으로 끌어당겨지고, 오염된 턴은 마진(margin)을 두고 밀어내어, 잠재 공간이 현재의 행동과 원래 의도 사이의 관계를 보존하도록 합니다.

3. 경량 다중 하이퍼플레인 분류기 (Lightweight Multi-Hyperplane Classifier):

   • 디노이징된 잠재 공간 $z_i$ 위에 결정 경계(decision boundary)를 구축합니다.
   • 단일 선형 경계 대신, MIND는 **$K$개의 하이퍼플레인(hyperplane)**을 사용하여 조각별 결정 영역(Convex Polytope Machine)을 형성합니다.
   • 이 설계는 단일 선형 경계가 놓칠 수 있는 다양한 공격 패턴을 포착합니다. 턴은 $K$개의 모든 하이퍼플레인 아래에 위치할 때만 정상(benign)으로 분류됩니다.

학습 목표

모델은 다음 결합 손실 함수를 최소화하도록 최적화됩니다:
$$\mathcal{L} = \mathcal{L}_{benign} + \mathcal{L}_{poison} + \beta \mathcal{L}_{KL} + \lambda \mathcal{L}_{align}$$
여기서 $\mathcal{L}_{KL}$은 압축성을 강제하고, $\mathcal{L}_{align}$은 의도 분리를 강제하며, 앞의 두 항은 다중 하이퍼플레인 분류 제약을 강제합니다.

3. 주요 기여

• 분석: 저자들은 메모리 주입 공격이 초기 의도와 후속 행동 사이의 관계에서 구별 가능한 편차를 일으키며, 이 신호가 다회차 중복성에 의해 가려진다는 예비 증거를 제공합니다.
• 방법론: 이들은 반복적인 LLM 감사나 전체 궤적 인코딩 없이도 오염된 메모리를 필터링할 수 있는 의도 인지 정보 병목을 활용하는 경량 방어 프레임워크를 설계했습니다.
• 평가: 광범한 실험을 통해 MIND가 보안-유용성 트레이드오프를 개선하여, 공격 성공률을 낮추면서도 방어되지 않은 에이전트와 유사한 수준의 과업 정확도 및 추론 효율성을 유지함을 입증했습니다.

4. 실험 결과

실험은 ReAct-StrategyQA 및 MMLU 벤치마크에서 네 가지 백본 모델(DeepSeek-V4, GPT-4o-mini, Llama-3.1-8B-Instruct, Qwen3-8B-Instruct)을 대상으로 AgentPoison 및 MINJA와 같은 공격에 대해 수행되었습니다.

• 공격 감소: ReAct-StrategyQA에서 MIND는 방어되지 않은 에이전트에 비해 평균 검색 단계 공격 성공률(ASR-r)을 55.4%, 에이전트 추론 ASR(ASR-a)을 55.3% 감소시켰습니다.
• 과업 정확도: MIND는 평균 과업 정확도를 보존하였으며(예: StrategyQA에서 방어되지 않은 경우 67.56% 대비 67.95%), MMLU에서 방어 방법들 중 가장 높은 평균 정확도(79.57%)를 달성했습니다.
• 효율성: MIND는 계산 효율적입니다. StrategyQA에서 MIND는 LLM Auditor 베이스라인보다 20.6% 더 빨랐고, A-MemGuard보다 70.4% 더 빨랐으며, 평균 에피소드 시간은 방어되지 않은 에이전트와 유사했습니다.
• 절제 연구(Ablation): IB 인코더나 다중 하이퍼플레인 분류기 중 하나라도 제거하면 성능이 저하되었으며, 이는 오탐(false positive)을 줄이면서 탐지 능력을 유지하는 데 있어 이들의 상호 보완적인 역할을 확인시켜 줍니다.

5. 의의 및 주장

본 논문은 MIND가 메모리 증강 에이전트의 근본적인 보안-효율성 트레이드오프 문제를 해결한다고 주장합니다. 정보 병목을 활용하여 중복 정보를 필터링하고 의도-행동 관계에 집중함으로써, MIND는 반복적인 LLM 감사로 인한 계산 오버헤드와 전체 궤적 인코딩으로 인한 신호 희석 문제를 피합니다.

저자들은 MIND를 낮은 지연 시간이 중요한 장기적 과업을 위한 실용적인 솔루션으로 포지셔닝하며, 기초적인 의도-행동 역학이 적절히 모델링되고 디노이징된다면 효과적인 메모리 주입 방어가 반드시 비용이 많이 드는 추론 기반 감사를 필요로 하지 않음을 보여줍니다.