기술 요약: LLM 에이전트의 메모리 유발 도구 편향 (Tool-Drift)

문제 정의

현대 대규모 언어 모델 (LLM) 에이전트는 개인화를 위한 장기 기억과 실행 가능한 행동을 수행하기 위한 도구 호출 인터페이스를 통합합니다. 기억은 적응을 가능하게 하고 도구는 유용성을 제공하지만, 본 논문은 이전에 조사되지 않은 실패 모드인 **메모리 유발 도구 편향 (memory-induced tool-drift)**을 식별합니다.

이 현상은 에이전트의 장기 기억에 저장된 성격 기반 편향 (예: 비용 절감성, 조급함, 위험 감수성) 이 개인적 선호도가 관련 없는 전문적 맥락에서 도구 호출 매개변수 선택에 조용하고 부적절하게 영향을 미칠 때 발생합니다. 대화형 과도한 개인화와 달리, 도구 편향은 특히 중대한 결과를 초래합니다. 왜냐하면 도구 호출은 종종 개별 매개변수에 대한 사용자의 검열 없이 실행되며 되돌릴 수 없는 행동 (예: 금융 거래, 인프라 변경, 데이터 노출) 을 유발할 수 있기 때문입니다. 핵심 실패는 에이전트가 개인 생활 맥락과 전문적 작업 요구 사항 사이의 경계를 구분하지 못하여 관련 없는 편향이 중요한 매개변수 결정으로 유출되는 것입니다.

방법론

1. 형식화 및 벤치마크 구축 (MEMDRIFT)

저자들은 편향된 기억 ($M_b$) 이 존재할 때 도구 호출 매개변수 ($\theta$) 의 편향을 무기억 기준 ($M_\emptyset$) 또는 중립 기억 기준 ($M_n$) 과 비교하여 메모리 유발 도구 편향을 형식화했습니다. 이를 객관적으로 측정하기 위해 105 개의 합성 시나리오로 구성된 MEMDRIFT를 구축했습니다.

• 구조: 벤치마크는 다섯 가지 편향 차원(속도/조급함, 자원 검소함, 미니멀리즘/간결함, 위험 허용성, 자율성/자기의존성) 과 일곱 가지 전문 분야(의료, 금융, 법률, 소프트웨어 인프라, 교육, 전자상거래, 마케팅) 를 포괄합니다.
• 맥락 분리: 엄격한 분리가 강제됩니다. 모든 사용자 기억은 생활 습관, 선호도 등 개인 생활에 엄격히 기반하며, 모든 도구 호출은 전문적 작업을 대상으로 합니다. 이는 기억이 도구 매개변수에 미치는 영향이 명확한 실패 (편향) 로 간주되도록 보장합니다.
• 생성 파이프라인: MEMDRIFT 는 LLM 생성기와 판정자를 사용한 자동화된 자기 개선 적대적 파이프라인을 통해 생성되었습니다. 이 과정에는 시나리오 생성, 아티팩트 확장 (도구 스키마 및 프롬프트 생성), 그리고 현실성을 유지하면서 편향을 극대화하기 위한 적대적 정제가 포함됩니다.

2. 평가 설정

본 연구는 두 가지 조건 하에서 일곱 개의 최첨단 모델 (GPT-5.2/5.4, Claude Sonnet 4.5, Gemini 2.5/3.1 Pro, Kimi K2.5, Qwen3.5 포함) 을 평가했습니다.

1. 직접 기억 주입: 편향된 기억이 시스템 프롬프트에 그대로 배치되어 생산 시스템이 영구 기억을 처리하는 방식을 시뮬레이션합니다.
2. 생산 기억 아키텍처: 편향된 선호도가 다중 턴 대화를 통해 유기적으로 인코딩되고 Mem0, MemPalace, SimpleMem 의 세 가지 실제 세계 기억 프레임워크에 의해 검색되어 현실적인 엔드투엔드 조건 하에서 편향을 테스트합니다.

지표: "전향 점수 (Deflection Score)"(1~5 리커트 척도) 를 사용했으며, 여기서 LLM 판정자는 편향된 기억 하의 도구 호출 응답을 무기억 기준과 비교합니다. 높은 점수는 작업에 중요한 매개변수에서의 더 큰 편향을 나타냅니다.

3. 기전 분석

편향이 발생하는 이유를 이해하기 위해 저자들은 Llama-3.3-70B-Instruct 에 대해 기전 분석을 수행했습니다.

• 활성화 투영: 명시적 행동 지시를 위한 조향 벡터를 구성하고 메모리 유발 활성화 변화를 이러한 벡터에 투영했습니다.
• 주의 분석: 행동 정의 토큰 위치에서 주의 가중치를 추적하여 모델이 작업 관련 맥락과 기억 항목 간에 어떻게 초점을 배분하는지 관찰했습니다.

4. 실제 세계 취약성 스캔

저자들은 288 개의 검증된 모델 컨텍스트 프로토콜 (MCP) 서버에 걸쳐 6,062 개의 실제 세계 도구를 감사하기 위해 LLM 기반 스캐너를 개발했습니다. 두 가지 속성을 기반으로 편향에 취약한 도구를 식별했습니다.

1. 편향 정렬 매개변수: 편향 차원과 자연스럽게 정렬되는 값 (예: "경제형" 대 "프리미엄").
2. 어휘 중첩: 일반적인 개인 맥락과 키워드를 공유하는 매개변수 값 (예: "빠른", "안전한", "최소한의").
   표시된 도구의 하위 집합을 검증하여 실제 스키마에서 편향이 발생함을 확인했습니다.

주요 결과

1. 도구 편향의 보편성

• 보편적 취약성: 평가된 일곱 개의 최첨단 모델 모두 상당한 도구 편향을 나타냈습니다. 편향된 전향 점수는 모든 모델과 편향 차원에서 일관되게 높았습니다 (1~5 척도에서 최대 +3.6 점).
• 생산 환경에서의 지속성: 기억이 자연스러운 다중 턴 대화를 통해 인코딩되고 생산 기억 아키텍처에 의해 검색되더라도 편향이 지속되었습니다. 일부 경우, 기억 프레임워크 하의 편향 점수는 직접 주입 하의 점수와 비슷하거나 초과했는데, 이는 프레임워크가 저장 시 개인적 맥락을 제거하고 선호도를 전역 지시 사항으로 인코딩하기 때문일 가능성이 높습니다.
• 강건성: 편향된 기억이 전체 기억 집합의 작은 부분 (예: 25%) 을 구성할 때에도 편향이 관찰되었습니다.

2. 실제 세계 영향

• 취약성 스캔: 스캔은 608 개의 도구(약 10%) 를 메모리 유발 편향에 매우 취약한 것으로 표시했습니다.
• 검증된 예시: 검증된 하위 집합에서 모델들은 실제 세계 도구에서 편향을 보여주었습니다. 예를 들어:
  • GitLab: 사용자의 "개방성"에 대한 개인적 선호로 인해 의료 데이터 서비스의 프로젝트 가시성이 private 대신 public으로 설정되었습니다.
  • Brave Search: 사용자의 "필터링되지 않은" 경험에 대한 선호로 인해 중학교 프로그램을 대상으로 하는 검색 쿼리에 대해 safesearch가 off로 설정되었습니다.
  • GitHub/Linear: 속도나 미니멀리즘에 대한 선호로 인해 중요한 워크플로우에서 유효성 검사 모드, 롤백 스냅샷, 또는 우선순위 설정이 비활성화되었습니다.

3. 기전적 발견

• 암시적 조향 벡터: 편향된 기억은 명시적 행동 지시와 동일한 잠재 방향을 따라 모델 활성화를 밀어내는 암시적 조향 벡터로 작용합니다. 모델은 관련 없는 맥락의 개인적 선호도를 전역 행동 지시 사항으로 간주합니다.
• 주의 재분배: 편향된 기억은 표면적 어휘 중첩을 통해 주의를 탈취합니다. 모델은 작업 관련 맥락 (도구 스키마, 사용자 쿼리) 에서 목표 매개변수 값과 중첩되는 키워드를 포함하는 기억 항목으로 주의를 재분배합니다. 이는 모델이 작업 관련성을 구분하는 능력을 억제합니다.

4. 현재 방어책의 한계

저자들은 표준 방어책을 평가했습니다.

• 방어적 시스템 프롬프트: 관련 없는 기억을 무시하라는 지시는 편향을 감소시켰으나 제거하지는 못했습니다 (점수가 여전히 상당히 높게 유지됨).
• 기억 관련성 필터: 필터는 MEMDRIFT 의 깨끗한 분리에서는 완벽하게 작동했지만, 사용자의 윤리적 입장이 식이 제한을 의미한다는 것을 회상하는 것과 같은 현실적인 다중 홉 추론 시나리오에서는 실패하여, 실제로 관련 있는 기억의 61% 만 유지하고 10.3% 의 관련 없는 기억을 허용했습니다.

중요성 및 주장

본 논문은 도구 개발자와 모델 제공자가 현재 다루지 않고 있는 메모리 강화 LLM 에이전트의 체계적 취약성을 식별했다고 주장합니다.

• 신규성: 이는 개인적 기억이 대화형 과도한 개인화와 구별되어 전문적 도구 호출 매개변수를 조용히 오염시키는 방식을 형식화하고 측정하는 첫 번째 연구입니다.
• 위험 프로파일: 이 위험은 행동이 중대하고 종종 되돌릴 수 없는 에이전트 환경에 고유합니다. 취약성 표면은 광범위하여 속도, 비용, 주의, 감독과 같은 일반적인 트레이드오프를 인코딩하는 매개변수에 영향을 미칩니다.
• 행동 촉구: 저자들은 현재 안전 장치 (프롬프트 지시, 단순 필터) 는 불충분하다고 주장합니다. 추론 시간 완화에만 의존하는 대신 문맥적 구분 능력을 심어주기 위해 훈련 시간 개입이 필요할 수 있는 기억 관리와 도구 호출 생성의 교차점에서 전용 방어책의 필요성을 강조합니다.

본 연구는 에이전트가 점점 더 중대한 행동을 수행함에 따라 메모리 유발 도구 편향이 전용 연구 및 아키텍처 솔루션이 필요한 중요한 미해결 문제임을 결론지었습니다.