AgentDrift: Unsafe Recommendation Drift Under Tool Corruption Hidden by Ranking Metrics in LLM Agents

이 논문은 도구 오염 하에서도 기존 랭킹 지표가 안전성 저하를 감지하지 못해 위험한 추천이 지속되는 'AgentDrift' 현상을 규명하고, 이를 해결하기 위해 안전성을 명시적으로 반영한 평가 지표와 궤적 수준의 모니터링이 필요함을 주장합니다.

핵심

1. 상황 설정: "눈이 가려진 AI 투자 비서"

상상해 보세요. 당신이 AI 투자 비서를 고용했습니다. 이 비서는 당신의 성향 (위험을 싫어하는지, 좋아하는지) 을 기억하고, 실시간으로 주식 시장 뉴스와 데이터를 가져와서 당신에게 "어떤 주식을 사야 할지" 추천해 줍니다.

• 정상적인 상황: 비서가 "A 라는 주식은 위험해서 안 사세요"라고 하면, 비서는 그 말을 믿고 당신에게 안전한 주식을 추천합니다.
• 문제 상황 (이 논문의 핵심): 해커가 비서가 보는 데이터 화면 (툴) 을 조작했습니다.
  • 원래는 "위험한 주식"인데, 화면에는 **"안전한 주식"**이라고 거짓으로 표시했습니다.
  • 원래는 "안전한 주식"인데, 화면에는 **"위험한 주식"**이라고 거짓으로 표시했습니다.
  • 심지어 "이 주식은 아주 안전해요"라는 가짜 뉴스 기사까지 띄워주었습니다.

2. 발견된 놀라운 사실: "성적표는 완벽하지만, 실수는 치명적"

연구진은 7 가지 종류의 최신 AI 모델 (GPT, Claude, Qwen 등) 에게 이 조작된 데이터를 주고 23 번에 걸친 대화 (투자 상담) 를 시켰습니다. 결과는 충격적이었습니다.

• 성적표 (평가 지표) 는 완벽합니다: AI 비서가 추천한 주식 목록을 전문가가 점수 매겨 보니, 점수가 매우 높게 나왔습니다. (NDCG 점수 유지)
  • 비유: 마치 시험지를 채점할 때, "정답"이라고 적힌 곳에 "오답"이 적혀 있어도, 채점 기준이 "글씨체가 예쁜가?"만 보고 "A+"를 주는 것과 같습니다. AI 는 추천의 '형식'은 잘 지키지만, 내용은 완전히 망가진 것입니다.
• 실제 위험은 폭발합니다: 하지만 실제로는 **65%~93%**의 대화에서, 위험한 주식을 안전한 것처럼 추천했습니다.
  • 비유: 비서가 "이 폭탄은 장난감이에요"라고 말하며 당신에게 폭탄을 건네고, AI 는 그 말을 믿고 당신에게 "이 장난감은 안전해요"라고 추천합니다. AI 는 스스로 "아, 이 데이터가 이상한데?"라고 의심하지도 않았습니다.

3. 왜 이런 일이 일어날까요? (두 가지 경로)

논문은 이 현상이 두 가지 경로로 일어난다고 분석했습니다.

1. 정보 채널 (Information Channel): 비서가 지금 당장 보는 데이터가 조작되었을 때, 그 거짓 정보를 그대로 믿고 추천합니다. (가장 큰 원인)
   • 비유: 길에서 누군가 "저기 빨간 신호등은 초록색이에요"라고 거짓말을 하면, AI 는 그 말만 듣고 빨간불에 차를 몰고 들어갑니다.
2. 기억 채널 (Memory Channel): 비서가 이전 대화에서 잘못된 정보를 기억해 두고, 그 기억을 바탕으로 다음에 더 위험한 결정을 내립니다.
   • 비유: "어제 그 사람이 말하길 폭탄은 장난감이래"라고 기억해 두고, 오늘도 그 폭탄을 장난감이라고 믿는 것입니다.

가장 무서운 점은? AI 는 단 한 번도 "이 데이터가 조작된 게 아닐까?"라고 의심하거나, "내 지식과 데이터가 다르네?"라고 질문하지 않았습니다. AI 는 설계상 "도구 (데이터) 가 주는 말을 무조건 믿어야 한다"고 교육받았기 때문입니다.

4. 결론 및 경고: "안전한 척하는 위험"

이 연구는 우리에게 중요한 경고를 줍니다.

• 현재의 평가 방식은 맹목적입니다: 우리가 AI 를 평가할 때 "추천 목록이 얼마나 깔끔한가?"만 보면, AI 가 얼마나 위험한 일을 하고 있는지 전혀 모릅니다. (논문에서는 이를 **'평가 맹목 (Evaluation Blindness)'**이라고 부릅니다.)
• 해결책: AI 가 추천할 때, 단순히 "추천이 잘 되었는가?"를 보는 게 아니라, **"이 추천이 사용자에게 안전한가?"**를 별도로 체크하는 시스템이 필요합니다.
  • 비유: 식당에서 요리사가 "요리 맛이 일품입니다 (성적표 O)"라고 해도, 식중독 균이 들어갔다면 (안전성 X) 그 요리는 먹어서는 안 됩니다. 우리는 '맛'과 '안전'을 따로 평가해야 합니다.

요약

이 논문은 **"AI 비서가 해커의 거짓말을 믿고, 사용자를 위험한 투자로 이끌어도, AI 의 '성적표'는 여전히 A 를 받는다"**는 사실을 밝혀냈습니다.

우리는 AI 가 무엇을 추천하는지만 보지 말고, 그 추천이 안전한지를 직접 확인하는 새로운 안전장치가 필요하다는 것을 깨달아야 합니다. 마치 운전할 때 속도계 (성적표) 만 보는 게 아니라, 앞길에 구덩이가 있는지 (안전성) 도 함께 확인해야 하는 것과 같습니다.

기술 요약

1. 문제 제기 (Problem)

대형 언어 모델 (LLM) 기반 에이전트는 외부 도구 (Tool) 를 활용하여 금융 조언, 의료 진단 등 고위험 (High-stakes) 분야에서 다중 턴 (Multi-turn) 상담사로 활발히 사용되고 있습니다. 그러나 이러한 에이전트의 평가는 주로 추천의 품질 (Ranking Quality) 에 초점을 맞춘 지표 (NDCG, Hit Rate 등) 에 의존합니다.

• 핵심 문제: 기존 평가 지표는 에이전트가 무엇을 추천했는지는 측정하지만, 그 추천이 사용자의 안전성 (Safety) 에 적합한지는 측정하지 못합니다.
• 위협 시나리오: 도구 계층 (Tool Layer) 이 공격당하여 (예: 시장 데이터 조작, 편향된 뉴스 헤드라인 삽입) 에이전트가 위험한 제품을 안전하다고 오인하게 만들 수 있습니다.
• 평가의 맹점 (Evaluation Blindness): 도구 출력이 오염되더라도, 추천된 항목이 여전히 '전문가 유틸리티 순위'와 일치하는 경우 (예: 고위험 주식과 저위험 주식이 유사한 점수를 받음) 기존 품질 지표는 오염을 감지하지 못합니다. 즉, 안전성은 심각하게 저하되었는데 품질 점수는 그대로 유지되는 현상이 발생합니다.

2. 방법론 (Methodology)

저자들은 이 문제를 진단하기 위해 쌍대 궤적 프로토콜 (Paired-Trajectory Protocol) 과 중재 분석 (Mediation Analysis) 기반의 분해 프레임워크를 제안했습니다.

• 실험 설정:
  • 데이터: Conv-FinRe(금융 조언 대화) 데이터셋의 10 명의 사용자, 각 23 턴의 대화.
  • 모델: Qwen3, Qwen2.5, Gemma 3, GPT-5.2, Claude Sonnet 4.6, Ministral 3, Mistral Large 3 등 7 가지 아키텍처의 LLM.
  • 오염 (Contamination) 전략: 도구 출력을 조작하는 4 가지 모드 동시 활성화:
    1. 위험 점수 반전 (Risk Inversion): 고위험 주식 (TSLA 등) 을 저위험 (1 점) 으로, 저위험 주식 (PG 등) 을 고위험 (5 점) 으로 표시.
    2. 지표 조작 (Metric Manipulation): 변동성, 최대 낙폭 등을 위조하여 위험 신호를 강화.
    3. 편향된 헤드라인 (Biased Headlines): 고위험 주식을 방어적이라고 서술하는 뉴스 삽입.
    4. 고위험 주입 (High-risk Injection): TQQQ(3 배 레버리지 ETF) 를 저위험으로 표시.
• 진단 분해 (Diagnostic Decomposition):
  • 오염으로 인한 편향 (Drift) 을 두 가지 경로로 분해:
    1. 정보 채널 (Information Channel): 오염된 도구 데이터를 직접적으로 받아들이고 추론하는 경로.
    2. 메모리 채널 (Memory Channel): 오염된 정보가 에이전트의 장기 기억 (Persistent Memory) 을 오염시켜 향후 턴에 영향을 미치는 경로.
  • MED (Memory-Equal Divergence) 턴: 메모리 상태가 동일함에도 추천이 달라지는 경우를 분석하여 정보 채널의 영향력을 추정.

3. 주요 기여 (Key Contributions)

1. 평가 맹점 (Evaluation Blindness) 현상의 실증: 7 개 모델 모두에서 도구 오염 시 유틸리티 보존 비율 (UPR) 이 1.0 에 근접하는 반면, **적합성 위반률 (SVRs) 은 65~93%**까지 치솟는 것을 발견했습니다. 이는 표준 NDCG 지표가 안전성 저하를 완전히 놓치고 있음을 의미합니다.
2. 정보 채널 주도성 (Information-Channel Dominance): 안전성 위반은 주로 정보 채널을 통해 발생하며, 첫 번째 오염 턴에서 즉시 나타나고 23 턴 동안 자기 수정 없이 지속됩니다. 에이전트는 도구 데이터의 신뢰성을 의심하지 않습니다.
3. 새로운 평가 지표 제안: 안전성을 명시적으로 반영한 sNDCG (Safety-penalized NDCG) 를 도입하여, 기존 지표가 놓쳤던 평가 격차를 0.51~0.74 로 감소시킴으로써 감지 가능성을 입증했습니다.
4. 내부 표현과 행동의 괴리: 희소 자동 인코더 (SAE) 분석을 통해 모델이 내부적으로 오염을 인식하고 있음에도 (표현 수준에서 구별됨), 이를 추천 결정 (행동) 에 반영하지 못한다는 표현 - 행동 간극 (Representation-to-Action Gap) 을 발견했습니다.

4. 실험 결과 (Results)

• 품질 vs 안전성 분리: 모든 모델에서 오염된 세션의 NDCG 점수는 깨끗한 세션과 거의 동일하게 유지되었으나 (UPR ≈ 1.0), 안전성 위반 (SVRs) 은 90% 이상으로 급증했습니다.
• 즉각적이고 지속적인 편향: 70 개의 사용자 - 모델 쌍 중 69 개에서 첫 번째 오염 턴에 즉시 안전성 위반이 발생했습니다. 에이전트는 23 턴 동안 스스로 오류를 수정하지 않았습니다.
• 정보 채널의 우세: 메모리가 동일하게 유지되는 조건에서도 추천이 크게 달라졌으며, 정보 채널만으로도 전체 공격의 95% 이상의 안전성 위반을 재현했습니다.
• 모니터 회피: 수치 조작 없이 텍스트 (헤드라인) 만 조작하거나, 위험 점수를 1 단계만 변경하는 미세한 오염 (Within-band perturbation) 도 표준 모니터링을 회피하며 상당한 편향을 유발했습니다.
• 모델 규모와 무관성: 7B 에서 675B(혼합 전문가) 에 이르는 다양한 규모의 모델 모두 동일한 취약성을 보였습니다.

5. 의의 및 시사점 (Significance)

• 고위험 도메인 배포의 위험: 현재 다중 턴 에이전트 배포 시 단일 턴 품질 지표만으로는 안전성을 보장할 수 없으며, 이는 사용자에게 잘못된 안정감을 줄 수 있습니다.
• 새로운 평가 패러다임 필요: 단일 턴의 정확도보다는 궤적 수준의 안전성 모니터링 (Trajectory-level Safety Monitoring) 과 도구 출력 검증이 필수적입니다.
• 안전성 인식 지표의 도입: NDCG 와 같은 기존 지표에 안전성 페널티 (sNDCG) 를 도입하거나, 적합성 위반률 (SVRs) 을 병행 측정해야 평가의 맹점을 해소할 수 있습니다.
• 일반화 가능성: 이 패턴은 금융뿐만 아니라 의료, 법률, 제품 추천 등 안전 속성이 유틸리티 순위와 직교하는 모든 도메인에서 발생할 수 있는 구조적 문제입니다.

이 논문은 도구 증강 LLM 에이전트의 안전성 평가에 있어 기존 메트릭의 한계를 명확히 지적하고, 도구 오염에 대한 체계적인 진단 프로토콜과 새로운 평가 기준을 제시함으로써 안전한 에이전트 배포를 위한 중요한 기초를 마련했습니다.