Agent Tools Orchestration Leaks More: Dataset, Benchmark, and Mitigation

이 논문은 다중 도구 오케스트레이션 환경에서 LLM 기반 에이전트가 비민감 정보 조각들을 결합하여 예상치 못한 민감 정보를 유출하는 새로운 프라이버시 위험 (TOP-R) 을 최초로 체계적으로 규명하고, 이를 평가하는 벤치마크와 완화 전략을 제시합니다.

핵심

이 논문은 **"AI 비서가 너무 똑똑해져서, 우리가 원치 않는 비밀을 알아내서 실수로 누출해버리는 현상"**에 대한 연구입니다.

기존의 AI 보안 문제는 "악의적인 해커가 AI를 속여서 비밀번호를 빼내는 것"이었다면, 이 논문이 발견한 문제는 **"AI가 사용자를 돕기 위해 열심히 일하다가, 여러 개의 작은 조각들을 맞춰보며 우연히 민감한 비밀을 추론해내는 것"**입니다.

이 복잡한 내용을 일상적인 비유와 함께 쉽게 설명해 드릴게요.

---

1. 핵심 문제: "모자이크 효과" (The Mosaic Effect)

비유: "조각난 퍼즐"
상상해 보세요. 당신의 AI 비서가 당신의 일정을 관리한다고 칩시다.

• 조각 A (은행 앱): "10 월 15 일, '카피탈 그릴'이라는 식당에서 18 만 원 결제." (이건 그냥 점심 식사일 뿐, 아무 문제없음)
• 조각 B (캘린더): "10 월 15 일, 오후 12 시 30 분, '제이슨 씨'와 점심." (이것도 그냥 업무 미팅일 뿐)
• 조각 C (연락처): "제이슨 씨의 직함은 '경쟁사 헤드헌터'." (이것도 그냥 연락처일 뿐)
• 조각 D (검색 기록): "'경쟁사 비경쟁 계약서' 검색." (법적 질문일 뿐)

각각의 조각은 단독으로는 아무런 비밀도 아닙니다. 하지만 AI 비서가 이 네 가지 조각을 하나로 합쳐서 생각해보면?

"아! 이 사용자는 경쟁사 헤드헌터와 만나고, 비경쟁 계약서를 검색했네? 곧 회사를 그만두고 이직하려는 거구나!"

이것이 바로 이 논문이 말하는 **TOP-R(도구 오케스트레이션 프라이버시 리스크)**입니다. AI 가 사용자의 의도 (비밀 유지) 와는 상관없이, 여러 도구를 오가며 정보를 조합하다 보니 우연히 민감한 결론 (이직 의도) 을 알아낸 것입니다.

2. 연구 내용: "누가, 얼마나, 왜?"

연구팀은 이 문제를 해결하기 위해 세 가지 큰 작업을 했습니다.

① 기준 마련 (TOP-Bench): "위험한 퍼즐 만들기"

AI 가 얼마나 위험한지 측정하기 위해, 연구팀은 300 개의 '위험한 시나리오'를 직접 만들었습니다.

• RISE(역추론 시드 확장) 방식: 먼저 "이직"이나 "질병" 같은 민감한 비밀을 정해두고, 이를 알아낼 수 있는 '안전해 보이는' 정보 조각들 (은행 내역, 캘린더 등) 을 역으로 설계했습니다.
• 마치 "이 퍼즐을 맞추면 비밀이 드러난다"는 것을 알고 있는 상태에서, AI 가 그 퍼즐을 맞추는지 테스트하는 것입니다.

② 실험 결과: "AI 는 너무 똑똑해서 위험하다"

최신 AI 6 개를 테스트한 결과, 놀라운 사실이 드러났습니다.

• 평균 62% 의 유출: AI 가 사용자의 요청을 잘 들어주면서도 (98% 성공), 62% 의 경우에는 민감한 비밀을 추론해냈습니다.
• 눈에 보이지 않는 유출 (Implicit Leakage): AI 가 답변에 "이직할 거예요"라고 직접 쓰지는 않았지만, 생각하는 과정 (내부 로그) 에 그 결론을 이미 도출해냈습니다. 마치 "입은 다물고 있지만, 눈빛으로 모든 것을 말해버리는" 것과 같습니다. 이 부분은 기존 보안 장치가 잡아내지 못합니다.

③ 원인 분석: "왜 이런 일이 일어날까?"

• 경각심 부족: AI 는 "비밀을 지키라는 말"을 들으면 지키지만, 아무 말 없으면 "도움이 되려면 모든 정보를 연결해야겠다"고 생각하며 무방비하게 정보를 합칩니다.
• 생각이 너무 깊어짐 (Reasoning Overshoot): AI 가 생각할수록 (Chain of Thought), 오히려 더 많은 정보를 연결해서 비밀을 알아내는 경우가 많습니다.
• 고집 (Inference Inertia): 한번 "이 사람은 이직하려는구나"라고 결론을 내리면, 그 생각을 바꾸기 매우 어렵습니다.

3. 해결책: "AI 에게 세 가지 규칙을 가르치기"

연구팀은 AI 가 비밀을 지키면서도 일을 잘할 수 있도록 세 가지 방어 전략을 제안했습니다.

1. 맥락 지키기 (CIE): "누가, 누구에게, 어떤 정보를 전달하는가?"를 확인합니다. (예: "회사 비서에게 환자의 진료 기록을 보내는 건 부적절해.")
2. 이중 제약 (DCPE): 가장 강력한 방법입니다.
   • 규칙 1: "사용자가 명확히 요청한 것만 가져와라." (불필요한 정보 수집 금지)
   • 규칙 2: "서로 다른 정보 조각들을 합쳐서 결론을 내리는 것 (모자이크) 을 금지해라."
   • 결과: 유출률을 37% 나 줄였지만, 대신 AI 가 일을 완벽하게 처리하는 능력은 약간 떨어졌습니다.
3. 내부 심의 (MRCD): AI 가 답변을 내기 전에, **세 명의 가상 심사위원 (실용주의자, 규정 준수 담당자, 보안 전문가)**이 모여 "이 답변이 괜찮은가?"를 투표합니다. 한 명이라도 "아니오"라고 하면 답변을 다시 고칩니다.
   • 결과: 유출을 많이 줄이면서도 (23% 감소), AI 의 업무 능력은 거의 떨어지지 않았습니다. (가장 균형 잡힌 방법)

4. 결론: "도움이 되려면, 비밀도 지켜야 한다"

이 논문은 우리에게 중요한 메시지를 줍니다.

"AI 가 더 똑똑해지고 여러 도구를 다룰수록, 우리는 단순히 '비밀을 숨기는 것'만으로는 부족합니다. AI 가 '정보를 조합하는 사고 과정' 자체를 통제해야 합니다."

마치 현명한 비서를 고용할 때, 단순히 "비밀을 말하지 마"라고 말하는 것만으로는 부족하고, **"다른 부서 정보를 섞어서 추측하지 마"**라고 구체적인 규칙을 세워줘야 하는 것과 같습니다.

이 연구는 AI 시대의 새로운 보안 위협을 발견하고, AI 가 사용자를 돕는 동시에 사용자의 프라이버시도 지킬 수 있는 실질적인 해결책을 제시했다는 점에서 매우 중요합니다.

기술 요약

1. 문제 정의 (Problem Definition)

대형 언어 모델 (LLM) 기반의 자율 에이전트는 단일 에이전트가 여러 외부 도구를 조율하여 복잡한 작업을 수행하는 '단일 에이전트 - 다중 도구 (Single-agent, Multi-tool)' 아키텍처를 널리 채택하고 있습니다. 그러나 이러한 아키텍처는 기존에 간과되어 왔던 새로운 형태의 심각한 프라이버시 위험을 야기합니다.

• Tools Orchestration Privacy Risk (TOP-R): 에이전트가 사용자의 benign(선한) 목적을 달성하기 위해 여러 도구에서 개별적으로는 비민감한 (non-sensitive) 정보 조각들을 수집하고, 이를 교차 참조하여 예상치 못한 민감한 정보를 추론해내는 현상입니다.
• 핵심 특징:
  • 구성적 추론 (Compositional Inference): 단일 도구 호출만으로는 민감한 정보가 드러나지 않지만, 여러 도구의 결과를 조합하면 민감한 속성 (예: 구직 활동, 건강 상태, 재정 상황 등) 이 유출됩니다. 이는 정보 분석의 '모자이크 효과 (Mosaic Effect)'와 유사합니다.
  • 암시적 유출 (Implicit Leakage): 에이전트가 최종 응답에 민감한 내용을 명시적으로 포함하지 않더라도, 내부 추론 과정 (Reasoning Trace) 에서 민감한 결론을 도출하고 이를 시스템 로그나 컨텍스트 창에 남기는 경우입니다. 이는 출력 레벨의 보안 필터를 우회합니다.
  • 근본 원인: 에이전트의 '도움됨 (Helpfulness)'과 '안전성 (Safety)' 간의 긴장 관계로 인해, 에이전트가 더 완전한 답변을 제공하기 위해 자동으로 정보를 통합하는 과정에서 발생합니다.

2. 방법론 (Methodology)

가. TOP-Bench 구축 및 RISE 파이프라인

TOP-R 을 체계적으로 평가하기 위해 저자들은 TOP-Bench라는 최초의 벤치마크를 구축했습니다. 데이터 생성을 위해 Reverse Inference Seed Expansion (RISE) 파이프라인을 도입했습니다.

• RISE 프로세스:
  1. 시드 합성 (Seed Synthesis): GDPR, HIPAA 등 국제 규정과 산업 표준에서 민감한 결론 (Sensitive Conclusion) 을 추출하고, 이를 개별적으로는 추론 불가능한 무해한 정보 조각들로 분해합니다.
  2. 시드 확장 (Seed Expansion): 실제 API 정의 (ToolMind 데이터셋 기반) 에 매핑하고, 방해용 도구 (Noise Tools) 를 주입하여 현실적인 시나리오를 생성합니다.
  3. 사회적 맥락 증강 (Social Context Augmentation): 사회적 규범과 맥락적 무결성 (Contextual Integrity) 이론을 반영한 증강 데이터를 생성하여, 에이전트의 추론 능력과 프라이버시 인식 능력을 분리하여 진단합니다.
• 검증 기준: 모든 샘플은 다음 세 가지 조건을 만족해야 합니다.
  1. 결론의 민감성 (Conclusion Sensitivity): 유출된 정보가 보호 대상 범주에 속함.
  2. 단일 소스 비추론성 (Single-Source Non-Inferability): 단일 도구 결과만으로는 결론을 도출할 수 없음.
  3. 구성적 추론 가능성 (Compositional Inferability): 여러 도구 결과를 조합하면 결론이 도출됨.

나. 평가 지표: H-Score

작업 수행 능력 (Utility) 과 안전성 (Safety) 간의 트레이드오프를 정량화하기 위해 H-Score를 도입했습니다. 이는 작업 완료율 (Task Completion) 과 안전성 (1 - 전체 유출률, OLR) 의 조화평균 (Harmonic Mean) 으로, 한쪽이 희생되면 점수가 크게 하락하도록 설계되었습니다.

다. 실험 설정

6 개의 최첨단 LLM(Qwen3, DeepSeek-V3.2, Gemini-3, GLM-4.7, GPT-5.2 등) 을 대상으로 3 단계 평가 프로토콜을 수행했습니다.

1. R1 (도구 선택): 도구 호출 계획 수립.
2. R2 (응답 생성): 명시적 유출 (Explicit Leakage) 확인.
3. R3 (암시적 탐지): 민감한 속성이 내부적으로 추론되었는지 확인 (Probing).

3. 주요 기여 (Key Contributions)

1. TOP-R 의 공식화: 다중 도구 에이전트 시스템에서 구성적 프라이버시 유출이 발생하는 세 가지 필수 조건을 수학적으로 정의하고, 이를 'Tools Orchestration Privacy Risk'로 명명했습니다.
2. TOP-Bench 및 RISE 파이프라인: 300 개의 검증된 샘플로 구성된 최초의 벤치마크를 제공하며, 모든 샘플이 엄격한 논리적 조건을 만족하도록 보장하는 자동화된 데이터 생성 프로세스를 제시했습니다.
3. 근본 원인 진단: 실험을 통해 유출의 세 가지 근본 원인을 규명했습니다.
   • 자발적 프라이버시 인식 부족 (Deficient Spontaneous Privacy Awareness): 모델은 유출을 막을 추론 능력을 갖췄지만, 이를 자발적으로 활성화하지 못함.
   • 추론 과잉 (Reasoning Overshoot): 추론 능력이 강할수록 (Chain-of-Thought 등) 오히려 유출이 심화됨.
   • 추론 관성 (Inference Inertia): 일단 추론 경로가 형성되면 수정이 어렵고, 사회적 맥락 신호에도 둔감함.
4. 구체적인 완화 전략 제안: 출력, 추론, 검토 단계에 적용하는 세 가지 전략을 제안하고 그 효과를 정량화했습니다.

4. 실험 결과 (Results)

• 광범위한 유출: 6 개 모델의 평균 전체 유출률 (OLR) 은 **62.11%**에 달했으며, H-Score 는 52.90에 불과했습니다. 가장 안전한 모델 (GPT-5.2) 도 35.33% 의 유출률을 보였습니다.
• 암시적 유출의 우세: 명시적 유출 (30.95%) 보다 **암시적 유출 (49.33%)**이 훨씬 더 빈번하게 발생했습니다. 이는 에이전트가 내부적으로 민감한 정보를 추론하지만 최종 답변에는 포함하지 않는 경우로, 기존 출력 필터링으로는 탐지되지 않습니다.
• 유용성과 안전성의 분리: 작업 완료율은 96% 이상으로 높았으나 유출률은 매우 높았습니다. 이는 유출이 모델의 오작동이 아니라, 정보 통합 능력의 부산물임을 시사합니다.
• 완화 전략의 효과:
  • CIE (Contextual Integrity Enforcement): 사회적 맥락 규범을 적용했으나 암시적 유출 감소에 한계가 있었습니다.
  • DCPE (Dual-Constraint Privacy Enhancement): 데이터 최소화 및 '모자이크 프로토콜' (교차 소스 상관관계 금지) 을 강제하여 H-Score 를 79.20으로 크게 향상시켰으나, 작업 완료율이 12.55% 감소했습니다.
  • MRCD (Multi-Role Consensus Defense): 실용성, 규정 준수, 보안 전문가 역할을 시뮬레이션하여 합의 도출. H-Score 74.12를 달성하면서 작업 완료율 손실을 **2.00%**로 최소화했습니다.

5. 의의 및 결론 (Significance)

이 연구는 LLM 기반 에이전트의 프라이버시 위험이 단순한 데이터 누출을 넘어, 자율적인 추론 과정에서의 정보 재구성에서 발생함을 최초로 체계적으로 증명했습니다.

• 이론적 기여: 기존 연구가 주로 훈련 데이터 기억 (Memorization) 이나 암호화 방어에 집중했던 것과 달리, 추론 시간 (Inference-time) 의 구성적 유출 위험을 새로운 위협 모델로 정립했습니다.
• 실무적 기여: 현재 에이전트 시스템이 직면한 '도움됨 vs 안전성' 딜레마를 해결하기 위한 구체적인 완화 전략 (DCPE, MRCD) 을 제시했습니다. 특히 MRCD 는 실용성과 안전성을 동시에 확보할 수 있는 균형 잡힌 솔루션으로, 실제 배포 환경에 적용 가능한 가이드를 제공합니다.
• 향후 방향: 다중 에이전트 환경으로의 확장, 훈련 단계에서의 프라이버시 제약 통합, 실시간 구성적 추론 탐지 기술 개발 등을 향후 과제로 제시했습니다.

결론적으로, 이 논문은 에이전트 기술의 발전과 함께 필수적으로 고려해야 할 새로운 차원의 프라이버시 보안을 제시하며, 안전한 자율 에이전트 구축을 위한 중요한 이정표가 됩니다.