기술 요약: ToolMinimize – LLM 에이전트의 도구 호출 시 개인정보 노출 최소화를 위한 감사 및 재작성

1. 문제 정의

대규모 언어 모델(LLM) 에이전트는 호출된 도구의 기능적 요구사항을 초과하는 개인정보 민감 데이터(PSD)를 도구 호출 인자(argument)에 포함하는 경우가 빈번합니다. '도구 호출 과잉 공유(tool call over-sharing)'라고 불리는 이 현상은, 에이전트가 데이터 최소화보다는 작업 완료와 유용성에 최적화되어 있기 때문에 발생합니다. 결과적으로 에이전트는 매 호출마다 불필요한 데이터를 제3자 서비스로 전송하며 신뢰 경계를 넘나듭니다.

본 논문은 기존의 방어 기제들이 불충분함을 지적합니다:

• 허용/차단 게이팅(Allow/Block Gating): AudAgent나 PrivacyChecker와 같은 시스템은 호출 레벨에서 작동하거나 이진 허용/차단 결정을 내립니다. 이들은 인자 값을 재작성할 수 없습니다. 따라서 민감한 데이터(예: 날씨 쿼리에 포함된 암 센터 이름)가 포함된 도구 호출은 작업 유용성을 잃고 차단되거나, 혹은 데이터를 유출한 채로 허용되는 상황에 직면합니다.
• 정보 흐름 제어(Information Flow Control, IFC): Fides나 CaMeL 같은 시스템은 기밀성 라벨을 추적하지만, 개별 필드의 단계적 재작성을 수행하지는 못합니다.
• PII 탐지: Presidio와 같은 도구는 패턴 매칭과 개체명 인식(NER)에 의존합니다. 이들은 암시적 PSD(예: "Memorial Sloan Kettering"이 특정 질병 상태를 암시하지만 표준 PII 패턴은 아닌 경우)를 탐지하지 못하며, 스키마를 인식하지 못해 어떤 데이터 필드가 필요하고 불필요한지를 구분하지 못합니다.

세 가지 프로덕션 LLM(GPT-4o, Claude 3.5 Sonnet, Llama-3.3-70B)에 대한 실증적 측정 결과, 기본 프롬프트 하의 도구 호출 중 **81–88%**가 불필요한 PSD를 포함하고 있음이 밝혀졌습니다. 명시적인 개인정보 보호 지침이 있더라도 과잉 공유 현상은 **36–76%**의 호출에서 지속되었습니다.

2. 방법론: ToolMinimize

ToolMinimize는 에이전트의 인자 구성(V3)과 도구 실행(V4) 사이에서 도구 호출을 가로채는 미들웨어 솔루션입니다. 이 시스템은 LLM, 에이전트 프레임워크, 또는 도구 자체를 수정하지 않고 작동합니다. 시스템은 4단계 파이프라인을 사용합니다:

A. PSD 분류 체계 및 분류

시스템은 GDPR 제9조 분류에 근거한 10가지 PSD 카테고리(예: 직접 식별자, 건강, 금융, 위치, 암시적 맥락 등)를 활용한 분류 체계를 사용합니다.

• 2단계 분류기:
  1. 패턴 + 개체 추출: 결정론적 정규 표현식과 개체 추출을 사용하여 표준 PII 및 시설 이름을 식별합니다.
  2. 의미론적 분류기: 암시적 PSD를 탐지하고(예: 병원 이름을 통해 진단명을 추론), 인코딩된 문자열(예: Base64)을 처리합니다.
  • 참고: 시스템은 높은 재현율(recall)을 위해 지연 시간이 증가하더라도 선택적으로 spaCy NER 백엔드를 통합할 수 있습니다.

B. 개인정보 비용 지표 (Privacy Cost, PC)

모든 도구 호출에 대해 개인정보 노출 순위를 매기기 위해 정량적 지표인 **PC(t, args)**를 계산합니다.
$$PC(t, args) = \sum_{j=1}^{|P|} S(p_j) \cdot E(f) \cdot N(p_j, f)$$
여기서:

• $S(p_j)$: PSD 항목의 민감도 수준 (GDPR 티어에 기반한 1–4 단계).
• $E(f)$: 도구 호스트의 신뢰 관계에 따른 노출 계수 (예: DPA가 없는 제3자 서비스의 경우 1.0).
• $N(p_j, f)$: 필요성 플래그 (스키마에 minimum_necessary로 표시된 필드의 경우 0, 그렇지 않으면 1).

C. 스키마 인식 필요성 분석

시스템은 도구의 JSON 스키마를 분석하여 필드 처리를 결정합니다:

• 필수 vs 선택: PSD를 포함하는 선택적 필드는 제거 대상이 됩니다.
• 최소 필요(Minimum Necessary): 스키마에 minimum_necessary 주석이 포함된 경우(예: 날씨 도구는 "도시"는 필요로 하지만 "상세 주소"는 필요하지 않음), 시스템은 이보다 더 세밀한 데이터를 식별합니다.
• 의미론적 필요성: 필수 필드의 경우, 도구 유형별 핸들러를 적용합니다 (예: 캘린더 제목을 일반화하거나 검색 쿼리에서 식별자를 제거).

D. 단계적 재작성 (Graduated Rewriting)

ToolMinimize는 호출을 차단하는 대신, 작업 타당성을 유지하면서 데이터를 최소화하기 위해 네 가지 연산을 적용합니다:

1. 제거 (Removal): 선택적이고 불필요한 필드를 삭제합니다.
2. 일반화 (Generalization): 값을 모호하게 만듭니다 (예: "1275 York Ave" $\to$ "New York, NY").
3. 치환 (Substitution): 값을 합성된 스키마 유효 데이터로 교체합니다 (예: user@example.com).
4. 절단 (Truncation): GPS 좌표를 반올림하거나 우편번호를 단축합니다.

선택적 **콘텐츠 필요성 레이어(Content-Necessity Layer)**는 LLM을 사용하여 "필수" 자유 텍스트 필드(예: 이메일 본문) 내의 특정 PSD가 작업에 필수적인지 평가하고, 작업과 무관한 공개 사항을 제거합니다.

3. 주요 기여

1. 실증적 증거: 프로덕션 LLM 전반에서 과잉 공유가 만연하며, 안전 학습이나 개인정보 보호 프롬프트만으로는 이를 방지하기에 불충분하다는 것을 입증하는 통제된 연구를 제시했습니다.
2. ToolMinimize 시스템: 이진 게이팅 방식이 아닌, 단계적 재작성을 통해 스키마 인식형, 인자 레벨의 데이터 최소화를 수행하는 최초의 시스템입니다.
3. 정량적 지표: 가중치 변화에 따른 순위 안정성이 검증된, 민감도, 신뢰도, 필요성을 결합한 개인정보 비용 지표($PC$)를 제안했습니다.
4. AgentPrivBench: 에이전트의 개인정보 보호를 평가하기 위해 정답(ground-truth) PSD 주석과 표준화된 개인정보 지표를 갖춘 오픈 소스 벤치마크를 제공합니다.
5. 포괄적 평가: 세 가지 에이전트 프레임워크(AutoGen, MCP, LangChain), 네 가지 LLM 프로필, 그리고 실제 MCP 스키마를 대상으로 한 검증을 수행했습니다.

4. 결과

평가는 GPT-4o, Claude Sonnet, Llama-3.3-70B에 대해 307개의 라이브 도구 호출을 대상으로 진행되었으며, 90개의 큐레이션된 시나리오와 25개의 주석 없는 실제 MCP 스키마에서도 수행되었습니다.

• 개인정보 감소:

  • 스키마 전용 ToolMinimize: 라이브 LLM 출력에서 **81.2–92.0%**의 개인정보 비용 감소를 달성하면서도 **100% 인자 레벨 작업 타당성(TCR)**을 유지했습니다.
  • 콘텐츠 인식 확장 적용 시: 자유 텍스트 필드에서 작업과 무관한 PSD를 제거함으로써 감소율이 **85.1–95.6%**로 증가했습니다.
  • 주석 없는 스키마: minimum_necessary 메타데이터가 없는 25개의 실제 MCP 스키마에서 **79.0%**의 감소를 달이트했습니다.
  • 비교: ToolMinimize는 PII 탐지 도구 대비 잔여 개인정보 비용을 7.3배 줄였으며, 게이팅 기반 베이스라인보다 훨씬 높은 데이터 최소화 점수(DMS)를 달성했습니다.

• 작업 타당성:

  • ToolMinimize는 주요 평가에서 100% TCR(스키마 유효성)을 유지했습니다.
  • 모의 엔드포인트에 대한 종단 간 실행 테스트에서, **80%**의 시나리오가 기능적으로 동등한 결과를 생성했습니다. 실패는 주로 필수 주소가 minimum_necessary 주석 누락으로 인해 제거된 지도 관련 시나리오에서 발생했습니다.

• 성능:

  • 지연 시간: 스키마 전용 경로의 중앙값 지연 시간은 1.77 ms입니다.
  • 콘텐츠 인식 경로: 약 800 ms의 추가 지연(LLM 추론 1회)이 발생하지만, 이는 자유 텍스트 필드에 선택적으로 적용됩니다.
  • 프레임워크 통합: AutoGen, MCP, LangChain에서의 어댑터 오버헤드는 무시할 수 있는 수준(<0.1 ms)이었습니다.

5. 의의 및 주장

본 논문은 ToolMinimize가 기존 시스템이 가진 한계, 즉 도구 인자를 최소 필요 데이터로 재작성하지 못하는 문제를 해결한다고 주장합니다.

• 과잉 공유의 구조적 성격: 저자들은 과잉 공유가 단순히 안전 학습의 실패가 아니라, LLM의 "유용성(helpfulness)" 목표에서 비롯된 구조적 결과라고 주장합니다. 따라서 미들웨어 개입이 필수적입니다.
• 상호 보완성: ToolMinimize는 기존의 IFC 및 게이팅 시스템과 상호 보완적으로 설계되었습니다. 게이팅 시스템이 데이터 흐름을 차단한다면, ToolMinimize는 허용된 흐름 내의 데이터를 최소화합니다.
• 실용성: 이 시스템은 낮은 지연 시간을 가지며, LLM을 재학습시키거나 도구 제공자를 수정할 필요가 없어 배포 가능한 미들웨어 솔루션입니다.
• 한계: 저자들은 시스템이 분류기의 재현율(missed items는 재작성되지 않음)에 의존한다는 점과, 최적의 성능을 위해 minimum_necessary 주석이 중요하다는 점을 인정합니다. 적대적 인코딩(예: 필드 분할) 및 멀티모달 PSD는 향후 과제로 남아 있습니다.

요약하자면, ToolMinimize는 인자 레벨의 재작성이 LLM 에이전트의 개인정보 노출을 줄이기 위한 실행 가능하고 효과적인 전략임을 입증하며, 작업 유용성을 희생하지 않으면서도 높은 개인정보 비용 감소를 달성했습니다.