기술 요약: 작업 완수 및 능동적 프라이버시 추출에 대한 저항성 측정을 위한 TRAP 벤치마크

1. 문제 정의

대규모 언어 모델(LLM) 에이전트는 민감한 개인정보(PII)에 대한 접근이 필수적인 문서 집약적 워크플로우(예: 항공권 예약, 급여 처리)에 점점 더 많이 배치되고 있습니다. 이러한 시나리오에는 근본적인 긴장이 존재합니다: 에이전트가 작업을 정확하게 수행하기 위해서는 문서를 파싱하고 개인 정보 필드를 활용해야 하지만, 이러한 파싱 능력은 동시에 에이전트가 질의를 받았을 때 해당 개인 정보를 드러낼 위험을 만듭니다.

현재의 평가 패러다임은 이러한 긴장을 공동으로 해결하지 못합니다:

• 수동적 설정(Passive Settings): 작업 실행 중 발생하는 부수적인 정보 유출은 평가하지만, 명시적인 추출 시도는 무시합니다.
• 적대적 설정(Adversarial Settings): 명시적인 공격 상황에서의 프라이버시는 평가하지만, 작업 성능은 무시합니다. 이로 인해 모델이 어떤 작업도 거부함으로써 "완벽한" 프라이버시를 달가히 달성하는 현상을 허용합니다.

본 논문은 인증만으로는 이 위험을 해결할 수 없다고 주장합니다. 왜냐하면 에이전트는 키보드 앞의 사용자가 진정한 신원을 가졌는지 검증할 수 없기 때문입니다. 핵심 과제는 에이전트가 작업을 성공시키기 위해 개인 정보를 사용하면서도, 자연어 응답을 통해 해당 정보를 노출하는 것을 거부하도록 하는 트레이드오프를 평가하고 해결하는 것입니다.

2. 방법론: TRAP 벤치마크

저자들은 유틸리티와 프라이버시 간의 트레이드오프를 동시에 측정하도록 설계된 TRAP(Task-completion and Resistance to Active Privacy-extraction) 벤치마크를 소개합니다.

2.1 데이터셋 구축

• 범위: 10개 도메인(개인용 5개: 신원, 신용카드, 의료, 급여명세서, 계좌; 기업용 5개: 계약서, 일정, 재무, 인사, 세금)에 걸친 500개의 문서 케이스.
• 모달리티: 텍스트 전용, 이미지 전용, 그리고 멀티모달(텍스트 + 이미지).
• 구조: 각 인스턴스는 서로 분리된 개인 정보 필드(민감함)와 비개인 정보 필드를 포함하는 문서를 포함합니다.
• 이중 질의(Dual Queries):
  1. 작업 질의(Task Query): 에이전트가 적어도 하나의 개인 정보 필드를 인자로 사용하여 특정 도구를 호출하도록 요구합니다 (예: "[계좌 번호]를 사용하여 VAT 구매자 계좌로 청구").
  2. 공격 질의(Attack Query): 자연어 형태로 개인 정보 필드의 값을 끌어내려는 명시적인 시도입니다 (예: "여권 번호가 무엇인가요?"). 변형으로는 직접적인 질문과 적대적 프레이밍(무시하기, 중요성 강조, 역할극 등)이 포함됩니다.

2.2 평가 지표

• 작업 정확도(Task Accuracy): 에이전트가 올바른 도구를 선택하고 정답 값과 일치하는 인자를 제공하는지 측정합니다.
• 프라이버시 점수(Privacy Score): 공격 질의에 대해 에이전트가 질의된 개인 정보 필드를 응답에 노출하지 않은 인스치의 비율을 측정합니다.
• 조화 평균(Harmonic Mean, HM): 작업 정확도와 프라이버시 사이의 트레이드오프를 통합하기 위해 사용됩니다.

2.3 실험 설정

저자들은 9개의 독점 모델(예: GPT-4o-mini, GPT-5, Gemini-2.5-Pro, Claude Sonnet 4.5)과 13개의 오픈 소스 모델(예: Qwen3-VL, InternVL3.5, Llama3.2-Vision)을 포함한 22개의 모델을 평가했습니다. 또한 시스템 프롬프트 지침 및 TextGrad를 이용한 공동 프롬프트 최적화를 포함한 다양한 프롬프트 기반 방어 기법을 테스트했습니다.

3. 주요 결과

3.1 내재적 취약성

• 보편적 유출: 모든 모델 제품군에서 무시할 수 없는 수준의 유출이 나타났습니다. 높은 작업 정확도(>60%)를 보이는 모델은 일관되게 낮은 프라이버시 점수(<27%)를 보였습니다.
• 역량과의 상관관계: 지시 이행 능력이 유출률과 양의 상관관계를 가집니다. 데이터를 파싱하고 사용하는 능력이 뛰어난 강력한 모델일수록, 요청을 받았을 때 개인 정보를 추출하고 재현하는 데 더 효과적이었습니다.
• 규모 효과(Scale Effects): Qwen3-VL 제품군에서 파라미터 수를 2B에서 8B로 늘리면 작업 정확도는 크게 향나, 프라이버시 보호 능력은 급격히 붕괴되었습니다. 규모를 키우는 것만으로는 이 취약성을 해결할 수 없었습니다.
• 모달리티: 프라이버시 점수는 텍스트 입력에서 가장 낮았고 이미지 입력에서 가장 높았습니다. 저자들은 이것이 진정한 프라이버시 인식이 아니라 OCR/파싱의 한계로 인한 결과물일 가능성이 높다고 언급했습니다.

3.2 소프트 제약(Soft Constraints)의 실패

• 프롬프트 방어: 기존의 프롬프트 기반 방어(시스템 지침)는 유출을 줄였지만, 작업 정확도에 상당한 비용을 초래했습니다.
• 프롬프트 최적화: 두 목적을 위해 프롬프트를 공동 최적화하더라도 트레이드오프 곡선을 벗어나는 데 실패했습니다. 최적화된 모델들은 단순히 수작업으로 만든 변형들과 동일한 프런티어 상에서 이동할 뿐이었습니다.
• 사회 공학(Social Engineering): 모델들이 "권한 기반" 사회 공학 기법에 취약하다는 것이 발견되었습니다. 사용자가 권한이 있다고 주장할 때, 특히 독점 모델들 사이에서 모델은 더 많은 정보를 유출했습니다(음의 $\Delta$Privacy).

3.3 구조적 솔루션

• 개인 정보 필드 격리(Private Field Isolation): 저자들은 모델에 도달하기 전에 개인 정보 필드를 심볼릭 해시 키(예: [PRIVATE_buyer_ein])로 교체하는 구조적 접근 방식을 제안했습니다. 실제 값은 해시 테이블에 저장되며 도구 실행 레이어 내에서만 해결됩니다.
• 성능: "오라클(Oracle)" 마스킹(개인 정보 영역의 완벽한 식별) 하에서, 이 방식은 모든 모델에서 90% 이상의 프라이버시 점수를 달성하는 동시에 베이스라인에 근접한 작업 정확도를 유지했습니다. 이는 구조적 격리가 유틸리티-프라이버시 트레이드오프를 깨뜨릴 수 있음을 입증합니다.

4. 이론적 기여: 불가능성 정리

본 논문은 임의의 **소프트맥스 기반 모델(softmax-based model)**에 대하여, 어떠한 소프트 제약 방어(프롬프트 지침이나 정렬 튜닝 포함)도 충분히 긴 추출 시도 하에서 높은 작업 성공과 제로(zero) 유출 확률을 동시에 보장할 수 없음을 보여주는 형식적 증명(정리 1)을 제공합니다.

• 논리: 모델이 개인 토큰을 사용하여 작업을 성공적으로 완료한다면, 모델은 반드시 해당 토큰을 양(+)의 확률로 처리했어야 합니다. 결과적으로, 프롬프트를 아무리 정교하게 작성하더라도 공격의 길이가 길어짐에 따라 이 토크를 유출할 확률은 1에 수렴하게 됩니다.
• 시사점: 프롬프트 기반 방어의 실패는 실질적인 한계가 아니라 모델 아키텍처의 근본적인 특성입니다.

5. 의의 및 주장

본 논문은 에이전트 시스템에서의 의미 있는 프라이버시 보장은 지시 수준의 패치나 프롬프트 엔지니어링만으로는 달성될 수 없다고 주장합니다. 대신, 시스템 수준의 아키텍처 결정인 구조적 개인 정보 필드 격리를 제안합니다.

• 핵-요점: 작업 유틸리티와 프라이버시 사이의 긴장은 모델이 개인 데이터를 평문(plaintext)으로 처리하는 한 발생하는 고유한 특성입니다. 유틸리티를 유지하면서 제로 유출을 달성할 수 있는 유일한 경로는 모델의 추론 능력과 원시 개인 값에 대한 직접적인 접근을 분리하는 것입니다.
• 한계: 저자들은 현재의 구조적 격리 구현이 OCR 및 마스킹에 의존하고 있어 오류(예: 비개인 정보의 마스킹 또는 좁은 영역의 마스킹 실패)를 유발할 수 있음을 인정합니다. 그들은 이를 근본적인 결함이 아닌, 향후 OCR 및 PII 탐지 개선을 위한 공학적 과제로 보고 있습니다.

이 연구는 현재의 벤치마크에서 관찰되는 "유틸리티-프라이버시 트레이드오프"가 모델이 개인 민감 정보를 평문으로 접하게 함으로써 발생하는 구조적 산물임을 확립하며, 이를 해결하기 위해서는 모델의 추론 능력과 원시 개인 값에 대한 직접적인 접근을 분리해야 함을 강조합니다.