Residual Privacy Leakage after Output Scrubbing in Tool-Using LLM Agents under Indirect Prompt Injection

기술 요약: 간접 프롬프트 주입 상황에서 도구 사용 LLM 에이전트의 출력 스크러빙(Scrubbing) 후 잔류하는 프라이버시 유출

문제 정의
도구를 사용하는 대규모 언어 모델(LLM) 에이전트는 공격자가 에이전트를 조작하기 위해 검색된 콘텐츠에 지침을 삽입하는 간접 프롬프트 주 injection(indirect prompt injection)에 취약하다. 특정 프라이버시 위험은 에이전트가 권한이 있는 민감한 데이터(예: 사용자의 개인 기록)를 검색하고, 주입된 지침의 영향 하에 이 정보를 최종 출력에 노출할 때 발생한다. 방어 기제는 흔히 구조적 제어(예: 출처 추적)나 의미론적 인식에 의존하지만, 본 논문은 **사후 생성 출력 스크러빙(post-generation output scrubbing)**의 효용성을 조사한다. 핵심 질문은 모델이 이미 보호된 데이터를 관찰한 후에 출력을 필터링하는 것이 프라이버시 유출을 확실히 방지할 수 있는지, 아니면 모델의 생성 과정이 표준 필터를 회피하는 새롭고 식별 불가능한 형태의 보호된 정보를 만들어내는지 여부이다.

연구 방법론
본 연구는 파이프라인의 서로 다른 지점에 프라이버시 제어가 배치된 단일 에이전트 하네스(harness)를 활용한다:

1. 사전 컨텍스트 제거 (오라클): 에이전트가 데이터를 처리하기 전에 검색된 아티팩트에서 금지된 값을 제거하는 제어 방식이다. 이는 예방을 위한 참조 기준 역할을 한다.
2. 사후 생성 필터링: 에이전트가 생성한 출력에 적용되는 제어 방식이다. 연구에서는 세 가지 구체적인 실험군을 평가한다:
   • 오라클 스팬 필터 (Oracle Span Filter): 실제 보호된 값의 모든 정확한 발생 사례와 연속된 3개 이상의 토큰 구간(대소문자/구두점 정규화 포함)을 제거하는 특권 필터이다.
   • 모델 기반 의미론적 리댁터 (Model-Based Semantic Redactor): 메시지를 재작성하여 개인정보/기밀 정보를 제거하는 사후 생성 모델 패스(pass)이다.
   • 인-프롬프트 레이블 (In-Prompt Label): 특정 필드를 공개하지 말라는 권위 있는 지침을 모델에게 전달한다 (텍스트 제거 없음).

실험 설계 및 평가

• 모집단: 연구는 방어되지 않은 실행에서 이미 금지된 필드가 유출되었던 두 가지 궤적(trajectory) 모집단을 분석한다.
  • Cell A: 49개 궤적 (앵커 모델, 추천 작업).
  • Cell B: 66개 궤적 (오픈 웨이트 모델, 혼합된 작업/주입 스타일).
• 스코어링 메커니즘: 리댁션(redacted)된 텍스트를 평가하는 어려움을 해결하기 위해, 저자는 반드시 정확한 서브스트링(substring)을 증거로 인용해야 하는 "판사(Judge)"(LLM)를 고용한다.
• 증거 문자열 트리아지 (Evidence-String Triage): 스크러빙이 구조적 잔해(예: 빈 레이블, 구두점 흔적)를 남겨 판사가 이를 유출로 오해할 수 있으므로, 이를 구분하기 위한 중요한 방법론적 기여로서 트리아지 과정을 수행한다. 판사가 인용한 증거를 기계적으로 감사하여 플래그를 다음과 같이 분류한다:
  • 진정한 재표현 (Genuine Re-expression): 보호된 값이 어휘적 중복이 거의 없이 의미적으로 전달됨.
  • 스크럽 미스 (Scrub-Miss): 리터럴(literal) 값이 그대로 남아 있음.
  • 아티팩트 (Artifact): 삭제로 인한 구조적 잔해.
  • 혼동 (Conflation): 판사가 실제 값이 아닌 대리 값을 인용함.
• 인간 검증: 두 명의 인간 주석가가 증거 문자열의 일부를 독립적으로 레이블링하여 기계적 트리아지의 유효성을 검증했다.

주요 결과

1. 사후 생성 스크러빙의 무효성: 모든 정확한 일치 항목과 연속된 3개 이상의 토큰 구간을 제거하는 오라클 필터를 사용했음에도 불구하고, Cell A에서 61.2% (30/49), Cell B에서 62.1% (41/66)의 잔류 유출이 발생했다.
2. 유출의 성격: 생존한 유출물은 주로 의미론적 재표현(paraphrases)이었으며, 원래 값과의 어휘적 중복이 매우 적었다(종종 3토큰 미만). 이는 정확한 값이나 유한한 스팬(finite-span) 스크러빙으로는 포착할 수 없는 형태이다.
3. 인간 재분류: 인간의 판정 결과, 이러한 발견이 유효함을 확인했다. 인간 판정에서도 잔류 유출률은 각각 **57.1%**와 **56.1%**로 나타났으며, 이는 유출이 단순한 아티팩트가 아니라 실제적인 유출임을 입증한다.
4. 모델 기반 리댁터의 한계: 모델 기반 의미론적 리댁터는 문언적(verbatim) 유출은 줄였으나, 작업에 필요한 필드까지 모두 제거하지 못하여 78%포인트의 과잉 리댁션 비용을 초래했으며, 이는 유용성 보존 측면에서 비실용적이다.
5. 인-프롬프트 레이블: 데이터를 제거하지 않고 비공개 지침만 추가했을 때는 효과가 전혀 없었으며 (잔류 유출 100%), 데이터를 사전 컨텍스트에서 제거했을 때는 유출이 0%로 감소했다.
6. 사전 컨텍스트의 성공: 오라클 사전 컨텍스트 제거 팔(arm)은 금지된 필드 유출을 0/30으로 구현했다. 이는 예방이 효과적임을 보여주지만, 이는 오라클 경계값(oracle bound)이지 배포 가능한 탐지 추정치는 아니다.

핵심 기여

• 배치 계정 (Placement Account): 본 논문은 프라이버시 강화를 위한 "인식 문제"가 배치에 따라 달라짐을 확립한다. 사전 컨텍스트 인식기는 검색된 콘텐츠 내의 표현($E_{in}$)을 커버해야 하는 반면, 사후 생성 인식기는 모델이 스스로 구성한 표현($E_{out}$)을 커버해야 한다. 모델의 노출은 표현 공간을 확장하며, 이는 미리 열거할 수 없는 형태를 도입한다.
• 특권 베이스라인 (Privileged Baseline): 실제 값을 알고 있는 오라클 필터를 사용하여, 완벽한 어휘적/연속 스팬 스크러빙조차 의미론적 재표현에 대해서는 불충분함을 증명했다.
• 감사 가능한 평가 (Auditable Evaluation): "증거 문자열 트리아지"의 도입은 스크러빙 과정 자체에서 발생하는 구조적 아티팩트와 실제 의미론적 유출을 분리하는 견고한 평가 방법을 제공한다.

의의 및 주장
본 논문은 모델이 보호된 데이터에 노출된 이후에는 정확한 값 및 유한 스팬 스크러빙이 일차적인 프라이버시 방어책으로서 불충분하다고 결론짓는다. 연구 결과는 모든 사후 생성 의미론적 강제가 불가능하다고 주장하는 것이 아니라, 잔류 유출이 상당하고 지속적임을 보여주는 것이다.

저자는 도구 사용 에이전트의 효과적인 프라이버시를 위해 다음을 요구한다:

1. 최소화 (Minimization): 모델 컨텍스트에 들어오기 전 불필요한 개인 데이터를 줄이는 것.
2. 커버리지 검증 (Coverage Validation): 모든 인그레스(ingress) 경로가 제어 대상에 포함되도록 보장하는 것.
3. 심층 방어 (Defense in Depth): 출력 필터링을 핵심적인 해결책이 아닌 보완적인 계층으로 취급하는 것.

본 연구는 근본적인 비대칭성을 강조한다: 구조적 무결성 정책은 출처(provenance)에 의존할 수 있지만, 맥락적 프라이버시 정책은 의미론적 인식을 필요로 하며, 이는 모델이 정보를 처리하고 재표현한 이후에는 훨씬 더 어려워진다는 점이다.