기술 요약: PromptPET

문제 정의

AI 에이전트(예: ChatGPT, Gemini)의 급격한 도입으로 인해 사용자 상호작용이 검색창에서 개방형 자연어로 변화하였으며, 이는 풍부하고 민감한 개인 정보의 공개를 부추기고 있습니다. 이러한 변화는 개인화를 통해 유용성을 높이지만, 심각한 프라이버시 위험을 초래합니다. 기존의 PII(개인 식별 정보) 기반 추적과 달리, AI 에이전트는 비-PII 문맥으로부터 미세한 사용자 속성(관심사, 건강 상태, 재정 상황 등)을 추론하여 상세한 프로필을 구축할 수 있습니다. 이러한 프로필은 광고나 제3자 공유 목적으로 사용되곤 합니다.

현재의 프라이버시 솔루션은 두 가지 주요 한계점에 직면해 있습니다:

1. PII 삭제(Redaction): 명명된 엔티티를 제거하는 것만으로는 민감한 주제(예: "Mountain View"를 제거하더라도 "상담사를 찾고 있음"이라는 문구는 정신 건강 상태를 여전히 드러냄)를 보호하는 데 실패할 수 있습니다.
2. 유용성-프라이버시 트레이드오프(Utility-Privacy Tradeoff): 공격적인 난독화(예: 모든 민감한 세부 정보를 제거)는 AI 응답의 품질을 저하시키는 반면, 유용성을 보존하면 사용자가 프로파일링에 취약해지는 상태로 남게 됩니다.

기존 방식들은 고정된 수동 규칙에 의존하거나, 체계적인 최적화 없이 결정권을 전적으로 LLM에 위임함으로써, 프롬프트 내 서로 다른 민감한 단위들의 다양한 중요도를 고려하지 못하는 한계를 보입니다.

방법론: PromptPET

PromptPET은 제공자의 협조 없이도 사용자의 프롬프트 내 민감한 정보를 난독화하도록 설계된 사용자 측 프레임워크입니다. 이 프레임워크는 로컬 LLM을 사용하여 완전히 클라이언트 측에서 작동합니다. 프레임워크는 세 가지 주요 단계로 구성됩니다.

1. 민감 정보 탐지 및 점수 산정

• 분류 기반 탐지: PromptPET은 민감한 단위를 식별하기 위해 민감한 분류 체계(특히 IAB Audience Taxonomy)를 활용합니다. 이러한 단위들은 특정 카테고리(예: 건강) 및 데이터 유형(예: 우울증)에 매핑됩니다.
• 중요도 점수 산정: 모든 민감한 단위가 응답의 유용성에 동일하게 기여하는 것은 아닙니다. PromptPET은 지시어 튜닝된(instruction-tuned) LLM을 사용하여 각 탐지된 단위에 중요도 점수($[0, 1]$)를 할당합니다. 이 점수는 원하는 응답을 생성하는 데 대한 해당 단위의 기여도를 추정하며, "취약한" 고기여 단위와 공격적으로 난독화할 수 있는 단위를 구분합니다.

2. 난독화 조치

PromptPET은 단위의 중요도와 문맥에 따라 네 가지 별도의 난독화 전략을 적용합니다:

• 삭제(Redaction): 단위를 제거하고 자리 표시자(예: [REDACTED])로 대체합니다. 이는 프라이버시를 극대화하지만 유용성을 파괴하는 경우가 많습니다.
• 추상화(Abstraction): 단위를 분류 체계 내의 상위 수준 카테고리로 일반화합니다(예: "우울증"을 "건강"으로 교체). 이는 중간 지점을 제공합니다.
• 교체(Replacement): 단위를 동일한 카테고리 내의 다른 데이터 유형에서 가져온 그럴듯한 대안으로 대체합니다(예: "Mountain View"를 "Palo Alto"로 교체).
• 노이즈(Noise, 신규): 원래의 민감한 단위를 그대로 유지하되, 다른 데이터 유형 아래에 그럴듯하고 문맥적으로 관련 있는 "미끼(decoy)" 정보를 주입합니다. AI 에이전트는 실제 쿼리와 미끼 쿼리 모두에 답하도록 지시받습니다. 클라이언트 측 시스템은 이후 응답에서 미끼 부분을 필터링합니다. 이는 고중요도 단위에 대한 유용성을 보존하면서 프로파일러가 실제 신호를 분리해내는 능력을 방해합니다.

3. 강화 학습을 통한 규칙 최적화

고정된 휴리스틱을 사용하는 대신, PromptPET은 OPRO(Optimization by PROmpting)에서 영감을 받은 **규칙 최적화 도구(Rule Optimizer)**를 도입합니다.

• 메커니즘: LLM 기반 에이전트(난독화 조치 결정자)가 일련의 결정 규칙에 따라 각 민감한 단위에 조치를 할당합니다. 두 번째 에이전트(규칙 최적화 도구)는 이 규칙 세트를 반복적으로 정제합니다.
• 피드백 루프: 최적화 도구는 검증 세트에서 보상 함수 $\alpha \cdot \text{Privacy} + (1-\alpha) \cdot \text{Utility} - \lambda \cdot |R|$ (여기서 $|R|$은 규칙 세트의 길이)를 사용하여 규칙 세트를 평가합니다. 강력한 규칙은 유지하고, 보통 수준의 규칙은 수정하며, 약한 규칙은 제거합니다.
• 결과: 시스템은 전역적으로 단일 전략을 적용하는 대신, 특정 단위에 대해 최적의 난독화 조치를 선택하는 동적 정책을 학습합니다.

주요 결과

저자들은 WildChat-1M 데이터셋(민감한 콘텐츠 필터링됨)을 대상으로 실제 운영 중인 AI 에이전트 서비스(GPT-4.1으로 시뮬레이션됨)에 대해 PromptPET을 평가했습니다.

단일 조치 분석

• 노이즈의 우월성: 단일 조치 전략 중, 노이즈(Noise) 방식이 가장 우수한 프라이버시-유용성 트레이드오프를 달성했습니다. 최대 강도에서 노이즈는 73.7%의 성공률(높은 프라이버시, 높은 유용성)을 기록하며, 삭제(39.4%) 및 추상화(51.2%)를 크게 앞질렀습니다. 노이즈는 미끼를 통해 프로파일러를 압도하면서도 원래의 신호를 유지함으로써 유용성을 보존했습니다.
• 문맥 의존성: 모든 쿼리에 최적 인 단일 조치는 존재하지 않았습니다. 삭제는 부수적인 민감 단위에 가장 적합했던 반면, 핵심 쿼리 구성 요소에는 노이즈가 필수적이었습니다.

PromptPET 성능

• SOTA 비교: PromptPET은 기존의 자동화된 베이스라인(Ngong et al. 및 Zhou et. al.)을 크게 능가했습니다.
  • 이전의 가장 강력한 베이스라인 대비 유용성 비용 단위당 3.3배 더 많은 프라이버시를 제공했습니다.
  • 높은 유용성을 유지하면서 1.4배 더 높은 전체 프라이버시(0.78 vs 0.55)를 달성했습니다.
• 프런티어 달성: 학습된 규칙 세트를 통해 PromptPET은 모든 운영 지점에서 최적의 단일 조치 전략의 상한선에 도달할 수 있었습니다(예: 낮은 프라이버시 요구 시에는 추상화를 사용하고, 높은 프라이버시 요구 시에는 노이즈를 사용하는 방식). 이는 서로 경쟁하기보다 "협력"하는 형태를 띱니다.
• 실패 모드: 시스템은 주로 두 가지 방식으로 실패했습니다:
  1. 프라이버시 누락(17.5%): 난독화에도 불구하고 잔류 문맥으로부터 프로파일러가 프로필을 복구함.
  2. 유용성 붕괴(7.6%): 주로 고중요도 단위에 삭제가 잘못 적용되었을 때 발생.
  • 두 축이 동시에 실패하는 경우는 드물었습니다(1.1%).

효율성

• 지연 시간(Latency): PromptPET은 쿼리당 중앙값 11.6초의 클라이언트 측 지연 시간을 추가합니다(12B 파라미터 모델을 사용한 탐지 단계가 지배적임). 이는 총 엔드 투 엔드 시간이 약 17.1초가 됨을 의미합니다. 저자들은 이것이 프라이버시-유용성 트레이드오프에 비해 부차적인 문제이며, 더 작고 특화된 탐지기를 통해 줄일 수 있다고 언급했습니다.

의의 및 주장

본 논문은 PromptFET이 프롬프트 난독화를 위한 원칙적이고 통합적인 프레임워크임을 주장합니다. 주요 기여는 다음과 같습니다:

1. 사용자 측 제어: 데이터 공개 시점(클라이언트 측)에서 데이터를 제어하는 것이 제공자의 신뢰에 의존하지 않는 실행 가능하고 강력한 프라이バシー 강화 기술(PET)임을 입증했습니다.
2. 새로운 노이즈 메커니즘: 노이즈/디노이즈(Noise/Denoise) 체계의 도입은 전통적인 제거 기반 방식보다 뛰어난, 유용성을 보존하면서 프로파일링을 방해하는 새로운 방법을 제시합니다.
3. 체계적 최적화: 정적 규칙에서 벗어나 강화 학습에서 영감을 얻은 규칙 최적화 도구를 사용함으로써, PromptFET은 다양한 쿼리의 뉘앙스에 동적으로 적응하여 정적 방법으로는 도달할 수 없는 프라이버시-유용성 프런티어를 달성합니다.
4. 포괄적 평가: 삭제, 추상화, 교체, 노이즈를 체계적으로 비교한 첫 번째 연구로서, 최적의 전략은 고정된 것이 아니라 문맥에 따라 달라지며 학습되어야 함을 입증했습니다.

저자들은 결론적으로 PromptFET이 사용자가 상호작용의 유용성을 희생하지 않으면서도 자신의 프라이버시에 대한 통제권을 유지하며 AI 에이전트와 상호작용할 수 있는 실질적인 경로을 제공한다고 밝히고 있습니다.