Protecting User Prompts Via Character-Level Differential Privacy

1. 문제 정의 (Problem Definition)

• 배경: 대규모 언어 모델 (LLM) 이 개인 및 업무용 도구로 널리 사용되면서, 사용자가 입력하는 프롬프트 (Prompt) 에 민감한 정보 (개인식별정보, PII, 기업 기밀 등) 가 포함될 위험이 커지고 있습니다.
• 위협: 대부분의 LLM 은 제 3 자에 의해 호스팅되므로, 민감한 정보가 포함된 프롬프트를 전송하는 것은 데이터 유출 및 제 3 자의 접근 위험을 초래합니다.
• 기존 방법론의 한계:
  • NER(명명된 개체 인식) 및 규칙 기반 필터링: 민감한 정보를 정확히 식별해야 하므로 오탐지 (False Positive) 및 미탐지 (False Negative) 가 발생하기 쉽고, 문맥에 따라 민감도가 달라지는 문제를 해결하기 어렵습니다.
  • 암호화 기술 (동형암호 등): 계산 및 통신 오버헤드가 커서 실시간 LLM 사용에 비현실적입니다.
  • 단어 수준의 차분 프라이버시 (Word-level DP): 모든 단어를 교란하므로 텍스트의 유용성 (Utility) 이 크게 저하됩니다.

2. 제안된 방법론 (Methodology)

저자들은 **문자 수준의 지역 차분 프라이버시 (Character-level Local Differential Privacy, LDP)**를 기반으로 한 새로운 프롬프트 정제 (Sanitization) 기법을 제안합니다.

• 핵심 아이디어:
  • 민감한 단어는 희귀하고 (Rare), 일반적인 단어는 흔합니다 (Common).
  • LLM 은 문맥과 빈도수 정보를 바탕으로 흔한 단어의 오타나 교란을 쉽게 복원하지만, 희귀한 단어 (민감 정보) 는 복원하기 어렵다는 점을 이용합니다.
• 프로세스:
  1. 노이즈 주입 (Noise Injection): 사용자가 프롬프트를 전송하기 전, 로컬에서 각 단어의 **각 문자 (Character)**를 독립적으로 무작위로 교란합니다. 이를 위해 k-ary Randomized Response (k-RR) 메커니즘을 적용합니다.
     • 각 문자는 확률에 따라 원래 문자를 유지하거나, 94 개의 가시적 ASCII 문자 중 무작위 다른 문자로 대체됩니다.
     • 이 과정은 **지역 차분 프라이버시 (LDP)**를 만족하며, 민감한 정보를 식별할 필요 없이 전체 프롬프트에 균일하게 적용됩니다.
  2. 프롬프트 복원 및 작업 수행 (Prompt Restoration & Task Execution): 교란된 텍스트 ($T^*$) 를 원격 LLM 에 전송합니다.
     • LLM 은 교란된 텍스트를 문맥을 통해 가능한 한 원래 형태로 복원 (Spell-check 및 문맥 보정) 한 후, 하위 작업 (예: 요약) 을 수행합니다.
     • 결과: 흔한 단어는 문맥에 의해 잘 복원되어 유용성이 유지되지만, 희귀한 민감 단어는 무작위 추측 수준으로 복원되어 프라이버시가 보호됩니다.

3. 주요 기여 (Key Contributions)

1. 문자 수준 LDP 기반 프롬프트 정제: NER 이나 규칙 기반 검출 없이, 사용자 측에서 프롬프트를 전송하기 전 k-RR 을 적용하여 원본 프롬프트 노출을 방지합니다.
2. LLM 의 복원 능력 활용: LLM 이 흔한 단어는 복원하지만 희귀한 (민감한) 단어는 복원하지 못한다는 특성을 활용하여 프라이버시와 유용성의 균형을 자동으로 달성합니다.
3. 이론적 베이스라인 수립: 무작위로 생성된 단어의 문자 수준 교란 후 복원 확률에 대한 이론적 베이스라인을 제시했습니다. 실험 결과, 민감한 PII 의 복원률은 이 무작위 추측 베이스라인과 유사하여, 민감 정보 보호가 효과적임을 증명했습니다.
4. 종합적 평가: 기존 단어 수준 DP 와 규칙 기반 PII 마스킹 (Presidio) 과 비교하여, 통일된 프라이버시 - 유용성 (Privacy-Utility) 평가 프레임워크 하에서 성능을 입증했습니다.

4. 실험 결과 (Results)

• 데이터셋: 의료 기록 (i2b2/UTHealth) 과 이메일 (Enron) 데이터셋을 사용했습니다.
• 모델: GPT-4o mini 와 Llama-3.1 8B Instruct 를 원격 LLM 으로 사용했습니다.
• 주요 발견:
  • 민감 단어 vs 비민감 단어: $\epsilon$ (프라이버시 예산) 이 46 범위일 때, 비민감 단어는 약 7080% 이상 복원되는 반면, 민감 단어 (PII) 의 복원률은 20~30% 수준으로 낮게 유지되었습니다.
  • 이론적 베이스라인 일치: 민감 단어의 복원률은 무작위 단어의 이론적 복원 확률 ($Pr[T_0]$) 과 거의 일치했습니다. 이는 LLM 이 민감 정보를 복원하는 것이 단순한 무작위 추측보다 더 나은 성과를 내지 못함을 의미합니다.
  • 유용성 유지: 민감 정보의 복원률이 낮음에도 불구하고, 요약된 텍스트의 의미적 유사도 (Semantic Similarity) 는 80% 이상으로 높게 유지되어 실용성이 확보되었습니다.
  • 반복 복원 테스트: LLM 에게 2 차 복원을 요청해도 민감 단어의 추가 복원률은 미미하여 프라이버시 보호가 견고함을 확인했습니다.
  • 비교 평가: 제안된 방법은 단어 수준 DP 보다 더 높은 유용성을 유지하면서 동등한 수준의 프라이버시를 제공했습니다. Presidio(규칙 기반) 는 특정 설정에서 높은 유용성을 보였으나, 탐지되지 않은 민감 정보는 보호하지 못하며 프라이버시 - 유용성 트레이드오프 조절이 불가능했습니다.

5. 의의 및 결론 (Significance)

• 자동화된 프라이버시 보호: 민감 정보를 사전에 식별하거나 라벨링할 필요 없이, 프롬프트 전체에 균일하게 적용 가능한 자동화된 솔루션을 제공합니다.
• 강력한 프라이버시 보장: LLM 이 현재 텍스트 복원 분야에서 최첨단 (SOTA) 기술임을 고려할 때, LLM 이 민감 정보를 복원하지 못한다면 다른 어떤 방법도 이를 복원하기 어렵다는 논리를 통해 강력한 프라이버시 보장을 주장합니다.
• 실용성: 제 3 자 LLM 호스팅 환경에서도 추가적인 인프라 변경 없이 클라이언트 측 (브라우저 플러그인 등) 에서만 구현 가능하여 배포가 용이합니다.
• 적용 범위: 의료, 법률, 기업 내부 통신 등 다양한 분야에서 PII 유출을 방지하면서도 LLM 의 유용한 기능을 활용할 수 있는 새로운 패러다임을 제시합니다.

이 논문은 문자 수준의 무작위 교란과 LLM 의 문맥 복원 능력을 결합하여, 민감 정보 보호와 텍스트 유용성 유지 사이의 최적 균형을 찾는 혁신적인 접근법을 제시했습니다.