기술 요약: DP-FUSION

문제 정의

대규모 언어 모델(LLM)은 추론 과정에서 내재적인 프라이버시 보장을 제공하지 못합니다. LLM이 민감한 정보(예: 개인 식별 정보 또는 PII)를 포함하는 도구나 외부 데이터베이스와 결합될 때, 모델의 출력이 의도치 않게 해당 컨텍스트를 드러낼 수 있습니다. 기존의 프라이버시 보존 추론 방식들은 다음과 같은 심각한 한계를 가집니다:

1. 증명 가능한 보장의 부재: 프롬프트 엔지니어링이나 단순 스크러빙(redaction, 삭제/마스킹)과 같은 방법은 공식적인 프라이버시 보증을 제공하지 못하며, 재구성 공격(reconstruction attack)이나 멤버십 추론 공격(membership inference attack)에 취약합니다.
2. 낮은 유용성/프라이버시 트레이드오프: DP-Decoding(균등 노이즈와 보간)이나 DP-Prompt(로짓 클리핑)와 같은 차분 프라이버시(Differentially Private, DP) 추론 방식은 프라이버시를 달성하기 위해 텍스트 품질(높은 퍼플렉서티)을 심각하게 저하시키는 경우가 많습니다.

본 연구가 다루는 구체적인 과제는 **문서 프라이버시 보호(document privatization)**입니다. 즉, 민감한 토큰을 포함하는 문서를 패러프레이징(paraphrasing)하되, 공격자가 패러프레이징된 출력으로부터 원래의 민감한 토큰을 신뢰성 있게 추론할 수 없도록 하면서도 높은 텍스트 품질을 유지하는 것입니다.

방법론: DP-FUSION

저자들은 민감한 컨텍스트 토큰이 생성된 출력에 미치는 영향을 이론적으로 제한하는 토큰 수준의 차분 프라이비시 추론(DPI) 메커니즘인 DP-FUSION을 제안합니다. 이 방법은 적응형 그레이박스 공격자(adaptive gray-box attacker)가 추론 방식, 모델 아키텍처, 가중치를 알고 있으며, 프라이버시가 적용된 출력과 편집된 입력을 관찰할 수 있다는 위협 모델 하에서 작동합니다.

핵심 메커니즘

DP-FUSION은 앙상블 기반의 프라이빗 예측(PMixED와 유사) 개념을 추론 설정에 맞게 조정했습니다. 프로세스는 다음 네 가지 주요 단계로 구성됩니다:

1. 토큰 레이벨링(Token Labeling): 태거(예: NER)를 사용하여 입력 문서 내의 민감한 토큰의 하위 집합을 식별하고 이를 프라이버시 그룹($G_1, \dots, G_m$)으로 그룹화합니다.
2. 베이스라인 추론 (공개적): 모든 민감한 토큰이 편집된(동일한 길이의 플레이스홀더로 대체된) 상태로 문서를 실행하여 "공개적(public)" 차기 토큰 분포($p_{pub}$)를 얻습니다.
3. 프라이빗 추론: 각 프라이버시 그룹마다 LLM을 $m$번 실행합니다. 이때 특정 그룹 $G_i$의 토큰들만 편집된 컨텍스트와 함께 공개됩니다. 이를 통해 $m$개의 "프라이빗(private)" 차기 토큰 분포($p_{priv, i}$)를 얻습니다.
4. 분포 블렌딩 (Mollification): 이분 탐색(bisection search)을 통해 각 그룹 $i$에 대한 계수 $\lambda_i \in [0, 1]$를 계산합니다. $\lambda_i$는 혼합된 분포($\lambda_i p_{priv, i} + (1-\lambda_i) p_{pub}$)와 베이스라인 $p_{pub}$ 사이의 레니 디버전스(Rényi divergence)가 사전 정의된 프라이버시 예산 $\beta_i$를 만족하는 최대값입니다.
   • 최종 차기 토큰 분포는 이러한 블렌딩된 분포들의 평균입니다.
   • 이 혼합 분포로부터 토큰을 샘플링합니다.

프라이버시 보장

이 방법은 **그룹별 $(\alpha, \beta_i)$-레니 차분 프라이버시(Rényi Differential Privacy, RDP)**를 제공합니다.

• 이웃 정의: 두 문서는 단일 프라이버시 그룹의 모든 토큰 존재 여부에 의해서만 차이가 날 때 인접한 것으로 간주됩니다.
• 이론적 경계: 알고리즘은 인접한 문서 간의 출력 분포 사이의 대칭 레니 디버전스가 제한됨을 보장합니다. 이는 생성된 전체 트랜스크립트에 대해 $(\epsilon, \delta)$-DP 보장으로 변환되며, 여기서 $\epsilon$은 생성된 토큰 수, 레니 차수 $\alpha$, 그리고 그룹 예산 $\beta_i$에 의해 제어됩니다.
• 강건성: 이 메커니즘은 쿼리가 적대적으로 선택되더라도(예: 탈옥 시도) 공격자의 이득을 제한합니다.

주요 기여

1. 토큰 수준 DP 추론: LLM 추론, 특히 패러프레이징 작업에서 증명 가능한 DP 보장을 제공하는 방법을 도입했습니다.
2. 개선된 유용성/프라이버시 트레이드오프: 기존 방식처럼 출력 분포에 노이즈를 추가하거나 로짓을 클리핑하는 대신, DP-FUSION은 "민감한" 컨텍스트와 "비민감한" 컨텍스트 사이의 차이를 기반으로 분포를 블렌딩합니다. 이를 통해 특정 토큰의 유출을 엄격히 제한하면서도 더 많은 의미론적 정보를 유지할 수 있습니다.
3. 프롬프트 인젝션 완화: 저자들은 이 메커니즘이 보안 분야에도 적용될 수 있음을 보여줍니다. 여기서 "민감한 토큰"은 신뢰할 수 없는 소스(예: RAG 파이프라인)에서 검색된 청크(chunk)로 정의됩니다. 이러한 청크의 영향력을 제한함으로써 DP-FUSION은 프롬프트 인젝션 공격을 완화합니다.
4. 오픈 소스 구현: 저자들은 임의의 LLM과 데이터셋에 DP-FUSION을 적용할 수 있는 PyPI 패키지와 GitHub 저장소를 공개합니다.

실험 결과

실험은 Qwen 2.5 7B-Instruct 모델을 TAB-ECHR 데이터셋(수기로 주석이 달린 PII를 포함하는 유럽 인권 재판소 사례)에 사용하여 수행되었습니다.

• 유용성 (Perplexity): DP-FUSION은 완화된 프라이버시 설정($\alpha\beta = 0.10$)에서 1.426, 엄격한 설정($\alpha\beta = 0.01$)에서 1.459의 퍼플렉서티(PPL)를 달성했습니다.
  • 이는 DP-Decoding(PPL > 3.9) 및 DP-Prompt(너비 50에서 PPL > 4.26, 너비 5에서 PPL > 100)보다 현저히 우수합니다.
  • DP-FUSION은 유사한 프라이버시 수준에서 가장 성능이 좋은 베이스라인인 DP-Prompt보다 6배 낮은 퍼플렉서티를 달성했습니다.
• 유용성 (LLM-as-a-Judge): 타 방법론과의 쌍체 비교(pairwise comparison)에서 DP-FUSION의 패러프레이즈는 DP-Decoding 및 DP-Prompt를 상대로 95% 이상 승리했습니다. 또한 엄격한 프라이버시 설정에서 "No DPI - NER"(순수 편집) 베이스라인을 45%의 비율로 앞질렀습니다.
• 프라이버시 (공격 성공률): 저자들은 토큰 복구 공격(Min-K% 및 LOSS 공격)을 평가했습니다.
  • DP-FUSION은 높은 유용성에서도 무작위 추측에 가까운( $|C|=5$ 일 때 약 26-29%) 공격 성공률(ASR)을 유지했습니다.
  • 반면, DP-Prompt (너비 50)는 ASR이 약 50%를 기록하여, 낮은 퍼플렉서티에도 불구하고 실질적인 프라이버시 제공에 실패했음을 보여주었습니다.
  • DP-FUSION은 분포 혼합 과정에서 도입된 무작위성 덕분에 엄격한 설정에서 No-DPI NER 베이스라인보다 약간 더 나은 프라이버시를 제공했습니다.

의의 및 주장

본 논문은 DP-FUSION이 기존의 DP 추론 방식에서 보이는 심각한 유용성 저하 없이 증명 가능한 프라이비시 보장을 제공함으로써, 민감한 데이터를 사용하는 LLM 배포의 중요한 진전을 나타낸다고 주장합니다.

• 패러다임 전환: 저자들은 프라이버시를 사후 처리 단계나 전역적 노이즈 주입으로 취급하는 대신, 특정 토큰 그룹의 영향을 명시적으로 모델링하고 분포 블렌딩을 통해 그 영향을 제한함으로써 관리할 수 있다고 주장합니다.
• 실용성: 이 방법은 계산적으로 실행 가능하며(병렬 처리가 가능), 모델의 재학습 없이 기존 LLM과 함께 사용할 수 있습니다.
• 이중 유용성: 프라이버시를 넘어, 이 메커니즘은 RAG 시스템에서의 프롬프트 인젝션과 같은 보안 위협에 대응하는 데 효과적이라는 것이 주장되며, 이는 신뢰할 수 없는 컨텍스트를 다루기 위한 통합된 접근 방식을 제공합니다.

저자들은 초기 토큰 태거(NER)의 품질에 대한 의존성에 대해 겸허한 입장을 유지하며, 태깅에서의 미검출(false negative)은 이론적 보장 범위 밖에 있음을 인정합니다. 다만, 실험 결과는 기성 태거들이 입증된 사용 사례들에 충분히 적합함을 시사합니다.