A False Sense of Privacy: Evaluating Textual Data Sanitization Beyond Surface-level Privacy Leakage

1. 문제 제기 (Problem Statement)

기존의 텍스트 데이터 정제 (Sanitization) 방법은 주로 개인식별정보 (PII, Personally Identifiable Information) 를 제거하거나 합성 데이터를 생성하는 방식에 의존합니다. 그러나 이러한 방법들은 명시적인 식별자 (이름, 주소 등) 만을 제거하는 '표면적 (Surface-level)' 접근에 그치고 있어, 의미론적 (Semantic) 인 맥락 정보를 통한 재식별 (Re-identification) 공격에 취약하다는 문제가 있습니다.

• 핵심 문제: PII 가 제거된 데이터라도, 일상적인 사회적 활동, 습관, 직업적 배경 등 '부수적 정보 (Auxiliary Information)'를 통해 개인의 민감한 속성 (연령, 약물 사용 이력, 정신 건강 상태 등) 을 추론할 수 있습니다.
• 현재의 한계: 기존 프라이버시 평가는 정확한 문자 매칭 (Exact matching) 이나 ROUGE 와 같은 어휘적 (Lexical) 지표를 사용하여, 의미는 유지되지만 표현이 달라진 경우 프라이버시가 보호되었다고 잘못 판단하는 경향이 있습니다.

2. 방법론 (Methodology)

저자들은 기존 어휘적 평가를 넘어 의미론적 재식별 공격 (Semantic Re-identification Attack) 을 시뮬레이션하는 새로운 평가 프레임워크를 제안했습니다. 이 프레임워크는 프라이버시와 유용성 (Utility) 의 균형을 정량화합니다.

A. 재식별 공격 프레임워크

1. 위협 모델 (Threat Model): 공격자는 공개된 정제된 데이터셋과 외부 소스 (소셜 미디어, 공개 기록 등) 에서 얻은 특정 개인의 부수적 정보를 보유합니다.
2. 연결 (Linking):
   • 공격자의 부수적 정보를 정제된 데이터셋의 레코드와 매칭합니다.
   • GRIT (Generative Representational Instruction Tuning) 와 같은 최신 밀집 정보 검색 (Dense Information Retrieval) 모델을 사용하여, 문맥적 유사성을 기반으로 레코드를 연결합니다.
   • 부수적 정보를 '원자적 주장 (Atomic Claims)' 단위로 분해하여 매칭 정확도를 높였습니다.
3. 의미론적 점수화 (Semantic Scoring):
   • 연결된 정제된 레코드와 원본 개인 데이터를 비교합니다.
   • LLM (LLaMA 3.1 8B) 을 사용하여 각 주장 (Claim) 이 정제된 텍스트에서 얼마나 유출되었는지 평가합니다.
   • 점수 체계: 1 점 (동일 정보) ~ 3 점 (지원되지 않음) 으로 평가하며, 이를 0~1 범위로 정규화합니다. 점수가 낮을수록 프라이버시 유출이 심함을 의미합니다.
4. 유용성 평가 (Utility Evaluation):
   • MedQA (의료): 정제된 환자 기록을 바탕으로 의료 질문의 정답을 맞추는 정확도.
   • WildChat (대화): 대화의 카테고리 분포가 원본과 얼마나 유사한지 (Chi-squared distance) 및 텍스트의 일관성 (Coherence).

B. 평가 대상 정제 기법

• 식별자 제거 (Identifier Removal): Azure AI PII 도구, LLM 기반 반복적 익명화 (Iterative Anonymization), 스패니 (Span) 정제 등.
• 데이터 합성 (Data Synthesis): GPT-2 기반 미세 조정 (Fine-tuning), 차분 프라이버시 (Differential Privacy, DP) 를 적용한 합성 데이터 생성.

3. 주요 결과 (Key Results)

실험은 의료 데이터셋 (MedQA) 과 AI-인간 대화 데이터셋 (WildChat) 에서 수행되었습니다.

A. 표면적 정제의 실패 (False Sense of Privacy)

• 상용 PII 제거 도구의 한계: Azure AI 와 같은 상용 도구는 명시적인 PII 는 제거하지만, 74% 의 정보 (MedQA 기준) 는 여전히 추론 가능했습니다. 예를 들어, "주 1 회 모임 참석", "직장 실직" 등의 문맥을 통해 환자의 정신 건강 상태나 약물 사용 이력을 추론할 수 있었습니다.
• 어휘적 지표의 오해: ROUGE 기반의 어휘적 거리 (Lexical Distance) 는 높은 프라이버시 점수를 보였으나, 의미론적 거리 (Semantic Distance) 는 매우 낮아 실제 프라이버시 유출이 심각함을 드러냈습니다.

B. 데이터 합성 및 차분 프라이버시 (DP) 의 효과와 비용

• 일반 합성 데이터: DP 를 적용하지 않은 합성 데이터도 48% 의 정보가 재식별 가능했습니다.
• 차분 프라이버시 (DP) 의 효과: DP 를 적용하면 프라이버시 보호가 크게 향상되었습니다 (Semantic Distance 0.52 → 0.90).
• 유용성 (Utility) 의 급격한 하락: DP 를 적용한 데이터는 유용성이 크게 저하되었습니다.
  • MedQA: DP 합성 데이터의 정확도가 원본을 제거한 베이스라인 (No Private Data) 보다도 낮아졌습니다.
  • WildChat: 텍스트의 일관성이 "매우 나쁨 (Very Poor)" 수준으로 떨어졌으며, 생성된 텍스트가 논리적 모순을 포함하거나 반복되는 등 품질이 현저히 저하되었습니다.

4. 주요 기여 (Key Contributions)

1. 새로운 평가 프레임워크: 텍스트 데이터의 프라이버시 유출을 평가하기 위해, 부수적 정보를 활용한 의미론적 재식별 공격과 원자적 주장 (Atomic Claim) 기반의 정량적 지표를 도입했습니다.
2. 현실적 위협 모델 제시: 단순한 PII 제거가 아닌, 맥락적 정보와 외부 데이터를 결합한 공격 시나리오를 통해 기존 방법론이 제공하는 '거짓된 프라이버시 감각'을 폭로했습니다.
3. 프라이버시 - 유용성 트레이드오프 분석: 현재로서는 DP 가 유일한 강력한 프라이버시 보호 수단이지만, 복잡한 텍스트 작업에서 유용성을 희생한다는 사실을 실증적으로 증명했습니다.
4. 어휘적 지표의 한계 지적: ROUGE 등 기존 어휘적 지표가 의미론적 유출을 간과하여 프라이버시 보호 수준을 과대평가함을 보였습니다.

5. 의의 및 결론 (Significance & Conclusion)

이 논문은 현재 텍스트 데이터 정제 기술이 의미론적 수준 (Semantic Level) 의 프라이버시 유출을 방어하지 못한다는 점을 강력하게 지적합니다.

• 핵심 통찰: 단순히 이름이나 주소를 가리는 것만으로는 충분하지 않으며, 데이터의 맥락과 함축된 의미까지 보호해야 합니다.
• 미래 방향: 현재로서는 강력한 프라이버시 보호 (DP) 와 높은 유용성 (Utility) 을 동시에 달성하는 방법은 존재하지 않습니다. 따라서 의미론적 유출을 방지하면서도 데이터의 실용성을 유지할 수 있는 새로운 정제 방법론과 맥락 기반 프라이버시 평가 기준의 개발이 시급합니다.

이 연구는 데이터 공유 및 연구 협력 시 프라이버시 보호를 위한 보다 견고한 기준을 마련하고, 향후 데이터 정제 기술 개발의 방향성을 제시한다는 점에서 중요한 의의를 가집니다.