Distilling Human-Aligned Privacy Sensitivity Assessment from Large Language Models

1. 연구 배경 및 문제 정의 (Problem)

• 프라이버시 평가의 난제: 텍스트 데이터의 프라이버시 수준을 정량화하는 것은 통일된 정의가 부재하고 프라이버시가 문맥에 의존적 (contextual) 이기 때문에 여전히 어려운 과제입니다. 기존 접근법 (차등 프라이버시, 재식별 공격 성공률 등) 은 특정 위협 모델을 다루지만, 인간이 실제로 느끼는 '민감도'를 포괄적으로 반영하지는 못합니다.
• LLM 의 역할과 한계: 최근 대규모 언어 모델 (LLM) 은 인간과 유사한 언어 이해 능력을 바탕으로 프라이버시 평가자 (LLM-as-a-Judge) 로서 인간 판단과 높은 일치도를 보임이 입증되었습니다. 그러나 이를 실제 환경에 적용하는 데는 두 가지 주요 장벽이 존재합니다.
  1. 비용 및 확장성: 최신 LLM(예: Mistral Large 3) 은 연산 비용이 매우 높아 대규모 데이터 처리에 비현실적입니다.
  2. 프라이버시 역설: 민감한 데이터를 제 3 자 API 를 통해 평가하는 과정 자체가 데이터 유출 위험을 초래할 수 있습니다. 즉, 프라이버시를 평가하기 위해 프라이버시를 침해할 수 있는 모순이 발생합니다.

2. 방법론 (Methodology)

이 연구는 지식 증류 (Knowledge Distillation) 기법을 활용하여 대형 LLM 의 프라이버시 평가 능력을 경량화하고 로컬에서 실행 가능한 모델로 전환하는 파이프라인을 제안합니다.

• 데이터 구축 (Teacher Annotation):
  • Teacher Model: Mistral Large 3 (675B 파라미터) 를 사용하여 10 개 다양한 도메인 (블로그, 이메일, 의료 질문, 레딧 고백, 법률 조언, 정신 건강, 리뷰 등) 에서 수집된 20 만 개의 텍스트에 프라이버시 민감도 점수를 자동 라벨링했습니다.
  • 평가 척도: Meisenbacher et al. (2025) 의 5 점 리커트 척도 (1: 무해함 ~ 5: 극도로 사적) 를 사용하며, 직접 식별자뿐만 아니라 문맥적 신호 (건강 상태, 법적 상황 등) 도 고려합니다.
• 학생 모델 학습 (Distillation):
  • LLM 이 생성한 라벨을 기반으로 150M 파라미터 이하의 경량 인코더 모델 (Ettin-150M, Ettin-17M, BERT-base, ModernBERT-base) 을 학습시켰습니다.
  • 5 클래스 분류 문제로 설정되었으며, 동일한 하이퍼파라미터 (학습률, 배치 크기 등) 로 파인튜닝되었습니다.
• 평가 지표:
  • 정확도 및 F1 점수: 홀드아웃 테스트 세트에서의 분류 성능.
  • 인간 일치도 (Agreement): Krippendorff's $\alpha$ 계수를 사용하여 모델의 예측과 인간 어노테이터들의 평균 및 개별 평가 간의 일치도를 측정했습니다.

3. 주요 기여 (Key Contributions)

1. 대규모 프라이버시 민감도 코퍼스 구축: 최첨단 오픈 소스 LLM 을 활용하여 20 만 개의 텍스트를 자동 라벨링한 대규모 데이터셋을 구축했습니다.
2. 고성능 경량 평가 모델 개발: Mistral Large 3 의 프라이버시 판단 능력을 150M 파라미터 규모의 인코더 모델로 성공적으로 증류했습니다. 이 모델은 인간 어노테이터와의 일치도 ($\alpha = 0.737$) 에서 오히려 원본 Teacher 모델 ($\alpha = 0.716$) 보다 높은 성능을 보였습니다. 이는 증류 과정이 Teacher 모델의 노이즈를 제거하고 결정 경계를 더 명확하게 만들었음을 시사합니다.
3. 실용적 적용 가능성 입증: 증류된 모델이 텍스트 비식별화 (De-identification) 시스템의 평가 지표로 확장 가능함을 보여주었습니다. 직접 식별자와 준식별자 (Quasi-identifiers) 를 마스킹했을 때 모델이 민감도 점수를 적절히 감소시키는 것을 확인했습니다.

4. 실험 결과 (Results)

• 분류 성능: Ettin-150M 모델은 테스트 세트에서 74.9% 정확도와 68.1 의 Macro F1을 기록하여 베이스라인 (대다수 클래스, 랜덤) 을 크게 상회했습니다. 특히 민감한 클래스 (C5) 에서도 68.6 의 F1 점수를 달성했습니다.
• 인간 일치도 (Human Alignment):
  • Teacher vs. Human: Mistral Large 3 은 인간 평균 평가와 $\alpha = 0.716$의 일치도를 보였습니다.
  • Student vs. Human: 증류된 Ettin-150M 은 $\alpha = 0.737$로 Teacher 모델보다 높은 일치도를 보였습니다.
  • Pairwise Agreement: 개별 인간 어노테이터와의 쌍별 일치도 ($\alpha = 0.514$) 는 인간 간 일치도 ($\alpha = 0.54$) 와 유사하여, 모델의 오차가 인간 간의 의견 차이 수준임을 의미합니다.
• 비식별화 평가 (De-identification Evaluation):
  • Text Anonymization Benchmark (TAB) 를 사용하여 실험한 결과, 직접 식별자 마스킹 ($\Delta = 0.34$) 이 준식별자 마스킹 ($\Delta = 0.23$) 보다 단위당 프라이버시 감소 효과가 더 컸습니다.
  • 완전 마스킹 시 문서의 84.1% 가 '무해 (Class 1)'로 재평가되었습니다.
  • 무작위 마스킹 (30% 단어 제거) 은 오히려 문맥을 해쳐 프라이버시 점수를 높이는 결과를 보여, 모델이 단순히 마스킹 토큰 유무가 아닌 내용의 민감성을 이해하고 있음을 증명했습니다.

5. 의의 및 결론 (Significance)

• 프라이버시 평가의 민주화: 고비용의 LLM API 의존성을 탈피하여, 로컬 환경에서 실행 가능하고 비용 효율적인 프라이버시 평가 도구를 제공했습니다.
• 확장 가능한 자동 메트릭: 대규모 데이터셋의 프라이버시 위험을 실시간으로 스코어링하거나, 비식별화 시스템의 성능을 자동 비교하는 데 활용 가능합니다.
• 미래 연구 방향: 경량화된 평가 모델은 프라이버시 신호의 원인 분석 (Attribution), 프라이버시 - 유용성 트레이드오프 최적화, 그리고 사용자 맞춤형 프라이버시 설정 등 새로운 연구 방향을 개척할 수 있습니다.

한계점:

• 모델은 Teacher LLM 의 편향과 프라이버시 정의를 그대로 계승합니다.
• 현재 영어 데이터로만 학습되었으며, 다국어 확장성은 검증되지 않았습니다.
• 프라이버시는 문맥 (청중, 목적, 설정) 에 의존적이지만, 현재 모델은 텍스트 자체만 평가합니다.

이 논문은 대규모 언어 모델의 지식을 경량 모델로 이전하여, 실용적이고 프라이버시를 보호하는 NLP 평가 시스템을 구축하는 중요한 이정표로 평가됩니다.