PIIBench: A Unified Multi-Source Benchmark Corpus for Personally Identifiable Information Detection

1. 문제 정의 (Problem)

개인 식별 정보 (PII, Personally Identifiable Information) 탐지는 GDPR, HIPAA, CCPA 와 같은 규제 준수를 위해 필수적이지만, 현재 연구 커뮤니티에는 표준화된 벤치마크 코퍼스가 부재합니다.

• 데이터의 단편화: 기존 PII 탐지 데이터는 도메인별 (금융, 의료, 일반 텍스트 등) 로 분산되어 있으며, 서로 호환되지 않는 주석 체계 (Annotation Schemes) 를 사용합니다.
• 비교의 어려움: CoNLL-2003 과 같은 일반 NER 벤치마크는 PII 에 특화된 민감한 엔티티 (신용카드 번호, 계정 정보 등) 를 누락하고, 반면 ai4privacy 와 같은 합성 데이터는 독점적인 레이블 스키마를 사용하여 데이터 간 직접적인 비교가 불가능합니다.
• 시스템의 한계: 기존 시스템 (규칙 기반 또는 특정 도메인 NER 모델) 은 학습된 도메인 밖의 데이터에서는 성능이 급격히 저하되는 '도메인 실로 (Domain-silo)' 문제를 겪고 있습니다.

2. 방법론 (Methodology)

저자들은 10 개의 공개 데이터셋을 통합하여 PIIBench를 구축하고, 이를 평가하기 위한 일관된 파이프라인을 개발했습니다.

가. 데이터 소스 통합

HuggingFace Hub 에서 10 개의 이질적인 데이터셋을 선정하여 통합했습니다.

• 소스 구성: 금융 도메인 (finer-139, gretelai-finance), 합성 PII 데이터 (ai4privacy 시리즈, isotonic, nvidia-nemotron), 일반 NER 벤치마크 (wikiann, multinerd, few-nerd, conll2003).
• 규모: 총 2,369,883 개의 주석 시퀀스와 335 만 개 이상의 엔티티 언급을 포함하며, 48 개의 표준 PII 엔티티 유형을 커버합니다.

나. 정규화 파이프라인 (Normalization Pipeline)

80 개 이상의 소스별 레이블 변형을 48 개의 표준 PII 엔티티 유형으로 매핑하는 정교한 처리 과정을 적용했습니다.

1. 포맷 변환: 토큰 단위 BIO 태그, 문자 오프셋 스패니 주석, XML 태그 등 다양한 포맷을 통일된 BIO (Begin, Inside, Outside) 태그 스키마로 변환합니다.
2. 레이블 매핑:
   • FIRSTNAME, LASTNAME 등 세부 인명 유형을 PERSON 으로 통합.
   • BITCOINADDRESS, ETHEREUMADDRESS 등을 CRYPTO_ADDRESS 로 통합.
   • XBRL 태그와 같은 금융 특화 레이블은 FINANCIAL_ENTITY 로 유지하되, 일반 ORG 와 구분합니다.
3. 희귀 엔티티 억제: 전체 코퍼스에서 B-태그 언급이 500 회 미만인 32 가지 유형 (주로 HTML 태그, 시스템 설정 키 등 실제 PII 가 아닌 것들) 은 O(Outside) 레이블로 변환하여 모델 학습 시 노이즈를 제거했습니다.
4. 층화 분할 (Stratified Splitting): 각 소스 데이터셋의 분포를 유지하면서 80/10/10 비율로 훈련/검증/테스트 세트를 분할했습니다. (단, finer-139 의 과도한 우세를 방지하기 위해 훈련 시 레코드 수를 15 만 건으로 제한했습니다.)

3. 주요 기여 (Key Contributions)

1. 통합 벤치마크 코퍼스: 10 개의 이질적인 소스에서 추출된 230 만 건 이상의 대규모 PII 탐지용 데이터셋 제공.
2. 표준화 파이프라인: 80+ 개의 레이블 변형을 48 개의 표준 유형으로 매핑하는 재현 가능한 정규화 프로세스 개발.
3. 포괄적인 평가 기준: 규칙 기반 엔진, 일반 목적 NER 모델, PII 특화 모델, 금융 NER 전문가 등 8 개의 기존 시스템을 대상으로 한 베이스라인 평가 수행.
4. 도메인 실로 문제의 정량화: 기존 모델들이 단일 도메인 밖에서는 거의 성능이 없음을 수치적으로 증명.

4. 실험 결과 (Results)

8 개의 공개된 시스템을 PIIBench 테스트 세트로 평가한 결과는 다음과 같습니다.

• 전반적인 성능 저조: 모든 시스템이 F1 스코어 0.14 미만의 매우 낮은 성능을 보였습니다.

  • 최고 성능: Microsoft Presidio (규칙 기반) 가 F1 0.1385로 1 위를 기록했으나, 대부분의 엔티티 유형에서 재현율 (Recall) 이 0 이었습니다.
  • 일반 NER 모델: spaCy, BERT-base, XLM-RoBERTa 등은 F1 0.05~0.09 사이로 매우 낮았습니다.
  • PII 특화 모델: ai4privacy 로 학습된 Piiranha DeBERTa 는 F1 0.0463 으로 예상보다 낮았으며, 도메인 불일치로 인해 일반화되지 못했습니다.
  • 금융 특화 모델: XtremeDistil FiNER 는 정밀도 (Precision) 가 0.699 로 매우 높았으나, 재현율 (Recall) 이 0.021에 불과했습니다. 이는 금융 도메인 밖의 데이터에서는 거의 탐지하지 못함을 의미합니다.

• 엔티티 유형별 분석:

  • LOC(지명), PERSON(인명) 과 같은 일반 NER 유형은 일부 성능을 보였으나, FINANCIAL_ENTITY(XBRL 태그), USERNAME, CREDIT_CARD, SSN 등 구체적인 PII 유형에서는 대부분의 시스템이 F1=0을 기록했습니다.
  • 규칙 기반 시스템 (Presidio) 은 이메일, 전화번호 등 패턴이 명확한 항목에는 강점이 있었으나, 문맥적으로 추론해야 하는 항목에는 취약했습니다.

5. 의의 및 결론 (Significance & Conclusion)

• 도메인 실로 문제의 명확한 증명: 기존 모델 중 어느 하나도 PIIBench 의 다양한 엔티티 유형을 포괄적으로 탐지하지 못함을 입증했습니다. 이는 PII 탐지 시스템이 특정 도메인에 갇혀 있음을 보여줍니다.
• 새로운 평가 기준: PIIBench 는 기존 단일 소스 데이터셋보다 훨씬 어렵고 포괄적인 평가 과제를 제시하며, 향후 다중 도메인 PII 탐지 모델 개발의 기준점 (Baseline) 을 제공합니다.
• 향후 연구 방향: 의료 및 법률 도메인 추가, 다국어 지원 확대, 그리고 도메인 간 전이 학습 (Cross-domain Transfer) 연구를 위한 기반을 마련했습니다.

결론적으로, PIIBench 는 PII 탐지 연구의 표준화된 벤치마크를 제시함으로써, 규제 준수와 데이터 프라이버시 보호를 위한 더 강력하고 범용적인 모델 개발을 촉진할 것으로 기대됩니다. 모든 데이터셋과 평가 코드는 GitHub 에서 공개되어 있습니다.