Detecting Sensitive Personal Information in Japanese Pre-Training Corpora for Large Language Models

기술 요약: 일본어 사전 학습 코퍼스 내 민감한 개인정보 탐지

문제 정의
대규모 언-모델(LLM)을 위한 대규모 사전 학습 코퍼스는 흔히 웹 크롤링을 통해 구축되는데, 이 과정에서 의도치 않게 개인정보가 수집될 위험이 있다. 필터링되지 않은 데이터는 LLM에 의해 암기되어 유출될 수 있다. GDPR(EU) 및 CPRA(미국)와 같은 개인정보 보호 규정은 민감한 개인정보(SPI)를 정의하고 있으나, 일본어 텍스트에서 이러한 데이터를 탐지하는 연구는 제한적이다. 일본의 경우, '개인정보 보호법(APPI)'은 인종, 신념, 병력, 범죄 기록, 장애와 같은 속성을 포함하는 '요배려 개인정보(Special Care-required Personal Information, SCPI)'를 정의한다. 일반적인 개인식별정보(PII)와 달리, SCPI는 부당한 차별을 방지하기 위해 특별한 보호를 필요로 한다. 현재 문헌에는 중요한 공백이 존재한다. 즉, 일본어를 위한 공개된 SCPI 데이터셋이 없으며, 코퍼스 수준에서 SCPI를 탐지하는 체계적인 연구도 없다. 또한, 기존의 일본어 LLM을 위한 실무 파이프라인은 의미론적 완전성이 부족한 규칙 기반 필터링이나 나이브 베이즈(Naive Bayes) 분류기에 의존하는 경우가 많다.

방법론
본 연구는 그림 1에 예시된 바와 같이, SCPI 데이터셋을 구축하고 신속한 분류기를 훈련하기 위한 파이프라인을 제안한다.

1. 데이터셋 구축:

   • 출처: 저자들은 llm-jp-corpus-v3(Common Crawl 기반의 일본어 웹 코퍼스)에서 261만 개의 텍스트를 샘플링하였다.
   • 후보 추출: 탐색 범위를 줄이기 위해, 웹 코퍼스에서 가장 빈번하게 나타나는 PII 형태인 인명(person names)을 식별하도록 명명 개체 인식(NER) 모델을 사용하였다.
   • 2단계 어노테이션(Annotation):
     • 1단계 (저파라미터 모델): 두 개의 오픈 웨이트 모델인 Llama 3.1 Swallow 8B와 Gemma 2 9B를 사용하여 후보 텍스트를 어노테이션하였다. 프롬프트는 APPI가 정의한 11가지 SCPI 카테고리와 "비-SCPI(non-SCPI)" 레이블을 정의하였다. 텍스트는 신뢰도 점수와 모델 간 합의(예: 두 모델 모두 동의해야 함)를 기준으로 필터링되었다.
     • 2단계 (고성능 모델): 고성능 모델(gpt-oss-120b)이 필터링된 하위 집합을 검증하였다. 부적절한 출력물을 처리하고 엣지 케이스(edge cases)를 식별하기 위해 수동 수정 작업이 적용되었다.
     • 레이블 정교화: 수동 검토 과정에서 기존 APPI 레이블로는 잘 포착되지 않는 성적 지향 및 성별 정체성을 포함하는 "LGBT" 카테की를 추가하였다. 최종 훈련 데이터셋은 충분한 사례가 존재하는 세 가지 카테고리에 집중하였다: 병력(Medical History), 범죄(Crime) (범죄 기록, 피해 사실, 재판 절차를 통합), 그리고 장애(Disability). 데이터셋은 양성 예시(SCPI) 10%와 음성 예시(non-SCPI) 90%를 포함하도록 균형을 맞추었다.

2. 분류 모델:

   • 본 연구는 효율성을 위해 전통적인 머신러닝 모델과 트랜스포머(Transformer) 기반 모델을 모두 평가하였다.
   • 전통적 모델: 서포트 벡터 분류(SVC), LightGBM(LGBM), 그리고 단순 신경망(NN)을 사용하였다. 이들은 Doc2Vec, TF-IDF, 그리고 일본어 임베딩 모델(ruri-v3-310m)을 통한 벡터 표현을 활용하였다.
   • 트랜스포머 모델: BERT 기반 분류기인 modernbert-ja-310m을 사용하였다.
   • 스태킹(Stacking): 재현율(recall)을 높이기 위해, 저자들은 최상위 성능을 보인 베이스 모델들(SVC 및 LGBM)의 예측값의 합집합을 취하는 모델 스태킹 기법을 채택하였다.

주요 결과

• 데이터셋 품질: 구축된 데이터셋은 954개의 양성 예시(병력: 377, 범죄: 261, 장애: 316)와 8,586개의 음성 예시를 포함하였다. 검토자 간 일치도(Cohen's $\kappa$)는 0.614로, 상당한 합의를 나타냈으나, "범죄 피해"의 경우 경계 사례들로 인해 낮은 합의도를 보였다.
• 모델 성능:
  • 교차 검증: ModernBERT가 가장 높은 F1 점수(>0.95)를 달랐으나 계산 비용이 많이 들었다. 전통적 모델 중에서는 TF-IDF를 사용한 LGBM과 Ruri 임베딩을 사용한 SVC가 가장 우수한 성능을 보였다.
  • 대규모 코퍼스 대상 수동 평가: 106만 개의 텍스트에 적용했을 때, 분류기는 교차 검증의 정밀도(precision)와 수동 탐지율 사이의 차이를 보였다. 모델들은 SCPI 관련 카테고리 정보(예: 의료 행위에 대한 일반적인 논의)를 탐지하는 데는 매우 효과적이었으나, 이를 실제 SCPI 인스턴스(특정한 개인 데이터)와 구분하는 데는 어려움을 겪었다. "SCPI"와 "관련(Related)" 텍스트의 결합 비율은 교차 검증에서 나타난 높은 정밀도와 일치하였다.
  • 속도: 전통적 모델은 트랜스포머 모델보다 4배에서 50배 더 빨랐다. TF-IDF를 사용한 LGBM은 8개의 CPU 코어를 사용하여 하루 안에 1억 8,400만 개의 전체 코퍼스를 처리할 수 있었던 반면, ModernBERT는 8개의 GPU를 사용하더라도 한 달 이상이 소요될 것이었다.
• 스태킹 및 튜닝: SVC와 LGBM을 스태킹했을 때 F1 점수는 0.877로 향상되었으며, 단일 최상위 모델 대비 재현율이 4.2% 증가하였다.

의의 및 주장
본 연구는 일본어 텍스트 코퍼스에서 SCPI 탐지를 체계적으로 탐구한 최초의 연구로서, LLM을 위한 일본의 개인정보 보호 준수와 관련된 문헌상의 공백을 메운다고 주장한다.

• 실용적 유용성: 저자들은 대규모 코퍼스의 1차 필터링 단계에서 경량화된 전통적 머신러닝 모델이 충분히 유효함을 입증하였다. 이러한 모델은 SCPI 관련 카테고리 정보를 빠르게 식별하여, 더 비싼 고정밀 필터링(잠재적으로 LLM 사용)을 축소된 하위 집합에 적용하기 전의 확장 가능한 전처리를 가능하게 한다.
• 법적 준수: 본 연구는 학술 연구를 위한 APPI 예외 조항을 준수하며, 데이터 유출을 방방지하기 위해 엄격한 로컬 환경 내에서 LLM 기반 어노테이션 및 수동 처리를 수행하였다.
• 한과점: 저자들은 본 방식이 인명(person names)의 존재 여부에 크게 의존하므로, 다른 속성(예: 주소)을 통해서만 식별 가능한 SCPI를 놓칠 수 있음을 겸허히 인정하였다. 또한, LLM 기반 어노테이션에 의존하기 때문에 분류기는 LLM 자체가 식별하지 못한 SCPI를 탐지할 수 없다는 한계가 있다. 아울러, "LGBT"가 SCPI로서 관련성이 있음을 확인했으나 이는 현재 APPI의 엄격한 법적 정의를 벗어난다는 점, 그리고 데이터 부족으로 인해 인종 및 신념과 같은 카테거리에 대한 성능은 평가되지 않았음을 언급하였다.

결론적으로, 본 논문은 일본어의 민감한 개인정보를 탐지하기 위한 기초적인 데이터셋과 고속 분류 파이프라인을 제공하며, LLM의 의미론적 깊이와 코퍼스 규모의 필터링에 필요한 계산 효율성 사이의 트레이드오프를 강조한다.