DialogPII: A multilingual dataset of synthetic dialog transcripts to detect personal information

기술 요약: DialogPII

문제 정의

의료, 사회 과학, 고객 지원과 같은 영역에서 수집된 대화형 데이터는 연구 및 자동 분석을 위한 핵심 자원입니다. 그러나 개인 식별 정보(PII)의 존재는 이러한 데이터의 책임 있는 공유를 저해합니다. 기존의 텍스트 익명화 연구는 주로 공식적인 의료 문서(예: 임상 기록)에 집중되어 왔으나, 대화형 언어는 독특한 과제를 안고 있습니다. 구어체 상호작용은 파편화된 문장, 비격식적 언어, 중단, 화자 교체, 그리고 자발적인 정보 노출을 포함하며, 이는 문서 지향적인 비식별화 프레임워크를 직접 적용하기 어렵게 만듭니다.

또한, 대화형 비식별화를 위한 다국어 자원은 매우 부족한 실정입니다. 기존의 벤치마크는 대부분 단일 언어 중심이거나 영어 중심이며, 민감한 대화 시나리오보다는 일반적인 웹 텍스트에 집중되어 있습니다. 실제 대화형 데이터셋은 개인정보 보호와 관련된 윤리적, 법적 제약으로 인해 공유하기가 어렵습니다. 따라서 다양한 상호작용 시나리오를 포괄하며, 서면 및 음성 유도 전사본(speech-derived transcripts)을 모두 포함하는 고품질의 다국어 합성 데이터셋이 필요합니다.

방법론

저자들은 합성된 다국어 및 음성 정렬 자원을 생성하기 위해 설계된 5단계 파이프라인을 통해 제작된 DialogPII를 제시합니다.

1. 주석 스키마 정의: 저자들은 개인 건강 식별자(PHI) 프레임워크와 텍스트 익명화 벤치마크(TAB)의 개념을 결합한 대화 지향적 스키마를 개발했습니다. 이 스키마는 인물, 조직, 위치, 식별 코드, 직업, 사회적 관계, 제품, 시간 정보, 수량을 포함하여 19가지 엔티티 유형을 다룹니다. 이 스키마는 대화 환경에서 재식별에 기여할 수 있는 정보를 포착하기 위해 반복적으로 정교화되었습니다.
2. 합성 대화 생성: 대화는 Gemini 대규모 언어 모델(2.5 Pro)을 사용하여 긴급 전화, 의료 문진 인터뷰, 상담 세션, 보험 통신, 고객 지원, AI 지원 대시보드 관련 임상 인터뷰, 경찰 보고, 그룹 상담 등 8가지 상호작용 시나리오에 걸쳐 생성되었습니다. 다양성을 확보하기 위해 프롬프트에는 화자의 페르소나, 지리적 맥락(영국, 독일 등의 특정 도시로 현지화), 상호작용 목표를 명시했습니다.
3. 큐레이션 및 주석 작업: 생성된 대화는 타당성을 높이고 반복적인 아티팩트를 제거하기 위해 수동으로 큐레이션되었습니다. 민감한 정보는 두 명의 독립적인 주석 작업자가 INCEpTION 플랫폼을 사용하여 주석을 달았습니다. 불일치는 제3의 주석 작업자가 해결하였으며, 그 결과 크리펜도르프 알파(Krippendorff's alpha) 0.87의 골드 스탠다드 주석을 얻었습니다.
4. 번역 및 현지화: 큐레이션된 영어 대화는 Gemini 모델을 사용하여 10개의 추가 언어(아랍어, 핀란드어, 프랑스어, 독일어, 힌디어, 이탈리아어, 폴란드어, 포르투갈어, 스페인어, 터키어)로 번역되었습니다. 결정적으로, 이 번역들은 문화적, 언어적 사실성을 보장하기 위해 국가 및 도시별 맥락에 맞게 현지화되었습니다(예: 런던 설정을 독일의 베를린으로 조정). 주석은 번역된 텍스트에 투영되었으며 수동으로 교정되었습니다.
5. 구어화 및 전사: 모든 서면 대화는 Google Cloud Text-to-Speech(TTS) API를 사용하여 합성 음성으로 변환되었습니다. 이후 이 오디오 파일들은 Pyannote 화자 분리(speaker diarization) 기능이 포함된 로컬 배포 Whisper(large v3) 모델을 사용하여 전사되었습니다. 이 과정에서 현실적인 ASR 아티팩트(전사 오류, 문장 부호 불일치)와 화자 분할 문제가 도입되었습니다. 원래의 주석은 이 전사본에 자동으로 투영되었으며, 음성 유도 텍스트와 일치하도록 수동으로 큐레이션되었습니다.

주요 기여

• 다국어 데이터셋: DialogPII는 11개 언어에 대해 정렬된 서면 및 음성 유도 전사본을 제공하며, 19가지 엔티티 유형과 8가지 별도의 상호작용 시나리오를 다룹니다.
• 음성-ASR 파이프라인: 텍스트에만 집중했던 이전 연구들과 달리, 본 데이터셋은 TTS 및 ASR을 통해 생성된 음성 유도 전사본을 포함하여 자동 음성 인식 파이프라인에서의 비식별화 연구를 가능하게 합니다.
• 시나리오 다양성: 이 데이터셋은 긴급 전화 및 경찰 보고부터 상담 세션 및 보험 통신, 확장된 다중 화자 그룹 상담에 이르기까지 광범위한 개인정보 민감 맥락을 다룹니다.
• 베이스라인 모델: 저자들은 ModernBERT 아키텍처와 CRF 디코딩 레이어, 문서 수준의 맥락 강화를 활용하여 데이터셋으로 학습된 베이스라인 다국어 개체명 인식(NER) 모델을 공개합니다.
• 기술적 검증: 논문은 상호 주석자 일치도 분석, 번역 품질 평가, 주석 투영 평가, 벤치마크 실험을 포함한 종합적인 검증을 제공합니다.

결과

• 주석 품질: 영어 대화에 대한 상호 주석자 일치도는 0.87(크리펜도르프 알파)이었습니다. 번역에 대한 수동 평가 결과 높은 언어적 품질(평균 유창성 점수 4.3/5)을 보였으나, 일부 언어에서의 문화적 현지화 및 반복적인 대화 구조 문제를 지적했습니다.
• 합성 데이터에 대한 모델 성능: 베이스라인 다국어 NER 모델은 합성 대화 테스트 세트에서 평균 관대한(lenient) F1 점수 89.31과 엄격한(exact) F1 점수 86.82를 달려 성과를 거두었습니다. 성능은 언어별로 차이가 있었으며, 독일어, 스페인어, 영어에서 높은 점수를, 아랍어와 힌디어에서 낮은 점수를 기록했습니다.
• 음성 데이터에 대한 모델 성능: 음성 전사 대화로 평가했을 때, ASR 오류로 인한 도전 과제를 반영하여 성능이 완만하게 하락했습니다(평균 관대한 F1: 85.54, 엄격한 F1: 81.81).
• 외부 검증: DialogPII로 학습된 모델은 실제 데이터인 CallFriend 코퍼스에서 테스트되었습니다. 도메인 내 테스트에 비해 성능은 하락했으나, 유형 불가지론적(type-agnostic) 평가(매크로 평균 관대한 F1 > 83) 하에서 고무적인 결과를 보여주었으며, 이는 학습된 표현이 자연스러운 실제 대화로 일반화될 수 있음을 시사합니다.

의의

본 논문은 DialogPII가 대화형 비식별화를 위한 다국어 자원 가용성의 결정적인 공백을 메운다고 주장합니다. 11개 언어와 다양한 시나리오에 걸쳐 정렬된 텍스트 및 음성 자원을 제공함으로써, 본 데이터셋은 다음과 같은 연구를 촉진합니다:

• 다국어 비식별화 및 대화형 NER.
• 대화형 익명화 및 프라이버시 보존 NLP.
• 자동 음성 인식 파이프라인에서의 민감 정보 탐지 강건성.

저자들은 본 데이터셋이 합성 데이터임에도 불구하고, 연구자들이 일단 배포되면 실제 대화 데이터를 공유하는 것을 가능하게 할 익명화 시스템을 개발하고 테스트할 수 있게 해준다는 점을 강조합니다. 베이스라인 모델의 공개와 실제 데이터(CallFriend)로의 전이 가능성 입증은 DialogPII가 강력한 다국어 비식별화 시스템 개발을 위한 유용한 토대를 제공함을 시사하지만, 저자들은 자연 발생적인 대화 데이터에 대한 도메인 적응을 위해 추가적인 작업이 필요하다고 언급했습니다.