기술 요약: 브라질 PHI 벤치마킹 체크섬 검증 인식기

문제 정의

브라질 의료 분야의 인공지능 도입은 개인 식별 정보(PII)를 처리하거나 저장하기 전에 이를 제거하도록 규정하는 '일반 데이터 보호법(LGPD)'에 의해 제약을 받습니다. LGPD는 건강 데이터를 민감 정보로 분류합니다. 임상 자연어 처리(NLP) 기술이 브라질에서 성장하고 있으나, 브라질 임상 기록에서 가장 빈번하게 나타나는 7가지 PII 유형을 탐지하기 위한 벤치마크가 부재하다는 결정적인 공백이 존재합니다. 이 7가지 유형에는 개인 납세자 번호(CPF), 지역 의사 협회 등록 번호(CRM), 국가 건강 카드(CNS), 법인 등록 번호(CNPJ), 시민 신분증(RG), 우편번호(CEP), 그리고 전화번호가 포함됩니다.

Microsoft Presidio와 같은 기존 도구 및 대규모 언어 모델(LLM)은 이 특정 작업에 부적합합니다. 기본형 Presidio는 브라질 형식에 특화된 인식기가 내장되어 있지 않으며, LLM은 단순한 숫자 문자열과 유효한 CPF/CNPJ를 구분하기 위해 필요한 수학적 체크섬 검증을 수행할 수 없습니다. 이러한 한계는 잠재적인 오탐(False Positive) 또는 미탐(Missed Detection)을 초래하여 규제 미준수 위험을 높입니다.

방법론

저자는 브라질 전용 PII 탐지를 위해 설계된 최초의 벤치마크인 Brazilian-PHI를 소개합니다. 본 연구는 670개의 PII 인스턴스와 1,940개의 방해 요소(예: ICD-10 코드, 날짜, CNES 시설 코드)가 포함된 500개의 합성 코퍼스를 대상으로 세 가지 서로 다른 접근 방식을 평가합니다.

1. 코퍼스(Corpus)

데이터셋은 템플릿 기반 시스템으로 생성된 500개의 합성 진료 기록으로 구성됩니다. 결정적으로, 모든 CPF 및 CNPJ 인스턴스는 mod-11 체크섬 검증을 통과하도록 알고리즘적으로 생성되었습니다. 정답(Ground Truth)은 정확한 문자 오프셋 범위(character-offset spans)에 의해 정의됩니다. 방해 요소의 포함은 시스템이 PII와 외형적으로 유사한 형식을 오탐하지 않는 능력을 테스트합니다.

2. 평가 대상 방법론

• 커스텀 Presidio 인식기(Custom Prescia Presidio Recognizers): Microsoft Presidio를 위해 구현된 7종의 커스텀 인식기 세트입니다. 이는 패턴 매칭을 위한 정규 표현식을 사용하며, 결정적으로 CPF 및 CNPJ에 대한 mod-11 체크섬 검증을 포함합니다. 이 레이어는 실제 운영 중인 임상 AI 시스템의 일부로 배포됩니다.
• 기본(Stock) Presidio: 브라질 식별자 규칙이 결여된 수정되지 않은 Microsoft Presidio v2.2.362입니다.
• Groq Llama 3.3 70B: 구조화된 프롬프트를 사용하여 PII 범위를 JSON 형식으로 추출하는 제로샷(Zero-shot) LLM 방식입니다. API 속도 제한으로 인해 100개의 노트에 대해서만 평가되었습니다.

3. 평가 지표

성능은 정확한 범위 매칭(Exact span matching)을 기준으로 정밀도(Precision), 재현율(Recall), F1 점수를 사용하여 측정되었습니다. 추가 지표로는 macro/micro F1, 체크섬 검증 정확도, 방해 요소에 의한 오탐률, 그리고 실행 시간(Wall-clock latency)이 포함되었습니다. 통계적 유의성은 McNemar 검정을 통해 평가되었습니다.

주요 결과

성능 정확도

• 커스텀 Presidio: 모든 7가지 PII 유형에 대해 macro F1 점수 1.000을 달성했습니다. 체크섬 검증의 포함으로 CPF 및 CNPJ에 대한 오탐이 제로(0)를 기록했는데, 이는 수학적 검증을 통과하지 못한 모든 패턴 매치 결과가 거부되었기 때문입니다.
• 기본(Default) Presidio: macro F1 0.270을 기록했습니다. 특정 규칙의 부재로 인해 7가지 유형 중 5가지(CRM, CNS, CEP, RG, CNPJ)를 전혀 탐지하지 못했습니다. 일반적인 세금 ID 패턴을 매칭함으로써 CPF에 대해서는 부분적인 성공(F1 = 0.889)을 보였으나 검증 기능은 부족했습니다.
• Llama 3.3: 100개 노트 서브셋에서 macro F1 0.989를 달성했습니다. 매우 높은 정확도를 보였으나, CNPJ 형식의 방해 요소에서 하나의 오탐을 발생시켰으며 체크섬 검증을 수행할 수 없었습니다.

지연 시간 및 확장성

성능 격차에서 가장 큰 차이점은 처리 속도입니다:

• 커스ам Presidio: 노트당 평균 지연 시간 9.9 µs
• Llama 3.3: 노트당 평균 지연 시간 801.2 ms
  이는 80,000배의 차이를 나타냅니다. 저자는 Llama 3.3으로 실시간 처리량(초당 100개 노트)을 달성하려면 약 80,000개의 병렬 추론 슬롯이 필요하며, 이는 브라질 의료 시스템의 대규모 운영 규모에서 경제적, 인프라적으로 불가능함을 지적합니다.

통계적 유의성

McNemar 검정 결과, 커스텀 Presidio 방식이 기본 Presidio보다 통계적으로 유의미하게 우월함이 확인되었습니다 ($\chi^2 = 313.003, p < 0.001$). 커스텀 Presidio와 Llama 3.3 사이의 비교는 제한된 샘플 크기로 인해 통계적 유의성이 나타나지 않았으나, 지연 시간 제약이 주요 차별점입니다.

의의 및 주장

본 논문은 브라질 임상 PII 탐지를 위한 최초의 벤치마크를 제공함으로써 규제적, 기술적 공백을 해결한다고 주장합니다. 주요 기여는 다음과 같습니다:

1. 체크섬 검증의 유효성: 본 연구는 CPF 및 CNPJ의 결정론적 PII 탐지를 위해 체크섬 검증(mod-11)이 필수적임을 입증합니다. 이는 탐지 방식을 확률적 방식에서 결정론적 방식으로 전환하여, 정규 표현식만 사용하거나 LLM을 사용하는 방식이 거부할 수 없는 일련의 오탐을 제거합니다.
2. 하이브리드 아키텍처 권고: 저자는 "원칙적인 역할 분담"을 제안합니다. 구조화된 식별자(CPF, CNPJ, CRM 등)의 경우, 규칙 기반 인식기가 속도와 수학적 확실성 측면에서 더 우수합니다. LLM이나 미세 조정된 NER 모델은 비구조화된 PII(이름, 자유 형식의 주소 등)에 더 적합합니다.
3. 운영 가능성: 결과는 LLM이 정확도 면에서는 경쟁력이 있지만, 지연 시간 문제로 인해 대규모 LGPD 준수를 위한 주요 메커니즘으로서 부적합함을 시사합니다. 커스텀 규칙 기반 인식기는 프로덕션 환경의 기초로서 필수적이라는 점이 제시되었습니다.
4. 오픈 소스 공개: 저자는 브라질 임상 NLP의 연구 및 개발을 촉진하기 위해 합성 코퍼스, 7종의 커스텀 인식기, 그리고 평가 스크립트를 오픈 소스로 공개했습니다.

논문은 합성 코퍼스를 사용했다는 점과 CNPJ 형식이 2026년 7월에 알파뉴메릭(Alphanumeric) 형식으로 변경될 예정이어서 향후 인식기 업데이트가 필요하다는 점을 한계점으로 언급하며 마무리됩니다. 그러나 현재의 작업은 기존 숫자 형식에 대한 견고한 베이스라인을 구축하였습니다.