An Agentic Workflow for Detecting Personally Identifiable Information in Crash Narratives

제공된 논문 "An Agentic Workflow for Detecting Personally Identifiable Information in Crash Narratives"에 대한 상세한 기술적 요약은 다음과 같습니다.

1. 문제 정의 (Problem)

교통 사고 보고서의 '사고 서술 (Crash Narratives)'은 교통 안전 분석에 필수적인 맥락적 정보를 제공하지만, 개인 식별 정보 (PII: 이름, 주소, 전화번호, 차량 번호판 등) 가 포함되어 있어 공개 및 광범위한 연구 활용이 제한됩니다.

• 기존 방법의 한계:
  • 수동 검토: 데이터 양이 방대하고 PII 가 불규칙하게 분포하여 확장성이 없습니다.
  • 규칙 기반 (Rule-based) 접근: 구조화된 데이터 (전화번호 등) 에는 효과적이지만, 문맥에 의존하는 PII(이름, 주소 등) 를 파악하지 못하거나 오탐 (False Positive) 이 빈번합니다.
  • 일반적인 LLM: 도메인 특화 지식이 부족하여 교통 사고 보고서에서 '도로명'과 '주거지 주소'를 구분하는 등 모호한 경우를 처리하는 데 어려움을 겪습니다.
• 핵심 과제: 외부 API 사용이 제한된 프라이버시 민감 환경에서, 로컬로 배포 가능하며 구조화된 PII 와 문맥 의존적 PII 를 모두 정확히 탐지할 수 있는 시스템 필요.

2. 제안된 방법론 (Methodology)

저자는 **로컬 배포 가능한 에이전트 워크플로우 (Agentic Workflow)**를 제안하며, 이는 크게 두 가지 계층으로 구성됩니다.

1 계층: 하이브리드 추출기 (Hybrid Extractor)

PII 유형에 따라 가장 적합한 도구를 라우팅하는 전략을 사용합니다.

• 구조화된 PII (전화번호, 이메일): Microsoft Presidio(오픈소스 규칙 기반 도구) 를 사용하여 높은 정밀도로 탐지합니다. (전화번호 패턴은 미국 형식에 맞춰 강화됨)
• 문맥 의존적 PII (이름, 주소, 알파누메릭 식별자): Llama 3.1-8B 모델을 LoRA(Low-Rank Adaptation) 기법으로 파인튜닝하여 사용합니다.
  • 데이터: 2,000 개의 수동 주석 사고 서술 데이터를 사용하여 도메인 특화 지식을 학습시켰습니다.
  • 출력 형식: 모델의 환각 (Hallucination) 을 줄이고 정확한 스패닝 (Span) 추출을 위해 태그 기반 출력 형식 (예: @@@이름@@@) 을 사용합니다.
• 앙상블 학습 (Ensemble Learning): 파인튜닝된 LLM 의 추론 무작위성을 보완하기 위해 K 번 반복 실행하여 후보 집합을 통합 (Union) 하여 재현율 (Recall) 을 높입니다.

2 계층: 에이전트 검증기 (Agentic Verifier)

가장 모호한 두 가지 카테고리 (주거지 주소, 알파누메릭 식별자) 에 대한 오류를 필터링합니다.

• 역할: 추출된 후보 항목을 다시 검토하여 'KEEP', 'DROP', 'UNCERTAIN'으로 결정합니다.
• 증거 기반 추론: 모델이 결정을 내릴 때 반드시 사고 서술에서 **직접 발췌한 증거 문구 (Evidence Snippet)**를 제공하도록 강제합니다. 이를 통해 환각을 방지하고 결정의 투명성을 확보합니다.
• 작동 방식: 'DROP'으로 판정된 항목은 제거하고, 'KEEP'은 유지합니다. 'UNCERTAIN'은 재현율 우선 설정에 따라 유지됩니다.

3. 주요 기여 (Key Contributions)

1. 도메인 특화 에이전트 워크플로우 개발: 사고 서술 내 PII 탐지를 위해 규칙 기반 도구와 파인튜닝된 LLM 을 결합한 하이브리드 아키텍처를 설계했습니다.
2. 프라이버시 보호 및 로컬 배포: 모든 컴포넌트 (Presidio, LLM, Verifier) 가 로컬에서 실행되도록 설계하여, 외부 API 사용이 금지된 기관 내 환경에서도 안전하게 대규모 데이터를 처리할 수 있습니다.
3. 검증 에이전트 도입: 모호한 카테고리 (주소, 식별자) 에 대해 증거 기반의 2 차 검증 단계를 도입하여 오탐을 줄이고 시스템의 견고성을 높였습니다.

4. 실험 결과 (Results)

실제 위스콘신 주 교통부 (Wisconsin DOT) 의 2017~2022 년 사고 데이터 (테스트셋 500 개) 를 기반으로 평가되었습니다.

• 전체 성능: 제안된 워크플로우는 정밀도 (Precision) 0.82, 재현율 (Recall) 0.94, F1 점수 0.87, 정확도 (Accuracy) 0.96을 기록하여 기존 베이스라인 (Presidio, 프롬프트 기반 LLM, 단일 파인튜닝 LLM) 을 모두 능가했습니다.
• 카테고리별 성능:
  • 전화번호/이메일: Presidio 를 통해 매우 높은 성능 유지 (F1 1.00).
  • 이름: 파인튜닝된 LLM 의 강점을 살려 높은 정밀도 (0.93) 와 재현율 (0.76) 달성.
  • 주소/알파누메릭 식별자: 가장 어려운 카테고리이나, 앙상블 + 검증기 (E+V) 모듈 도입으로 정밀도가 1.00(주소) 으로 향상되었고, 재현율도 개선되었습니다.
• 모델 효율성: 2,000 개의 소규모 데이터로 파인튜닝한 작은 모델 (Llama 8B) 이 프롬프트 엔지니어링만 적용한 거대 모델 (Gemma 27B) 보다 더 나은 성능을 보여주어, 도메인 적응의 중요성을 입증했습니다.

5. 의의 및 결론 (Significance)

• 확장 가능한 프라이버시 보호 솔루션: 외부 클라우드 API 의존도를 제거함으로써, 민감한 교통 사고 데이터를 안전하게 처리하면서도 연구 및 안전 개입을 위한 데이터 접근성을 높였습니다.
• 하이브리드 아키텍처의 유효성: 단일 모델이 모든 PII 를 처리하는 것보다, 구조화된 데이터는 규칙 기반, 문맥 의존적 데이터는 LLM 기반, 그리고 모호한 데이터는 검증 에이전트가 처리하는 분업형 에이전트 워크플로우가 더 효과적임을 입증했습니다.
• 미래 연구 방향: 검증 에이전트의 프롬프트 강화 및 불확실성 처리 정책 개발을 통해 모호한 PII 유형에 대한 성능을 더욱 개선할 수 있는 가능성을 제시했습니다.

이 연구는 교통 안전 분야에서 데이터 프라이버시를 보장하면서도 고품질의 텍스트 마이닝을 가능하게 하는 실용적이고 견고한 프레임워크를 제공합니다.