OpenSanctions Pairs: Large-Scale Entity Matching with LLMs

이 논문은 국제 제재 데이터에서 파생된 대규모 엔티티 매칭 벤치마크인 'OpenSanctions Pairs'를 공개하고, 기존 규칙 기반 시스템보다 우수한 성능을 보이는 LLM 기반 매칭의 효과와 한계를 실증적으로 분석하여 향후 엔티티 해결 작업의 초점을 매칭 자체보다는 블로킹 및 클러스터링 등 파이프라인 다른 단계로 전환할 것을 제안합니다.

핵심

🕵️‍♂️ 핵심 주제: "누가 진짜 악당일까?" 찾기 게임

세상에는 제재 (Sanctions) 를 받은 나쁜 사람이나 조직들의 명단이 여러 나라에서 각각 따로 만들어져 있습니다. 하지만 문제는 이름이 비슷하거나, 철자가 다르고, 다른 언어로 적혀 있어서 같은 사람이 다른 사람인 것처럼 보이는 경우가 많다는 점입니다.

예를 들어, "이명박"이라는 이름이 영어로는 "Lee Myung-bak"이고, 어떤 곳에서는 "Lee M. B."로, 또 어떤 곳에서는 "이명박 (김철수)"으로 적혀 있다면, 이 세 명이 같은 사람인지 다른 사람인지 구별하는 것은 매우 어렵습니다.

이 논문은 실제 국제 제재 데이터를 이용해, "이 두 기록이 같은 사람인가?"를 판별하는 기술들을 비교했습니다.

📊 1. 새로운 시험지: "OpenSanctions Pairs"

기존에 연구자들이 쓰던 데이터는 너무 단순했습니다. (예: 쇼핑몰에서 같은 상품 찾기). 하지만 실제 제재 데이터는 훨씬 혼란스럽습니다.

• 비유: 기존 시험지가 "초등학교 수학 문제"였다면, 이 새로운 데이터셋은 **"전 세계의 복잡한 범죄 수사관들이 매일 마주치는 난해한 사건"**과 같습니다.
• 규모: 31 개 나라, 293 개의 다른 출처에서 온 75 만 5 천 개 이상의 쌍 (Pair) 을 분석했습니다. 이름, 국적, 생년월일 등 정보가 부족하거나 틀린 경우도 많고, 한글, 러시아어, 아랍어 등 다양한 언어가 섞여 있습니다.

⚔️ 2. 대결: "구식 규칙책" vs "최신 AI"

연구팀은 두 가지 방법을 비교했습니다.

A. 구식 규칙책 (Rule-Based System)

• 방식: "이름이 90% 일치하면 같은 사람", "생년월일이 다르면 다른 사람"처럼 엄격한 규칙을 정해두고 컴퓨터에게 시켰습니다.
• 결과: 91.3% 정도만 맞췄습니다.
• 문제점: 이름이 비슷하면 무조건 "같은 사람"이라고 의심해서, innocent(무죄) 한 사람을 잘못 잡는 경우가 많았습니다. (위험을 피하기 위해 "일단 잡아서 확인하자"는 식의 보수적인 태도였습니다.)

B. 최신 AI (LLM - 대형 언어 모델)

• 방식: GPT-4o 나 DeepSeek 같은 최신 AI 에게 "이 두 사람이 같은 사람인지, 아니면 다른 사람인지 판단해 줘"라고 물었습니다.
• 결과: **98.9%**까지 정확도가 올라갔습니다!
• 비유: 구식 규칙책이 "모든 사람이 검은 옷을 입으면 도둑으로 의심하는 경비원"이었다면, 최신 AI 는 **"수사 경험이 풍부한 베테랑 형사"**처럼, 이름이 비슷해도 다른 단서 (아버지 이름, ID 번호, 주소 등) 를 종합적으로 보고 "아, 이 두 사람은 이름만 같고 다른 사람이구나"라고 정확히 알아챈 것입니다.

💡 3. 놀라운 발견들

1. AI 가 인간 전문가 수준에 도달했다:
   AI 가 이 일을 할 때의 정확도가 실제 인간 분석가들이 서로의 판단을 비교했을 때의 일치율과 거의 비슷해졌습니다. 즉, "단순히 이름이 같은지 다른지 비교하는 일"은 이제 AI 가 인간보다 훨씬 잘하게 되었다는 뜻입니다.

2. 질문하는 법 (프롬프트) 이 중요하다:
   AI 에게 "비슷한 점을 찾아줘"라고 하면 실패할 수 있지만, **"서로 모순되는 점 (충돌) 을 찾아줘"**라고 질문하면 정확도가 훨씬 올라갔습니다.

   • 비유: "이 두 사람이 닮은 점이 있니?"라고 묻는 것보다, "이 두 사람이 서로 다른 사람임을 증명할 수 있는 결정적인 모순이 있니?"라고 묻는 것이 훨씬 효과적이었습니다.

3. 예시 (Few-shot) 를 많이 줄 필요는 없다:
   AI 에게 예시 문제를 몇 개 보여주고 풀게 하는 것보다, 명령을 명확하게 내리는 것이 더 효과적이었습니다.

🚧 4. 남은 과제: "AI 가 99% 를 했으니 끝인가?"

아직은 아닙니다. AI 가 두 기록을 비교하는 것 (Pairwise Matching) 은 거의 완벽해졌지만, 전체 시스템은 아직 개선할 곳이 많습니다.

• 비유: AI 가 "이 두 장의 사진이 같은 사람인지"를 99% 정확도로 구분할 수는 있지만, **수천 장의 사진 속에서 후보를 먼저 골라내는 일 (Blocking)**이나, **여러 조각을 하나로 뭉치는 일 (Clustering)**은 여전히 어렵습니다.
• 미래 방향: 이제 연구자들은 "어떻게 AI 를 더 똑똑하게 만들까?"보다는 **"AI 가 잘하는 비교 작업을 어떻게 전체 시스템에 효율적으로 연결할까?"**에 집중해야 합니다.

📝 한 줄 요약

"이 논문은 복잡한 국제 제재 데이터로 AI 를 시험해 보니, 기존 컴퓨터 프로그램보다 최신 AI 가 인간 전문가 못지않게 '진짜 악당'을 찾아내는 데 탁월하다는 것을 증명했습니다. 이제 우리는 AI 가 하는 '비교' 작업에 시간을 쏟기보다, AI 가 잘하는 그 능력을 전체 시스템에 어떻게 녹여낼지 고민해야 할 때입니다."

이 연구는 AI 가 단순히 지식을 배우는 것을 넘어, 실제 복잡한 현실 세계의 문제를 해결하는 데 얼마나 강력한 도구가 될 수 있는지 보여주는 중요한 이정표입니다.

기술 요약

OpenSanctions Pairs: LLM 기반 대규모 엔티티 매칭에 대한 기술적 요약

이 논문은 국제 제재 (sanctions) 데이터에서 파생된 대규모 엔티티 매칭 (Entity Matching, EM) 벤치마크인 OpenSanctions Pairs를 소개하고, 기존 규칙 기반 시스템과 대규모 언어 모델 (LLM) 의 성능을 비교 분석한 연구입니다.

1. 문제 정의 (Problem)

엔티티 매칭은 서로 다른 레코드가 동일한 실세계 개체 (Real-world Entity) 를 가리키는지 판단하는 작업입니다. 기존 EM 벤치마크는 주로 전자상거래나 학술 데이터 (DBLP 등) 에 기반하여, 스키마가 정형화되고 언어가 단일화된 환경에서 개발되었습니다.

그러나 국제 제재 데이터는 다음과 같은 복잡한 특성을 가지며 기존 벤치마크의 한계를 드러냅니다:

• 이질적인 소스: 31 개 국가의 293 개 서로 다른 데이터 소스 통합.
• 다중 언어 및 문자: 키릴 문자, 한자, 아랍어 등 다양한 스크립트와 음역 (Transliteration) 문제.
• 불완전한 데이터: 누락된 속성, 노이즈, 모호한 식별자, 집합 값 (Set-valued fields) 필드 존재.
• 실무적 중요성: 금융 기관은 규제 위반 및 평판 손상을 피하기 위해 고객 screening 이 필수적이며, 실수는 수억 달러의 벌금으로 이어질 수 있음.

기존에 제재 데이터에 대한 공개된 페어 (Pairwise) 매칭 벤치마크가 부재하여, 연구와 실무 간 격차가 존재했습니다.

2. 방법론 (Methodology)

2.1. 데이터셋 구축 (OpenSanctions Pairs)

• 규모: 755,540 개의 레이블이 지정된 엔티티 쌍 (Positive/Negative) 으로 구성.
• 범위: 100 만 개 이상의 고유 엔티티, 293 개 소스, 31 개 국가.
• 레이블링: 인간 분석가가 불완전한 증거 하에서 수행한 전문가 판단 (Ground Truth 가 아닌 전문가 합의).
• 특징: 이름, 별명, 국적, 주소, 식별자 등 최대 132 개의 속성을 포함하며, 76.9% 가 매칭 (Positive), 23.1% 가 비매칭 (Negative) 으로 불균형 분포를 보임.

2.2. 실험 설계

연구팀은 세 가지 범주의 모델을 비교 평가했습니다:

1. 규칙 기반 베이스라인: OpenSanctions 의 nomenklatura RegressionV1 알고리즘 (이름 유사도, 날짜, 식별자 등 18 가지 특징을 로지스틱 회귀에 입력).
2. 오픈소스 LLM: Llama-3.1-8B-Instruct, DeepSeek-R1-Distill-Qwen-14B.
3. 상용 (Proprietary) LLM: GPT-4o, GPT-5 시리즈 (Nano, Pro), Claude 시리즈 등.

평가 프로토콜:

• Zero-shot 및 Few-shot: 프롬프트 최적화 (DSPy MIPROv2) 유무에 따른 성능 비교.
• 프롬프트 전략: 단순 유사도 매칭이 아닌 '모순 (Conflict) 탐지' 프레임워크를 채택. "충돌이 없으면 매칭 (Positive), 명시적 충돌이 있을 때만 비매칭 (Negative)"으로 설정.
• 지표: 불균형 데이터와 규제 준수 환경의 특성상 정밀도 (Precision) 와 재현율 (Recall) 의 조화평균인 F1 Score를 주요 지표로 사용.

3. 주요 기여 (Key Contributions)

1. 대규모 공개 벤치마크 출시: 기존 벤치마크보다 1 차수 (Order of magnitude) 더 크고 이질적인 제재 데이터 기반의 엔티티 매칭 데이터셋 공개.
2. LLM 기반 접근법의 유효성 입증: 레거시 규칙 기반 시스템보다 LLM 이 전문가의 판단을 훨씬 더 정확하게 복제함을 실증.
3. 연구 방향 전환 제안: 페어 매칭 성능이 한계에 도달했음을 지적하고, 향후 연구는 블로킹 (Blocking), 클러스터링, 불확실성 관리 등 파이프라인의 다른 구성 요소로 초점을 옮겨야 함을 주장.

4. 실험 결과 (Results)

4.1. 성능 비교

• 규칙 기반 시스템: F1 점수 91.33%. 재현율은 높으나 (99.42%), 오탐지 (False Positive) 가 많아 정밀도가 낮음 (84.46%).
• LLM 성능:
  • GPT-4o: F1 98.95% (최고 성능).
  • DeepSeek-R1-Distill-Qwen-14B (오픈소스): F1 98.23% (로컬 배포 가능 모델 중 최고).
  • Llama-3.1-8B: F1 94~96% 수준.
• 결론: 오프더셸 (Off-the-shelf) LLM 은 기존 생산 시스템보다 약 7~8 포인트 이상 성능이 우수하며, 인간 분석가 간의 일관성 수준에 근접함.

4.2. 프롬프트 최적화 및 Few-shot 학습

• 프롬프트 최적화 (MIPROv2): 규칙 기반 시스템보다 일관되게 소폭의 개선 (약 1~2 포인트) 을 보였으나, 상용 모델에서는 큰 효과가 없었음.
• Few-shot 학습의 한계: 컨텍스트 내 예시 (In-context examples) 를 추가하면 오히려 성능이 저하되거나 개선되지 않음. 이는 모델이 이미 최적의 결정 규칙을 내재하고 있으며, 예시가 오히려 간섭을 일으킬 수 있음을 시사.

4.3. 실패 모드 분석 (Failure Modes)

• 규칙 기반: 이름 기반 매칭에 의존하여 흔한 이름 (Common names) 에서 식별자 차이가 있음에도 매칭하는 과매칭 (Over-matching) 경향.
• LLM:
  1. 음역 (Transliteration) 문제: 서로 다른 문자 체계 (예: 키릴 vs 라틴) 간 이름 변형이 심할 때 매칭 실패.
  2. 사소한 불일치: 날짜나 식별자의 오타 (Off-by-one error) 등을 과도하게 강조하여 실제 동일한 개체를 비매칭으로 판단.

5. 의의 및 시사점 (Significance)

1. 엔티티 매칭의 자동화 가능성: 제재 데이터와 같은 고난도 환경에서도 LLM 이 인간 전문가 수준의 판단을 자동화할 수 있음을 입증. 이는 규제 준수 (Compliance) 워크플로우의 효율성을 극적으로 높임.
2. 성능의 한계 도달 (Ceiling): 페어 단위 매칭 (Pairwise Matching) 의 성능이 실질적인 한계에 도달했음을 시사. 추가적인 모델 튜닝보다는 블로킹 (후보 생성), 클러스터링, 불확실성 인식 검토 (Uncertainty-aware review) 등 파이프라인의 다른 단계에 연구 자원을 집중해야 함.
3. 실무 적용 전략:
   • 하이브리드 접근법: 규칙 기반 시스템으로 높은 재현율 (Recall) 을 확보한 후, LLM 으로 정밀도 (Precision) 를 높이는 엔블 (Ensemble) 방식이 효과적일 수 있음.
   • 데이터 품질 감지: LLM 이 식별하는 사소한 불일치는 데이터 입력 오류를 발견하는 데 활용 가능.

이 연구는 학술적 벤치마크와 실제 규제 준수 환경 간의 간극을 해소하고, LLM 기반 엔티티 해결 (Entity Resolution) 시스템의 현실적인 적용 가능성과 한계를 명확히 제시했다는 점에서 의의가 큽니다.