OpenSanctions Pairs: Large-Scale Entity Matching with LLMs

この論文は、実世界の国際制裁データから構築された大規模なエンティティマッチングベンチマーク「OpenSanctions Pairs」を公開し、既存のルールベース手法を大幅に上回る精度で LLM が機能することを実証するとともに、今後の研究の焦点をペアマッチングからブロッキングやクラスタリングなどのパイプライン構成要素へシフトさせる必要性を提言しています。

要約

この論文は、**「世界中の制裁リスト（ブラックリスト）にある人物や組織を、大規模に整理して重複を見つける」**という難しい仕事を、最新の AI（大規模言語モデル）がどのようにこなしたかについて書かれたものです。

まるで**「世界中の図書館にある、名前が似ているけど別人の『悪人』のカードを、AI が瞬時に見分ける」**ような話です。

以下に、専門用語を排して、身近な例え話を使って解説します。

---

1. 背景：なぜこんな難しい仕事が必要なのか？

想像してみてください。世界中の国々が「危険人物リスト」を作っています。

• アメリカのリストには「ジョン・スミス」が載っています。
• ロシアのリストには「イワン・スミトフ（同じ人のロシア語表記）」が載っています。
• 中国のリストには「スミトフ・ジョン（中国語表記）」が載っています。

さらに、同じ名前の人（例：「田中太郎」）が何百人もいて、その中から「本当に同じ人」を特定するのは至難の業です。銀行などは、このリストと照合して「この顧客はリストに載っている人か？」をチェックしなければなりません。これを**「エンティティマッチング（同一人物判定）」**と呼びます。

これまで、この仕事は**「厳密なルール」**（名前が同じなら一致、生年月日が違えば不一致など）という、少し融通の利かない「自動改札機」のようなシステムで行われていました。しかし、名前が似ているだけで別人を「一致」と誤判定したり、微妙な違いで本当の犯人を見逃したりする問題がありました。

2. 今回発表されたもの：「OpenSanctions Pairs」

研究チームは、この問題を解決するために、**「世界最大級の練習用テスト問題集」**を作りました。

• 中身： 31 か国、293 種類の異なるリストから集めた、75 万組以上の「人物ペア」。
• 特徴： 名前が違ったり、文字が違ったり（ロシア語、中国語など）、情報が欠けていたりする「 messy（ぐちゃぐちゃな）」データばかり。
• ラベル： 人間の専門家が「これは同じ人」「これは別人」と判断した正解データ。

これは、従来の「きれいなデータ」を使ったテストとは全く異なり、**「現実世界の泥臭い現場」**をそのまま再現したものです。

3. 実験結果：AI は「魔法の探偵」になった

彼らは、従来の「厳密なルール型システム」と、最新の「AI（LLM）」をこのテスト問題集で戦わせました。

🥉 従来のルール型システム（旧式の自動改札）

• 成績： 正解率（F1 スコア）約 91%。
• 特徴： 「名前が似ていれば、とりあえず一致！」と判断しがち。
• 弱点： 別人を「同じ人」と誤って判断する（偽陽性）ことが多く、人間が後でチェックする手間がかかりました。

🥇 最新の AI（大規模言語モデル）

• 成績： 正解率 98%〜99%（GPT-4o や DeepSeek など）。
• 特徴： **「矛盾を探す探偵」**として振る舞いました。
  • 「名前が似ていても、ID 番号や生年月日が矛盾していれば『別人』だ！」と判断できます。
  • 「名前が少し違っても、他の情報が合っていれば『同じ人』だ！」と柔軟に判断できます。
• 結果： 従来のシステムを大きく凌駕し、人間の専門家とほぼ同じレベルの精度を達成しました。

4. 重要な発見：「AI の限界」と「次のステップ」

この研究で最も面白い発見は、「ペアごとの比較（2 人を比べるだけ）」という作業は、もう AI が完璧にこなせるようになったということです。

• アナロジー：
  以前は「2 人の写真を見比べて、同じ人か？」という作業に AI が苦戦していましたが、今は**「2 人を比べるだけなら、AI はプロの探偵より上手」**になりました。

• これからの課題：
  「2 人を比べる」のはもう問題ない。では、残りの課題は何でしょうか？

  • ブロック（選別）： 75 万組すべてを AI に見せるのは時間がかかる。まずは「名前が全く違う人は除外する」などの**「候補を絞り込む作業」**をどう効率化するか。
  • クラスタリング（グループ化）： 「A と B は同じ人」「B と C も同じ人」なら、「A, B, C は全員同じグループ」とまとめる作業。
  • 不確実性の管理： 「AI も自信がない場合は、人間に確認してください」という判断をどうシステムに組み込むか。

5. まとめ：何が起きたのか？

この論文は、「制裁リストの整理」という地味で重要な仕事が、AI の登場で劇的に楽になったことを示しています。

• 昔： 厳密なルールで機械的にチェック → 間違いが多く、人間のチェックが大量に必要。
• 今： AI が「矛盾」を見つけて判断 → 人間と同等の精度で、大幅にミスが減る。

「2 人を比べる」作業はもう AI が得意になったので、今後は「どうやって AI を効率よく動かすか（候補を絞る、グループ化する）」という、より大きなシステム設計の段階に進むべきだというのが、この研究の結論です。

まるで、**「2 人の顔を見比べる仕事は AI が完璧にこなせるようになったので、次は『誰を比べるべきか』を選ぶ司令塔をどう作るか」**に注目しよう、と呼びかけているようなものです。

技術概要

OpenSanctions Pairs: 大規模 LLM によるエンティティマッチング

技術サマリー（日本語）

本論文は、実世界の国際制裁データから導出された大規模なエンティティマッチング（EM）ベンチマーク「OpenSanctions Pairs」の公開と、大規模言語モデル（LLM）を用いたエンティティ解決タスクの評価に関する研究報告です。

1. 問題設定と背景

**エンティティマッチング（EM）**とは、異なるデータソースに存在する 2 つのレコードが同一の実世界のエントリ（人物、組織など）を指しているかを判定するタスクです。これはデータ統合パイプラインの核心ですが、従来のベンチマーク（ECM や学術文献データなど）は、スキーマが整然としており、言語やスクリプトが統一された限定的な環境に基づいています。

しかし、**制裁リスト（Sanctions Data）**のような実務環境では、以下の課題が存在します：

• 多様なソース: 31 か国、293 の異なるソースからのデータ統合。
• 高品質なノイズ: 欠損値、矛盾する属性、スクリプトの混在（キリル文字、中国語、アラビア文字など）。
• 複雑な表現: 同一人物が複数の通名、別名、または異なるスクリプトで表記されること。
• セット値属性: 単一の値ではなく、複数の住所や国籍を持つ場合がある。

これらに対応する大規模な公開ベンチマークが存在しなかったため、本研究では OpenSanctions と協力し、実務的な課題を反映した新しいデータセットと評価基準を構築しました。

2. データセット：OpenSanctions Pairs

• 規模: 755,540 のラベル付きペア（正解・不正解の判定）。
• カバレッジ: 100 万を超えるユニークなエンティティ、31 か国、293 のソース。
• 特徴:
  • 多言語・多スクリプト（ラテン文字、キリル文字、アラビア文字など）。
  • 不完全な証拠に基づく専門家による人間の判断（ラベル）を反映。完全なグランドトゥルースではなく、実務的な不確実性を内包。
  • 正解（マッチ）: 76.9%、不正解（ノンマッチ）: 23.1% の不均衡データ（ブロッキング戦略による）。
• 構成: 人物（32 万）、企業（4.8 万）、組織（4.7 万）など、最大 132 のプロパティフィールドを含む。

3. 手法と実験設計

本研究では、以下の 3 つのアプローチを比較評価しました。

1. ルールベースのベースライン:
   • OpenSanctions の生産システムで使用されている nomenklatura RegressionV1 アルゴリズム。
   • 名前類似度（トークン重なり、Levenshtein 距離、音声的マッチング）、日付、識別子、人口統計学的属性の 18 種類の特徴量を計算し、ロジスティック回帰でマッチ確率を出力。
2. オープンソース LLM:
   • Llama-3.1-8B-Instruct
   • DeepSeek-R1-Distill-Qwen-14B（Qwen2.5-14B ベースの蒸留モデル）。
   • 現地展開可能でコスト効率が高く、再現性が高いモデルを選択。
3. プロプライエタリ（クローズドソース）LLM:
   • GPT-5 Nano, GPT-5.2 Pro, Claude Opus 4.5 など、API 経由でアクセス可能な最先端モデル。

評価プロトコル:

• プロンプト設計: 「類似性の発見」ではなく「矛盾（Conflict）の検出」に焦点を当てたシステムプロンプトを設計（例：欠損は差異の証拠ではない、矛盾がない限り同一とみなす）。
• 最適化: DSPy の MIPROv2 を用いたプロンプト最適化（指示の言い換えやデモンストレーションの選択）を実施。
• メトリクス: 不均衡データとコンプライアンス要件（偽陰性のコストが高い）を考慮し、F1 スコアを主要指標とした。

4. 主要な結果

LLM の卓越した性能:

• 従来のルールベースベースライン（F1: 91.33%）を大幅に上回り、LLM は最高で F1 98.95%（GPT-4o）を達成。
• オープンソースモデルでも DeepSeek-R1-Distill-Qwen-14B が F1 98.23% を記録し、プロプライエタリモデルに匹敵する性能を示しました。
• この性能は、データセット上の人間のアナリスト間の一致度（人間の限界）に近づいており、ペアごとのマッチング自体の最適化には限界（プラトー）が見え始めていることを示唆しています。

プロンプト最適化と Few-Shot の効果:

• 最適化: MIPROv2 によるプロンプト最適化は、ゼロショット設定で安定した小幅な改善（例：Llama-3.1-8B で +1.9 F1 ポイント）をもたらしました。
• Few-Shot の限界: コンテキスト内例（Few-Shot）を追加しても、最適化されたゼロショットより性能が向上しませんでした。むしろ、例が指示レベルの決定戦略と競合し、性能が低下するケースが見られました。

失敗モードの分析:

• ルールベース: 偽陽性（False Positive）が多く、recall は高いが precision が低い。コンプライアンス上、「見逃し」を避けるための設計特性。
• LLM: 偽陰性（False Negative）が主。特に、スクリプト間の転写（Transliteration）の差異や、**日付・識別子の微小な不一致（Off-by-one エラー）**に対して過剰に反応し、異なる人物と判定してしまう傾向があります。

5. 貢献と意義

1. 大規模かつ多様なベンチマークの公開: 制裁データという実務的な課題に特化した、既存のベンチマークより 1 桁以上規模が大きく、多様性が高いデータセットを公開。
2. LLM の実用性の実証: 専門家の判断を LLM が高精度に再現可能であることを示し、エンティティ解決タスクの自動化が現実的であることを証明。
3. 研究の方向転換の提言:
   • ペアごとのマッチング精度の向上には限界が近づいているため、今後の研究重点はブロッキング（候補絞り込み）、クラスタリング、不確実性を考慮したレビュー、プロベナンス（出所）モデリングなどのパイプライン全体へシフトすべきであると結論づけています。
   • 誤りやすいケース（転写問題など）は、LLM がデータ品質の問題を検出するツールとしても機能し得ることを示唆。

6. 結論

OpenSanctions Pairs は、制裁スクリーニングのような複雑で多言語な環境におけるエンティティマッチングの新たな基準を設定しました。LLM は既存のルールベースシステムを凌駕する性能を達成し、人間と同等の判断が可能になりました。今後は、個々のペアの分類精度向上よりも、システム全体の効率化や、不確実性管理を含むより高次なパイプライン構成への注力が重要であると提言しています。