Linking Hadith Narrator Identities Across Heterogeneous Arabic Biographical Databases: A Multi-Signal Entity Resolution Pipeline

技術要約：異種混在するアラビア語伝記データベース間におけるハディース伝承者のアイデンティティ・リンキング

問題提起
イスラム教のハディース文献に関する計算機的分析は、現在、伝承者データの断片化によって阻害されている。大規模なデジタルコーパス（650,986件のハディース記録と伝承経路を含む「Sanadset 650K」や、伝記データベースである「hadithtransmitters (hawramani)」、「Muslimscholars.info」など）は存在するものの、これらのリソースは孤立して運用されている。これらは共通の識別子を欠いており、名称の表現形式も異なっている（例：多様なナサブ（父称）の連鎖、クニヤ（尊称）対イスム（本名）の形態、および綴りのバリエーション）。既存のアラビア語向けエンティティ・レゾリューション（実体解像）手法は、主に現代のWikipediaに整合した知識ベース向けに設計されており、歴史的なイスラム教の名称が持つ特有の課題（可変長のナサブの連鎖や形態論的な格変化など）に対処できていない。その結果、伝承経路（サナド）のソーシャルネットワーク分析は、単一のコレクション内に限定されており、外部の伝記メタデータ（没年や信頼度等級など）へのアクセスができない。また、曖昧さ回避システムはクローズド・ワールドの仮定の下で動作しており、独立したデータベース間でのリンキングを促進するものではない。

手法
本論文では、Sanadsetからhawramaniへ、次いでhawramaniからmuslimscholarsへと伝承者の名前を紐付けるために設計された、2フェーズのエンティティ・レゾリューション・パイプラインを提案する。このパイプラインは、ドメイン固有のアラビア語正規化とマルチシグナル・スコアリング・フレームワークに基づいている。

1. アラビア語名の正規化: いかなる比較を行う前にも、共有の正規化関数 norm(t) が3つのデータベースすべてに適用される。このプロセスは以下の通りである：

   • 誤って子音を削除することを避けるため、明示的かつ非交差的なUnicode範囲を使用して、ダイアクリティカルマーク（タシュキール）を除去する。
   • 5種類のアレフ（Alef）の変種を、単一の裸のアレフに統一する。
   • ター・マルブータ（Ta marbuta）をハー（ha）に、アレフ・マクスーラ（Alef maqsura）をヤー（ya）に正規化する。
   • タウィール（Tatweel）を除去し、空白を圧縮する。

2. 候補生成: 計算量的に困難な $O(n \times m)$ の比較を避けるため、システムはバイグラム接頭辞インデックスを採用している。レコードは連続する2つの正規化トークンのペアによってインデックス化される。クエリ名と少なくとも1つのバイグラムを共有するレコードの和集合として候補が取得され、これにより比較の負担を数桁削減する。

3. フェーズ1：Sanadset $\rightarrow$ hawramani (名前のみ):

   • 制約: Sanadsetのエントリには、伝記的メタデータ（没年や等級）が欠落している。
   • 手法: マッチングは、トークンソート・ファジー文字列照合（TSR）を用いた名前の類似性のみに依存する。ナサブの連鎖の順序の変動を緩和するために、トークンはアルファベット順にソートされる。
   • スコアリング: 類似度スコア $s_{name} \in [0, 1]$ が算出される。$s_{name} \ge 0.80$ の場合にリンクが確立される。
   • 信頼度: 高 (HIGH $\ge 0.90$) および 中 (MEDIUM $\ge 0.80$)。

4. フェーズ2：hawramani $\leftrightarrow$ muslimscholars (マルチシグナル):

   • 手法: 重み付けされたマルチシグナル関数を用い、名前の類似性、没年の近接性、および信頼度等級の極性を組み合わせる。
   • シグナル:
     • 名前の類似性: 重みは0.70（両側に没年がある場合は0.50）。
     • 没年の近接性: ヒジュラ暦の差の絶対値に基づく $s_{death}(\Delta y)$ として算出される。スコアは1.0（完全一致）から0.0（10年以上の差）の範囲をとる。没年が欠落している場合は、中立的なスコア0.50を適用する。
     • 等級の極性: 信頼度等級は、ポジティブ、ネガティブ、または不明のクラスに集約される（スコアは1.0, 0.0, 0.5）。
     • ソース・ボーナス: hawramaniのレコードに5つ以上の出典引用がある場合、小さなボーナス ($\delta_{src} = 0.05$) が加算される。
   • 動的重み付け: hawramaniにおける没年の疎性（初期の実行ではマッチしたペアの0.1%未満で利用可能であったが、論文では改善後の抽出により27.2%に達したと記されている）のため、システムは重みを動的に調整する。大多数のペアにおいて、有効な重み分布は、名前が約70%、没年が中立として10%、等級が10%となる。

5. グラフ構築: 連結されたデータは、エッジが師弟関係を表す有向伝承グラフの構築に使用される。ノードのメタデータは、クロスソースの伝記的詳細によって強化される。推移的なリンク（Sanadset $\rightarrow$ hawramani $\rightarrow$ muslimscholars）における連鎖の信頼度は、構成するリンクの最小信頼度ティアによって決定される。

主な結果

• フェーズ1 (Sanadset $\rightarrow$ hawramani): Sanadsetにおける185,216個の一意な伝承者名のバリエーションのうち、94,628個（51.1%）が正常にリンクされた。
  • 高信頼度: 39,938 (21.6%)。
  • 中信頼度: 54,690 (29.5%)。
  • 47.7%の伝承者はバイグラム候補を持たなかった。これは通常、高度に省略された形式であるか、対象のデータベースに存在しないためである。
• フェーズ2 (hawramani $\leftrightarrow$ muslimscholars): 95,573個のリンクが確立され、100,915個のhawramaniエントリの94.7%をカバーした。
  • 高信頼度: 18,245 (18.1%)。
  • 中信頼度: 71,546 (70.9%)。
  • 低信頼度: 5,782 (5.7%)。
  • 中信頼度の支配性は、データの疎性（両側での没年の欠如）に起因し、名前の類似性への依存を強めている。
• 伝承グラフ: パイプラインは、185,216個のノードと814,093個のエッジを持つ有向グラフを生成した。これは、次に大きい公開されているハディース伝承者グラフよりも約90倍大きい。グラフは、べき乗則に従う次数分布を持つスケールフリー特性を示す。
• 強化: 93,588個の伝承者が3ソースの整合（Sanadset $\rightarrow$ hawramani $\rightarrow$ muslimscholars）を達成し、グラフへのクロスソース・メタデータの付与を可能にした。

意義と貢献
本論文は、伝承者のアイデンティティ・レゾリューションの欠如に関する先行調査のギャップを埋める、以下の3つの主要な貢献を主張している：

1. 2フェーズのパイプライン: ドメイン固有のアラビア語正規化を利用し、名前のみのフェーズ（メタデータが乏しいソースに必要）と、マルチシグナル・フェーズ（利用可能な場合には没年や等級を活用する）を組み合わせた新しいパイプライン。
2. アノテーション済みリンク・コーパス: 信頼度ティアによって層別化された2つのリンク・コーパス（sanad_links および narrator_links）を公開。これらは、この特定のクロスソース・リンキング・タスクのための最初の規模の大きなリソースとなる。
3. 強化された伝承グラフ: 複数のソースからの伝記的メタデータによって強化された、最大規模（185kノード）の公開ハディース伝承グラフの構築。これにより、孤立したデータセットでは不可能であった分析が可能になる。

著者らは、本パイプラインが完全に構造化された名前の文字列とカテゴリカルなメタデータに基づいて動作しており、あらゆるペアのアラビア語伝記データベースに適用可能であることを強調している。また、信頼度の閾値は、手動検証された評価セットが存在しないため（グラウンドトゥルースによる正式な較正ではなく）、目視によって設定されたものであると述べている。しかし、得られたリソースは、ハディースの認証およびデジタル・イスラム人文学におけるダウンストリーム研究のための基礎的な出発点を提供するものである。本研究は、AR-Sanad v2のような従来のモデルが扱ってきた「クローズド・ワールド」の曖昧さ回避タスクとは明確に区別される、「オープン・ワールド」のリンキング問題を解決するものとして位置づけられている。