Linking Hadith Narrator Identities Across Heterogeneous Arabic Biographical Databases: A Multi-Signal Entity Resolution Pipeline

기술 요약: 이질적인 아랍어 전기 데이터베이스 간의 하디스 전승자 정체성 연결

문제 정의
이슬람 하디스 문헌에 대한 계산적 분석은 현재 전승자 데이터의 파편화로 인해 어려움을 겪고 있다. Sanadset 650K(650,986개의 하디스 기록과 전승 체인을 포함)와 같은 대규모 디지털 코퍼스와 Hadithtransvers (hawramani), Muslimscholars.info와 같은 전기 데이터베이스가 존재하지만, 이러한 자원들은 서로 고립되어 운영된다. 이들은 공통 식별자가 부족하며, 서로 다른 이름 표현 방식(예: 다양한 nasab 체인, kunyah 대 ism 형태, 철자 변이 등)을 사용한다. 기존의 아랍어 엔티티 해상도(Entity Resolution) 접근 방식은 주로 현대의 위키피디아 기반 지식 베이스를 위해 설계되었으며, 가변적인 길이의 nasab 체인이나 형태론적 격 변화와 같은 역사적 이슬람 이름의 특수한 과제를 해결하지 못한다. 결과적으로, 전승 체인(sanad)의 사회 네트워크 분석은 독립적인 데이터베이스 간의 연결을 용이하게 하는 폐쇄 세계 가정을 넘어, 교차 소스 생물학적 메타데이터(예: 사망 연도, 신뢰도 등급)에 접근하지 못한 채 단일 컬렉션 내에 국한되어 있다.

방법론
본 논문은 Sanadset의 전승자 이름을 hawramani와 연결하고, 이어서 hawramani를 muslimscholars와 연결하도록 설계된 2단계 엔티티 해상도 파이프라인을 제안한다. 이 파이프라인은 도메인 특화된 아랍어 정규화와 다중 신호 점수 산정 프레임워크에 의존한다.

1. 아랍어 이름 정규화: 비교 전, 모든 데이터베이스에 공유 정규화 함수 norm(t)가 적용된다. 이 과정은 다음과 같다:

   • 자음을 실수로 제거하는 것을 방지하기 위해 명시적이고 분리된 유니코드 범위를 사용하여 디아크리틱(tashkeel)을 제거한다.
   • 다섯 가지 Alef 변형을 하나의 기본 Alef로 통일한다.
   • Ta marbuta를 ha로, Alef maqsura를 ya로 정규화한다.
   • Tatweel을 제거하고 공백을 압축한다.

2. 후보 생성: 계산적으로 불가능한 $O(n \times m)$ 비교를 피하기 위해, 시스템은 바이그램 접두사 인덱스를 사용한다. 레코드는 연속된 토큰 쌍으로 인덱싱된다. 후보는 쿼리 이름과 적어도 하나의 바이그램을 공유하는 레코드의 합집합으로 검색되며, 이를 통해 비교 부담을 수십 배 줄인다.

3. 1단계: Sanadset $\rightarrow$ hawramani (이름 전용):

   • 제약 조건: Sanadset 항목에는 생물학적 메타데이터(사망 연도나 등급 없음)가 결여되어 있다.
   • 방법: 매칭은 토큰 정렬 퍼지 문자열 매칭(TSR)을 이용한 이름 유사성에만 의존한다. nasab 체인의 순서 변이를 완화하기 위해 토큰은 알파벳 순으로 정렬된다.
   • 점수 산정: 유사도 점수 $s_{name} \in [0, 1]$가 계산된다. $s_{name} \ge 0.80$인 경우 링크가 설정된다.
   • 신뢰도: 높음(HIGH, $\ge 0.90$) 및 중간(MEDIUM, $\ge 0.80$).

4. 2단계: hawramani $\leftrightarrow$ muslimscholars (다중 신호):

   • 방법: 가중치가 부여된 다중 신호 함수가 이름 유사성, 사망 연도 근접성, 신뢰도 등급 극성을 결합한다.
   • 신호:
     • 이름 유사성: 가중치는 0.70이다 (양측 모두 사망 연도가 있는 경우 0.50).
     • 사망 연도 근접성: 히즈라 연도의 절대 차이에 기반하여 $s_{death}(\Delta y)$를 계산한다. 점수는 1.0(정확히 일치)에서 0.0(10년 이상 차이)까지 분포한다. 사망 연도가 누락된 경우 0.50의 중립 점수를 적용한다.
     • 등급 극성: 신뢰도 등급은 양성, 음성, 또는 미정 클래스로 압축된다 (점수 1.0, 0.0, 0.5).
     • 소스 보너스: hawramani 레코드에 5개 이상의 소스 인용이 있는 경우 작은 보너스($\delta_{src} = 0.05$)가 추가된다.
   • 동적 가중치: hawramani에서 사망 연도가 희소하기 때문에(초기 실행 시 매칭된 쌍의 0.1% 미만에서 확인되나, 논문에서는 개선된 추출이 27.2%를 커버한다고 언급함), 시스템은 가중치를 동적으로 조정한다. 대다수의 쌍에 대해 유효 가중치 분포는 약 70% 이름, 10% 사망(중립), 10% 등급이다.
   • 신뢰도: 높음(HIGH, $\ge 0.85$), 중간(MEDIUM, $\ge 0.65$), 낮음(LOW, $\ge 0.45$).

5. 그래프 구축: 연결된 데이터는 학생-스승 관계를 나타내는 유향 전승 그래프를 구축하는 데 사용된다. 노드 메타데이터는 교차 소스 생물학적 세부 정보로 풍부해진다. 전이적 링크(Sanadset $\rightarrow$ hawramani $\rightarrow$ muslimscholars)에 대한 체인 신뢰도는 구성된 링크 중 최소 신뢰 등급에 의해 결정된다.

주요 결과

• 1단계 (Sanadset $\rightarrow$ hawramani): Sanadset의 185,216개 고유 전승자 이름 변이 중 94,628개(51.1%)가 성공적으로 연결되었다.
  • 높은 신뢰도: 39,938개 (21.6%).
    • 중간 신뢰도: 54,690개 (29.5%).
  • 47.7%의 전승자는 바이그램 후보가 없었으며, 이는 주로 매우 축약된 형태이거나 대상 데이터베이스에 부재했기 때문이다.
• 2단계 (hawramani $\leftrightarrow$ muslimscholars): 95,573개의 링크가 구축되었으며, 이는 hawramani 항목 100,915개의 94.7%를 커버한다.
  • 높은 신뢰도: 18,245개 (18.1%).
  • 중간 신뢰도: 71,546개 (70.9%).
  • 낮은 신뢰도: 5,782개 (5.7%).
  • 중간 신뢰도의 우세는 데이터 희소성(양측 모두 사망 연도 부족)에 기인하며, 이로 인해 이름 유사성에 의존하게 된다.
• 전승 그래프: 파이프라인은 185,216개의 노드와 814,093개의 엣지를 가진 유향 그래프를 생성했다. 이는 차세대 발표된 하디스 전승자 그래프보다 약 90배 더 크다. 그래프는 멱법칙(power-law) 차수 분포를 가진 척도 없는(scale-free) 특성을 보인다.
• 풍부화(Enrichment): 93,588명의 전승자가 3-소스 정렬(Sanadset $\rightarrow$ hawramani $\rightarrow$ muslimscholars)을 달성하여, 그래프를 교차 소스 생물학적 메타데이터로 풍부하게 만들 수 있게 되었다.

의의 및 기여
본 논문은 이전의 조사에서 지적된 대규모 교차 소스 전승자 정체성 해소의 부재를 해결하는 세 가지 주요 기여를 주장한다:

1. 2단계 파이프라인: 도메인 특화된 아랍어 정규화를 활용하면서, (메타데이터가 부족한 소스에 필요한) 이름 전용 단계와 (사용 가능한 경우 사망 연도 및 등급을 활용하는) 다중 신호 단계를 결합한 새로운 파이프라인을 제시한다.
2. 주석 처리된 링크 코퍼스: 신뢰 계층별로 분류된 두 개의 층화된 링크 코퍼스(sanad_links 및 narrator_links)를 공개하며, 이는 이 특정 교차 소스 연결 작업을 위한 최초의 대규모 자원 역할을 한다.
3. 풍부화된 전승 그래프: 185k 노드를 가진 가장 큰 규모의 발표된 하디스 전승 그래프를 구축하였으며, 이를 통해 여러 소스로부터 생물학적 메타데이터를 풍부하게 하여 이전에는 고립된 데이터셋으로는 불가능했던 분석을 가능하게 했다.

저자들은 이 파이프라인이 완전히 구조화된 이름 문자열과 범주형 메타데이터 상에서 작동하므로, 어떤 쌍의 아랍어 생물학적 데이터베이스에도 적용 가능하다는 점을 강조한다. 또한, 신뢰도 임계값이 공식적인 그라운드 트루스 검증(수동 검증된 평가 세트의 부재로 인해)보다는 검사를 통해 설정되었으나, 결과물은 다운스트림 연구인 하디스 인증 및 디지털 이슬람 인문학을 위한 기초적인 출발점을 제공한다고 언급한다. 이 작업은 AR-Sanad v2와 같은 이전 모델들이 다루었던 "폐쇄 세계" 디스태인구(disambiguation) 작업과는 구별되는 "개방 세계" 연결 문제를 해결하는 것으로 명시적으로 위치한다.