Linking Hadith Narrator Identities Across Heterogeneous Arabic Biographical Databases: A Multi-Signal Entity Resolution Pipeline

Sintesi Tecnica: Collegamento delle Identità dei Narratori di Hadith tra Database Biografici Arabi Eterogenei

Definizione del Problema
L'analisi computazionale della letteratura dei Hadith islamici è attualmente ostacolata dalla frammentazione dei dati dei narratori. Sebbene esistano corpora digitali su larga scala — come il Sanadset 650K (che contiene 650.986 record di Hadith con catene di narratori) e database biografici come Hadithtransmitters (hawramani) e Muslimscholars.info — queste risorse operano in isolamento. Esse mancano di identificatori comuni e utilizzano rappresentazioni dei nomi divergenti (ad esempio, variazioni nelle catene di nasab, forme kunyah rispetto a ism e variazioni ortografiche). Gli approoli di risoluzione delle entità esistenti per l'arabo sono ampiamente progettati per basi di conoscenza moderne, allineate a Wikipedia, e non riescono ad affrontare le sfide specifiche dei nomi storici islamici, come le catene di nasab a lunghezza variabile o le variazioni morfologiche del caso. Di conseguenza, le analisi delle reti sociali delle catene di trasmissione (sanad) sono limitate a singole collezioni, senza accesso a metadati biografici incrociati (ad esempio, anni di morte, gradi di affidabilità), e i sistemi di disambiguazione operano sotto assunzioni di mondo chiuso che non facilitano il collegamento tra database indipendenti.

Metodologia
Il documento propone una pipeline di risoluzione delle entità in due fasi, progettata per collegare i nomi dei narratori da Sanadset a hawramani e, successivamente, collegare hawramani a muslimscholars. La pipeline si basa su una normalizzazione del nome arabo specifica per il dominio e su un framework di punteggio multi-segnale.

1. Normalizzazione dei Nomi Arabi: Prima di ogni confronto, una funzione di normalizzazione condivisa norm(t) viene applicata a tutti e tre i database. Questo processo:

   • Rimuove i segni diacritici (tashkeel) utilizzando intervalli Unicode espliciti e disgiunti per evitare la rimozione accidentale di consonanti.
   • Unifica cinque varianti di Alef in un singolo Alef nudo.
   • Normalizza la Ta marbuta in ha e la Alef maqsura in ya.
   • Rimuove il Tatweel e collassa gli spazi bianchi.

2. Generazione dei Candidati: Per evitare confronti computazionalmente proibitivi $O(n \times m)$, il sistema impiega un indice di prefisso bigramma. I record sono indicizzati per coppie di token consecutivi normalizzati. I candidati vengono recuperati come l'unione dei record che condividono almeno un bigramma con il nome di query, riducendo il carico computazionale di ordini di grandezza.

3. Fase 1: Sanadset $\rightarrow$ hawramani (Solo Nome):

   • Vincolo: Le voci di Sanadset mancano di metadati biografici (nessun anno di morte o grado).
   • Metodo: Il matching si basa esclusivamente sulla somiglianza del nome tramite il confronto fuzzy dei token ordinati (token-sorted fuzzy string matching, TSR). I token sono ordinati alfabeticamente per mitigare le variazioni nell'ordine delle catene di nasab.
   • Punteggio: Un punteggio di somiglianza $s_{name} \in [0, 1]$ viene calcolato. I collegamenti vengono stabiliti se $s_{name} \ge 0.80$.
   • Confidenza: ALTA ($\ge 0.90$) e MEDIA ($\ge 0.80$).

4. Fase 2: hawramani $\leftrightarrow$ muslimscholars (Multi-Segnale):

   • Metodo: Una funzione multi-segnale pesata combina la somiglianza del nome, la prossimità dell'anno di morte e la polarità del grado di affidabilità.
   • Segnali:
     • Somiglianza del Nome: Pesata allo 0.70 (o 0.50 se gli anni di morte sono disponibili su entrambi i lati).
     • Prossimità dell'Anno di Morte: Calcolata come $s_{death}(\Delta y)$ basata sulla differenza assoluta negli anni Hijri. I punteggi vanno da 1.0 (corrispondenza esatta) a 0.0 (differenza > 10 anni). Se gli anni di morte sono mancanti, viene applicato un punteggio neutro di 0.50.
     • Polarità del Grado: I gradi di affidabilità sono raggruppati in classi positive, negative o sconosciute (punteggi 1.0, 0.0, 0.5).
     • Bonus della Fonte: Un piccolo bonus ($\delta_{src} = 0.05$) viene aggiunto se il record di hawramani ha cinque o più citazioni di fonti.
   • Pesatura Dinamica: Poiché gli anni di morte sono scarsi in hawramani (disponibili per <0.1% delle coppie corrispondenti nella corsa iniziale, sebbene il documento noti che l'estrazione migliorata copre il 27.2% nei risultati), il sistema regola dinamicamente i pesi. Per la stragrande maggioranza delle coppie, la distribuzione dei pesi effettivi è di circa il 70% nome, 10% morte (neutro) e 10% grado.
   • Confidenza: ALTA ($\ge 0.85$), MEDIA ($\ge 0.65$) e BASSA ($\ge 0.45$).

5. Costruzione del Grafo: I dati collegati vengono utilizzati per costruire un grafo di trasmissione diretto dove gli archi rappresentano le relazioni studente-insegnante. I metadati dei nodi sono arricchiti con dettagli biografici provenienti da fonti incrociate. La confidenza della catena per i collegamenti transitivi (Sanadset $\rightarrow$ hawramani $\rightarrow$ muslimscholars) è determinata dal livello minimo di confidenza dei collegamenti costituenti.

Risultati Chiave

• Fase 1 (Sanadset $\rightarrow$ hawramani): Su 185.216 varianti di nomi di narratori in Sanadset, 94.628 (51.1%) sono state collegate con successo.
  • Confidenza ALTA: 39.938 (21.6%).
  • Confidenza MEDIA: 54.690 (29.5%).
  • Il 47.7% dei narratori non aveva candidati bigramma, tipicamente a causa di forme altamente abbreviate o assenza nel database di destinazione.
• Fase 2 (hawramani $\leftrightarrow$ muslimscholars): Sono stati stabiliti 95.573 collegamenti, coprendo il 94.7% delle 100.915 voci di hawramani.
  • Confidenza ALTA: 18.245 (18.1%).
  • Confidenza MEDIA: 71.546 (70.9%).
  • Confidenza BASSA: 5.782 (5.7%).
  • La dominanza della confidenza MEDIA è attribuita alla scarsità dei dati (mancanza di anni di morte su entrambi i lati), costringendo a fare affidamento sulla somiglianza del nome.
• Grafo di Trasmissione: La pipeline ha prodotto un grafo di trasmissione diretto con 185.216 nodi e 814.093 archi. Questo è circa 90 volte più grande del grafo di narratori di Hadith pubblicato più grande. Il grafo esibisce proprietà scale-free con distribuzioni di grado a legge di potenza.
• Arricchimento: 93.588 narratori hanno raggiunto un allineamento a tre fonti (Sanadset $\rightarrow$ hawramani $\rightarrow$ muslimscholars), consentendo l'arricchimento del grafo con metadati incrociati.

Significato e Contributi
Il documento rivendica tre contributi primari che affrontano una lacuna identificata in survey precedenti riguardante la mancanza di risoluzione delle identità dei narratori tra diverse fonti su larga scala:

1. Una Pipeline in Due Fasi: Una nuova pipeline che combina una fase basata solo sul nome (necessaria per fonti povere di metadati) e una fase multi-segnale (sfruttando anni di morte e gradi dove disponibili), utilizzando una normalizzazione del nome arabo specifica per il dominio.
2. Corpora di Collegamento Annotati: Il rilascio di due corpora di collegamento stratificati (sanad_links e narrator_links) categorizzati per livelli di confidenza, che fungono da prime risorse su larga scala per questo specifico compito di collegamento tra fonti.
3. Grafo di Trasmissione Arricchito: La costruzione del più grande grafo di trasmissione di Hadith pubblicato (185k nodi), arricchito con metadati biografici da più fonti, permettendo analisi precedentemente impossibili con dataset isolati.

Gli autori sottolineano che la pipeline opera interamente su stringhe di nomi strutturate e metadati categorici, rendendola applicabile a qualsiasi coppia di database biografici arabi. Notano inoltre che, sebbene le soglie di confidenza siano state impostate per ispezione piuttosto che tramite una calibrazione formale della verità di base (a causa della mancanza di un set di valutazione verificato manualmente), le risorse risultanti forniscono un punto di partenza fondamentale per la ricerca successiva sull'autenticazione dei Hadith e sulle umanità digitali islamiche. Il lavoro si posiziona esplicitamente come la soluzione di un problema di collegamento "open-world", distinto dai compiti di disambiguazione "closed-world" affrontati da modelli precedenti come AR-Sanad v2.