💻 computer science

Linking Hadith Narrator Identities Across Heterogeneous Arabic Biographical Databases: A Multi-Signal Entity Resolution Pipeline

यह शोध पत्र एक दो-चरणीय एंटिटी रेजोल्यूशन पाइपलाइन प्रस्तुत करता है जो सनदसेट (Sanadset) कॉर्पस से 185,000 से अधिक अद्वितीय हदीस कथावाचक नाम वेरिएंट्स को दो प्रमुख जीवनी डेटाबेस से सफलतापूर्वक जोड़ता है, जिससे एक एकीकृत, मेटाडेटा-समृद्ध ट्रांसमिशन ग्राफ निर्मित होता है और परिणामी लिंक्ड डेटा को एक ओपन रिसोर्स के रूप में जारी किया जाता है।

मूल लेखक: Taufiq Wirahman

प्रकाशित 2026-07-08

📖 5 मिनट में पढ़ें🧠 गहराई से पढ़ें

CC BY 4.0

मूल लेखक: Taufiq Wirahman

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

कल्पना कीजिए कि आप एक विशाल, प्राचीन पहेली को सुलझाने की कोशिश कर रहे हैं। इसके टुकड़े एक हजार साल पहले के हजारों कहानीकारों के नाम हैं। ये कहानीकार, जिन्हें हदीस रावी (Hadith narrators) के रूप में जाना जाता है, ने धार्मिक कहानियों को शिक्षक से छात्र तक पहुँचाया।

समस्या यह है कि ये नाम तीन अलग-अलग डिजिटल पुस्तकालयों में बिखरे हुए हैं, और वे एक ही भाषा नहीं बोलते हैं। एक लाइब्रेरी किसी व्यक्ति को "बुद्धिमत्ता के पिता" कह सकती है, दूसरी उसे "अली का पुत्र उमर, अहमद का पुत्र अली" कह सकती है, और तीसरी उसे केवल "उमर" लिख सकती है। ये सभी एक ही व्यक्ति हैं, लेकिन कंप्यूटर को यह पता नहीं है।

यह शोध पत्र एक नया "अनुवादक" (translator) और "मैचमेकर" (matchmaker) सिस्टम बताता है जिसे इन बिखरे हुए पुस्तकालयों को जोड़ने के लिए बनाया गया है। यह कैसे काम करता है, यहाँ सरल चरणों में दिया गया है:

तीन लाइब्रेरी (The Three Libraries)

इन तीन डेटाबेस को तीन अलग-अलग अभिलेखागार (archives) के रूप में सोचें:

कहानी संग्रह (Sanadset): यह 6,50,000 कहानियों का एक विशाल संग्रह है। इसमें सूचीबद्ध है कि किसने किसे कहानी सुनाई, लेकिन इसमें कोई जीवनी (biography) नहीं है। यह एक पार्टी की गेस्ट लिस्ट की तरह है जहाँ आपके पास केवल प्रथम नाम हैं, कोई फोटो या जन्मतिथि नहीं है।
जीवनी संग्रह A (Hawramani): यह 1,00,000 रावी (narrators) की एक विशाल निर्देशिका है जिसमें मृत्यु के वर्ष और उनकी विश्वसनीयता जैसे विवरण दिए गए हैं।
जीवनी संग्रह B (Muslimscholars): यह 25,000 विद्वानों की एक छोटी, चुनिंदा सूची है जिसमें समान विवरण हैं, लेकिन इसे थोड़े अलग प्रारूप में लिखा गया है।

दो-चरणीय मिलान प्रक्रिया (The Two-Phase Matchmaking Pipeline)

लेखकों ने इन अभिलेखागारों को जोड़ने के लिए एक दो-चरणीय प्रक्रिया बनाई है।

चरण 1: "केवल नाम" वाला अनुमान (The "Name-Only" Guess)

चूंकि कहानी संग्रह (Sanadset) में कोई अतिरिक्त विवरण (जैसे मृत्यु के वर्ष) नहीं है, इसलिए सिस्टम केवल नामों को देख सकता है।

चुनौती: अरबी नाम पेचीदा होते हैं। उनमें अलग-अलग वर्तनी (spellings), जोर देने के लिए अतिरिक्त अक्षर, या अलग क्रम में लिखे जा सकते हैं।
समाधान: सिस्टम पहले नामों को "साफ" (clean) करता है, सजावटी चिह्नों को हटा देता है और अक्षरों को मानकीकृत (standardize) करता है (जैसे "A" अक्षर के सभी रूपों को एक मानक संस्करण में बदलना)।
मिलान: इसके बाद यह नामों में "बिग्राम्स" (शब्दों के जोड़े) को खोजता है। यदि कहानी संग्रह कहता है "मुहम्मद इब्न इस्माइल" और जीवनी संग्रह कहता है "मुहम्मद इब्न इस्माइल," तो वे एक मैच बन जाते हैं।
परिणाम: इसने कहानी संग्रह के लगभग 51% नामों को जीवनी संग्रह से सफलतापूर्वक जोड़ दिया। इसने इन लिंक्स को एक कॉन्फिडेंस स्कोर दिया: "उच्च" (पूरी तरह सुनिश्चित) या "मध्यम" (काफी हद तक आश्वस्त)।

चरण 2: "जासूसी" क्रॉस-चेक (The "Detective" Cross-Check)

अब कि कहानी संग्रह को जीवनी संग्रह A से जोड़ दिया गया है, सिस्टम जीवनी संग्रह A को जीवनी संग्रह B से जोड़ने का प्रयास करता है।

लाभ: इस बार, सिस्टम के पास अधिक सुराग हैं। यह तुलना कर सकता है:
1. नाम: क्या वे सुनने में एक जैसे हैं?
2. मृत्यु के वर्ष: क्या वे एक ही समय के आसपास मरे थे? (यह "मुहम्मद" जैसे सामान्य नामों के लिए एक बड़ा सुराग है)।
3. प्रतिष्ठा: क्या एक को "विश्वसनीय" बताया गया था और दूसरे को "कमजोर"?
परिणाम: अधिक सुराग होने के कारण, यह जीवनी संग्रह A के 94.7% प्रविष्टियों को जीवनी संग्रह B से जोड़ने में सक्षम रहा।

महान जुड़ाव (The Grand Connection)

इन दोनों चरणों को जोड़कर, सिस्टम एक "ट्रांजिटिव" (transitive) लिंक बनाता है।

यदि कहानी संग्रह नाम A, जीवनी A नाम B से मेल खाता है, और जीवनी A नाम B, जीवनी B नाम C से मेल खाता है...
तो कहानी संग्रह नाम A, जीवनी B नाम C से जुड़ा हुआ है।

यह प्रक्रिया शोधकर्ताओं को एक साधारण नाम से तुरंत दो अन्य स्रोतों से विस्तृत जीवनी संबंधी डेटा प्राप्त करने की अनुमति देती है।

अंतिम उत्पाद: एक विशाल मानचित्र (The Final Product: A Giant Map)

इस कार्य का अंतिम परिणाम एक विशाल, निर्देशित मानचित्र (ग्राफ) है जिसमें:

1,85,000 नोड्स (अद्वितीय कहानीकार) हैं।
8,14,000 एजेस (शिक्षकों से छात्रों को जोड़ने वाली रेखाएं) हैं।

अब यह मानचित्र "समृद्ध" (enriched) है। पहले, यह केवल कनेक्शन का एक मानचित्र था। अब, प्रत्येक बिंदु को अतिरिक्त जानकारी (जैसे मृत्यु के वर्ष और विश्वसनीयता ग्रेड) के साथ टैग किया गया है जो अन्य डेटाबेस से ली गई है।

यह क्यों महत्वपूर्ण है (शोध पत्र के अनुसार)

शोध पत्र कहता है कि इससे पहले, शोधकर्ता इन डेटाबेस को अलग-थलग देखने के लिए मजबूर थे। वे विभिन्न पुस्तकों में एक रावी की विश्वसनीयता की आसानी से तुलना नहीं कर सकते थे क्योंकि कंप्यूटर को यह पता नहीं था कि नाम एक ही व्यक्ति को संदर्भित करते हैं।

यह शोध पत्र इन डेटाबेस के बीच पहला बड़े पैमाने का "सेतु" (bridge) प्रदान करता है। वे इस डेटा को खुले संसाधनों के रूप में जारी करते हैं, जिससे अन्य शोधकर्ता इन कहानियों के इतिहास का अधिक स्पष्ट और जुड़े हुए दृष्टिकोण के साथ अध्ययन कर सकें।

संक्षेप में: लेखकों ने एक स्मार्ट सिस्टम बनाया है जिसने बिखरे हुए अरबी नामों को साफ किया, तीन अलग-अलग डेटाबेस को जोड़ने के लिए एक दो-चरणीय मिलिंग प्रक्रिया का उपयोग किया, और इस्लामी कहानीकारों का अब तक का सबसे बड़ा मानचित्र बनाया, जिसमें हर नाम के साथ जीवनी विवरण भी जुड़े हुए हैं।

तकनीकी सारांश: विषम अरबी जीवनी संबंधी डेटाबेसों में हदीस कथावाचक पहचानों को जोड़ना

समस्या विवरण
हदीस साहित्य का कम्प्यूटेशनल विश्लेषण वर्तमान में कथावाचक डेटा के विखंडन के कारण बाधित है। जबकि बड़े पैमाने पर डिजिटल संग्रह मौजूद हैं—जैसे कि Sanadset 650K (जिसमें 650,986 हदीस रिकॉर्ड और कथावाचक श्रृंखलाएं शामिल हैं) और Hadithtransmitters (hawramani) तथा Muslimscholars.info जैसे जीवनी संबंधी डेटाबेस—ये संसाधन अलग-थलग कार्य करते हैं। इनमें सामान्य पहचानकर्ताओं (identifiers) का अभाव है और ये विविध नाम निरूपण (जैसे कि भिन्न nasab श्रृंखलाएं, kunyah बनाम ism रूप, और वर्तनी संबंधी विविधताएं) का उपयोग करते हैं। मौजूदा एंटिटी रेजोल्यूशन दृष्टिकोण मुख्य रूप से आधुनिक, विकिपीडिया-संरेखित ज्ञान आधारों के लिए डिज़ाइन किए गए हैं और ऐतिहासिक इस्लामी नामों की विशिष्ट चुनौतियों, जैसे कि परिवर्तनशील लंबाई वाली nasab श्रृंखलाओं या रूपात्मक केस विविधताओं को संबोधित करने में विफल रहते हैं। फलस्वरूप, संचरण श्रृंखलाओं (sanad) के सामाजिक नेटवर्क विश्लेषण एकल संग्रहों तक सीमित हैं और उन्हें क्रॉस-सोर्स जीवनी मेटाडेटा (जैसे मृत्यु वर्ष, विश्वसनीयता ग्रेड) तक पहुँच प्राप्त नहीं होती है। साथ ही, विसंदिiguation (disambiguation) प्रणालियाँ 'क्लोज्ड-वर्ल्ड' धारणाओं के भीतर कार्य करती हैं जो स्वतंत्र डेटाबेस के बीच लिंकिंग की सुविधा नहीं देती हैं।

कार्यप्रणाली
यह शोध पत्र एक दो-चरणीय एंटिटी रेजोल्यूशन पाइपलाइन का प्रस्ताव करता है जिसे Sanadset से hawramani को जोड़ने के लिए, और तत्पश्चात hawramani को muslimscholars से जोड़ने के लिए डिज़ाइन किया गया है। यह पाइपलाइन डोमेन-विशिष्ट अरबी नॉर्मलाइजेशन और एक मल्टी-सिग्नल स्कोरिंग फ्रेमवर्क पर निर्भर करती है।

अरबी नाम नॉर्मलाइजेशन: किसी भी तुलना से पहले, सभी तीन डेटाबेस पर एक साझा नॉर्मलाइजेशन फंक्शन norm(t) लागू किया जाता है। इस प्रक्रिया में शामिल है:
- व्यंजनों को गलती से हटाने से बचने के लिए स्पष्ट, विलगित (disjoint) यूनिकोड रेंज का उपयोग करके स्वर चिह्नों (tashkeel) को हटाना।
- पाँच Alef वेरिएंट्स को एक एकल बेयर Alef में एकीकृत करना।
- Ta marbuta को ha में और Alef maqsura को ya में सामान्य बनाना।
- Tatweel को हटाना और व्हाइटस्पेस को समेटना।
कैंडिडेट जनरेशन: $O(n \times m)$ तुलनाओं के कम्प्यूटेशनल बोझ से बचने के लिए, सिस्टम एक बिग्राॅम प्रीफिक्स इंडेक्स का उपयोग करता है। रिकॉर्ड को क्रमिक सामान्यीकृत टोकन के युग्मों द्वारा इंडेक्स किया जाता है। उम्मीदवार (candidates) उन रिकॉर्ड्स के यूनियन के रूप में प्राप्त किए जाते हैं जो क्वेरी नाम के साथ कम से कम एक बिग्राॅम साझा करते हैं, जिससे तुलना का बोझ कई गुना कम हो जाता है।
चरण 1: Sanadset $\rightarrow$ hawramani (केवल नाम):
- प्रतिबंध: Sanadset प्रविष्टियों में जीवनी संबंधी मेटाडेटा (मृत्यु वर्ष या ग्रेड का अभाव) नहीं है।
- विधि: मिलान पूरी तरह से टोकन-सॉर्टेड फजी स्ट्रिंग मैचिंग (TSR) का उपयोग करके नाम समानता पर निर्भर करता है। nasab श्रृंखलाओं के क्रम में भिन्नता को कम करने के लिए टोकन वर्णानुक्रम में व्यवस्थित किए जाते हैं।
- स्कोरिंग: एक समानता स्कोर $s_{name} \in [0, 1]$ की गणना की जाती है। यदि $s_{name} \ge 0.80$ है, तो लिंक स्थापित किए जाते हैं।
- कॉन्फिडेंस (विश्वास): HIGH ( $\ge 0.90$ ) और MEDIUM ( $\ge 0.80$ )।
चरण 2: hawramani $\leftrightarrow$ muslimscholars (मल्टी-सिग्नल):
- विधि: एक भारित मल्टी-सिग्नल फंक्शन नाम समानता, मृत्यु-वर्ष निकटता और विश्वसनीयता ग्रेड पोलैरिटी को जोड़ता है।
- सिग्नल्स:
  - नाम समानता: इसे 0.70 पर भारित किया गया है (या 0.50 यदि दोनों ओर मृत्यु वर्ष उपलब्ध हैं)।
  - मृत्यु-वर्ष निकटता: हिजरी वर्षों के पूर्ण अंतर के आधार पर $s_{death}(\Delta y)$ के रूप में गणना की जाती है। स्कोर 1.0 (सटीक मिलान) से 0.0 (>10 वर्ष का अंतर) तक होते हैं। यदि मृत्यु वर्ष गायब हैं, तो 0.50 का न्यूट्रल स्कोर लागू किया जाता है।
  - ग्रेड पोलैरिटी: विश्वसनीयता ग्रेड को पॉजिटिव, नेगेटिव, या अननोन क्लास (स्कोर 1.0, 0.0, 0.5) में समेकित किया गया है।
  - सोर्स बोनस: यदि hawramani रिकॉर्ड में पाँच या अधिक स्रोत उद्धरण हैं, तो एक छोटा बोनस ( $\delta_{src} = 0.05$ ) जोड़ा जाता है।
- डायनेमिक वेटिंग: क्योंकि hawramani में मृत्यु वर्ष विरल हैं (प्रारंभिक रन में <0.1% मेल खाए गए जोड़ों के लिए उपलब्ध हैं, हालांकि पेपर नोट करता है कि बेहतर निष्कर्षण से 27.2% कवर होते हैं), सिस्टम गतिशील रूप से भार को समायोजित करता है। अधिकांश जोड़ों के लिए, प्रभावी भार वितरण ~70% नाम, 10% मृत्यु, और 10% ग्रेड है।
- कॉन्फिडेंस: HIGH ( $\ge 0.85$ ), MEDIUM ( $\ge 0.65$ ), और LOW ( $\ge 0.45$ )।
ग्राफ निर्माण: लिंक्ड डेटा का उपयोग एक निर्देशित संचरण ग्राफ (directed transmission graph) बनाने के लिए किया जाता है जहाँ किनारे (edges) छात्र-से-शिक्षक संबंधों का प्रतिनिधित्व करते हैं। नोड मेटाडेटा को क्रॉस-सोर्स जीवनी विवरणों के साथ समृद्ध किया जाता है। ट्रांसिटिव लिंक्स (Sanadset $\rightarrow$ hawramani $\rightarrow$ muslimscholars) के लिए चेन कॉन्फिडेंस घटक लिंक्स के न्यूनतम कॉन्फिडेंस टियर द्वारा निर्धारित होता है।

प्रमुख परिणाम

चरण 1 (Sanadset $\rightarrow$ hawramani): Sanadset में 185,216 अद्वितीय कथावाचक नाम वेरिएंट्स में से 94,628 (51.1%) को सफलतापूर्वक लिंक किया गया।
- HIGH कॉन्फिडेंस: 39,938 (21.6%)।
- MEDIUM कॉन्फिडेंस: 54,690 (29.5%)।
- 47.7% कथावाचकों के पास कोई बिग्राॅम कैंडिडेट नहीं था, जो आमतौर पर अत्यधिक संक्षिप्त रूपों या लक्षित डेटाबेस में अनुपस्थिति के कारण था।
चरण 2 (hawramani $\leftrightarrow$ muslimscholars): 95,573 लिंक स्थापित किए गए, जो 100,915 hawramani प्रविष्टियों के 94.7% को कवर करते हैं।
- HIGH कॉन्फिडेंस: 18,245 (18.1%)।
- MEDIUM कॉन्फिडेंस: 71,546 (70.9%)।
- LOW कॉन्फिडेंस: 5,782 (5.7%)।
- MEDIUM कॉन्फिडेंस का प्रभुत्व डेटा की कमी (दोनों ओर मृत्यु वर्ष का अभाव) के कारण है, जिससे नाम समानता पर निर्भरता बढ़ गई।
संचरण ग्राफ: पाइपलाइन ने 185,216 नोड्स और 814,093 किनारों वाला एक निर्देशित ग्राफ तैयार किया। यह अगले सबसे बड़े प्रकाशित हदीस कथावाचक ग्राफ से लगभग 90 गुना बड़ा है। ग्राफ पावर-लॉ डिग्री डिस्ट्रीब्यूशन के साथ स्केल-फ्री गुण प्रदर्शित करता है।
संवर्धन (Enrichment): 93,588 कथावाचकों ने तीन-स्रोत संरेखण (Sanadset $\rightarrow$ hawramani $\rightarrow$ muslimscholars) प्राप्त किया, जिससे ग्राफ को क्रॉस-सोर्स जीवनी मेटाडेटा के साथ समृद्ध करना संभव हुआ।

महत्व और योगदान
पेपर तीन प्राथमिक योगदानों का दावा करता है जो बड़े पैमाने पर क्रॉस-सोर्स कथावाचक पहचान समाधान की कमी के संबंध में पहचाने गए अंतराल को संबोधित करते हैं:

एक दो-चरणीय पाइपलाइन: एक नवीन पाइपलाइन जो एक नाम-मात्र चरण (मेटाडेटा-विहीन स्रोतों के लिए आवश्यक) और एक मल्टी-सिग्नल चरण (जहाँ उपलब्ध हो मृत्यु वर्ष और ग्रेड का लाभ उठाते हुए) को जोड़ती है, जो डोमेन-विशिष्ट अरबी नॉर्मलाइजेशन का उपयोग करती है।
एनोटेटेड लिंक कॉर्पोरा: दो स्तरित लिंक कॉर्पोरा (sanad_links और narrator_links) जारी किए गए जो कॉन्फिडेंस टियर्स द्वारा वर्गीकृत हैं, जो इस विशिष्ट क्रॉस-सोर्स लिंकिंग कार्य के लिए पहले बड़े पैमाने के संसाधनों के रूप में कार्य करते हैं।
समृद्ध संचरण ग्राफ: सबसे बड़ा प्रकाशित हदीस संचरण ग्राफ (185k नोड्स) का निर्माण, जिसे कई स्रोतों से जीवनी मेटाडेटा के साथ समृद्ध किया गया है, जिससे पहले असंभव विश्लेषण संभव हो गए हैं।

लेखक इस बात पर जोर देते हैं कि पाइपलाइन पूरी तरह से संरचित नाम स्ट्रिंग्स और श्रेणीबद्ध मेटाडेटा पर संचालित होती है, जिससे यह किसी भी जोड़ी के लिए लागू होने योग्य बन जाती है। वे उल्लेख करते हैं कि हालांकि कॉन्फिडेंस थ्रेशोल्ड निरीक्षण द्वारा निर्धारित किए गए थे न कि औपचारिक ग्राउंड-ट्रुथ कैलिब्रेशन द्वारा (मैन्युअल रूप से सत्यापित मूल्यांकन सेट की कमी के कारण), परिणामी संसाधन डाउनस्ट्रीम अनुसंधान के लिए एक आधार प्रदान करते हैं। यह कार्य स्पष्ट रूप से एक "ओपन-वर्ल्ड" लिंकिंग समस्या को हल करने के रूप में खुद को स्थापित करता है, जो AR-Sanad v2 जैसे पिछले मॉडलों द्वारा संबोधित "क्लोज्ड-वर्ल्ड" डिसेंबिलाइजेशन कार्यों से भिन्न है।