An Information-Theoretic Approach to Identifying Formulaic Clusters in Textual Data
यह शोध पत्र उच्च-आयामी (high-dimensional) पाठ्य डेटा में सूत्रबद्ध समूहों (formulaic clusters) और शैलीगत परतों की पहचान करने के लिए भारित स्व-सूचना वितरणों (weighted self-information distributions) का उपयोग करने वाले एक सूचना-सैद्धांतिक एल्गोरिदम को प्रस्तुत करता है, जो बहु-लेखक हिब्रू बाइबिल के भीतर संरचनात्मक पैटर्न के मात्रात्मक विश्लेषण में इसकी प्रभावशीलता को प्रदर्शित करता है।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
कल्पना कीजिए कि आप एक जासूस हैं जो एक विशाल, प्राचीन पुस्तकालय के भीतर एक रहस्य को सुलझाने की कोशिश कर रहे हैं। यह पुस्तकालय केवल यादृच्छिक कहानियों से भरा नहीं है; यह उन ग्रंथों का संग्रह है जिन्हें हजारों वर्षों में सैकड़ों अलग-अलग लोगों द्वारा लिखा, संपादित और प्रतिलिपि बनाई गई है। इसके कुछ हिस्से एक एकल लेखक द्वारा एक अनूठी आवाज़ के साथ लिखे गए थे, जबकि अन्य को विभिन्न स्रोतों से जोड़कर बनाया गया था, जैसे कि एक पैचवर्क क्विल्ट (रंग-बिरंगे कपड़ों का मेल)। चुनौती यह है: आप यह कैसे पता लगाएँगे कि कौन सा पैच किस दर्जी का है बिना उन दर्जियों से पूछे? आप केवल शब्दों को देखकर ऐसा नहीं कर सकते क्योंकि कुछ लेखक अलग-अलग कारणों से एक ही तरह के शब्दों का उपयोग कर सकते हैं। आपको लेखन की "लय" या "अनुमान लगाने की क्षमता" (predictability) को मापने का एक तरीका चाहिए होगा।
यहीं पर सूचना सिद्धांत (Information Theory) नामक विज्ञान की एक शाखा काम आती है। इसे एक ऐसे तरीके के रूप में सोचें जिससे आप माप सकें कि जब आप वाक्य में अगला शब्द पढ़ते हैं तो आप कितने "आश्चर्यचकित" होते हैं। यदि आप एक ऐसी कहानी पढ़ रहे हैं जहाँ कुछ भी हो सकता है, तो आप लगातार आश्चर्यचकित होते हैं; सूचना की मात्रा अधिक होती है, और लेखन "ढीला" या "रचनात्मक" महसूस होता है। लेकिन यदि आप एक रेसिपी या कानूनी अनुबंध पढ़ रहे हैं, तो आप जानते हैं कि अगला शब्द क्या होगा। "एक कप... डालें" के बाद लगभग हमेशा "मैदा" आता है। इस पूर्वानुमान की क्षमता का अर्थ है कि सूचना की मात्रा कम है क्योंकि पैटर्न कठोर और दोहराव वाला है। इस शोध पत्र में, लेखक इस अवधारणा (आश्चт्य या उसकी कमी) का उपयोग प्राचीन ग्रंथों में छिपे हुए पैटर्न को खोजने के लिए करते हैं। वे देखना चाहते हैं कि क्या वे केवल शब्दों की पूर्वानुमेयता को मापकर, एक पुस्तक के "रेसिपी-जैसे" अनुभागों को "कहानी-जैसे" अनुभागों से स्वतः पहचान सकते हैं।
जासूस का नया उपकरण
लेखक, गिडियन योफे, यायर सेगेव और बारैक सोबर ने एक नया डिजिटल आवर्धक लेंस बनाया है। वे इसे एक अनसुपरवाइज्ड इंफॉर्मेशन-थ्योरेटिक अप्रोच (unsupervised information-theoretic approach) कहते हैं। आइए इसे समझते हैं: "अनसुपरवाइज्ड" का अर्थ है कि कंप्यूटर को यह सीखने की आवश्यकता नहीं है कि उसे क्या खोजना है; वह इसे खुद समझ लेता है। "इंफॉर्मेशन-थ्योरेटिक" का अर्थ है कि यह गणित का उपयोग करके पूर्वानुमेयता को मापता है।
उनका मुख्य विचार सरल लेकिन शक्तिशाली है: फॉर्मूलाइक टेक्स्ट (सूत्रबद्ध पाठ) पूर्वानुमेय होता है। जब कोई लेखक एक कठोर संरचना का उपयोग करता है, जैसे कि पूर्वजों की सूची या धार्मिक कानूनों का एक सेट, तो वे बार-बार एक ही वाक्यांशों को दोहराते हैं। क्योंकि ये वाक्यांश इतनी बार आते हैं, वे बहुत पूर्वानुमेय हो जाते हैं। सूचना सिद्धांत की भाषा में, पूर्वानुमेय चीजों में लो सेल्फ-इन्फॉर्मेशन (कम आत्म-सूचना) होती है (कम आश्चर्य)। अप्रत्याशित, रचनात्मक कहानी कहने में हाई सेल्फ-इन्फॉर्मेशन (उच्च आत्म-सूचना) होती है (उच्च आश्चर्य)।
टीम ने एक एल्गोरिदम विकसित किया जो एक पाठ को स्कैन करता है, और लेखन के उन हिस्सों की तलाश करता है जो असामान्य रूप से पूर्वानुमेय हैं। यह केवल अनुमान नहीं लगाता; यह हर भाग के लिए एक स्कोर की गणना करता है कि एक संभाव्यता मॉडल (probability model) उन शब्दों से कितना "आश्चर्यचकित" होगा जो वह देखता है। यदि कोई अनुभाग अत्यधिक दोहराव वाले, सूत्रबद्ध वाक्यांशों से भरा है, तो मॉडल बिल्कुल भी आश्चर्यचकित नहीं होता है, और स्कोर कम रहता है। यदि वह अनुभाग एक जंगली, रचनात्मक कथा है, तो स्कोर बढ़ जाता है। कम स्कोर वाले अनुभागों को एक साथ समूहित करके, एल्गोरिदम "फॉर्मूलाइक क्लस्टर्स" को अलग कर सकता है—पाठ के वे हिस्से जो ऐसा महसूस होते हैं जैसे उन्हें किसी अलग हाथ ने लिखा हो या किसी अलग उद्देश्य के लिए बनाया गया हो।
प्राचीन ग्रंथों पर उपकरण का परीक्षण
यह देखने के लिए कि क्या उनका नया उपकरण वास्तव में काम करता है, लेखकों ने इब्रानी बाइबिल (Hebrew Bible), विशेष रूप से पहली तीन पुस्तकों: उत्पत्ति (Genesis), निर्गमन (Exodus) और लैव्यव्यवस्था (Leviticus) पर इसका परीक्षण किया। ये पुस्तकें विद्वानों के बीच "मिश्रित" होने के लिए प्रसिद्ध हैं, जिसका अर्थ है कि माना जाता है कि वे आपस में बुने हुए विभिन्न स्रोतों से बनी हैं। सबसे चर्चित प्रश्नों में से एक यह है कि पुरोहितात्मक स्रोत (Priest Source - P)—जो अपनी बहुत संरचित, कानूनी और दोहराव वाली प्रकृति के लिए जाना जाता है—को अन्य कथात्मक भागों से कैसे अलग किया जाए।
शोधकर्ताओं ने केवल शब्दों को नहीं देखा; उन्होंने शब्दों की संरचना को देखा। उन्होंने पाठ को छोटे टुकड़ों (जैसे वाक्य या छंद) में विभाजित किया और गिना कि कुछ पैटर्न कितनी बार दिखाई देते हैं। फिर उन्होंने अपने एल्गोरिदम को चलाया यह देखने के लिए कि क्या वह स्वाभाविक रूप से पाठ को दो समूहों में विभाजित कर सकता है: एक समूह जो अत्यधिक दोहराव वाला था (कम आश्चर्य) और दूसरा जो अधिक विविध था (उच्च आश्चर्य)।
यहाँ उन्हें क्या मिला:
- उत्पत्ति (Genesis) में: उन्होंने लंबे, उबाऊ वंशावली सूचियों और अब्राहम और इसहाक की रोमांचक कहानियों के बीच के अंतर को देखा। एल्गोरिदम ने वंशावलियों को अत्यधिक पूर्वानुमेय, सूत्रबद्ध क्लस्टर के रूप में सफलतापूर्वक पहचाना। यह तर्कसंगत है क्योंकि पारिवारिक सूचियाँ एक सख्त, दोहराव वाले पैटर्न का पालन करती हैं, जबकि कहानियाँ अधिक तरल होती हैं।
- निर्गमन (Exodus) में: उन्होंने पुरोहितात्मक (P) अनुभागों (जिसमें टैबरनेकल बनाने और धार्मिक अनुष्ठानों के बारे में कानून शामिल हैं) और गैर-पुरोहितात्मक कथा अनुभागों के बीच के अलगाव का परीक्षण किया। एल्गोरिदम ने इन दोनों परतों को विश्वसनीय रूप से अलग किया, जैसा कि पारंपरिक विद्वानों ने लंबे समय से माना है। पुरोहितात्मक भाग "लो सरप्राइज" ज़ोन के रूप में सामने आए क्योंकि वे दोहरावदार निर्देशों से भरे हुए हैं।
- लैव्यव्यवस्था (Leviticus) में: यह सबसे कठिन परीक्षण था। लैव्यव्यवस्था कानूनों से भरी है, लेकिन विद्वानों के बीच बहस है कि क्या इसमें दो अलग-अलग परतें हैं: पुरोहितात्मक स्रोत (P) और एक बाद का "पवित्रता कोड" (H)। दोनों दोहराव वाले हैं, लेकिन उनमें सूक्ष्म अंतर हैं। लेखकों ने पाया कि उनकी विधि उनके बीच अंतर कर सकती है, लेकिन केवल तभी जब उन्होंने सही "लेंस" के माध्यम से पाठ को देखा। जिस तरह से उन्होंने पाठ के टुकड़ों के आकार का विश्लेषण किया, उसके आधार पर एल्गोरिदम ने कभी पुरोहितात्मक नियमों को सबसे अधिक दोहराव वाला बताया, तो कभी पवित्रता कोड को उजागर किया। यह बताता है कि दोनों सूत्रबद्ध हैं, लेकिन वे अलग-अलग प्रकार के पैटर्न का पालन करते हैं जो विभिन्न पैमानों पर दिखाई देते हैं।
वे कितने आश्वस्त हैं?
लेखक इस बात का दावा करने में सावधानी बरतते हैं कि उन्होंने बाइबिल के रहस्य को एक बार में हल कर दिया है। इसके बजाय, वे दिखाते हैं कि उनकी विधि इन अंतरों को मापने का एक तरीका सुझाती है।
उन्होंने अपने एल्गोरिदम का परीक्षण पहले कंप्यूटर-जनित नकली डेटा पर किया ताकि यह सुनिश्चित हो सके कि वह एक नियंत्रित वातावरण में पैटर्न खोज सकता है। उन सिमुलेशन में, उनकी विधि ने मानक क्लस्टरिंग टूल (जैसे k-means या Gaussian Mixture Models) की तुलना में अक्सर बेहतर काम किया, विशेष रूप से जब डेटा विरल (sparse) और उच्च-आयामी (high-dimensional) था (जो कि प्राचीन ग्रंथों की विशेषता है)।
जब उन्होंने वास्तविक बाइबिल को लागू किया, तो परिणाम उत्साहजनक लेकिन सूक्ष्म थे। निर्गमन की पुस्तक में, उनकी विधि ने उन विभिन्न पैरामीटर सेटिंग्स में से 68% में विशेषज्ञ विद्वानों के वर्गीकरण से सहमति व्यक्त की, जबकि मानक k-means विधि के लिए यह केवल 30% थी। उत्पत्ति में, यह 40% मामलों में सहमत हुआ, जबकि k-means के लिए यह 14.6% था। लैव्यव्यवस्था में, यह 45.5% मामलों में सहमत हुआ, जबकि k-means के लिए यह 29.8% था।
ये संख्याएँ बताती हैं कि सूचना-सैद्धांतिक दृष्टिकोण इन छिपी हुई परतों को खोजने के लिए एक मजबूत उपकरण है, लेकिन यह कोई जादुई छड़ी नहीं है जो हर बार पूरी तरह से काम करती है। यह तथ्य कि परिणाम इस बात पर निर्भर करते हैं कि आप पाठ को कैसे काटते हैं (शब्द समूहों का आकार और छंदों की विंडो), हमें बताता है कि इन ग्रंथों की "सूत्रबद्ध" प्रकृति जटिल है। यह केवल एक चीज़ नहीं है; यह विभिन्न पैमानों पर दिखने वाले पैटर्न का मिश्रण है।
यह क्यों महत्वपूर्ण है
यह शोध पत्र हमें केवल किताबें छाँटने का एक नया तरीका नहीं देता; यह हमें उन्हें सुनने का एक नया तरीका प्रदान करता है। "आश्चर्य" को मापने के लिए गणित का उपयोग करके, लेखक एक वस्तुनिष्ठ तरीका प्रदान करते हैं जिससे यह देखा जा सके कि पाठ की लय कहाँ बदलती है। यदि कोई कहानी अचानक बहुत पूर्वानुमेय हो जाती है, तो यह इस बात का संकेत हो सकता है कि किसी अलग लेखक ने कलम उठाई है, या पाठ को एक टेम्पलेट से कॉपी किया गया है।
लेखक निष्कर्ष निकालते हैं कि यह विधि विशेष रूप से उन ग्रंथों के लिए उपयोगी है जिन्हें समय के साथ संपादित और स्तरित किया गया है, जैसे कि इब्रानी बाइबल। यह शोधकर्ताओं को यह अनुमान लगाने की आवश्यकता के बिना कि कौन से शब्द महत्वपूर्ण हैं, एक पाठ के "संरचनात्मक ढांचे" (structural scaffolding) को देखने की अनुमति देता है। हालांकि यह तरीका यह साबित नहीं करता है कि वास्तव में किसने क्या लिखा, लेकिन यह एक मात्रात्मक ढांचा प्रदान करता है जो इन प्राचीन पुस्तकों को कैसे बनाया गया था, इसके बारे में पारंपरिक सिद्धांतों का समर्थन करता है। यह साहित्यिक विश्लेषण की कला को पैटर्न के विज्ञान में बदल देता है, जिससे हमें पता चलता है कि सबसे जटिल कहानियों में भी, संरचना और दोहराव के निशान पाए जा सकते हैं यदि आप जानते हैं कि आश्चर्य को कैसे मापा जाए।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।