Dynamic Topic Modeling for Cross-Corpus Temporal Analysis
यह शोध पत्र एक डायनेमिक एम्बेडेड टॉपिक मॉडल फ्रेमवर्क प्रस्तावित करता है जो कई कॉर्पोरा के बीच एक साझा टॉपिक स्पेस स्थापित करता है जिसमें कॉर्पस-विशिष्ट रेसिडुअल एडेप्टेशन शामिल हैं, जिससे अद्वितीय लेक्सिकल विविधताओं को संरक्षित करते हुए स्थिर और व्याख्या योग्य क्रॉस-कॉर्पस टेम्पोरल तुलना सक्षम होती है।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
द दशकों से, सामाजिक वैज्ञानिकों और इतिहासकारों ने पुराने समाचार पत्रों से लेकर व्यावसायिक पत्रिकाओं तक, पाठ के विशाल पुस्तकालयों को समझने के लिए कंप्यूटरों पर भरोसा किया है। इसका लक्ष्य उन छिपे हुए विषयों को खोजना है जो इन दस्तावेजों में चलते हैं, ठीक वैसे ही जैसे एक लाइब्रेरियन किताबों को लेखक के बजाय विषय के आधार पर छाँटता है। इसके लिए एक सामान्य उपकरण जिसे 'टॉपिक मॉडल' कहा जाता है, इसका उपयोग किया जाता है, जो उन शब्दों के समूहों को वर्गीकृत करने के लिए हजारों पृष्ठों को स्कैन करता है जो अक्सर एक साथ दिखाई देते हैं, जिससे यह पता चलता है कि एक दिए गए समय में लोग किस बारें में बात कर रहे थे। जब शोधकर्ता यह देखना चाहते हैं कि ये बातचीत वर्षों या सदियों में कैसे बदलती है, तो वे इस उपकरण के एक गतिशील संस्करण का उपयोग करते हैं जो समय बीतने के साथ इन शब्द समूहों के अर्थ में होने वाले बदलावों को ट्रैक करता है। हालाँकि, विभिन्न पाठ संग्रहों की तुलना करने का प्रयास करते समय हमेशा एक बड़ी बाधा मौजूद रही है। यदि आप व्यावसायिक पत्रिकाओं के एक संग्रह और श्रम संघ की रिपोर्टों के एक अलग संग्रह का विश्लेषण करते हैं, तो कंप्यूटर आमतौर पर उन्हें दो पूरी तरह से अलग दुनिया मानता है। यह व्यावसायिक पत्रिकाओं में "पैसा" (money) के बारे में एक विषय पा सकता है और संघ की रिपोर्टों में "मजदूरी" (wages) के बारे में एक विषय पा सकता है, लेकिन इसके पास यह जानने का कोई अंतर्निहित तरीका नहीं है कि ये वास्तव में एक ही सिक्के के दो पहलू हैं। पारंपरिक रूप से, शोधकर्ताओं को विश्लेषण अलग-अलग चलाना पड़ता था और फिर बाद में परिणामों को मैन्युअल रूप से मिलाने की कोशिश करनी पड़ती थी, एक ऐसी प्रक्रिया जो अक्सर विषयों को सही ढंग से मिलाने में विफल रहती थी, जिससे तुलना अस्थिर और अविश्वसनीय हो जाती थी।
कोलंबिया विश्वविद्यालय के शोधकर्ताओं की एक टीम ने इस समस्या को हल करने का एक नया तरीका विकसित किया है, जो कंप्यूटर को समय के साथ विषयों को पूरी तरह से संरेखित रखते हुए विभिन्न प्रकार के पाठ संग्रहों की तुलना करने की अनुमति देता है। प्रत्येक संग्रह का अलग से विश्लेषण करने और बाद में जबरदस्ती मिलान करने के बजाय, उनकी विधि पहले विचारों का एक एकल, साझा मानचित्र बनाती है। इस साझा मानचित्र की कल्पना एक सामान्य समन्वय प्रणाली (coordinate system) के रूप में करें, जैसे कि अक्षांश और देशांतर रेखाओं का एक मानक सेट, जो सभी विभिन्न पाठ संग्रहों को एक साथ कवर करता है। कंप्यूटर इस संयुक्त मानचित्र का उपयोग करके मुख्य विषयों और उनके विकास को निन्यानवे वर्षों की अवधि में सीखता है। एक बार यह साझा आधार स्थापित हो जाने के बाद, शोधकर्ता प्रत्येक विशिष्ट संग्रह को—चाहे वह व्यावसायिक समाचार हो, श्रम रिपोर्ट हो, या सामान्य ऐतिहासिक लेखन हो—मानचित्र में छोटे, नियंत्रित समायोजन करने की अनुमति देते हैं। यह शोधकर्ताओं को एक विषय के लिए अपनी विशिष्ट शब्दावली का उपयोग करने देता है, जबकि श्रम रिपोर्ट अपनी शब्दावली का उपयोग करती हैं, फिर भी वे बिल्कुल उसी अंतर्निहित विचार से जुड़ी रहती हैं। परिणाम स्वरूप एक ऐसा सिस्टम बनता है जहाँ कंप्यूटर जानता है कि एक संग्रह में "पैसा" का विषय और दूसरे संग्रह में "मजदूरी" का विषय केवल समान ही नहीं हैं, बल्कि वास्तव में एक ही विषय को अलग-अलग दृष्टिकोणों से देखा गया है।
शोधकर्ताओं ने 1922 से 2019 तक फैले तीन विशाल पाठ संग्रहों पर इस दृष्टिकोण का परीक्षण किया। एक संग्रह में पत्रिकाओं और समाचार पत्रों से ऐतिहासिक अमेरिकी अंग्रेजी शामिल थी, दूसरे में हार्वर्ड बिजनेस रिव्यू के लेख थे, और तीसरे में इंटरनेशनल लेबर रिव्यू की रिपोर्टें थीं। ये स्रोत बहुत अलग दुनिया के हैं: एक सामान्य इतिहास का व्यापक मिश्रण है, एक कॉर्पोरेट प्रबंधन पर केंद्रित है, और तीसरा श्रमिकों के अधिकारों और सामाजिक नीति से संबंधित है। टीम ने अपने नए तरीके की तुलना पुराने तकनीकों से की जहाँ संग्रहों का अलग-अलग विश्लेषण किया जाता था और फिर उन्हें बाद में मिलाया जाता था। अंतर स्पष्ट था। पुराने अलग विश्लेषण के तरीके का उपयोग करते समय, कंप्यूटर संग्रहों के बीच मिलान करने वाले विषयों को केवल 18 प्रतिशत बार ही सही ढंग से पहचान सका। इसके विपरीत, नए साझा-मानचित्र पद्धति ने लगभग 98 प्रतिशत की सफलता दर हासिल की। इसका मतलब है कि लगभग हर बार जब कंप्यूटर ने व्यावसायिक पत्रिकाओं में एक विषय को देखा, तो वह तुरंत और सटीक रूप से श्रम रिपोर्टों में उसके अनुरूप विषय को खोज सका, भले ही उपयोग किए गए शब्द पूरी तरह से अलग हों।
अध्ययन ने यह भी दिखाया कि इस नए तरीके ने संरेखण के लिए विश्लेषण की गुणवत्ता का त्याग नहीं किया। कंप्यूटर अभी भी प्रत्येक संग्रह की विशिष्ट बारीकियों को सीखने में सक्षम था, जिससे व्यावसायिक अधिकारियों की अनूठी शब्दावली और श्रम आयोजकों की विशिष्ट भाषा को पकड़ा जा सका। मुख्य मानचित्र को स्थिर रखकर और केवल छोटे समायोजनों की अनुमति देकर, सिस्टम ने एक विषय, जैसे कि आर्थिक परिवर्तन, के विकसित होने के तरीके को ट्रैक करने की क्षमता को बनाए रखा। शोधकर्ता अर्थव्यवस्था के बारे में बातचीत के एक एकल सूत्र का पता लगाने में सक्षम रहे, जो 1930 के दशक के औद्योगिक संकट से लेकर, कॉर्पोरेट प्रबंधन के युद्धोत्तर विस्तार और बीसवीं सदी के अंत के डिजिटल युग तक बदलता रहा। प्रत्येक युग में, साझा मानचित्र ने दिखाया कि कैसे व्यावसायिक पत्रिकाओं ने लाभ और शेयर बाजारों पर ध्यान केंद्रित किया, जबकि श्रम रिपोर्टों ने मजदूरी और श्रमिक सुरक्षा पर ध्यान केंद्रित किया, फिर भी दोनों स्पष्ट रूप से एक ही ऐतिहासिक क्षण की चर्चा कर रहे थे।
यह कार्य यह सुझाव देता है कि विभिन्न समूहों के ग्रंथों की तुलना करने की कुंजी विषयों के संरेखण को एक मौलिक भाग के रूप में मानना है, न कि एक विचार के रूप में जो बाद में जोड़ा गया हो। शोधकर्ताओं ने पाया कि जब उन्होंने प्रत्येक संग्रह के लिए पूरे सिस्टम को अलग से परिष्कृत करने की कोशिश की, तो विषयों के बीच का संबंध टूट गया, और कंप्यूटर बड़े चित्र को देखने की अपनी क्षमता खो बैठा। उनके निष्कर्ष बताते हैं कि पहले एक स्थिर, साझा आधार बनाकर, यह देखना संभव है कि विभिन्न समुदाय अपने अनूठे तरीकों से एक ही बड़े विचारों के बारे में कैसे बात करते हैं। यह दृष्टिकोण इतिहासकारों और सामाजिक वैज्ञानिकों के लिए सूचना के विविध स्रोतों की तुलना करने का एक अधिक विश्वसनीय तरीका प्रदान करता है, यह सुनिश्चित करता है कि जब वे एक सदी से दूसरी सदी तक किसी विषय का पीछा करते हैं, तो वे वास्तव में एक ही कहानी का अनुसरण कर रहे होते हैं, भले ही पृष्ठ पर लिखे शब्द बदल गए हों।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।