Trilingual Topic Modeling of Sri Lankan Parliamentary Debates
यह शोध पत्र श्रीलंका के त्रिभाषी संसदीय वाद-विवाद पर अनसुपरवाइज्ड टॉपिक मॉडलिंगिंग को सफलतापूर्वक करने के लिए LLM-आधारित टेक्स्ट एक्सट्रैक्शन और मल्टीलिंगुअल एम्बेडिंग क्लस्टरिंग का उपयोग करने वाले एक एंड-टू-एंड फ्रेमवर्क को प्रस्तुत करता है, जो प्रमुख राष्ट्रीय घटनाओं के साथ संरेखित विषयगत संरचनाओं की पहचान करने के लिए जटिल लेआउट और कोड-मिक्सिंग जैसी चुनौतियों पर विजय प्राप्त करता है।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
आधुनिक कंप्यूटिंग के विशाल परिदृश्य में, प्राकृतिक भाषा प्रसंस्करण (नेचुरल लैंग्वेज प्रोसेसिंग) के रूप में जाना जाने वाला एक क्षेत्र मशीनों को मानव भाषण को पढ़ने, समझने और व्यवस्थित करने का तरीका सिखाने का प्रयास कर रहा है। दशकों तक, यह कार्य अंग्रेजी जैसी भाषाओं पर भारी रूप से केंद्रित रहा है, जहाँ व्याकरण के नियम अपेक्षाकृत सरल हैं और डिजिटल उपकरण प्रचुर मात्रा में उपलब्ध हैं। हालाँकि, दुनिया ऐसी भाषाओं से भरी है जो बहुत अलग तरह से व्यवहार करती हैं। कुछ भाषाएँ, जैसे कि श्रीलंका में व्यापक रूप से बोली जाने वाली सिंहल और तमिल, योगात्मक (एग्लूटिनेटिव) हैं, जिसका अर्थ है कि वे अर्थ के कई छोटे टुकड़ों को जोड़कर जटिल शब्द बनाती हैं, जिससे मानक कंप्यूटर प्रोग्रामों के लिए यह पहचानना कठिन हो जाता है कि दो अलग दिखने वाले शब्द वास्तव में एक ही मूल शब्द साझा करते हैं। इसके अलावा, दुनिया के कई हिस्सों में, लोग एक समय में केवल एक भाषा में नहीं बोलते; वे एक ही वाक्य के भीतर उन्हें स्वतंत्र रूप से मिलाते हैं, जिसे 'कोड-मिक्सिंग' कहा जाता है। जब ये भाषाई जटिलताएँ आधिकारिक सरकारी रिकॉर्ड की अव्यवस्थित वास्तविकता से मिलती हैं, जो अक्सर खराब तरीके से स्वरूपित डिजिटल दस्तावेजों के रूप में आते हैं, तो परिणाम टेक्स्ट का एक ऐसा पहाड़ होता है जिसे मानक सॉफ्टवेयर सरलतः पार नहीं कर सकता। इन रिकॉर्डों में जो कहा जा रहा है उसे समझना महत्वपूर्ण है, क्योंकि वे एक राष्ट्र की राजनीतिक प्राथमिकताओं, आर्थिक संघर्षों और सामाजिक चिंताओं की कुंजी रखते हैं, फिर भी वे व्यवस्थित विश्लेषण से काफी हद तक अछूते रहे हैं।
श्रीलंका के मोरातुवा विश्वविद्यालय के शोधकर्ताओं की एक टीम ने अब इस जानकारी के खजाने को खोलने का एक नया तरीका बनाया है। उन्होंने अपना ध्यान हंसार्ड्स (Hansards) की ओर लगाया, जो श्रीलंकाई संसद के आधिकारिक ट्रांसक्रिप्ट हैं, जिनमें सिंहल, तमिल और अंग्रेजी में दिए गए हजारों भाषण शामिल हैं, जो अक्सर एक ही संबोधन के भीतर आपस में मिले हुए होते हैं। ये दस्तावेज़ प्रसंस्करण के लिए कुख्यात रूप से कठिन हैं क्योंकि ये भ्रमित करने वाले दो-कॉलम लेआउट और असंगत स्वरूपण वाले स्कैन किए गए पीडीएफ के रूप में मौजूद हैं जो पारंपरिक पढ़ने वाले सॉफ़्टवेयर को बाधित करते हैं। इसे हल करने के लिए, शोधकर्ताओं ने पहले एक शक्तिशाली कृत्रिम बुद्धिमत्ता (AI) टूल का उपयोग किया जो इन अस्त-व्यस्त दस्तावेजों को पढ़ने और वास्तविक बोले गए शब्दों को निकालने में सक्षम है, जिससे पृष्ठ के दृश्य शोर (विजुअल नॉइज़) को अनदेखा किया जा सके। फिर उन्होंने इस साफ किए गए टेक्स्ट को एक ऐसे सिस्टम में डाला जो केवल उनके दिखने की आवृत्ति गिनने के बजाय विभिन्न भाषाओं में शब्दों के अर्थ को समझने के लिए डिज़ाइन किया गया था। भाषणों को एक डिजिटल स्थान में मैप करके, जहाँ समान विचार पास-पास स्थित होते हैं, चाहे भाषा कोई भी हो, वे हजारों व्यक्तिगत भाषणों को सुसंगत विषयों में समूहित करने में सक्षम रहे।
इस प्रयास का परिणाम लगभग एक दशक (2017 से 2026) के दौरान राष्ट्र की राजनीतिक बातचीत का एक स्पष्ट मानचित्र है। शोधकर्ताओं ने 19,553 भाषणों का विश्लेषण किया और उन्हें ऊर्जा सुरक्षा और आर्थिक संकट से लेकर राष्ट्रीय सुरक्षा और स्वास्थ्य सेवा तक के 30 प्रमुख विषयों में सफलतापूर्वक व्यवस्थित किया। यह उपलब्धि इसलिए महत्वपूर्ण है क्योंकि कंप्यूटर ने यह बिना यह बताए किया कि उसे क्या खोजना है; इसने विषयों की खोज स्वयं की। सिस्टम ने पाया कि अर्थव्यवस्था के बारे में भाषण 2022 के वित्तीय संकट और उसके बाद की नागरिक अशांति के दौरान नाटकीय रूप से बढ़ गए, जबकि राष्ट्रीय सुरक्षा के बारे में चर्चा 2019 के ईस्टर संडे हमलों के बाद चरम पर पहुँच गई। महत्वपूर्ण रूप से, मॉडल ने तीनों भाषाओं को एक एकल, एकीकृत प्रवाह के रूप में माना। एक विशिष्ट नीतिगत मुद्दे के बारे में तमिल में दिया गया भाषण, उसी मुद्दे के बारे में सिंहल में दिए गए भाषण के साथ एक साथ समूहबद्ध किया गया था, जिससे यह सिद्ध हुआ कि इस्तेमाल की गई भाषा की तुलना में अंतर्निहित अर्थ अधिक मायने रखता था।
शोधकर्ताओं ने यह भी परीक्षण किया कि क्या टेक्स्ट का विश्लेषण करने वाले पुराने, अधिक पारंपरिक तरीके इस कार्य को संभाल सकते हैं। उन्होंने पाया कि मानक दृष्टिकोण, जो शब्द संयोजनों को गिनने पर निर्भर करते हैं, पूरी तरह से विफल रहे। ये पुराने तरीके विभिन्न भाषाओं के बीच के अंतर को पाटने या सिंहल और तमिल की जटिल शब्द संरचनाओं को संभालने में सक्षम नहीं थे, जिसके परिणामस्वरूप खंडित और अर्थहीन समूह बने। इसके विपरीत, नया दृष्टिकोण, जो संदर्भ को समझने के लिए डीप लर्निंग का उपयोग करता है, ने बहसों की संरचना को सफलतापूर्वक पहचाना। टीम ने एक हाइब्रिड पद्धति का भी अन्वेषण किया जिसने विशिष्ट कीवर्ड्स पर ध्यान केंद्रित करने के साथ अर्थ की गहरी समझ को जोड़ा, यह देखने के लिए कि क्या यह समूहों को और भी सटीक बना सकता है। हालांकि इस पद्धति ने विषयों के बीच की सीमाओं को अधिक स्पष्ट बनाया, लेकिन इसका मतलब यह भी था कि कुछ भाषणों को समूहों से पूरी तरह से बाहर छोड़ दिया गया, जो सटीकता और कवरेज के बीच एक समझौते (ट्रेड-ऑफ) का सुझाव देता है।
अंततः, यह कार्य यह प्रदर्शित करता है कि मानवीय हस्तक्षेप के बिना जटिल, बहुभाषी राजनीतिक विमर्श को समझना संभव है। विविध भाषाओं को एक एकल, समृद्ध डेटासेट के रूप में मानकर, शोधकर्ता यह प्रकट करने में सक्षम हुए कि राष्ट्र का ध्यान वास्तविक दुनिया की घटनाओं के जवाब में कैसे बदलता है। निष्कर्ष बताते हैं कि संसद में चर्चा किए जाने वाले विषय यादृच्छिक नहीं हैं; वे सार्वजनिक ऋण के प्रबंधन से लेकर बीमारों की देखभाल तक, देश की चुनौतियों के प्रत्यक्ष जवाब में ऊपर और नीचे जाते हैं। यह नया ढांचा भविष्य के अध्ययनों के लिए एक ठोस आधार प्रदान करता है, जिससे शोधकर्ता और जनता राजनीतिक प्राथमिकताओं के विकास को उस स्पष्टता के साथ ट्रैक कर सकते हैं जो पहले असंभव था, जिससे भाषणों के एक अराजक संग्रह को एक राष्ट्र की यात्रा की एक संरचित कहानी में बदल दिया गया है।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।