Cleaning the Chaos: Building a Structured Corpus from Rajya Sabha Debates

मानव शासन के विशाल संग्रह में, बोले गए शब्दों में एक अनूठी शक्ति होती है। जब किसी राष्ट्र के विधायक कानूनों, बजट और संकटों पर बहस करने के लिए एकत्र होते हैं, तो वे इस बात का एक जीवंत रिकॉर्ड बनाते हैं कि एक समाज कैसे सोचता है, तर्क करता है और अपने भविष्य का निर्णय लेता है। शोधकर्ताओं के लिए, ये ट्रांसक्रिप्ट (प्रतिलेख) एक खजाना हैं, जो लोकतंत्र की नब्ज मापने, राजनीतिक चिंताओं के उत्थान और पतन को ट्रैक करने और सार्वजनिक नीति के भावनात्मक स्वर को समझने का एक तरीका प्रदान करते हैं। हालाँकि, इन बोले गए शब्दों को ऐसी चीज़ में बदलना जिसे कंप्यूटर अध्ययन कर सके, अक्सर एक बहुत बड़ा कार्य होता है। कच्चे रिकॉर्ड अक्सर अस्त-व्यस्त होते हैं, स्कैन किए गए दस्तावेजों में दबे होते हैं, विभिन्न भाषाओं के बीच मिश्रित होते हैं, और प्रक्रियात्मक शोर (procedural noise) से भरे होते हैं जो वास्तविक तर्कों को धुंधला कर देते हैं। इस अराजकता को समझने के लिए, वैज्ञानिक 'नेचुरल लैंग्वेज प्रोसेसिंग' नामक एक क्षेत्र का उपयोग करते हैं, जो मशीनों को मानव पाठ को पढ़ने और समझने के लिए प्रशिक्षित करता है। इन रिकॉर्ड्स को साफ करके और उन्हें व्यवस्थित करके, शोधकर्ता बड़े प्रश्न पूछ सकते हैं: कौन से मुद्दे बातचीत पर हावी हैं? राजनेताओं को उनके बारे में कैसा महसूस होता है? और ये विषय समय के साथ कैसे बदलते हैं?

भारतीय सूचना प्रौद्योगिकी संस्थान, नागपुर के एक शोधकर्ता ने विशेष रूप से राज्यसभा, जो भारत की संसद का उच्च सदन है, के लिए इस चुनौती को स्वीकार किया है। वर्षों से, इन बहसों के आधिकारिक रिकॉर्ड ऑनलाइन उपलब्ध हैं, लेकिन वे असंरचित, स्कैन किए गए दस्तावेजों के रूप में मौजूद हैं जिन्हें विश्लेषण करना कठिन है। शोधकर्ता ने इन कच्चे, अस्त-व्यस्त फाइलों और आधुनिक कंप्यूटर विश्लेषण के लिए आवश्यक स्वच्छ, व्यवस्थित डेटा के बीच एक सेतु बनाने का लक्ष्य रखा। उनका लक्ष्य केवल टेक्स्ट को संग्रहीत करना नहीं था, बल्कि इसे एक संरचित पुस्तकालय में बदलना था जहाँ प्रत्येक भाषण की पहचान की जाए, उसे साफ किया जाए और उसके मुख्य विषय के साथ टैग किया जाए। यह कार्य एक आधारभूत डेटासेट बनाता है जो किसी को भी शक्तिशाली कम्प्यूटेशनल उपकरणों का उपयोग करके भारतीय राजनीतिक विमर्श के इतिहास का अध्ययन करने की अनुमति देता है।

यात्रा कच्चे डेटा के संग्रह के साथ शुरू हुई। शोधकर्ता ने आधिकारिक संसदीय वेबसाइट तक पहुँच प्राप्त की और 2008 से 2025 तक के हजारों बहस रिकॉर्ड डाउनलोड किए। उन्होंने एक विशिष्ट अवधि पर ध्यान केंद्रित किया जहाँ रिकॉर्ड संरचित डिजिटल फाइलों के रूप में उपलब्ध थे, और अंततः 6,300 से अधिक दस्तावेज़ एकत्र किए। ये फाइलें साधारण टेक्स्ट दस्तावेज़ नहीं थीं; ये पृष्ठों की स्कैन की गई छवियां थीं, जिसका अर्थ था कि टेक्स्ट चित्रों के भीतर फंसा हुआ था। शब्दों को मुक्त करने के लिए, शोधकर्ता ने 'ऑप्टिकल कैरेक्टर रिकग्निशन' (OCR) नामक तकनीक का उपयोग किया, जो एक डिजिटल आँख की तरह कार्य करती है जो छवि से अक्षर पढ़ सकती है। इस प्रक्रिया ने स्कैन किए गए पृष्ठों को कच्चे टेक्स्ट में बदल दिया, लेकिन परिणाम पूर्ण नहीं था। निकाला गया टेक्स्ट त्रुटियों, बार-बार आने वाले हेडर, पृष्ठ संख्याओं और वाक्यों के उन टुकड़ों से भरा था जिनका अकेले में कोई अर्थ नहीं था।

इस टेक्स्ट की सफाई के लिए एक सावधानीपूर्वक, चरण-दर-चरण दृष्टिकोण की आवश्यकता थी। शोधकर्ता को प्रक्रियात्मक शोर को हटाना था, जैसे कि बार-बार आने वाले शीर्षक और प्रशासनिक नोट्स, ताकि केवल संसद के सदस्यों द्वारा बोले गए वास्तविक शब्दों को छोड़ा जा सके। उन्हें यह भी हल करना था कि किसने क्या कहा। कच्चे टेक्स्ट में, वक्ता का नाम अक्सर एक कोलन (colon) से ठीक पहले दिखाई देता था, जिसके बाद उनका भाषण होता था। शोधकर्ता ने इन पैटर्न को खोजने के लिए एक प्रोग्राम लिखा, जिससे लंबे, निरंतर टेक्स्ट के प्रवाह को व्यक्तिगत भाषणों में अलग किया जा सके। उन्होंने सम्मानजनक उपाधियों को हटाया और टूटी हुई लाइनों को ठीक किया, यह सुनिश्चित करते हुए कि प्रत्येक भाषण एक विशिष्ट व्यक्ति और तिथि से जुड़ा एक सुसंगत ब्लॉक हो। परिणाम लगभग 9 लाख शब्दों के लगभग 95,000 व्यक्तिगत भाषणों का एक विशाल, व्यवस्थित संग्रह था, जो विश्लेषण के लिए पूरी तरह तैयार था।

एक बार जब टेक्स्ट साफ हो गया, तो शोधकर्ता के सामने अगला लक्ष्य था: ये भाषण किस बारे में थे। चूंकि डेटा में कोई लेबल नहीं थे, इसलिए वे केवल विषय को खोज नहीं सकते थे। इसके बजाय, उन्होंने एक हाइब्रिड दृष्टिकोण का उपयोग किया जो मानवीय तर्क और सांख्यिकीय समूहीकरण (statistical grouping) को जोड़ता था। सबसे पहले, उन्होंने एक 'लार्ज लैंग्वेज मॉडल' का उपयोग किया, जो एक उन्नत कंप्यूटर प्रोग्राम है जिसे विशाल मात्रा में टेक्स्ट पर प्रशिक्षित किया गया है, ताकि प्रत्येक भाषण को पढ़ना और उसके मुख्य विषय का एक संक्षिप्त विवरण सुझाना। इन सुझावों को फिर एक क्लस्टरिंग सिस्टम में फीड किया गया, जिसने अर्थ के आधार पर समान भाषणों को एक साथ समूहबद्ध किया। शोधकर्ता ने पाया कि भाषण स्वाभाविक रूप से लगभग 47 विशिष्ट समूहों में विभाजित थे। इन समूहों को और अधिक स्पष्ट बनाने के लिए, उन्होंने प्रत्येक समूह से सबसे सामान्य शब्दों को निकालने के लिए एक सांख्यिकीय पद्धति का उपयोग किया, जिससे चर्चा किए जा रहे मुख्य विषयों का पता चला।

विश्लेषण ने संसदीय परिदृश्य की एक स्पष्ट तस्वीर पेश की। विषय राष्ट्रीय सुरक्षा और आतंकवाद जैसे व्यापक विषयों से लेकर कृषि, शिक्षा और स्वास्थ्य सेवा जैसी विशिष्ट चिंताओं तक फैले हुए थे। कुछ क्लस्टर बजट और सरकारी वित्तपोषण पर केंद्रित थे, जबकि अन्य सामाजिक कल्याण और गरीबी से संबंधित थे। शोधकर्ता ने इन समूहों को स्पष्ट, मानव-पठनीय नाम दिए, जैसे कि "किसान और कृषि" या "चिकित्सा और स्वास्थ्य," जिससे उन मुद्दों का एक मानचित्र तैयार हुआ जो भारतीय संसद के लिए सबसे महत्वपूर्ण हैं। इसके बाद उन्होंने इन विषयों की उपस्थिति को समय के साथ ट्रैक किया, यह देखते हुए कि राजनीतिक कैलेंडर के बदलते मौसम और राष्ट्रीय घटनाओं के उदय के साथ बहसों का केंद्र कैसे बदलता है।

इन बहसों के भावनात्मक स्वर को समझने के लिए, शोधकर्ता ने भाषणों की भावना (sentiment) का भी विश्लेषण किया। क्योंकि टेक्स्ट हिंदी और अंग्रेजी का मिश्रण था, और भाषण अक्सर बहुत लंबे होते थे, इसलिए एक एकल कंप्यूटर मॉडल सही उत्तर देने में संघर्ष कर रहा था। इसके बजाय, शोधकर्ता ने कई अलग-अलग मॉडलों के निर्णयों को मिलाया, जिससे उन्हें यह वोट देने दिया कि भाषण सकारात्मक, नकारात्मक या तटस्थ है। इस 'एंसेम्बल अप्रोच' (ensemble approach) ने अधिक विश्वसनीय परिणाम प्रदान किए। विश्लेषण से पता चला कि अधिकांश भाषणों को नकारात्मक के रूप में वर्गीकृत किया गया था। यह निष्कर्ष बताता है कि भारत में संसदीय विमर्श काफी हदतः आलोचना, समस्या-समाधान और चिंताएं उठाने पर केंद्रित है, न कि प्रशंसा या सकारात्मक ढांचे पर। इन भविष्यवाणियों में आत्मविश्वास मध्यम था, जो दो भाषाओं के मिश्रण वाले औपचारिक राजनीतिक भाषा की व्याख्या करने की अंतर्निहित कठिनाई को दर्शाता है, जो अक्सर जटिल और सूक्ष्म विषयों से जुड़ी होती है।

अंत में, शोधकर्ता ने परीक्षण किया कि क्या उनका नया डेटासेट भविष्य के अध्ययनों के लिए उपयोगी है। उन्होंने केवल टेक्स्ट के आधार पर भाषण के विषय की भविष्यवाणी करने के लिए कई कंप्यूटर लर्निंग मॉडलों को प्रशिक्षित किया। मॉडल उच्च स्तर की सटीकता के साथ डेटा के पैटर्न को सीखने में सक्षम थे, जिससे यह सिद्ध हुआ कि उनके द्वारा पहचाने गए विषय सुसंगत और सार्थक थे। सबसे अच्छा प्रदर्शन करने वाले मॉडल वे थे जो समय के साथ एक वाक्य के प्रवाह को याद रख सकते थे, जिससे यह संकेत मिलता है कि किसी विषय को समझने के लिए भाषण का संदर्भ (context) अत्यंत महत्वपूर्ण है। इस सफलता ने पुष्टि की कि साफ और व्यवस्थित डेटासेट एक मजबूत संसाधन है, जो राजनीतिक व्यवहार और नीतिगत रुझानों की गहरी जांच का समर्थन करने में सक्षम है।

इस शोधकर्ता द्वारा किया गया कार्य स्कैन किए गए पृष्ठों के एक अराजक संग्रह को मानव विचार के एक संरचित, खोजने योग्य पुस्तकालय में बदल देता है। कच्चे, असंरचित रिकॉर्ड को एक स्वच्छ डेटासेट में बदलकर, उन्होंने राजनीति विज्ञान के एक नए प्रकार का द्वार खोल दिया है, जो कंप्यूटर की गति और पैमाने के साथ संसदीय बहस के पूरे इतिहास का विश्लेषण कर सकता है। हालांकि डेटा पूर्ण नहीं है, और विधियाँ अभी भी विकसित हो रही हैं, लेकिन उनके द्वारा निर्मित आधार यह अनुमति देता है कि शोधकर्ता शोर के बीच पैटर्न देख सकें। यह एक राष्ट्र की बहसों के इतिहास को देखने का एक तरीका प्रदान करता है, जो केवल शब्दों के संग्रह के रूप में नहीं, बल्कि एक संरचित कहानी के रूप में है कि कैसे एक लोकतंत्र बहस करता है, निर्णय लेता है और आगे बढ़ता है।