Political Stance Detection on X During the 2024U.S. Election: A Comparative Study of Classical, Neural, and Transformer Models

कल्पना कीजिए कि इंटरनेट एक विशाल, अराजक शहर के चौक की तरह है जहाँ लाखों लोग एक साथ अपनी राय चिल्ला रहे हैं। इस डिजिटल प्लाजा में, कंप्यूटेशनल सोशल साइंस (Computational Social Science) नामक विज्ञान का एक विशिष्ट क्षेत्र इस शोर को सुनने की कोशिश करता है। ये शोधकर्ता यह समझने के लिए कंप्यूटर का उपयोग करते हैं कि मनुष्य ऑनलाइन कैसे व्यवहार करते हैं, जिससे वे इस अस्त-व्यस्त शोर को अध्ययन योग्य डेटा में बदल देते हैं। ऐसा करने के लिए, वे अक्सर दो मुख्य उपकरणों पर भरोसा करते हैं: सेंटिमेंट एनालिसिस (Sentiment Analysis), जो एक साधारण मूड रिंग की तरह है जो केवल यह बताता है कि कोई खुश है या गुस्सा, और स्टेंस डिटेक्शन (Stance Detection), जो एक बहुत अधिक सटीक जासूसी कौशल है। स्टेंस डिटेक्शन केवल यह नहीं पूछता कि, "क्या आप गुस्से में हैं?" बल्कि यह पूछता है कि, "आप किससे गुस्सा हैं, और आप किस पक्ष पर हैं?" यह महत्वपूर्ण है क्योंकि चुनावों जैसे बड़े आयोजनों के दौरान, यह जानना कि लोग किसका समर्थन कर रहे हैं, हमें राष्ट्र के मिजाज को समझने में मदद करता है, लेकिन जब लोग स्लैंग (बोलचाल की भाषा), इमोजी, कटाक्ष और छोटे, प्रभावशाली संदेशों का उपयोग करते हैं, तो यह करना अविश्वसनीय रूप से कठिन हो जाता है।

यह शोध पत्र एक विशाल स्वाद परीक्षण (taste test) की तरह है जहाँ डेलावेयर विश्वविद्यालय के शोधकर्ताओं की एक टीम ने एक लैब बनाई है ताकि यह देखा जा सके कि कौन सा "जासूस" यह पता लगाने में सबसे अच्छा काम करता है कि लोग 2024 के अमेरिकी राष्ट्रपति चुनाव में किसका समर्थन कर रहे हैं। उन्होंने सोशल मीडिया प्लेटफॉर्म X (पूर्व में ट्विटर) के लगभग 100,000 पोस्ट्स का विश्लेषण किया ताकि यह देख सकें कि क्या वे यह बता सकते हैं कि कोई उपयोगकर्ता डोनाल्ड ट्रम्प का समर्थन कर रहा है, जो बाइडेन और कमला हैरिस का समर्थन कर रहा है, या तटस्थ (neutral) है। उन्होंने केवल एक फैंसी टूल नहीं चुना; उन्होंने तीन अलग-अलग प्रकार के "जासूसों" को एक-दूसरे के खिलाफ खड़ा किया: क्लासिकल (Classical) जासूस (पुराने जमाने के गणितीय उपकरण), न्यूरल (Neural) जासूस (मस्तिष्क जैसी कंप्यूटर नेटवर्क), और ट्रांसफॉर्मर (Transformer) जासूस (सुपर-स्मार्ट, आधुनिक AI मॉडल जो संदर्भ को समझते हैं)। उनका लक्ष्य यह पता लगाना था कि क्या आपको इस पहेली को सुलझाने के लिए एक सुपर-जटिल, महंगे AI की आवश्यकता है, या क्या एक सरल, अच्छी तरह से ट्यून किया गया टूल भी उतना ही अच्छा काम कर सकता है।

महान जासूसी मुकाबला (The Great Detective Showdown)

शोधकर्ताओं ने डेटा की सफाई से शुरुआत की। सोशल मीडिया पोस्ट शोर से भरे होते हैं—जैसे टाइपो (लिखने की गलतियाँ), अजीब प्रतीक और ऐसे लिंक जिनका कोई महत्व नहीं है। उन्होंने एक लाइब्रेरियन की तरह काम किया, किताबों को व्यवस्थित किया, डुप्लिकेट्स को हटाया, और स्लैंग को सरल अंग्रेजी में अनुवादित किया ताकि कंप्यूटर उन्हें समझ सके। उन्होंने एक विशेष "कैंडिडेट एफिलिएशन" (उम्मीदवार जुड़ाव) लेबल भी बनाया। केवल यह कहने के बजाय कि "यह पोस्ट खुश है" या "यह पोस्ट दुखी है," उन्होंने अपने सिस्टम को यह पूछने के लिए प्रशिक्षित किया कि, "क्या यह व्यक्ति ट्रम्प के बारे में बात कर रहा है, बाइडेन-कमला के बारे में, या किसी के बारे में नहीं?" उन्होंने यह पता लगाने के लिए कीवर्ड स्पोटिंग और टॉपिक एनालिसिस का मिश्रण इस्तेमाल किया, और यह सुनिश्चित करने के लिए कि लेबल सटीक हों, उन्होंने मानव विशेषज्ञों से भी अपने काम की दोबारा जांच करवाई।

एक बार जब डेटा तैयार हो गया, तो उन्होंने तीन प्रकार के मॉडल्स को परीक्षणों की एक श्रृंखला के माध्यम से चलाया।

सबसे पहले, उन्होंने क्लासिकल मॉडल्स (Classical Models) का परीक्षण किया। इन्हें भरोसेमंद, पुराने जमाने के जासूसों के रूप में सोचें जो आवर्धक लेंस (magnifying glass) और नोटबुक का उपयोग करते हैं। वे तेज़ हैं, समझने में आसान हैं, और उन्हें चलाने के लिए सुपरकंप्यूटर की आवश्यकता नहीं होती। शोधकर्ताओं ने सपोर्ट वेक्टर मशीन्स (SVM) और लॉजिस्टिक्स रिग्रेशन (Logistic Regression) जैसे टूल्स का उपयोग किया। इन मॉडल्स ने पोस्ट में मौजूद शब्दों को देखा और इस बात की गणना की कि राजनीतिक कीवर्ड कितनी बार आए।

इसके बाद, उन्होंने न्यूरल मॉडल्स (Neural Models) का परीक्षण किया। ये उन जासूसों की तरह हैं जिनका "मस्तिष्क" परतों से बना होता है। उन्होंने सेंटेंस-बर्ट (Sentence-BERT) का उपयोग किया, जो पूरे वाक्य को एक एकल, सघन संख्या (एम्बेडिंग) में बदल देता है जो केवल शब्दों को ही नहीं, बल्कि शब्दों के अर्थ को भी पकड़ता है। यह एक वाक्य को एक गुप्त कोड में अनुवाद करने जैसा है जो उसके 'वाइब' (भाव) का प्रतिनिधित्व करता है।

अंत में, उन्होंने ट्रांसफॉर्मर मॉडल (Transformer Model) का परीक्षण किया, विशेष रूप से बर्टवीट (BERTweet) का। यह "सुपर-जासूस" है। यह एक विशाल AI है जिसने पहले लाखों ट्वीट्स पढ़े हैं और जानता है कि X पर लोग स्लैंग, हैशटैग और इमोजी का उपयोग कैसे करते हैं। यह सबसे जटिल और शक्तिशाली टूल है, जिसे सोशल मीडिया की अराजक भाषा को समझने के लिए विशेष रूप रूप से डिज़ाइन किया गया है।

परिणाम: दौड़ में कौन जीता?

यहीं से कहानी दिलचस्प हो जाती है। शोधकर्ताओं को उम्मीद थी कि "सुपर-जासूस" (BERTweet) आसानी से जीतेगा क्योंकि यह सबसे शक्तिशाली है। और, एक तरह से, इसने जीत हासिल की। जब उन्होंने BERTweet को पूरा डेटासेट दिया और इसे सब कुछ सीखने दिया, तो इसने टेस्ट सेट पर 0.995 का स्कोर प्राप्त किया। यह एक अविश्वसनीय रूप से उच्च स्कोर है, जो यह सुझाव देता है कि यह राजनीतिक रुख का अनुमान लगाने में लगभग सटीक था।

हालाँकि, यह शोध पत्र एक बहुत ही महत्वपूर्ण मोड़ का सुझाव देता है: जटिलता ही सब कुछ नहीं है।

जब शोधकर्ताओं ने बारीकी से देखा, तो उन्होंने पाया कि "पुराने जमाने का" लीनियर SVM (Linear SVM) (क्लासिकल मॉडल) एक कड़ा प्रतिद्वंद्वी था। डेटा को साफ करने और सेटिंग्स को सही ढंग से ट्यून करने के बाद, SVM ने 0.963 का स्कोर प्राप्त किया। यह सुपर-AI से थोड़ा ही कम है, लेकिन फिर भी यह एक अद्भुत स्कोर है। उनके बीच का अंतर इतना कम था कि शोधकर्ता सुझाव देते हैं कि कई वास्तविक दुनिया के कामों के लिए सुपर-AI की अतिरिक्त शक्ति शायद सार्थक नहीं है।

अध्ययन ने यह भी पाया कि "मस्तिष्क-समान" न्यूरल मॉडल्स (Sentence-BERT + MLP) बीच में बैठे थे, जिन्होंने लगभग 0.85 का स्कोर किया। यह सुझाव देता है कि एक बार जब आपके पास वाक्य के अर्थ को समझने का एक अच्छा तरीका हो जाता है, तो "मस्तिष्क" को और अधिक गहरा या जटिल बनाने से बहुत अधिक मदद नहीं मिलती है।

"अतिरिक्त सुराग" प्रयोग (The "Extra Clues" Experiment)

शोधकर्ताओं ने यह भी सोचा: "क्या होगा यदि हम जासूसों को अतिरिक्त सुराग दें?" उन्होंने गैर-टेक्स्ट जानकारी को जोड़ने का प्रयास किया, जैसे:

• पोस्ट कब बनाई गई थी (दिन का समय, सप्ताह का दिन)।
• उपयोगकर्ता कहाँ स्थित था (भौगोलिक डेटा)।
• पोस्ट कितनी लोकप्रिय थी (लाइक्स, रीपोस्ट, इंगेजमेंट)।
• सेफ्टी फ्लैग्स (क्या यह हेट स्पीच है?)।

उन्होंने इन सुरागों का एक-एक करके और समूहों में परीक्षण किया। परिणाम? अतिरिक्त सुरागों ने थोड़ी मदद की, लेकिन बहुत अधिक नहीं। "टेक्स्ट-ओनली" जासूस पहले से ही शब्दों को पढ़ने में इतने अच्छे थे कि स्थान या समय का डेटा जोड़ने से परिणाम में कोई महत्वपूर्ण बदलाव नहीं आया। वास्तव में, कभी-कभी बहुत अधिक अतिरिक्त सुराग जोड़ने से मॉडल थोड़े खराब हो जाते हैं क्योंकि अतिरिक्त डेटा केवल शोर (noise) था। शोध पत्र सुझाव देता है कि इस विशिष्ट कार्य के लिए, शब्द स्वयं सबसे महत्वपूर्ण सुराग हैं, और फैंसी मेटाडेटा बेहतर उत्तर की गारंटी नहीं देता है।

मुख्य निष्कर्ष (The Big Takeaway)

तो, चुनाव निगरानी के भविष्य के लिए इस सबका क्या अर्थ है?

शोध पत्र सुझाव देता है कि जबकि "सुपर-जासूस" (ट्रांसफॉर्मर मॉडल्स) एक नियंत्रित, पूर्ण वातावरण में सबसे मजबूत है, यह कई स्थितियों में ज़रूरत से ज़्यादा (overkill) हो सकता है। लीनियर SVM, जो एक बहुत ही सरल और तेज़ टूल है, लगभग उतना ही अच्छा प्रदर्शन करता है। यह एक बड़ी बात है क्योंकि सरल टूल:

• तेज़ है: यह नियमित कंप्यूटरों पर चलता है, महंगे सुपरकंप्यूटरों पर नहीं।
• स्पष्ट है: यह समझना आसान है कि इसने निर्णय क्यों लिया (व्याख्यात्मकता)।
• सस्ता है: इसे चलाना कम लागत वाला है।

लेखक चेतावनी देते हैं कि सुपर-AI का लगभग पूर्ण स्कोर इस विशेष डेटासेट और जिस तरह से डेटा को लेबल किया गया है, उसके लिए विशिष्ट हो सकता है। वे यह दावा नहीं करते कि राजनीतिक रुख का पता लगाना "हल" हो गया है या AI वास्तविक दुनिया में पूर्ण है, जहाँ लोग अधिक व्यंग्यात्मक हो सकते हैं या भाषा बदल सकती है। इसके बजाय, वे सुझाव देते हैं कि विश्वसनीय, स्केलेबल सिस्टम बनाने के लिए, सबसे जटिल मॉडल चुनने के बजाय अच्छा डेटा तैयारी और स्मार्ट फीचर चयन अधिक मायने रखता है।

संक्षेप में, आपको दौड़ जीतने के लिए हमेशा फेरारी की आवश्यकता नहीं होती; कभी-कभी एक अच्छी तरह से ट्यून की गई साइकिल भी उतनी ही तेज़ होती है, उसे ठीक करना आसान होता है और उसे चलाना सस्ता होता है। सोशल मीडिया पर राजनीतिक विचारों को ट्रैक करने के लिए, एक सावधानीपूर्वक डिज़ाइन किया गया, सरल मॉडल सबसे व्यावहारिक विकल्प हो सकता है।