Sentiment Classification of Saudi Stock Market Tweets: Lexicon-Based Weak Supervision, Classical Machine Learning, and Zero-Shot Open-Source Large Language Models
यह अध्ययन लेक्सिकॉन-व्युत्पन्न लेबल पर प्रशिक्षित शास्त्रीय मशीन लर्निंग मॉडल और एक ज़ीरो-शॉट ओपन-सोर्स एलएलएम (LLM) की तुलना करके सऊदी स्टॉक मार्केट के ट्वीट्स के सेंटिमेंट वर्गीकरण का मूल्यांकन करता है, जिससे यह पता चलता है कि जहाँ शास्त्रीय मॉडल केवल संभावित रूप से त्रुटिपूर्ण नियम-आधारित लेबल को ही पुनरुत्पादित करते हैं, वहीं एलएलएम एक विशिष्ट, डोमेन-जागरूक परिप्रेक्ष्य प्रदान करता है जो वित्तीय सेंटिमेंट विश्लेषण को मान्य करने के लिए मानव-एनोटेटेड ग्राउंड ट्रुथ की महत्वपूर्ण आवश्यकता को रेखांकित करता है।
मूल पेपर CC BY 4.0 (https://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
आधुनिक वित्तीय जगत में, कीमतें केवल बैलेंस शीट और आर्थिक रिपोर्टों द्वारा निर्धारित नहीं होती हैं। वे निवेशकों के सामूहिक मूड से भी आकार लेती हैं, जो एक ऐसी शक्ति है जो वास्तविक समय में बाजारों को बदल सकती है। दशकों से, शोधकर्ता आशावाद या भय का संकेत देने वाले शब्दों को खोजने के लिए समाचार और सोशल मीडिया पोस्ट को पढ़कर इस मूड को मापने का प्रयास कर रहे हैं। जब कोई कंपनी लाभ की घोषणा करती है, तो लहजा आमतौर पर सकारात्मक होता है; जब वह घाटे की रिपोर्ट करती है, तो लहजा नकारात्मक होता है। अंग्रेजी में यह कार्य सीधा है, जहाँ भावनात्मक शब्दों के शब्दकोश मौजूद हैं और कंप्यूटर आसानी से उन्हें गिन सकते हैं। हालाँकि, चुनौती तब बहुत जटिल हो जाती है जब भाषा अरबी हो, विशेष रूप से वह अरबी जिसका उपयोग सऊदी अरब के हलचल भरे वित्तीय बाजारों में किया जाता है। यह भाषा वर्तनी, बोली और व्याकरण के विविध रूपों से समृद्ध है, और वित्तीय समाचार अक्सर वास्तविक घोषणाओं को वास्तविक मतों के साथ मिला देते हैं, जिससे मानक कंप्यूटर प्रोग्रामों के लिए अंतर करना कठिन हो जाता है।
इस जटिलता ने किंग खालिद विश्वविद्यालय के शोधकर्ताओं की एक टीम को यह जांचने के लिए प्रेरित किया कि कंप्यूटर सऊदी शेयर बाजार के बारे में ट्वीट्स की भावना (सेंटिमेंट) को कितनी अच्छी तरह समझ सकते हैं। उन्होंने एक विशिष्ट प्रश्न पर ध्यान केंद्रित किया: क्या इन ट्वीट्स को लेबल करने के लिए उपयोग की जाने वाली पारंपरिक विधियाँ वास्तव में काम करती हैं, या वे केवल कंप्यूटर को नियमों के एक सेट को याद करने के लिए धोखा देती हैं? यह पता लगाने के लिए, उन्होंने तदवुल (Tadawul) के रूप में ज्ञात सऊदी एक्सचेंज में सूचीबद्ध कंपनियों के बारे में एक हजार ट्वीट्स एकत्र किए। ये पोस्ट वित्तीय समाचार आउटलेट्स, बाजार विश्लेषकों और व्यक्तिगत व्यापारियों के मिश्रण से आए थे। शोधकर्ता यह देखना चाहते थे कि क्या वे कंप्यूटर को यह पहचानने के लिए सिखा सकते हैं कि एक ट्वीट सकारात्मक, नकारात्मक या तटस्थ था, और दो बहुत अलग दृष्टिकोणों की तुलना करना चाहते थे: एक जो पहले से बनी शब्दों की सूची पर निर्भर करता है, और दूसरा जो एक शक्तिशाली, आधुनिक कृत्रिम बुद्धिमत्ता प्रणाली का उपयोग करता है जो स्पष्ट रूप से सिखाए बिना संदर्भ को समझने में सक्षम है।
शोधकर्ताओं ने पारंपरिक दृष्टिकोण के साथ शुरुआत की, जो इस प्रकार के कई अध्येशनों में सामान्य है। उन्होंने 180 वित्तीय शब्दों की एक सूची बनाई, उन्हें "लाभ" और "वृद्धि" जैसे सकारात्मक शब्दों, "घाटा" और "गिरावट" जैसे नकारात्मक शब्दों, और "विश्लेषण" जैसे तटस्थ शब्दों में विभाजित किया। फिर उन्होंने इन ट्वीट्स को स्वचालित रूप से लेबल करने के लिए इस सूची का उपयोग किया। यदि किसी ट्वीट में सकारात्मक शब्द था, तो उसे सकारात्मक के रूप में चिह्नित किया गया; यदि उसमें कोई मिलान करने वाले शब्द नहीं थे, तो उसे तटस्थ के रूप में चिह्नित किया गया। एक बार ट्वीट्स को लेबल करने के बाद, उन्होंने इन लेबल से सीखने के लिए चार अलग-अलग प्रकार के क्लासिकल कंप्यूटर मॉडल को प्रशिक्षित किया। लक्ष्य यह देखना था कि क्या ये मॉडल उन लेबल को पुनरुत्पादित कर सकते हैं जो सूची ने सौंपे थे। परिणाम आश्चर्यजनक रूप से उच्च थे। एक लीनियर सपोर्ट वेक्टर मशीन, जो परीक्षण किए गए मॉडलों में से एक था, ने 86.1 प्रतिशत मामलों में सूची के लेबल को सही ढंग से मिलाया। यह एक सफलता की तरह लग रहा था, जो सुझाव देता था कि कंप्यूटर ने बाजार के मूड को समझना सीख लिया है।
हालाँकि, शोधकर्ताओं ने फिर एक दूसरा, अधिक उन्नत उपकरण पेश किया: Qwen2.5 नामक एक लार्ज लैंग्वेज मॉडल। क्लासिकल मॉडलों के विपरीत, इस प्रणाली को लेबल किए गए ट्वीट्स पर प्रशिक्षित नहीं किया गया था। इसके बजाय, इसे केवल एक वित्तीय विश्लेषक के रूप में कार्य करने के सरल निर्देश का उपयोग करते हुए, ट्वीट्स को पढ़ने और भावना तय करने के लिए कहा गया था। जब शोधकर्ताओं ने लार्ज लैंग्वेज मॉडल के निर्णयों की मूल सूची-आधारित लेबल के साथ तुलना की, तो सहमति आश्चर्यजनक रूप से कम थी। मॉडल केवल 37.6 प्रतिशत ट्वीट्स पर सूची के साथ सहमत था। यह विसंगति यादृच्छिक नहीं थी। लार्ज लैंग्वेज मॉडल लाभांश घोषणाओं या आय रिपोर्टों जैसी तथ्यात्मक घोषणाओं को सकारात्मक के रूप में लेबल करने की ओर झुका हुआ था। मूल सूची, जो सख्ती से विशिष्ट शब्दों के मिलान पर निर्भर थी, ने इन घोषणाओं को तटस्थ के रूप में लेबल किया था क्योंकि उनमें भावनात्मक कीवर्ड्स की कमी थी।
इस असहमति ने एक महत्वपूर्ण खामी को उजागर किया। शोधकर्ताओं ने महसूस किया कि शब्दों की सूची और ट्वीट्स को एक ही तरह से तैयार नहीं किया गया था। ट्वीट्स को विभिन्न स्पेलिंग को संभालने के लिए साफ (क्लीन) और मानकीकृत किया गया था, लेकिन शब्दों की सूची को नहीं। परिणामस्वरूप, ट्वीट्स में कई शब्द केवल इसलिए सूची के शब्दों से मेल नहीं खा रहे थे क्योंकि उनमें मामूली वर्तनी के अंतर थे, न कि इसलिए कि भावना अलग थी। जब शोधकर्ताओं ने सूची पर समान सफाई नियम लागू करके इस बेमेल को ठीक किया, तो स्थिति नाटकीय रूप से बदल गई। सूची के साथ मेल खाने वाले ट्वीट्स की संख्या 42.4 प्रतिशत से बढ़कर 67.8 प्रतिशत हो गई। इससे भी महत्वपूर्ण बात यह है कि लार्ज लैंग्वेज मॉडल और सुधारा गया सूची के बीच सहमति बढ़कर 57.5 प्रतिशत हो गई। इसने दिखाया कि प्रारंभिक असहमति का एक बड़ा हिस्सा कृत्रिम बुद्धिमत्ता के गलत होने के कारण नहीं था, बल्कि त्रुटिपूर्ण संदर्भ लेबल के कारण था।
अध्ययन निष्कर्ष निकालता है कि इस प्रकार के शोध में उच्च सटीकता स्कोर भ्रामक हो सकते हैं। जब एक कंप्यूटर मॉडल लेबल के एक सेट के मुकाबले 86 प्रतिशत सटीकता प्राप्त करता है, तो इसका अर्थ अक्सर यह होता है कि मॉडल ने वास्तव में भावना को समझने के बजाय उन कठोर नियमों का पालन करना सीख लिया है जिनका उपयोग उन लेबल को बनाने के लिए किया गया था। लार्ज लैंग्वेज मॉडल, त्रुटिपूर्ण लेबल के साथ कम सहमति के बावजूद, बाजार का अधिक सूक्ष्म दृष्टिकोण पकड़ने में सक्षम प्रतीत हुआ, जो पहचानता है कि मुनाफे के बारे में तथ्यात्मक समाचार अक्सर निवेशकों के लिए एक सकारात्मक संकेत होते हैं। शोधकर्ता इस बात पर जोर देते हैं कि वास्तव में यह जानने के लिए कि कौन सी विधि सही है, एक मनुष्य को लेबल को सत्यापित करने के लिए आगे आना होगा, क्योंकि वर्तमान में किसी भी कंप्यूटर प्रोग्राम पर अपने स्वयं के प्रशिक्षण डेटा को मानवीय संदर्भ के बिना मान्य करने के लिए भरोसा नहीं किया जा सकता है। यह कार्य एक अनुस्मारक के रूप में कार्य करता है कि वित्तीय विश्लेषण को स्वचालित करने की दौड़ में, मशीनों को सिखाने के लिए उपयोग किए जाने वाले डेटा की गुणवत्ता उतनी ही महत्वपूर्ण है जितनी कि स्वयं मशीनें।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।