From Noisy News Sentiment Scores to Interpretable Temporal Dynamics: A Bayesian State-Space Model

तकनीकी सारांश: शोरयुक्त समाचार भावना स्कोर से व्याख्यात्मक कालिक गतिकी तक

समस्या विवरण
पाठ-आधारित भावना संकेतक सार्वजनिक और बाजार की मनोदशा की निगरानी के लिए व्यापक रूप से उपयोग किए जाते हैं; हालाँकि, साप्ताहिक एकत्रित भावना श्रृंखलाएं स्वाभाविक रूप से शोरयुक्त (noisy) होती हैं। इस शोर का एक प्राथमिक स्रोत प्रासंगिक समाचारों के आयतन में कालिक और श्रेणीगत परिवर्तनशीलता है। कुछ साप्ताहिक औसत सैकड़ों लेखों पर आधारित होते हैं, जबकि अन्य बहुत कम लेखों पर आधारित होते हैं। मौजूदा दृष्टिकोण अक्सर डेटा उपलब्धता में इन उतार-चढ़ाव को अनिश्चितता को मापते समय स्पष्ट रूप से ध्यान में रखने में विफल रहते हैं। फलस्वरूप, मानक एकत्रीकरण विधियाँ वास्तविक भावना परिवर्तनों और डेटा विश्वसनीयता में परिवर्तनों के बीच अंतर करने में असमर्थ रहती हैं। यह समस्या इसलिए महत्वपूर्ण है क्योंकि आर्थिक विश्लेषण (econometric analysis) में माप त्रुटि (measurement error) को ध्यान में रखे बिना AI-जनित चरों को 'ग्राउंड ट्रुथ' के रूप में उपयोग करना पक्षपाती अनुमानों और अमान्य निष्कर्षों का कारण बन सकता है। इसके अलावा, हालिया साहित्य इस बात पर जोर देता है कि वित्तीय निर्णय लेने के लिए AI संकेतों को विश्वसनीय बनाने हेतु अनिश्चितता का परिमाणीकरण (uncertainty quantification) आवश्यक है।

कार्यप्रणाली
यह शोध पत्र एक पदानुक्रमित बायेसियन स्टेट-स्पेस मॉडल (hierarchical Bayesian state-space model) प्रस्तावित करता है जिसे एकत्रित समाचार भावना को एक सिद्धांतपूर्ण अनिश्चितता परिमाणीकरण के साथ एक सुचारू समय श्रृंखला (smoothed time series) में बदलने के लिए डिज़ाइन किया गया है।

• डेटा प्रसंस्करण (Data Processing): समाचार लेख एकत्र किए जाते हैं और प्री-ट्रेन्ड NLP मॉडलों का उपयोग करके स्कोर किए जाते हैं। FinBERT का उपयोग भावना स्कोर ($S_i \in [-1, 1]$) उत्पन्न करने के लिए किया जाता है, और एक ज़ीरो-शॉट वर्गीकरण मॉडल (bart-large-mnli) पूर्व-निर्धारित विषयगत श्रेणियों को प्रासंगिकता स्कोर ($C_{ij}$) आवंटित करता है। 0.25 के थ्रेशोल्ड से कम प्रासंगिकता स्कोर वाले लेखों को फ़िल्टर कर दिया जाता है।
• एकत्रीकरण (Aggregation): प्रत्येक समय अंतराल $t$ और श्रेणी $j$ के लिए, एक एकत्रित भावना स्कोर ($y_{tj}$) की गणना लेख-स्तरीय स्कोर के भारित औसत (weighted average) के रूप में की जाती है, जहाँ भार श्रेणी प्रासंगिकता स्कोर हैं।
• अव्यक्त अवस्था गतिकी (Latent State Dynamics): मॉडल एक अदृश्य अव्यक्त भावना प्रक्रिया ($x_{tj}$) की कल्पना करता है जो समय के साथ विकसित होती है। इस प्रक्रिया को एक दीर्घकालिक माध्य ($\mu_j$) के चारों ओर एक प्रथम क्रम की ऑटोरेग्रेसिव प्रक्रिया (AR(1)) के रूप में मॉडल किया गया है, जो एक पर्सिस्टेंस पैरामीटर ($\theta_j$) और एक अव्यक्त इनोवेशन स्केल ($\sigma_{\eta j}$) द्वारा नियंत्रित है।
• अवलोकन मॉडल और प्रभावी भार (Observation Model and Effective Weight): प्रेक्षित भावना $y_{tj}$ को अव्यक्त अवस्था $x_{tj}$ के एक शोरयुक्त माप के रूप में माना जाता है। मुख्य नवाचार अवलोकन शोर पद (observation noise term) में निहित है, जिसे एक "प्रभावी सूचना भार" ($n_{tj}$) द्वारा स्केल किया जाता है।
  • $n_{tj}$ को दिए गए विंडो में सभी श्रेणियों के प्रासंगिकता स्कोर के योग के रूप में परिभाषित किया गया है।
  • अवलोकन प्रसरण (observation variance) को $\sigma_j^2 / n_{tj}$ के रूप में मॉडल किया गया है।
  • तंत्र (Mechanism): जब $n_{tj}$ उच्च होता है (उच्च कवरेज), तो अवलोकन शोर कम होता है, और अव्यक्त अवस्था (latent state) डेटा के साथ मजबूती से जुड़ी रहती है। जब $n_{tj}$ कम होता है (विरल कवरेज), तो अनिश्चितता बढ़ जाती है, और मॉडल अवस्था को अनुमानित करने के लिए अव्यक्त कालिक गतिकी (latent temporal dynamics) पर अधिक निर्भर करता है।
• पदानुक्रमित संरचना (Hierarchical Structure): मजबूती में सुधार के लिए, विशेष रूप से कम डेटा वाली श्रेणियों के लिए, मॉडल एक पदानुक्रमित प्रायोर (hierarchical priors) का उपयोग करता है। यह श्रेणियों के बीच सूचना साझा करने के माध्यम से श्रेणी-विशिष्ट मापदंडों (पर्सिस्टेंस, इनोवेशन और अवलोकन शोर) की अनुमति देता है।
• अनुमान (Inference): पोस्टीरियर वितरणों का अनुमान JAGS में कार्यान्वित मार्कोव चेन मोंटे कार्लो (MCMC) विधियों का उपयोग करके लगाया जाता है।

प्रमुख योगदान

1. सूचना-घनत्व स्केल शोर (Information-Density Scaled Noise): लेखक एक बायेसियन स्टेट-स्पेस मॉडल पेश करते हैं जहाँ अवलोकन शोर को स्पष्ट रूप से एक अवलोकन योग्य, डेटा-संचालित सूचना घनत्व ($n_{tj}$) द्वारा स्केल किया जाता है। यह सीधे डेटा उपलब्धता को माप अनिश्चितता से जोड़ता है, जिससे जेनेरिक परिवर्तनीय अस्थिरता (generic latent volatility) के माध्यम से समय-परिवर्तनीय शोर को अनुमानित करने की आवश्यकता समाप्त हो जाती है।
2. पदानुक्रमित मजबूती (Hierarchical Robustness): ढांचा कई विषयगत श्रेणियों के बीच सूचना साझा करने के लिए एक पदानुक्रमित संरचना का उपयोग करता है। यह दृष्टिकोण कम संदेशों वाली श्रेणियों के लिए अनुमान स्थिरता में सुधार करता है, जबकि अभी भी श्रेणी-विशिष्ट व्यवहारों की अनुमति देता है।
3. अनिश्चितता-जागरूक ढांचा (Uncertainty-Aware Framework): मॉडल अव्यक्त अवस्थाओं और मापदंडों के लिए पूर्ण पोस्टीरियर वितरण प्रदान करता है, जिससे विश्वसनीय अंतराल (credible intervals) रिपोर्ट करना संभव होता है। यह भावना गतिकी की निगरानी के लिए एक सिद्धांतपूर्ण दृष्टिकोण की सुविधा देता है जहाँ अनिश्चितता को अनदेखा करने के बजाय उसे मापा जाता है।

परिणाम
अनुभवजन्य विश्लेषण (Empirical analysis) लगभग 9,918 समाचार लेखों के डेटासेट पर किया गया जो देर 2023 से देर 2025 तक फैले हुए हैं, जिन्हें छह विषयगत समूहों में वर्गीकृत किया गया है।

• मापदंड अनुमान (Parameter Inference): पोस्टीरियर विश्लेषण से पता चलता है कि पर्सिस्टेंस पैरामीटर ($\theta_j$) और अव्यक्त इनोवेशन स्केल ($\sigma_{\eta j}$) श्रेणियों में मोटे तौर पर समान हैं। एक पूर्ण रूप से संलयित मॉडल (fully pooled model) और पदानुक्रमित मॉडल के बीच के अंतर इन मापदंडों के लिए अपेक्षाकृत कम हैं, जो यह सुझाव देते हैं कि कालिक दृढ़ता (temporal persistence) और अल्पकालिक अस्थिरता श्रेणियों के बीच साझा विशेषताएं हैं।
• अवलोकन शोर विषमता (Observation Noise Heterogeneity): इसके विपरीत, अवलोकन शोर पैरामीटर ($\sigma_j$) श्रेणियों के बीच महत्वपूर्ण भिन्नता प्रदर्शित करता है। यह इंगित करता है कि अव्यक्त अवस्था के प्रॉक्सी के रूप में एकत्रित भावना की विश्वसनीयता विषय के अनुसार भिन्न होती है, जो संभवतः श्रेणी की अस्पष्टता या समाचार सामग्री की परिवर्तनशीलता के कारण है।
• मॉडल सत्यापन (Model Validation): एक हेटरोसेडास्टिक मॉडल (जहाँ प्रसरण $1/n_{tj}$ के साथ स्केल होता है) और एक होमसेडास्टिक मॉडल (स्थिर प्रसरण) के बीच तुलना मूल मॉडलिंग धारणा की पुष्टि करती है। हेटरोसेडास्टिक विनिर्देश यह पुष्टि करता है कि पोस्टीरियर अनिश्चितता (अंतराल की चौड़ाई) यांत्रिक रूप से सूचना घनत्व कम होने पर बढ़ती है, जो कि एक सांख्यिकीय रूप से महत्वपूर्ण संबंध है।
• अव्यक्त बनाम प्रेक्षित गतिकी (Latent vs. Observed Dynamics): अव्यक्त अवस्था अनुमान ($x_{tj}$) कच्चे एकत्रित स्कोर ($y_{tj}$) की तुलना में एक सुचारू प्रक्षेपवक्र (smoother trajectory) प्रदान करते हैं। मॉडल अल्पकालिक उतार-चढ़ाव को प्रभावी ढंग से फ़िल्टर करता है, विशेष रूप से विरल कवरेज के दौरान, जिससे सिग्नल और माप शोर के बीच अंतर किया जा सके।

महत्ता और दावे
यह शोध पत्र इस ढांचे को पूर्वानुमान के बजाय मुख्य रूप से वर्णनात्मक निगरानी (descriptive monitoring) के उपकरण के रूप में प्रस्तुत करता है। लेखक दावा करते हैं कि सूचना उपलब्धता के आधार पर माप विश्वसनीयता को स्पष्ट रूप से मॉडल करके, यह ढांचा भावना गतिकी का अधिक व्याख्यात्मक और स्थिर प्रतिनिधित्व प्रदान करता है।

इस कार्य की महत्ता इसकी क्षमता में निहित है:

• वास्तविक भावना परिवर्तनों को डेटा वॉल्यूम के कारण उत्पन्न कृत्रिम प्रभावों (artifacts) से अलग करने में।
• विश्वसनीय अंतराल प्रदान करने में जो अंतर्निहित पाठ स्रोतों के वास्तविक सूचना घनत्व को दर्शाते हैं।
• किसी भी पाठ-आधारित भावना विश्लेषण के लिए एक सामान्यीकरण योग्य दृष्टिकोण प्रदान करने में जहाँ सूचना की उपलब्धता समय के साथ बदलती रहती है (जैसे सोशल मीडिया, मैसेजिंग प्लेटफॉर्म, या समाचार फीड)।

लेखक एक सीमित दायरे बनाए रखते हैं, जिसमें प्रासंगिकता थ्रेशोल्ड की मनमानी प्रकृति, विशिष्ट NLP मॉडलों पर निर्भरता और सरलता के लिए चुने गए सरलीकृत AR(1) डायनेमिक्स जैसी सीमाओं को स्वीकार किया गया है। वे बेहतर पूर्वानुमान सटीकता का दावा नहीं करते हैं बल्कि विश्वसनीय डाउनस्ट्रीम विश्लेषण और निर्णय लेने के लिए अनिश्चितता परिमाणीकरण के मूल्य पर जोर देते हैं।