Stance Detection in Prediction Markets: Addressing Imbalanced Trader Commentary via Counterfactual Augmentation and Market Context
यह शोध पत्र प्रेडिक्शन मार्केट कमेंट्री (prediction market commentary) के लिए पहले स्टैंड डिटेक्शन फ्रेमवर्क का परिचय देता है, जो यह प्रदर्शित करता है कि मार्केट कॉन्टेक्स्ट (market context) को शामिल करने से अल्पसंख्यक-वर्ग की रिकॉल (minority-class recall) में महत्वपूर्ण सुधार होता है और विभिन्न मॉडल कॉन्फ़िगरेशन के बीच प्रदर्शन को संतुलित करने के लिए 50% काउंटरफैक्चुअल ऑग्मेंटेशन रेट (counterfactual augmentation rate) को इष्टतम पहचानता है।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
पॉलीमार्केट (Polymarket) जैसे प्रेडिक्शन मार्केट्स की कल्पना एक विशाल, हाई-स्पीड कैसीनो के रूप में करें जहाँ लोग भविष्य की घटनाओं पर दांव लगाते हैं (जैसे कि "कौन चुनाव जीतेगा?" या "क्या स्टॉक ऊपर जाएगा?")। दांव की कीमत आपको भीड़ के समग्र आत्मविश्वास के बारे में बताती है, लेकिन लोग नीचे जो कमेंट्स लिखते हैं, वे आपको बताते हैं कि वे ऐसा क्यों महसूस करते हैं। कुछ लोग उत्साह बढ़ा रहे हैं (Pro), कुछ विरोध कर रहे हैं (Anti), और कई बस चुपचाप देख रहे हैं (Neutral)।
यह शोध पत्र एक जासूस की तरह है जो कंप्यूटर को उन कमेंट्स को पढ़ना और यह समझना सिखाने की कोशिश कर रहा है कि कौन उत्साह बढ़ा रहा है और कौन विरोध कर रहा है। हालाँकि, जासूस के सामने तीन बड़ी समस्याएँ हैं:
- कमेंट्स बहुत छोटे हैं: लोग "cooked," "rip," या "free money" जैसी चीजें टाइप करते हैं। यह एक सिंगल इमोजी से किसी फिल्म की कहानी समझने की कोशिश करने जैसा है।
- भाषा अजीब है: ट्रेडर्स अपनी खुद की स्लैंग (slang) का उपयोग करते हैं जिसे सामान्य कंप्यूटर नहीं समझ पाते।
- विरोध (Booing) दुर्लभ है: 100 कमेंट्स में से शायद केवल 9 लोग ही वास्तव में कह रहे होते हैं कि "नहीं, यह विफल हो जाएगा।" बाकी 91 या तो "हाँ" कह रहे होते हैं या कुछ नहीं कह रहे होते। यह कंप्यूटर के लिए यह सीखना बहुत कठिन बना देता है कि "नहीं" कैसा दिखता है।
यहाँ बताया गया है कि शोधकर्ताओं ने इन समस्याओं को कैसे हल किया, सरल उपमाओं (analogies) के साथ:
1. "कॉन्टेक्स्ट" (संदर्भ) वाली ट्रिक (सबसे महत्वपूर्ण सुधार)
समस्या: यदि आप एक कमेंट देखते हैं जिसमें लिखा है "This is moving" (यह हिल रहा है/चल रहा है), तो आपको पता नहीं चलेगा कि यह अच्छा है या बुरा। क्या कीमत ऊपर जा रही है (खरीदारों के लिए अच्छा) या नीचे जा रही है (खरीदारों के लिए बुरा)? बिना विशिष्ट दांव (bet) को जाने, कंप्यूटर अंधेरे में अनुमान लगा रहा है।
समाधान: शोधकर्ताओं ने कंप्यूटर को हर कमेंट से पहले "सवाल" दिया।
- पहले: "This is moving." (कंप्यूटर: "मुझे कोई अंदाजा नहीं है।")
- बाद में: "सवाल: क्या कीमत बढ़ेगी? कमेंट: This is moving." (कंप्यूटर: "आह! अगर कीमत बढ़ रही है, तो यह अच्छा है!")
परिणाम: यह सबसे बड़ा जादुई तरीका था। इसे करने में कोई अतिरिक्त लागत नहीं लगी, लेकिन इसने कंप्यूटर की दुर्लभ "Anti" (विरोध) को पहचानने की क्षमता को लगभग शून्य से बढ़ाकर वास्तव में उपयोगी बना दिया। यह एक अनुवादक को किसी वाक्य का अनुवाद करने से पहले उस विशिष्ट विषय की डिक्शनरी देने जैसा है।
2. "नकली छात्र" की रणनीति (Counterfactual Augmentation)
समस्या: क्योंकि "Anti" कमेंट्स बहुत कम हैं (100 में से केवल 9), कंप्यूटर उन्हें पहचानने का अभ्यास करने के लिए पर्याप्त अवसर नहीं पाता है। यह एक दुर्लभ पक्षी को पहचानने की कोशिश करने जैसा है जब आपने उसकी केवल तीन तस्वीरें देखी हों।
समाधान: शोधकर्ताओं ने एक सुपर-स्मार्ट AI (एक LLM) का उपयोग किया ताकि वे वास्तविक "Pro" कमेंट्स के आधार पर नकली "Anti" कमेंट्स लिख सकें।
- असली Pro: "This is going to win!" (यह जीतने वाला है!)
- AI नकली Anti: "This is going to lose!" (यह हारने वाला है!) (लेकिन उसी स्लैंग और छोटे स्टाइल में लिखा गया)।
उन्होंने इन नकली कमेंट्स को ट्रेनिंग डेटा में जोड़ा ताकि कंप्यूटर को अधिक अभ्यास मिल सके।
परिणाम: यह काम कर गया, लेकिन केवल तभी जब उन्होंने इसे बहुत अधिक नहीं किया।
- सही संतुलन (50%): नकली कमेंट्स की एक मध्यम मात्रा जोड़ने से कंप्यूटर बेहतर सीख पाया।
- अति (100%): यदि उन्होंने बहुत अधिक नकली कमेंट्स जोड़ दिए, तो कंप्यूटर भ्रमित हो गया। नकली कमेंट्स बहुत "परफेक्ट" और व्याकरण की दृष्टि से सही लग रहे थे, जो वास्तविक ट्रेडर्स के विपरीत था जो अव्यवस्थित, छोटे स्लैंग टाइप करते हैं। कंप्यूटर वास्तविक स्टाइल के बजाय "नकली" स्टाइल सीखने लगा, और इसके प्रदर्शन में वास्तव में गिरावट आई।
3. "दो-वर्ग बनाम तीन-वर्ग" का द्वंद्व
शोधकर्ताओं ने कंप्यूटर को सिखाने के दो तरीके आजमाए:
- तीन वर्ग (Three Classes): इसे "Pro," "Anti," और "Neutral" को पहचानना सिखाएं।
- दो वर्ग (Two Classes): इसे "Neutral" को अनदेखा करने और केवल "Pro" बनाम "Anti" पर ध्यान केंद्रित करने के लिए कहें।
निष्कर्ष: जब उन्होंने "Neutral" भीड़ को हटा दिया, तो कंप्यूटर "Anti" भीड़ को पहचानने में बहुत बेहतर हो गया। यह एक सुरक्षा गार्ड को बताने जैसा है, "बस चलते हुए लोगों की चिंता न करें; केवल चोरों को पकड़ने पर ध्यान दें।" गार्ड चोरों को खोजने में बहुत अधिक तेज हो जाता है।
मुख्य निष्कर्ष (Big Takeaways)
- कॉन्टेक्स्ट ही सब कुछ है: कंप्यूटर को कमेंट दिखाने से पहले हमेशा बताएं कि दांव किस बारे में है। यह सबसे शक्तिशाली उपकरण था जो उन्होंने पाया।
- AI के साथ 'कम ही अधिक है': AI का उपयोग करके नकली ट्रेनिंग डेटा बनाना मदद करता है, लेकिन केवल थोड़ा सा। यदि आप सिस्टम को बहुत अधिक नकली डेटा से भर देते हैं, तो यह मॉडल की वास्तविक मानव स्लैंग को समझने की क्षमता को बिगाड़ देता है।
- चुप्पी को अनदेखा करें: यदि आप आलोचकों को खोजना चाहते हैं, तो चुपचाप देखने वाले लोगों को अनदेखा करना मददगार होता है।
संक्षेप में, यह शोध पत्र दिखाता है कि प्रेडिक्शन मार्केट के मूड को समझने के लिए कंप्यूटर को सिखाने हेतु, आपको उसे पूरी कहानी (सवाल) देनी होगी, शांत बहुमत को अनदेखा करना होगा, और बहुत सावधान रहना होगा कि आप उसे बहुत अधिक "नकली" उदाहरण न खिलाएं, अन्यथा वह ऐसी भाषा बोलने लगेगा जो कोई वास्तविक ट्रेडर नहीं बोलता।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।