💰 quantitative finance

Forecasting Future Language: Context Design for Mention Markets

यह शोध पत्र मार्केट-कंडीशन्ड प्रॉम्प्टिंग (MCP) और इसके मिश्रण वेरिएंट (MixMCP) को पेश करते हुए मेंशन मार्केट्स में लार्ज लैंग्वेज मॉडल्स के लिए इनपुट कॉन्टेक्स्ट को अनुकूलित करने की जांच करता है, जो यह प्रदर्शित करता है कि समृद्ध प्रासंगिक जानकारी और मार्केट प्रोबेबिलिटीज को प्रायर्स (priors) के रूप में उपचारित करना कीवर्ड-मेंशन पूर्वानुमानों की सटीकता और अंशांकन (calibration) में महत्वपूर्ण सुधार करता है।

मूल लेखक: Sumin Kim, Jihoon Kwon, Yoon Kim, Nicole Kagan, Raffi Khatchadourian, Wonbin Ahn, Alejandro Lopez-Lira, Jaewon Lee, Yoontae Hwang, Oscar Levy, Yongjae Lee, Chanyeol Choi

प्रकाशित 2026-03-02

📖 6 मिनट में पढ़ें🧠 गहराई से पढ़ें

CC BY 4.0

मूल लेखक: Sumin Kim, Jihoon Kwon, Yoon Kim, Nicole Kagan, Raffi Khatchadourian, Wonbin Ahn, Alejandro Lopez-Lira, Jaewon Lee, Yoontae Hwang, Oscar Levy, Yongjae Lee, Chanyeol Choi

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

कल्पना कीजिए कि आप यह अनुमान लगाने की कोशिश कर रहे हैं कि क्या किसी विशिष्ट शब्द (जैसे "मुद्रास्फीति" या "AI") को एक CEO द्वारा उनकी अगली तिमाही अर्निंग कॉल के दौरान बोला जाएगा। यह "भविष्य की भाषा" (Future Language) का खेल है, और यहाँ दो मुख्य समूह उत्तर का अनुमान लगाने की कोशिश कर रहे हैं: द मार्केट (बाजार) और द AI (एआई)।

यहाँ शोध पत्र "Forecasting Future Language: Context Design for Mention Markets" का रोजमर्रा के उदाहरणों का उपयोग करते हुए एक सरल विवरण दिया गया है।

1. सेटअप: प्रेडिक्शन मार्केट (अनुमान बाजार)

एक प्रेडिक्शन मार्केट को एक विशाल, हाई-टेक सट्टेबाजी पूल की तरह समझें।

परिदृश्य: एक कंपनी एक कॉन्फ्रेंस कॉल आयोजित करने वाली है।
दांव: लोग इस बात पर "हाँ" या "ना" के टिकट खरीदते हैं कि क्या CEO एक विशिष्ट शब्द (जैसे "क्वांटम") बोलेगा।
कीमत: यदि "हाँ" का टिकट $0.55 का है, तो बाजार यह कह रहा है, "हमें लगता है कि इस बात की 55% संभावना है कि CEO यह शब्द बोलेगा।"

आमतौर पर, यह बाजार मूल्य एक बहुत ही स्मार्ट अनुमान होता है क्योंकि यह हजारों व्यापारियों की राय को जोड़ता है। लेकिन शोधकर्ताओं ने पूछा: क्या एक सुपर-स्मार्ट AI (लार्ज लैंग्वेज मॉडल) समाचारों और कंपनी के इतिहास को देखकर इस अनुमान को और भी बेहतर बना सकता है?

2. समस्या: AI से कैसे बात करें

शोधकर्ताओं ने AI को परिणाम का अनुमान लगाने के लिए प्रेरित करने की कोशिश की, लेकिन उन्हें एहसास हुआ कि आप सवाल कैसे पूछते हैं, यह सवाल पूछने से भी अधिक महत्वपूर्ण है।

उन्होंने AI को जानकारी देने के तीन अलग-अलग तरीके आजमाए:

❌ विधि A: "नाइव रीडर" (AI को केवल आंकड़े देना)

कल्पना कीजिए कि आप AI को समाचार लेखों और कंपनी के पिछले ट्रांसक्रिप्ट्स का एक ढेर थमा देते हैं, और फिर धीरे से कहते हैं, "ओह, वैसे, बेटिंग मार्केट सोच रहा है कि यह 55% है।"

परिणाम: AI उस 55% को अनदेखा कर देता है या भ्रमित हो जाता है। वह शून्य से अनुमान लगाने की कोशिश करता है, जो अक्सर बाजार से भी खराब होता है क्योंकि उसे यह नहीं पता होता कि उस 55% नंबर का उपयोग कैसे करना है। यह एक शेफ को रेसिपी और थर्मामीटर देने जैसा है, लेकिन उसे यह नहीं बताना कि थर्मामीटर ओवन के तापमान के लिए है।

✅ विधि B: "मार्केट-कंडीशन्ड प्रॉम्प्टिंग" (MCP) – "द एडिटर" (संपादक)

यह इस शोध पत्र की पहली बड़ी सफलता है। केवल नंबर फुसफुसाने के बजाय, वे AI को बताते हैं:

"मार्केट सोचता है कि इसकी 55% संभावना है। यह आपका प्रारंभिक बिंदु (आपका 'प्रायर') है। अब, समाचार और पिछले ट्रांसक्रिप्ट्स को देखें। क्या आपको कोई ऐसा प्रमाण मिलता है जो साबित करता है कि मार्केट गलत है? यदि हाँ, तो अपने अनुमान को अपडेट करें।"

उपमा: मार्केट प्राइस को एक समिति द्वारा लिखे गए ड्राफ्ट के रूप में सोचें। AI एक सीनियर एडिटर है। एडिटर पूरे लेख को शुरू से नहीं लिखता; वह ड्राफ्ट को पढ़ता है, तथ्यों (समाचार/ट्रांसक्रिप्ट्स) की जांच करता है, और कहता है, "ड्राफ्ट कहता है 55%, लेकिन मैं एक नया प्रेस रिलीज देख रहा हूँ जो इसे 80% बनाता है।"
परिणाम: यह बहुत बेहतर काम करता है। AI बाजार की बुद्धिमत्ता का सम्मान करता है लेकिन अपनी पढ़ने की कुशलता का उपयोग तब करता है जब बाजार अनिश्चित होता है।

🏆 विधि C: "मिक्सMCP" (MixMCP) – "द स्मार्ट मिक्सचर"

शोधकर्ताओं ने पाया कि कभी-कभी AI बहुत उत्साहित हो जाता है। यदि समाचार थोड़ा अस्पष्ट है, तो AI भविष्यवाणी को 55% से बदलकर 90% कर सकता है, जबकि उसे 55% के करीब ही रहना चाहिए था। वह "अति-प्रतिक्रिया" (overreacts) करता है।

इसलिए, उन्होंने एक MixMCP रणनीति बनाई।

उपमा: कल्पना कीजिए कि यह एक रस्साकशी (Tug-of-War) है।
- एक टीम है मार्केट (बहुत स्थिर, जिसे हिलाना कठिन है)।
- दूसरी टीम है AI (बहुत मजबूत, लेकिन कभी-कभी बहुत जोर से खींच लेती है)।
- MixMCP वह रेफरी है जो कहता है, "चलो रस्सी को 70% मार्केट की तरफ और 30% AI की तरफ खींचते हैं।"
परिणाम: यह सबसे सटीक भविष्यवाणी बनाता है। यह बाजार की स्थिरता को बनाए रखता है लेकिन AI के "अहा!" (aha!) पलों को भी जोड़ता है जब बाजार भ्रमित होता है।

3. मुख्य निष्कर्ष ("अहा!" क्षण)

अधिक संदर्भ (Context) बेहतर है: ठीक वैसे ही जैसे एक जासूस को अधिक सुरागों की आवश्यकता होती है, AI बेहतर प्रदर्शन करता है जब उसके पास समाचार लेख और पिछले अर्निंग ट्रांसक्रिप्ट्स दोनों होते हैं। पिछले ट्रांसक्रिप्ट्स विशेष रूप से सहायक होते हैं क्योंकि वे AI को सिखाते हैं कि उस विशिष्ट CEO आमतौर पर कैसे बात करता है।
"मिड-कॉन्फिडेंस" का स्वीट स्पॉट: AI सबसे अधिक उपयोगी तब होता है जब मार्केट अनिश्चित होता है (उदाहरण के लिए, जब मार्केट 50-60% कहता है)।
- यदि मार्केट 95% सुनिश्चित है, तो AI आमतौर पर सहमत होता है (बदलाव की आवश्यकता नहीं है)।
- यदि मार्केट 50/50 है, तो AI टेक्स्ट को देखकर कह सकता है, "वास्तव में, CEO के हालिया लहजे को देखते हुए, मुझे लगता है कि यह 75% है।" यहीं पर AI सबसे अधिक मूल्य जोड़ता है।
मार्केट को बदलें नहीं, उसे परिष्कृत (Refine) करें: सबसे अच्छे परिणाम तब नहीं आए जब AI अकेले मार्केट को हराने की कोशिश कर रहा था। यह तब आया जब AI मार्केट के मौजूदा अनुमान के लिए एक परिष्करण उपकरण (refinement tool) के रूप में कार्य कर रहा था।

निचोड़ (The Bottom Line)

यह शोध पत्र हमें सिखाता है कि AI से सर्वोत्तम भविष्यवाणी प्राप्त करने के लिए, आपको केवल उससे अनुमान लगाने के लिए नहीं कहना चाहिए। आपको:

उसे मार्केट का वर्तमान अनुमान एक शुरुआती बिंदु के रूप में देना चाहिए।
उसे सभी प्रासंगिक टेक्स्ट (समाचार, इतिहास) देना चाहिए।
उसे उस शुरुआती बिंदु को टेक्स्ट के आधार पर अपडेट करने के लिए कहना चाहिए।
अंत में, किसी भी उतार-चढ़ाव को सुचारू बनाने के लिए AI के नए अनुमान को मूल मार्केट अनुमान के साथ मिक्स करना चाहिए।

यह एक बुद्धिमान पुराने निवेशक (मार्केट) और एक प्रतिभाशाली युवा विश्लेषक (AI) के मिलकर काम करने जैसा है। निवेशक एक स्थिर आधार प्रदान करता है, और विश्लेषक नए रुझानों को पहचानता है, जिसके परिणामस्वरूप एक ऐसा स्मार्ट निर्णय निकलता है जो अकेले उनमें से कोई भी नहीं बना सकता था।

यहाँ प्रीप्रिंट "Forecasting Future Language: Context Design for Mention Markets" का विस्तृत तकनीकी सारांश दिया गया है।

1. समस्या की परिभाषा

यह शोध पत्र मेंशन मार्केट्स (mention markets) नामक विशिष्ट घटनाओं के लिए प्रेडिक्शन मार्केट्स (prediction markets) में सुधार करने की चुनौती को संबोधित करता है। इन बाजारों में, अनुबंध (contracts) इस आधार पर हल होते हैं कि क्या कोई विशिष्ट कीवर्ड भविष्य की किसी सार्वजनिक घटना (विशेष रूप से, कॉर्पोरेट अर्निंग्स कॉल ट्रांसक्रिप्ट) में शब्दशः (verbatim) उल्लेखित किया गया है।

मुख्य प्रश्न: जबकि लार्ज लैंग्वेज मॉडल्स (LLMs) ने ओपन-डोमेन घटनाओं के पूर्वानुमान में क्षमता दिखाई है, यह स्पष्ट नहीं है कि मौजूदा मार्केट सिग्नल्स के साथ संयोजन में सटीकता को अधिकतम करने के लिए इनपुट कॉन्टेक्स्ट को कैसे डिज़ाइन किया जाए।
अंतराल (The Gap): वर्तमान दृष्टिकोण अक्सर LLMs को स्टैंडअलोन प्रेडिक्टर के रूप में देखते हैं जो मार्केट कीमतों के साथ प्रतिस्पर्धा करते हैं। लेखक यह जांचते हैं कि क्या LLMs के बजाय पूरक परिशोधन (complementary refinements) के रूप में कार्य कर सकते हैं जो टेक्स्टुअल साक्ष्य (समाचार और पूर्व ट्रांसक्रिप्ट) का उपयोग करके मार्केट-निहित संभावनाओं को अपडेट करते हैं, न कि मार्केट पूर्वानुमान को पूरी तरह से बदलने के लिए।
कार्य: दिए गए मार्केट प्राइस ( $p_{MKT}$ ) और प्री-कॉल टेक्स्टुअल साक्ष्य (समाचार $N$ , पूर्व ट्रांसक्रिप्ट $T$ ) के आधार पर, एक बाइनरी आउटकम ( $y \in \{0, 1\}$ ) के लिए एक कैलिब्रेटेड प्रोबेबिलिटी ( $p$ ) आउटपुट करना लक्ष्य है।

2. कार्यप्रणाली (Methodology)

लेखक एक ऐसा ढांचा प्रस्तावित करते हैं जहाँ LLM टेक्स्टुअल साक्ष्य के आधार पर मार्केट प्रायर (prior) को अपडेट करता है, न कि शून्य से भविष्यवाणी उत्पन्न करता है।

A. डेटा और सेटअप

डेटासेट: 856 कलशी (Kalshi) अर्निंग्स-कॉल मेंशन मार्केट्स (50 कंपनियां, 70 इवेंट्स, अप्रैल-दिसंबर 2025)।
इनपुट्स:
- मार्केट सिग्नल: कॉल से 7 दिन पहले का YES-कॉन्ट्रैक्ट प्राइस ( $p_{MKT}$ )।
- टेक्स्टुअल कॉन्टेक्स्ट: पिछले तिमाही के अर्निंग्स ट्रांसक्रिप्ट ( $T$ ) और रिट्रीव की गई कंपनी न्यूज़ ( $N$ )।
मॉडल: GPT-5.1 (फिक्स्ड पैरामीटर्स, कोई फाइन-ट्यूनिंग नहीं) स्ट्रक्चर्ड आउटपुट के साथ।

B. प्रस्तावित दृष्टिकोण

शोध पत्र कई प्रॉम्प्टिंग रणनीतियों की तुलना करता है:

बेसलाइन (मार्केट सिग्नल प्लेन टेक्स्ट के रूप में): मार्केट प्राइस को न्यूज़ और ट्रांसक्रिप्ट के साथ एक साधारण टेक्स्ट स्ट्रिंग के रूप में प्रॉम्प्ट में डाला जाता है, बिना यह विशिष्ट निर्देश दिए कि इसका उपयोग कैसे किया जाए।
मार्केट-कंडीशन्ड प्रॉम्प्टिंग (MCP):
- अवधारणा: यह स्पष्ट रूप से मार्केट प्रोबेबिलिटी को एक प्रायर (prior) के रूप में मानता है।
- तंत्र: प्रॉम्प्ट LLM को प्रदान किए गए टेक्स्टुअल साक्ष्य का उपयोग करके मार्केट प्रायर का मूल्यांकन करने और उसे अपडेट करने का निर्देश देता है। LLM से एक संशोधित प्रोबेबिलिटी आउटपुट करने के लिए कहा जाता है।
- औपचारिकता: $p_{MCP} = \text{LLM}(T, N \mid p_{MKT})$ ।
मिक्सचर फोरकास्ट (MixMCP):
- अवधारणा: नॉइजी संकेतों (noisy cues) के प्रति ओवररिएक्शन को रोकने के लिए मार्केट प्रायर और LLM के अपडेटेड पोस्टीरियर का एक कॉनवेक्स कॉम्बिनेशन (convex combination)।
- फॉर्मूला: $p_{MixMCP} = \alpha p_{MKT} + ( - \alpha) p_{MCP}$ ।
- ऑप्टिमाइजेशन: $\alpha$ को 0.7 पर ट्यून किया गया था, जिसका अर्थ है कि अंतिम पूर्वानुमान 70% मार्केट और 30% LLM के साक्ष्य-आधारित अपडेट पर निर्भर करता है।

3. मुख्य योगदान

फ्रेमवर्क फॉर्मलाइजेशन: यह पेपर टेक्स्ट-ग्राउंडेड फोरकास्टिंग को एक मार्केट-कंडीशन्ड अपडेटिंग समस्या के रूप में औपचारिक रूप देता है। यह प्रतिमान (paradigm) को "LLM बनाम मार्केट" से बदलकर "LLM अपडेटिंग मार्केट" में बदल देता है।
मेथोडोलॉजी (MCP): एक ऐसा प्रॉम्प्टिंग प्रोटोकॉल पेश करता है जो मार्केट प्राइयर्स पर LLM को स्पष्ट रूप से कंडीशन करता है, जिससे मानक प्रॉम्प्टिंग की तुलना में काफी बेहतर कैलिब्रेशन प्राप्त होता है।
परफॉरमेंस वैलिडेशन: यह प्रदर्शित करता है कि एक रूढ़िवादी मिश्रण (MixMCP) लगातार मार्केट बेसलाइन से बेहतर प्रदर्शन करता है, जो यह सिद्ध करता है कि LLMs अस्पष्टता को हल करके मूल्य जोड़ते हैं, भले ही बाजार कुशल (efficient) हो।

4. प्रयोगात्मक परिणाम

अध्ययन ब्रियर स्कोर (Brier Score) (कमतर बेहतर), एक्सपेक्टेड कैलिब्रेशन एरर (ECE) (कमतर बेहतर), एक्यूरेसी (Accuracy), और F1 स्कोर का उपयोग करके प्रदर्शन का मूल्यांकन करता है।

कॉन्टेक्स्ट का प्रभाव: समृद्ध कॉन्टेक्स्ट लगातार प्रदर्शन में सुधार करता है। पूर्व ट्रांसक्रिप्ट ( $T$ ) और न्यूज़ ( $N$ ) को संयोजित करने से टेक्स्ट-ओनली बेसलाइन्स में सर्वश्रेष्ठ परिणाम मिलते हैं (Brier: 0:// 0.1991 बनाम बिना कॉन्टेक्स्ट के 0.2635)।
MCP बनाम नैव इनक्लूजन (Naive Inclusion):
- मार्केट प्राइस को केवल टेक्स्ट के रूप में डालने ("W/O Prompting") के परिणामस्वरूप खराब कैलिब्रेशन (ECE: 0.0705) और मार्केट बेसलाइन अकेले की तुलना में कम एक्यूरेसी (74.4%) हुई।
- MCP ने महत्वपूर्ण रूप से कैलिब्रेशन (ECE: 0.0514) और एक्यूरेसी (78.2%) में सुधार किया, जो यह सिद्ध करता है कि प्रायर के बारे में तर्क करने का निर्देश ही महत्वपूर्ण है, न कि केवल संख्या की उपस्थिति।
मिड-कॉन्फिडेंस रेजीम्स: MCP सबसे अधिक मूल्य तब प्रदान करता है जब मार्केट अनिश्चित होता है (50–70% के बीच की प्रोबेबिलिटी)। इन "मिड-कॉन्फिडेंस" बिन्स में, MCP ने असहमति के मामलों में 56.7% से 62.5% तक मार्केट से बेहतर प्रदर्शन किया, जो प्रभावी रूप से अस्पष्टता को हल करता है।
MixMCP की श्रेष्ठता:
- MixMCP ने सर्वश्रेष्ठ समग्र प्रदर्शन प्राप्त किया:
  - ब्रियर स्कोर: 0.1392 (मार्केट अकेले के 0.1402 के मुकाबले)।
  - एक्यूरी (Accuracy): 80.3% (मार्केट अकेले के 79.8% के मुकाबले)।
  - F1 स्कोर: 0.842।
- यह पुष्टि करता है कि मार्केट प्रायर के साथ LLM के अपडेट को कम करने (डैम्पिंग) से ( $\alpha=0.7$ के माध्यम से) एक अधिक मजबूत प्रेडिक्टर बनता है।

5. महत्व और निष्कर्ष

पूरकता (Complementarity): यह पेपर दर्शाता है कि उपयोगी होने के लिए LLMs को प्रेडिक्शन मार्केट्स को बदलने की आवश्यकता नहीं है। इसके बजाय, वे मार्केट प्रियर्स को एडजस्ट करने के लिए सिमेंटिक जानकारी (न्यूज़, ट्रांसक्रिप्ट) को शामिल करने वाले प्रभावी रिफाइनमेंट टूल्स के रूप में कार्य करते हैं।
कॉन्टेक्स्ट डिज़ाइन मायने रखता है: LLM को जानकारी कैसे दी जाती है यह महत्वपूर्ण है। मार्केट कीमतों को "अपडेट किए जाने वाले प्रायर" के रूप में मानना, उन्हें केवल डेटा पॉइंट्स के रूप में मानने की तुलना में बेहतर परिणाम देता है।
मजबूती (Robustness): MixMCP दृष्टिकोण सुझाव देता है कि कुशल बाजारों में, सबसे सुरक्षित और सटीक रणनीति मार्केट के सामूहिक ज्ञान पर एक बेसलाइन के रूप में भरोसा करना है, जबकि LLMs को विशिष्ट टेक्स्टुअल साक्ष्य के आधार पर लक्षित सुधार करने की अनुमति देना है, विशेष रूप से जब मार्केट सिग्नल अस्पष्ट हों।

सीमाएं: यह अध्ययन अर्निंग्स-कॉल कीवर्ड मेंशन तक सीमित है और ऑफलाइन ऐतिहासिक डेटा पर आधारित है। अन्य अनुबंध प्रकारों और वास्तविक समय की तैनाती की गतिशीलता पर सामान्यीकरण (generalizability) का परीक्षण करने के लिए भविष्य के कार्य की आवश्यकता है।