Agentic Forecasting using Sequential Bayesian Updating of Linguistic Beliefs

यहाँ केविन मर्फी के शोध पत्र "Agentic Forecasting using Sequential Bayesian Updating of Linguistic Beliefs" का विस्तृत तकनीकी सारांश दिया गया है।

1. समस्या की परिभाषा

यह शोध पत्र बड़े भाषा मॉडलों (LLMs) का उपयोग करके बाइनरी संभाव्यता पूर्वानुमान (भविष्य की घटना की संभावना $P(Y=1)$ का अनुमान लगाना) की चुनौती को संबोधित करता है। लेखक दो मुख्य श्रेणियों के प्रश्नों पर ध्यान केंद्रित करते हैं:

• निर्णयात्मक पूर्वानुमान (Judgemental Forecasting): खुले अंत वाले पाठ संबंधी प्रश्न (जैसे, "क्या व्यक्ति X राष्ट्रपति बनेगा?") जिनमें समाचार और भू-राजनीतिक संदर्भों के संश्लेषण की आवश्यकता होती है।
• टाइम-सीरीज पूर्वानुमान (Time-Series Forecasting): संख्यात्मक प्रश्न (जैसे, "क्या स्टॉक Y, मूल्य V से अधिक होगा?") जिनमें ऐतिहासिक डेटा रुझानों के विश्लेषण की आवश्यकता होती है।

इसका मूल्यांकन ForecastBench पर किया गया है, जो एक मानकीकृत बेंचमार्क है जिसमें बाजार स्रोतों (Polymarket, Manifold) और डेटासेट स्रोतों (FRED, yfinance, Wikipedia) से प्रश्न शामिल हैं। प्राथमिक लक्ष्य सूचना रिसाव (information leakage) को सख्ती से रोकते हुए (बैकटेस्टिंग के दौरान मॉडल द्वारा कट-ऑफ तिथि के बाद के डेटा तक पहुँच को रोकना) अत्याधुनिक (SOTA) प्रदर्शन प्राप्त करना है।

2. कार्यप्रणाली: बेयसियन भाषाई पूर्वानुमानकर्ता (Bayesian Linguistic Forecaster - BLF)

मुख्य योगदान BLF है, जो तीन स्तंभों पर आधारित एक एजेंटिक प्रणाली है:

A. भाषाई विश्वास अवस्था (Sequential Bayesian Updating)

मानक दृष्टिकोणों के विपरीत, जो निरंतर बढ़ते संदर्भ विंडो (टेक्स्ट संचय) में कच्चे खोज परिणामों को जोड़ते हैं या बैच खोज के बाद तर्क करते हैं, BLF एक अर्ध-संरचित विश्वास अवस्था (semi-structured belief state) बनाए रखता है जिसे प्रत्येक चरण में एक पुनरावृत्त टूल-उपयोग लूप के माध्यम से अपडेट किया जाता है।

• संरचना: प्रत्येक चरण $t$ पर, LLM एक क्रिया $a_t$ (जैसे, खोज, फ़ाइल पढ़ना) और एक अपडेटेड विश्वास $b_t$ उत्पन्न करता है।
• विश्वास की सामग्री: $b_t$ एक JSON ऑब्जेक्ट है जिसमें शामिल है:
  • एक संभाव्यता अनुमान $p \in [0, 1]$।
  • एक आत्मविश्वास स्तर (confidence level)।
  • परिणाम के पक्ष (for) और विपक्ष (against) में साक्ष्यों के प्राकृतिक भाषा सारांश।
  • भविष्य के अन्वेषण के लिए खुले प्रश्न।
• तंत्र: यह अनुमानित अनुक्रमिक बेयसियन अनुमान (approximate sequential Bayesian inference) के रूप में कार्य करता है। LLM अगले निर्णय लेने से पहले नए साक्ष्य ($o_t$) को विश्वास अवस्था ($b_t$) में एकीकृत करता है, जिससे एक-बार के तर्क (one-shot reasoning) के बजाय सुसंगत और पुनरावृत्त परिशोधन (iterative refinement) संभव होता है।

B. पदानुक्रमित बहु-परीक्षण एकत्रीकरण (Hierarchical Multi-Trial Aggregation)

LLM जनरेशन में निहित उच्च विचरण (variance) को कम करने के लिए:

• K-Trials: सिस्टम प्रति प्रश्न $K=5$ स्वतंत्र परीक्षण चलाता है।
• लॉगिट-स्पेस औसत (Logit-Space Averaging): पूर्वानुमानों को लॉगिट स्पेस में औसत निकालकर एकत्रित किया जाता है: $\hat{p} = \sigma(\frac{1}{K}\sum \text{logit}(p_k))$। यह अंकगणितीय माध्य की तुलना में चरम सीमाओं (extremity) को बेहतर ढंग से संरक्षित करता है।
• श्रिंकेज (Shrinkage): सिस्टम जब परीक्षणों के बीच असहमति हो, तो ओवरकॉन्फिडेंस को कम करने के लिए जेम्स-स्टीन-शैली के श्रिंकेज (एक पैरामीटर $\alpha$ द्वारा नियंत्रित) का अन्वेषण करता है। ForecastBench पर, $\alpha=1$ (कोई श्रिंकेज नहीं) पाया गया, लेकिन छोटे और अधिक विविध डेटासेट पर श्रिंकेज फायदेमंद साबित हुआ।

C. पदानुक्रमित अंशांकन (Hierarchical Calibration)

यह सुनिश्चित करने के लिए कि पूर्वानुमान अच्छी तरह से अंशांकित (calibrated) हों (अर्थात, एक 70% भविष्यवाणी 70% बार घटित होती है):

• प्लेट स्केलिंग (Platt Scaling): एक पोस्ट-प्रोसेसिंग चरण कच्चे संभाव्यता मानों को अंशांकित मानों में मैप करता है।
• पदानुक्रमित दृष्टिकोण: वैश्विक प्लेट स्केलिंग के बजाय (जो विषम बेस रेट वाले स्रोतों से चरम भविष्यवाणियों को अत्यधिक कम कर सकता है), BLF प्रति-स्रोत इंटरसेप्ट ऑफसेट्स ($\delta_s$) के साथ पदानुक्रमित प्लेट स्केलिंग का उपयोग करता है। यह सिस्टम को विभिन्न डेटा स्रोतों (जैसे, Polymarket बनाम Wikipedia) के लिए विशिष्ट अंशांकन पूर्वाग्रहों को सीखने की अनुमति देता है।

D. मजबूत बैकटेस्टिंग ढांचा

वैधता सुनिश्चित करने के लिए एक महत्वपूर्ण घटक चार-स्तरीय रिसाव सुरक्षा (four-layer leakage defense) है:

1. खोज इंजन फ़िल्टरिंग: खोज परिणामों को कट-ऑफ तिथि से पहले की तारीखों तक सीमित करना।
2. LLM लीक क्लासिफायर: एक माध्यमिक LLM खोज परिणामों को स्कैन करता है कि क्या उनमें ऐसी सामग्री है जो कट-ऑफ के बाद के ज्ञान का संकेत देती है।
3. डेट क्लैम्पिंग (Date Clamping): टूल API (जैसे, टाइम-सीरीज फेचर) को एल्गोरिदम द्वारा कट-ऑफ तिथि तक सीमित किया जाता है।
4. URL ब्लॉकिंग: उन समाधान स्रोतों (जैसे, विशिष्ट मार्केट URL) तक पहुँच को रोकना जो उत्तर प्रकट कर सकते हैं।

• परिणाम: एक पोस्ट-हॉक ऑडिट ने केवल 1.5% का अवशिष्ट रिसाव दर (residual leakage rate) दिखाया।

3. मुख्य योगदान

1. SOTA प्रदर्शन: BLF, ForecastBench पर उच्चतम ब्रायर इंडेक्स (Brier Index - BI) प्राप्त करता है, जो शीर्ष सार्वजनिक विधियों (Cassi, GPT-5, Grok 4.20, Foresight-32B) और मानव सुपरफोरकास्टर्स से बेहतर प्रदर्शन करता है।
2. संरचित विश्वास अवस्था: इसने प्रदर्शित किया कि एक संरचित, अर्ध-संरचित विश्वास अवस्था बनाए रखना वेब सर्च एक्सेस जितना ही प्रभावशाली है। इसे हटाने से प्रदर्शन में $\Delta BI = -3.0$ की गिरावट आई, जो वेब सर्च हटाने ($\Delta BI = -4.6$) के लगभग बराबर है।
3. सख्त सांख्यिकीय कार्यप्रणाली: यह शोध कठिन स्तर (जो ~62% विचरण के लिए जिम्मेदार है) को नियंत्रित करने के लिए बूटस्ट्रैप कॉन्फिडेंस इंटरवल के साथ एक युग्मित विश्लेषण ढांचे (paired analysis framework) को पेश करता है, जिससे विधियों के बीच निष्पक्ष तुलना सुनिश्चित होती है।
4. लीकेज सुरक्षा: इसने बैकटेस्टिंग के लिए एक कठोर मानक स्थापित किया, जिसमें सत्यापित निम्न रिसाव दर है, जो LLM पूर्वानुमान मूल्यांकन की एक बड़ी खामी को दूर करता है।

4. परिणाम

• कुल प्रदर्शन: ForecastBench के 400 प्रश्नों (791 समाधान तिथियों) पर, BLF ने ब्रायर इंडेक्स (BI) 73.8 प्राप्त किया, जो अगली सर्वश्रेष्ठ विधि (Cassi, BI=70.8) से काफी बेहतर है।
• बाजार प्रश्न: BLF एकमात्र ऐसी विधि है जो "क्राउड" बेसलाइन (मार्केट प्राइस) को महत्वपूर्ण रूप से हराती है। अन्य सभी विधियाँ, जिनमें सर्च टूल्स भी शामिल हैं, केवल मार्केट प्राइस लौटाने के समान ही थीं।
• डेटासेट प्रश्न: BLF ने एम्पिरिकल प्रायर बेसलाइन और अन्य LLMs से काफी बेहतर प्रदर्शन किया।
• एब्लेशन अध्ययन (Ablation Studies):
  • सर्च: वेब सर्च हटाने से BI में 4.6 की कमी आई।
  • विश्वास अवस्था: संरचित विश्वास अवस्था हटाने से BI में 3.0 की कमी आई।
  • अनुक्रमिक बनाम बैच: अनुक्रमिक लूप को बैच-सर्च-देन-रीजन दृष्टिकोण से बदलने से BI में 3.8 की कमी आई।
  • अंशांकन: पदानुक्रमित अंशांकन ने ज़ीरो-शॉट बेसलाइन्स के लिए महत्वपूर्ण लाभ प्रदान किया, लेकिन पूर्ण BLF सिस्टम (जो पहले से ही अच्छी तरह से अंशांकित था) पर इसका न्यूनतम प्रभाव पड़ा।
• मानव तुलना: BLF का कठिनाई-समायोजित ब्रायर इंडेक्स (ABI = 71.0) मानव सुपरफोरकास्टर्स के मध्यम प्रदर्शन (ABI = 70.9) के बराबर था।

5. महत्व

यह शोध पत्र एजेंटिक AI फॉर फोरकास्टिंग में एक महत्वपूर्ण छलांग का प्रतिनिधित्व करता है। यह केवल "प्रॉम्प्ट इंजीनियरिंग" या "रिट्रीवल-ऑगमेंटेड जनरेशन" (RAG) से आगे बढ़कर एक संज्ञानात्मक वास्तुकला (cognitive architecture) पेश करता है जहाँ एजेंट एक गतिशील, संरचित आंतरिक अवस्था (विश्वास) बनाए रखता है जो पुनरावृत्त टूल उपयोग के माध्यम से विकसित होती है।

निष्कर्ष बताते हैं कि:

1. पुनरावृत्त तर्क (Iterative reasoning), संरचित विश्वास ट्रैकिंग के साथ, कच्चे संदर्भ को संचित करने की तुलना में अधिक प्रभावी है।
2. कई परीक्षणों का समूह बनाना (Ensembling) और पदानुक्रमित अंशांकन (hierarchical calibration) मजबूत संभाव्यता आउटपुट के लिए आवश्यक हैं।
3. सख्त बैकटेस्टिंग महत्वपूर्ण है; सख्त लीकेज नियंत्रण के बिना, LLM प्रदर्शन मेट्रिक्स कृत्रिम रूप से बढ़े हुए और अविश्वसनीय होते हैं।

BLF यह निर्धारित करता है कि LLMs को "सुपरफोरकास्टर" के रूप में कैसे उपयोग किया जा सकता है, जो एजेंटों की तर्क क्षमताओं को बेयसियन अपडेटिंग की सांख्यिकीय कठोरता के साथ जोड़ता है, और वित्त, भू-राजनीति और जोखिम मूल्यांकन के भविष्य के अनुप्रयोगों के लिए एक ब्लूप्रिंट प्रदान करता है।