Hindcast: Replaying Prediction Markets to Evaluate LLM Forecasters
यह शोध पत्र "Hindcast" प्रस्तुत करता है, जो एक कठोर मूल्यांकन ढांचा है जो सार्वजनिक सूचना के एक स्थिर, समय-कटऑफ स्नैपशॉट के विरुद्ध प्रेडिक्शन मार्केट्स को फिर से चलाकर LLM पूर्वानुमान में डेटा लीकेज को रोकता है ताकि यह सुनिश्चित किया जा सके कि मॉडल को वास्तविक दूरदर्शिता पर ग्रेड दिया जाए न कि घटना के बाद की स्मृति (post-event recall) पर।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
कल्पना कीजिए कि आप यह परीक्षण करने की कोशिश कर रहे हैं कि एक जासूस रहस्य सुलझाने में कितना कुशल है। आप उसे एक केस फाइल देते हैं और पूछते हैं, "कुकी किसने चुराई?" यदि जासूस केवल फाइल खोलता है और सबसे नीचे लिखी गई उत्तर को पढ़ लेता है, तो वह वास्तव में अपने जासूसी कौशल का प्रदर्शन नहीं कर रहा है; वह केवल अपनी पढ़ने की क्षमता का प्रदर्शन कर रहा है। यह वही पेचीदा समस्या है जिसका सामना वैज्ञानिक भविष्य बताने वाले आर्टिफिशियल इंटेलिजेंस (AI) मॉडल का परीक्षण करते समय करते हैं।
AI को वास्तव में स्मार्ट देखने के लिए, शोधकर्ता आमतौर पर इसे उन चीजों की भविष्यवाणी करने के लिए कहते हैं जो पहले ही हो चुकी हैं, जैसे कि "2022 विश्व कप किसने जीता?" समस्या यह है कि आज के AI मॉडल को पूरे इंटरनेट पर प्रशिक्षित किया गया है, जिसमें खेल खत्म होने के बाद लिखे गए लेख भी शामिल हैं। इसलिए, जब AI कहता है, "अर्जेंटीना जीता," तो यह इसलिए नहीं हो सकता क्योंकि उसने पहले से मिले सुरागों को सुलझाया है; बल्कि ऐसा हो सकता है कि वह अपने प्रशिक्षण डेटा (training data) से अंतिम स्कोर को याद कर रहा है। यह एक ऐसे छात्र की तरह है जो इतिहास की परीक्षा दे रहा है जिसने गुप्त रूप से उत्तर कुंजी (answer key) रट ली है। इसे ठीक करने के लिए, वैज्ञानिकों को एक तरीका खोजने की आवश्यकता है जिससे वे AI की "दूरदर्शिता" (भविसे का अनुमान लगाने की क्षमता) का परीक्षण कर सकें, बिना उसे "उत्तर कुंजी" (जो वास्तव में हुआ) देखकर धोखाधड़ी करने की अनुमति दिए।
यहीं पर HINDCAST नामक एक नया अध्ययन आता है। शोधकर्ता देखना चाहते थे कि क्या AI वास्तव में भविष्य की भविष्यवाणी कर सकता है यदि हम इसे अतीत में खड़ा होने के लिए मजबूर करें, जहाँ इसे आगे क्या हुआ इसका कोई ज्ञान न हो। उन्होंने प्रेडिक्शन मार्केट्स (ऐसी जगहें जहाँ लोग परिणामों पर दांव लगाते हैं) और इंटरनेट के एक फ्रीज किए गए संग्रह (archive) का उपयोग करके एक टाइम-ट्रैवल सिमुलेशन बनाया। उन्होंने पाया कि जब आप AI को धोखाधड़ी करने से रोकते हैं, तो यह पुरानी खबरों को पढ़कर बेहतर अनुमान लगाने में सक्षम हो सकता है, लेकिन केवल तभी जब उस खबर में वास्तव में उपयोगी तथ्य हों। यदि पुरानी खबर केवल लोगों के अनुमान और चिल्लाते हुए विचारों के बारे में थी, तो उसे पढ़ने से AI वास्तव में सच्चाई बताने में और भी खराब हो गया।
द टाइम-ट्रैवल टेस्ट (समय-यात्रा परीक्षण)
शोधकर्ताओं ने एक प्रणाली बनाई जिसे वे HINDCAST कहते हैं (यह "forecast" का एक रूपांतर है, लेकिन पीछे की ओर देखते हुए)। एक टाइम मशीन की कल्पना करें जो इतिहास के एक विशिष्ट क्षण को फ्रीज कर देती है, मान लीजिए कि एक बड़े स्पोर्ट्स टूर्नामेंट के शुरू होने से एक महीने पहले। इस फ्रीज किए गए क्षण पर, AI को समाचार लेखों और फोरम पोस्ट के पुस्तकालय को देखने की अनुमति है, लेकिन केवल उन्हीं को जो उस तारीख से पहले लिखे गए हैं। यह उस क्षण के बाद लिखा गया कुछ भी नहीं देख सकता, भले ही वह आज लाइब्रेरी में मौजूद हो।
AI का परीक्षण करने के लिए, शोधकर्ताओं ने Polymarket नामक वास्तविक दुनिया के बेटिंग मार्केट्स का उपयोग किया। ये डिजिटल कैसीनो की तरह हैं जहाँ लोग इस बात पर दांव लगाते हैं कि क्या कुछ होगा (जैसे "क्या टीम X जीतेगी?")। चूंकि ये मार्केट पहले ही समाप्त हो चुके हैं, इसलिए शोधकर्ताओं को वास्तविक उत्तर पता है। वे यह भी जानते हैं कि उस फ्रीज किए गए क्षण पर "मार्केट प्राइस" क्या था, जो यह दर्शाता है कि उस समय मनुष्यों के समूह ने संभावनाओं (odds) को क्या समझा था।
सेटअप इस प्रकार काम करता है:
- समय को फ्रीज करें: एक पिछला दिनांक () चुनें जो मार्केट के समाप्त होने से पहले का हो।
- लाइब्रेरी को लॉक करें: AI केवल एक फ्रीज किए गए स्नैपशॉट (जैसे Reddit का एक पुराना संग्रह) को खोज सकता है जो उस तारीख से पहले का हो।
- भविष्यवाणी: AI उपलब्ध पोस्ट को पढ़ता है और परिणाम का अनुमान लगाता है।
- स्कोर: AI को दो चीजों पर ग्रेड दिया जाता है: यह कि वह वास्तविक अंतिम परिणाम के कितने करीब था, और यह कि वह उस सटीक क्षण पर मानव बेटरों की सोच के कितने करीब था।
बड़ी खोज: तथ्य बनाम हाइप (Facts vs. Hype)
टीम ने नौ अलग-अलग AI मॉडल का परीक्षण किया यह देखने के लिए कि क्या उन्हें अपनी स्मृति से अनुमान लगाने के बजाय इस "फ्रीज की गई लाइब्रेरी" तक पहुंच देना उनके बेहतर पूर्वानुमान में मदद करता है।
अच्छी खबर: अधिकांश AI मॉडल के लिए, पुराने पोस्ट पढ़ना मददगार साबित हुआ। वास्तव में, नौ में से आठ मॉडलों के लिए, AI ने कम गलतियाँ कीं जब वह आर्काइव को पढ़ सका। सबसे बड़ा सुधार एक मॉडल में देखा गया जिसे Qwen3-32B कहा जाता है, जिसने अपनी त्रुटि दर (error rate) को 23% तक कम कर दिया। यह सुझाव देता है कि जब अतीत में वास्तविक तथ्य उपलब्ध होते हैं, तो AI बेहतर अनुमान लगाने के लिए उनका उपयोग कर सकता है।
बुरी खबर (और एक पेंच): यह मदद सार्वभौमिक नहीं थी। यह पूरी तरह से इस पर निर्भर था कि AI क्या पढ़ रहा है।
- जहाँ यह काम आया: खेल (Sports), पुरस्कार (Awards), और ट्रेडिंग (Trading) जैसे विषयों में, घटना से पहले के इंटरनेट पोस्ट ठोस तथ्यों से भरे थे (जैसे, "टीम का स्टार खिलाड़ी घायल है" या "सोने की कीमत बढ़ रही है")। इन मामलों में, AI ने तथ्यों को पढ़ा और विजेता का बेहतर अनुमान लगाया।
- जहाँ यह विफल रहा: मनोरंजन (Entertainment) (जैसे यह अनुमान लगाना कि कौन सा गाना नंबर 1 होगा) या राजनीति (Politics) जैसे विषयों में, इंटरनेट शोर-शराबे वाले विचारों, प्रशंसकों की हाइप और अटकलों से भरा था। जब AI ने इन पोस्ट को पढ़ा, तो वह भ्रमित हो गया। वह "हाइप" को सच मानने लगा। उदाहरण के लिए, यदि प्रशंसक चिल्ला रहे थे कि एक नया गाना नंबर 1 होगा, तो AI उस पर दांव लगाने लगा, भले ही अधिकांश गाने वास्तव में शीर्ष पर नहीं पहुँच पाते। इन मामलों में, आर्काइव को पढ़ने से AI अपने स्वयं के तर्क पर टिके रहने की तुलना में और भी खराब हो गया।
"ओवर-रीडिंग" (अत्यधिक पढ़ने) की समस्या
अध्ययन में एक दिलचस्प पैटर्न मिला: जैसे-जैसे मार्केट लंबे समय तक खुला रहा, AI के भ्रमित होने की संभावना उतनी ही बढ़ गई। यदि कोई बेटिंग मार्केट लंबे समय तक खुला रहता है, तो इंटरनेट अंतहीन चर्चा और विरोधाभासी विचारों से भर जाता है। AI, मददगार बनने की कोशिश में, इसे पढ़ता है और अधिक सोचने लगता है, जिससे अंततः ठोस तथ्यों के बजाय शोर-शराबे वाले विचारों के आधार पर गलत अनुमान लगने लगते हैं।
एक विशिष्ट मॉडल, R1-Distill-Qwen-7B, वास्तव में पढ़ने की अनुमति मिलने पर कुल मिलाकर और भी खराब हो गया। शोधकर्ताओं का मानना है कि ऐसा इसलिए हुआ क्योंकि मॉडल तर्क की लंबी और भ्रमित करने वाली श्रृंखलाओं को पढ़ने में इतना उलझ गया कि वह वास्तविक साक्ष्यों को भूल गया। यह एक ऐसे छात्र की तरह है जो किसी विषय पर इतने सारे अलग-अलग विचार पढ़ लेता है कि वह सरल तथ्यों को भूल जाता है और अंत में गलत अनुमान लगा बैठता है।
भविष्य के लिए इसका क्या अर्थ है
HINDCAST का मुख्य निष्कर्ष यह है कि एक AI की भविष्य की भविष्यवाणी करने की क्षमता केवल इस बात पर निर्भर करती है कि वह घटना होने से पहले कितनी अच्छी गुणवत्ता की जानकारी प्राप्त कर सकता है। यदि इंटरनेट तथ्यों से भरा है, तो AI एक बेहतरीन भविष्यवक्ता हो सकता है। यदि इंटरनेट शोर और हाइप से भरा है, तो AI केवल एक आत्मविश्वासी मूर्ख बन सकता है, जो सच्चाई के बजाय सबसे ऊंची आवाज पर विश्वास करता है।
शोधकर्ताओं ने यह भी दिखाया कि यह "टाइम-ट्रैवल" परीक्षण पद्धति एक शक्तिशाली उपकरण है। क्योंकि लाइब्रेरी फ्रीज की गई है, आप नए AI मॉडल का परीक्षण उन्हीं पुराने सवालों के विरुद्ध कर सकते हैं बिना उन्हें धोखाधड़ी करने दिए। इसका मतलब है कि हम जैसे-जैसे AI स्मार्ट होता जाएगा, हम अपने परीक्षणों को बेहतर बना सकते हैं, यह सुनिश्चित करते हुए कि हम वास्तव में यह माप रहे हैं कि वे कितनी अच्छी तरह सोचते हैं, न कि केवल यह कि वे कितना याद रखते हैं।
संक्षेप में, HINDCAST साबित करता है कि जबकि AI को तथ्यों की लाइब्रेरी देना उसे भविष्य देखने में मदद करता है, अफवाहों की लाइब्रेरी देना उसे अंधा बना सकता है।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।