Reinforcement Learning for LLM-based Event Forecasting
यह शोध पत्र प्रदर्शित करता है कि वास्तविक समय की जानकारी तक पहुँच रखने वाले छोटे LLMs (1.5B–14B पैरामीटर्स) को फाइन-ट्यून करने के लिए ग्रुप रिलेटिव पॉलिसी ऑप्टिमाइज़ेशन (GRPO) लागू करने से वे अपने नॉलेज कटऑफ के बाद की भविष्य की घटनाओं के पूर्वानुमान में क्लॉड सोनेट 3.5 जैसे बड़े मॉडल्स को भी पीछे छोड़ सकते हैं, जबकि साथ ही यह स्केलिंग क्षमताओं और अनिश्चितता के तहत निर्णयात्मक पूर्वानुमान की प्रकृति का भी विश्लेषण करता है।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
यहाँ इस शोध पत्र (paper) का सरल भाषा और रोज़मर्रा के उदाहरणों के साथ विवरण दिया गया है।
मुख्य विचार: AI को भविष्य का अनुमान लगाना सिखाना
कल्पना कीजिए कि आपके पास एक बहुत ही बुद्धिमान छात्र (एक AI) है जिसने एक निश्चित तारीख तक पुस्तकालय की लगभग हर किताब पढ़ ली है, लेकिन उसने आज का समाचार पत्र नहीं देखा है। आप उससे ऐसी चीजों की भविष्यवाणी करने के लिए कहते हैं जो अभी तक नहीं हुई हैं, जैसे "क्या कल बारिश होगी?" या "चुनाव कौन जीतेगा?"
समस्या यह है कि छात्र को उत्तर नहीं पता है, और भले ही वह सटीक अनुमान लगाए, फिर भी वह बदकिस्मती (जैसे सिक्के के उछाल) के कारण गलत हो सकता है। यह शोध पत्र इस बारे में है कि कैसे इस छात्र को एक विशेष प्रशिक्षण पद्धति का उपयोग करके एक बेहतर अनुमान लगाने वाला बनाया जाए, जिसे Reinforcement Learning कहा जाता है, विशेष रूप से GRPO नामक एक तकनीक।
लेखक, अमित अर्नोल्ड लेवी ने एक अपेक्षाकृत छोटे AI मॉडल (1.5 बिलियन "मस्तिष्क कोशिकाओं") को एक बहुत बड़े और अधिक महंगे AI मॉडल (जैसे Claude Sonnet 3.5) से बेहतर पूर्वानुमान लगाने वाला बनाने का एक तरीका खोजा है, लेकिन केवल विशिष्ट परिस्थितियों में।
1. समस्या: "सिक्के के उछाल" का जाल (The "Coin Flip" Trap)
गणित या कोडिंग में, आमतौर पर एक सही उत्तर होता है। यदि आप एक समीकरण हल करते हैं, तो वह या तो सही होता है या गलत। लेकिन पूर्वानुमान (forecasting) में, चीजें जटिल होती हैं।
उदाहरण: कल्पना कीजिए कि आप सिक्के के उछाल पर दांव लगा रहे हैं।
- सच्चाई: सिक्का निष्पक्ष है। सही भविष्यवाणी है "50% संभावना Heads की है।"
- वास्तविकता: आपने सिक्का उछाला, और वह Heads पर आ गिरा।
यदि आप एक छात्र को इस आधार पर प्रशिक्षित करते हैं कि "यदि तुमने Heads कहा तो तुम सही थे, और Tails कहा तो गलत," तो छात्र भ्रमित हो जाएगा। भले ही उसने सही ढंग से "50%" का अनुमान लगाया हो, फिर भी उसे दंडित किया जा सकता है क्योंकि उस एक बार सिक्का Tails पर आ गया। इसे Aleatoric Uncertainty (ऐसी अनिश्चितता जिसे आप नियंत्रित नहीं कर सकते) कहा जाता है।
शोध पत्र की खोज: लेखक ने इसका परीक्षण किया और पाया कि यदि आप AI को केवल अंतिम परिणाम (Heads या Tails) के आधार पर प्रशिक्षित करते हैं, तो AI खराब तरीके से सीखता है। यह वैसा ही है जैसे केवल यह देखकर पोकर खेलना सीखना कि हाथ किसने जीता, बिना संभावनाओं (odds) को समझे। सिक्के के उछाल का "शोर" (noise) सीखने की प्रक्रिया को बिगाड़ देता है।
समाधान: AI को इस आधार पर ग्रेड देने के बजाय कि सिक्का Heads पर आया या Tails पर, लेखक ने AI को इस आधार पर ग्रेड दिया कि उसका प्रतिशत अनुमान "मार्केट" के अनुमान के कितने करीब था। मार्केट को हजारों लोगों के समूह के रूप में सोचें जो सिक्के पर दांव लगा रहे हैं। यदि मार्केट कहता है कि Heads की 50% संभावना है, और AI भी 50% कहता है, तो AI को अच्छा ग्रेड मिलेगा, भले ही सिक्का Tails पर आ गया हो।
2. प्रशिक्षण पद्धति: "ग्रुप रिलेटिव पॉलिसी ऑप्टिमाइजेशन" (GRPO)
उन्होंने AI को कैसे सिखाया? उन्होंने GRPO नामक एक विधि का उपयोग किया।
उदाहरण: कल्पना कीजिए कि एक शिक्षक 8 छात्रों की एक कक्षा को क्विज़ दे रहा है।
- पुराना तरीका (PPO): शिक्षक अपने दिमाग में एक अलग "जज" रोबोट रखता है यह तय करने के लिए कि उत्तर अच्छा है या नहीं। इसमें बहुत अधिक मानसिक स्थान (कंप्यूटर मेमोरी) लगता है।
- GRPO तरीका: शिक्षक 8 छात्रों को एक ही प्रश्न का उत्तर देने के लिए कहता है। फिर, शिक्षक उस समूह को देखता है। यदि 7 छात्र गलत उत्तर देते हैं और 1 छात्र बेहतरीन उत्तर देता है, तो शिक्षक कहता है, "ठीक है, जिसने सही उत्तर दिया वह विजेता है। चलिए हम सब अगली बार उस विजेता की तरह सोचने की कोशिश करते हैं।"
यह विधि कुशल है क्योंकि शिक्षक को एक अलग जज रोबोट की आवश्यकता नहीं होती; वह बस छात्रों की आपस में तुलना करता है। इससे कंप्यूटर मेमोरी की काफी बचत होती है, जिससे लेखक को एक शक्तिशाली कंप्यूटर चिप (H100) पर कुछ ही घंटों में AI को प्रशिक्षित करने की अनुमति मिली।
3. AI को "आंखें" देना (संदर्भ/Context)
AI भविष्य की भविष्यवाणी नहीं कर सकता यदि उसे यह नहीं पता कि अभी क्या हो रहा है। उसे समाचार पढ़ने की आवश्यकता है।
लेखक ने AI को जानकारी प्राप्त करने के दो तरीके दिए:
- न्यूज़ समराइज़र (News Summarizer): AI दूसरे AI (Perplexity का Sonar) से पूछता है कि इंटरनेट को पढ़े और प्रासंगिक समाचारों का एक संक्षिप्त सारांश लिखे।
- टाइम-ट्रैवलिंग लाइब्रेरियन (विकिपीडिया टूल): AI को विकिपीडिया लेख देखने की अनुमति है, लेकिन उसे उन्हें उस स्थिति में देखना होगा जैसा वे घटना होने से पहले थे। यह AI को "उत्तर कुंजी" पढ़कर नकल करने से रोकता है।
परिणाम: "न्यूज़ समराइज़र" सबसे अच्छा काम कर गया। AI ने सारांश पढ़ना सीखा और भविष्यवाणी करना शुरू किया।
4. बड़ा आश्चर्य: छोटा बनाम बड़ा
आमतौर पर, AI में, जितना बड़ा हो उतना बेहतर होता है। एक विशाल मस्तिष्क (14 बिलियन पैरामीटर्स) आमतौर पर एक छोटे मस्तिष्क (1.5 बिलियन पैरामीटर्स) को हरा देता है।
उदाहरण: कल्पना कीजिए कि एक छोटी, फुर्तीली रेस कार बनाम एक विशाल, धीमी गति वाला ट्रक।
- खुले हाईवे पर (बहुत सारी जानकारी): ट्रक (बड़ा AI) जीतता है क्योंकि वह अधिक डेटा ले जा सकता है।
- तंग, धुंधले रास्ते पर (सीमित जानकारी): छोटी रेस कार (छोटा AI) जीतती है।
लेखक ने पाया कि जब AI को केवल समाचार का एक छोटा सारांश दिया गया (तंग रास्ता), तो छोटे, प्रशिक्षित AI (Qwen 1.5B) ने वास्तव में बहुत बड़े, अप्रशिक्षित AI (Claude Sonnet 3.5) को हरा दिया।
क्यों? क्योंकि बड़ा AI सीमित जानकारी से भ्रमित हो गया था, जबकि छोटा AI विशेष रूप से उस विशिष्ट प्रकार के अनुमान लगाने वाले खेल का मास्टर बनने के लिए प्रशिक्षित किया गया था। हालाँकि, यदि आप AI को बहुत सारी जानकारी देते हैं, तो बड़ा AI फिर से बराबरी कर लेता है।
5. वास्तव में क्या काम किया (और क्या नहीं)
- जो काम कर गया: प्रशिक्षण के लिए "मार्केट प्राइसेस" (लोग किस पर दांव लगा रहे हैं) का उपयोग करना। इसने एक विश्वसनीय आधार (ground truth) के रूप में कार्य किया।
- जो विफल रहा: घटनाओं के वास्तविक परिणाम (जैसे, "सिक्का Heads पर आया, इसलिए आपने Heads की भविष्यवाणी की होनी चाहिए") का उपयोग करके AI को प्रशिक्षित करना। यह बहुत अधिक शोर भरा था और इसने AI को संभावना (probability) सीखने में मदद नहीं की, बल्कि केवल किस्मत को सीखा।
- सीमा: AI उतना ही अच्छा है जितना कि वह समाचार सारांश जो वह पढ़ता है। यदि समाचार सारांश गलत या भ्रामक है, तो AI एक आत्मविश्वासपूर्ण लेकिन गलत भविष्यवाणी करेगा। AI खराब जानकारी को ठीक नहीं कर सकता।
सारांश
यह शोध पत्र एक छोटे, सस्ते AI को एक आश्चर्यजनक रूप से अच्छे भविष्यवक्ता में बदलने की रेसिपी है।
- इसे यादृच्छिक घटनाओं (जैसे सिक्के के उछाल) के अंतिम परिणाम पर प्रशिक्षित न करें; इसे संभावनाओं (odds) पर प्रशिक्षित करें।
- एक स्मार्ट ग्रुप-ट्रेनिंग पद्धति (GRPO) का उपयोग करें जो मेमोरी बचाती है।
- इसे एक छोटा, सारांशित समाचार फीड दें।
- परिणाम: एक छोटा AI, जिसे कुछ ही घंटों के लिए प्रशिक्षित किया गया है, सीमित जानकारी उपलब्ध होने पर एक बड़े, अधिक महंगे AI से बेहतर अनुमान लगा सकता है।
लेखक निष्कर्ष निकालते हैं कि हालांकि AI पूर्वानुमान लगाना सीख सकता है, लेकिन यदि उसे दी गई जानकारी पर्याप्त नहीं है, तो वह एक सीमा पर आकर रुक जाता है। यह कोई जादू नहीं है; यह केवल उपलब्ध सर्वोत्तम डेटा के आधार पर बहुत कुशल पैटर्न मिलान (pattern matching) है।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।