💻 computer science

Agentic Monte Carlo: Simulating Reinforcement Learning for Black-Box Agents

यह शोध पत्र एजेंटिक मोंटे कार्लो (AMC) का प्रस्ताव करता है, जो एक टेस्ट-टाइम ऑप्टिमाइज़ेशन विधि है जो पॉलिसी को एक बेयसियन पोस्टीरियर (Bayesian posterior) के रूप में मानकर, सीक्वेंशियल मोंटे कार्लो और एक सीखे हुए वैल्यू फंक्शन का लाभ उठाकर ब्लैक-बॉक्स LLM एजेंटों से इष्टतम प्रक्षेपवक्र (optimal trajectories) को सैंपल करती है, जिससे अंतर्निहित मॉडल में संशोधन किए बिना प्रॉम्प्टिंग और यहाँ तक कि GRPO जैसी ट्रेनिंग-आधारित RL विधियों से भी बेहतर प्रदर्शन प्राप्त होता है।

मूल लेखक: Dae Yon Hwang, Raunaq Suri, Valentin Villecroze, Anthony L. Caterini, Jesse C. Cresswell, Noël Vouitsis, Brendan Leigh Ross

प्रकाशित 2026-06-05

📖 6 मिनट में पढ़ें🧠 गहराई से पढ़ें

CC BY 4.0

मूल लेखक: Dae Yon Hwang, Raunaq Suri, Valentin Villecroze, Anthony L. Caterini, Jesse C. Cresswell, Noël Vouitsis, Brendan Leigh Ross

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

कल्पना कीजिए कि आपके पास एक शानदार, विश्व स्तरीय शेफ (ब्लैक-बॉक्स एजेंट) है जो लगभग कुछ भी पका सकता है। हालाँकि, यह शेफ एक "ब्लैक बॉक्स" है: आप उन्हें केवल एक रेसिपी कार्ड (प्रॉम्ट) दे सकते हैं और उनके द्वारा बनाया गया व्यंजन देख सकते हैं। आप उनके नोट्स नहीं देख सकते, न ही आप उनके चाकू चलाने के कौशल को सुधार सकते हैं, और न ही आप उन्हें नए हुनर सीखने के लिए रसोई में फिर से प्रशिक्षित कर सकते हैं। यदि वे कोई गलती करते हैं, तो आप उनके दिमाग को ठीक नहीं कर सकते; आप केवल वह व्यंजन फेंक सकते हैं और उन्हें निर्देशों का एक थोड़ा अलग सेट देकर फिर से कोशिश करने के लिए कह सकते हैं।

यह आज के सबसे शक्तिशाली AI मॉडल (जैसे GPT-5 या Claude) के साथ शोधकर्ता जिस समस्या का सामना कर रहे हैं, वही है। वे अविश्वसनीय रूप से स्मार्ट हैं, लेकिन क्योंकि वे क्लोज्ड-सोर्स (closed-source) हैं, इसलिए हम उन्हें किसी विशिष्ट कार्य के लिए बेहतर बनाने के लिए मानक "रीइन्फोर्समेंट लर्निंग" (प्रयास-और-त्रुटि प्रशिक्षण) का उपयोग नहीं कर सकते।

पेश है एजेंटिक मोंटे कार्लो (Agentic Monte Carlo - AMC), एक नई विधि जिसे इस शोध पत्र में प्रस्तावित किया गया है। यह कैसे काम करता है, इसके लिए सरल उपमाओं का उपयोग करते हैं:

1. समस्या: "ब्लैक-बॉक्स" शेफ

मानक AI प्रशिक्षण एक छात्र शेफ को प्रशिक्षित करने जैसा है, उसे एक हजार भोजन पकाने देना, उन्हें चखना और फिर उसके दिमाग को शारीरिक रूप से फिर से व्यवस्थित करना ताकि उसे याद रहे कि क्या काम आया।

समस्या: ब्लैक-बॉक्स AI के साथ, हम मस्तिष्क को फिर से व्यवस्थित नहीं कर सकते। हम केवल उन्हें फिर से पकाने के लिए कह सकते हैं।
पुराना तरीका: लोग "बेस्ट-ऑफ-एन" (Best-of-N) का उपयोग करते थे। यह शेफ को एक साथ 15 अलग-अलग भोजन पकाने के लिए कहने जैसा है, अंत में उन सभी को चखने और सबसे अच्छे को परोसने जैसा है। यह ठीक काम करता है, लेकिन यह बर्बादी है क्योंकि एक अच्छा व्यंजन खोजने के लिए आपको शायद 14 खराब व्यंजन बनाने पड़े होंगे।

2. समाधान: "स्मार्ट गाइड" (AMC)

लेखकों ने महसूस किया कि शेफ को फिर से प्रशिक्षित करने के बजाय, हम एक स्मार्ट गाइड (एक छोटा, हल्का AI) रख सकते हैं जो वास्तविक समय में शेफ को खाना बनाते हुए देखेगा।

एजेंटिक मोंटे कार्लो की चरण-दर-चरण प्रक्रिया यहाँ दी गई है:

चरण 1: पैरेलल किचन (समानांतर रसोई)। एक भोजन पकाने के बजाय, ब्लैक-बॉक्स शेफ एक ही समय में 15 भोजन (15 अलग-अलग "ट्रैजेक्टरीज" या पथ) बनाना शुरू करता है।
चरण 2: स्मार्ट गाइड चेक इन करता है। जैसे-जैसे शेफ खाना बनाता है, स्मार्ट गाइड हर एक भोजन को देखता है। यह शेफ के दिमाग को नहीं बदलता; यह बस भोजन की वर्तमान स्थिति को देखता है।
- उपमा: कल्पना कीजिए कि शेफ एक केक बनाने की कोशिश कर रहा है। चरण 3 पर, एक शेफ चीनी के बजाय नमक डाल देता है। स्मार्ट गाइड इसे देखता है और कहता है, "यह एक बुरा रास्ता है, केक खराब हो जाएगा।" दूसरा शेफ बैटर को बिल्कुल सही तरीके से मिला रहा है। गाइड कहता है, "शानदार रास्ता, जारी रखो!"
चरण 3: प्रूनिंग (छंटाई/Resampling)। यही जादू वाला हिस्सा है। गाइड की सलाह के आधार पर, सिस्टम बुरे खाना पकाने वाले रास्तों को जल्दी ही प्रून (काट) देता है। यह उन शेफों को रोक देता है जो नमक डाल रहे हैं। फिर यह उन शेफों को लेता है जो अच्छा कर रहे हैं और उन्हें उस अच्छे पथ को बनाने के लिए क्लोन (प्रतिलिपि) बनाने के लिए कहता है।
चरण 4: अंतिम व्यंजन। अंत तक, आपके पास केवल 15 रैंडम भोजन नहीं होते। आपके पास 15 भोजन होते हैं जिन्हें गाइड द्वारा सफलता की ओर निर्देशित किया गया था। आप सबसे अच्छा चुनते हैं, और यह काफी बेहतर होता है यदि आपने केवल अंधे होकर खाना पकाने दिया होता।

3. "स्मार्ट गाइड" कैसे सीखता है

आप पूछ सकते हैं, "गाइड को कैसे पता चलता है कि एक अच्छा रास्ता कैसा दिखता है यदि उसे इस विशिष्ट कार्य के लिए प्रशिक्षित नहीं किया गया है?"

शोध पत्र बताता है कि गाइड को मुख्य आयोजन से पहले प्रशिक्षित किया जाता है।

शोधकर्ताओं ने ब्लैक-बॉक्स शेफ को कई रैंडम भोजन पकाने दिया।
उन्होंने देखा कि कौन से भोजन अच्छे रहे और कौन से विफल रहे।
उन्होंने स्मार्ट गाइड को एक अच्छे पथ के संकेतों को पहचानने के लिए सिखाया (जैसे, "यदि चरण 4 तक शेफ ने सही सामग्री ढूंढ ली है, तो उसकी सफलता की संभावना अधिक है")।
एक बार प्रशिक्षित होने के बाद, यह गाइड छोटा, तेज़ और चलाने में सस्ता होता है। यह एक "वैल्यू फंक्शन" के रूप में कार्य करता है, जो मूल रूप से वर्तमान पथ की भविष्य की सफलता की भविष्यवाणी करता है।

4. परिणाम: स्मार्ट, सस्ता और तेज़

शोध पत्र ने तीन अलग-अलग "रसोईघरों" (कार्यों) पर इसका परीक्षण किया:

WebShop: विशिष्ट नियमों के साथ ऑनलाइन आइटम खरीदना।
SciWorld: एक टेक्स्ट-आधारित दुनिया में विज्ञान प्रयोगों को हल करना।
TextCraft: एक माइनक्राफ्ट-शैली के गेम में आइटम बनाना।

निष्कर्ष:

बेसिक को मात देना: AMC ने लगातार "बेस्ट-ऑफ-एन" पद्धति को पछाड़ दिया। इसने अंत तक प्रतीक्षा करने के बजाय बुरे रास्तों को जल्दी काटकर बेहतर समाधान खोजे।
हेवीवेट्स को मात देना: कुछ मामलों में, AMC का उपयोग करने वाला एक छोटा, सस्ता AI मॉडल (ब्लैक-बॉक्स शेफ) एक बहुत बड़े, अधिक महंगे मॉडल (जिसका उपयोग GRPO नामक विधि के माध्यम से पूरी तरह से पुन: प्रशिक्षित किया गया था) के समान या उससे भी बेहतर प्रदर्शन करता है।
लागत दक्षता: क्योंकि AMC बुरे रास्तों को जल्दी काट देता है, इसलिए यह कंप्यूटिंग पावर को कम बर्बाद करता है। यह पुराने तरीकों की तुलना में कम कुल "खाना पकाने के प्रयासों" के साथ बेहतर परिणाम प्राप्त कर सकता है।

सारांश

एजेंटिक मोंटे कार्लो ब्लैक-बॉक्स AI एजेंटों के आंतरिक कोड को छुए बिना उन्हें स्मार्ट बनाने का एक तरीका है। यह कई समानांतर संस्करणों को चलाने, एक छोटे "स्मार्ट गाइड" को उन्हें देखते रहने के लिए रखने, और गलत दिशा में जाने वालों को तुरंत रोकने और सही दिशा में जाने वालों पर दांव लगाने के माध्यम से ऐसा करता है।

यह खोजकर्ताओं की एक टीम की तरह है जो छिपे हुए खजाने को खोजने की कोशिश कर रहे हैं। सभी 15 खोजकर्ताओं को तब तक बिना सोचे-समझे भटकने देने के बजाय जब तक वे थक न जाएं, आपके पास एक स्काउट होता है जो हर कुछ मील में उनके मानचित्रों की जांच करता है। यदि कोई खोजकर्ता दलदल की ओर जा रहा है, तो स्काउट उसे रुकने के लिए कहता है। यदि कोई अन्य स्पष्ट रास्ते पर है, तो स्काउट उसे उस मार्ग का अनुसरण करने के लिए अपने क्लोन भेजने के लिए कहता है। परिणाम? आप बहुत कम बर्बाद प्रयास के साथ बहुत तेज़ी से खजाना खोज लेते हैं।

तकनीकी सारांश: एजेंटिक मोंटे कार्लो (Agentic Monte Carlo - AMC)

समस्या विवरण

लार्ज लैंग्वेज मॉडल (LLM) एजेंट दो अलग-अलग श्रेणियों में कार्य करते हैं: ओपन-वेट मॉडल जो पैरामीटर-स्तरीय सुदृढीकरण शिक्षण (Reinforcement Learning - RL) के अनुकूल हैं, और ब्लैक-बॉक्स एजेंट (जैसे GPT-5, Gemini 3, Claude 4.6) जो केवल API के माध्यम से सुलभ हैं। जबकि PPO और GRPO जैसी RL विधियों ने ओपन-वेट मॉडलों के लिए प्रभावशीलता सिद्ध की है, वे ब्लैक-बॉक्स एजेंटों के लिए लागू नहीं हैं क्योंकि उन्हें पॉलिसी ग्रेडिएंट (policy gradients) की गणना करने के लिए मॉडल पैरामीटर्स तक पहुँच की आवश्यकता होती है। फलस्वरूप, ब्लैक-बॉक्स एजेंटों को अनुकूलित करने वाले शोधकर्ता वर्तमान में केवल प्रॉम्प्ट इंजीनियरिंग या ओपन-वेट सरोगेट्स (surrogates) को फाइन-ट्यून करने तक ही सीमित हैं, जिनमें से कोई भी लक्षित ब्लैक-बॉक्स मॉडल पर स्वयं RL-आधारित अनुकूलन नहीं करता है।

कार्यप्रणाली: एजेंटिक मोंटे कार्लो (AMC)

इस अंतर को पाटने के लिए, लेखक एजेंटिक मोंटे कार्लो (AMC) का प्रस्ताव करते हैं, जो KL-रेगुलराइज्ड RL और बायेसियन इन्फरेंस (Bayesian inference) के बीच ज्ञात द्वैतता (duality) का लाभ उठाकर ब्लैक-बॉक्स एजेंटों के लिए RL का अनुकरण करता है।

1. सैद्धांतिक सूत्रीकरण (Theoretical Formulation)

लेखक रिवॉर्ड को अधिकतम करने के लक्ष्य को एक संभाव्य इन्फरेंस (probabilistic inference) समस्या के रूप में पुनर्गठित करते हैं। इष्टतम पॉलिसी $\pi^*$ को एजेंट ट्राजेक्टरीज (trajectories) पर एक बायेसियन पोस्टीरियर वितरण (posterior distribution) के रूप में परिभाषित किया गया है:
$\pi^*(s_{0:T}) \propto \pi(s_{0:T}) e^{r(s_{0:T})/\beta}$
यहाँ, $\pi(s_{0:T})$ फिक्स्ड ब्लैक-बॉक्स LLM द्वारा दिया गया प्रायर (prior) वितरण है, और लाइकलीहुड (likelihood) पद $e^{r(s_{0:T})/\beta}$ उच्च रिवॉर्ड प्राप्त करने की संभावना को दर्शाता है। चूंकि हाई-डायमेंशनल एक्शन स्पेस और ब्लैक-बॉक्स मॉडलों में लॉग-प्रोबेबिलिटी (log-probabilities) की अनुपलब्धता के कारण सटीक सैंपलिंग करना कठिन है, इसलिए लेखक सीक्वेंशियल मोंटे कार्लो (SMC) विधियों, विशेष रूप से सीक्वेंशियल इम्पोर्टेंस रिसेम्पलिंग (SIR) का उपयोग करते हैं।

2. एल्गोरिद्मिक कार्यान्वयन (Algorithmic Implementation)

AMC, ब्लैक-बॉक्स प्रायर $\pi$ की $N$ समानांतर ट्राजेक्टरीज चलाकर इष्टतम पोस्टीरियर का अनुमान लगाता है। प्रत्येक टाइमस्टेप $t$ पर, एल्गोरिदम:

एक्शन सैंपल करता है: सीधे फ्रोजन ब्लैक-बॉक्स प्रायर $\pi$ से एक्शन खींचता है।
वेट्स (Weights) की गणना करता है: एक सीखे हुए वैल्यू फंक्शन $V_\theta$ के आधार पर इम्पोर्टेंस वेट्स $w_t$ को अपडेट करता है। वेट अपडेट नियम पुनरावर्ती (recursively) रूप से व्युत्पन्न किया गया है:
$w_t = w_{t-1} \cdot e^{V(s_t) - V(s_{t-1}) + r(s_{t-1})/\beta}$
जहाँ $V(s_t)$ सॉफ्ट वैल्यू फंक्शन है जो अपेक्षित भविष्य के रिवॉर्ड को दर्शाता है।
रिसेम्पलिंग (Resampling): ट्राजेक्टरी सेट को समय-समय पर रिसेम्पल करता है, जो स्टोकैस्टिक रूप से कम-वेट (कम-वैल्यू) वाली ट्राजेक्टरीज को हटा देता है और उच्च-वेट वाली ट्राजेक्टरीज को बढ़ाता है ताकि जनसंख्या को इष्टतम पोस्टीरियर की ओर निर्देशित किया जा सके।

3. वैल्यू फंक्शन को सीखना (Learning the Value Function)

चूंकि वास्तविक वैल्यू फंक्शन $V$ अगम्य (intractable) है, AMC एक अलग, हल्के वजन वाले वैल्यू फंक्शन $V_\theta$ (जिसे रिग्रेशन हेड के साथ ट्रांसफार्मर के रूप में पैरामीटराइज किया गया है) को प्रशिक्षित करता है ताकि एजेंट को निर्देशित किया जा सके।

प्रशिक्षण डेटा: ट्रेनिंग टास्क पर ब्लैक-बॉक्स प्रायर $\pi$ से ट्राजेक्टरीज ली जाती हैं।
उद्देश्य: वैल्यू फंक्शन को भविष्य के संचयी रिवॉर्ड (cumulative future reward) की भविष्यवाणी करने के लिए प्रशिक्षित किया जाता है। लेखक एक सरल रिग्रेशन टारगेट (Equation 7) का उपयोग करते हैं जो Equation 5 के सॉफ्ट मैक्सिमम का अनुमान लगाता है, जो $\sum r(s_\tau)$ के विरुद्ध $f_\theta(s_t)$ को रिgress करता है।
इन्फरेंस: टेस्ट-टाइम निष्पादन के दौरान, $V_\theta$ का उपयोग अंडरलाइंग ब्लैक-बॉक्स LLM को संशोधित किए बिना SIR प्रक्रिया के लिए इम्पोर्टेंस वेट्स की गणना करने के लिए किया जाता है।

मुख्य योगदान

ब्लैक-बॉक्स RL के लिए बायेसियन सूत्रीकरण: पेपर ब्लैक-बॉक्स एजेंटों के लिए RL को बायेसियन इन्फरेंस के दृष्टिकोण से प्रस्तुत करता है, जो इष्टतम पॉलिसी को ब्लैक-बॉक्स प्रायर और रिवॉर्ड-आधारित लाइकलीहुड के संयोजन के रूप में ट्राजेक्टरीज पर एक पोस्टीरियर के रूप में परिभाषित करता है।
एजेंटिक मोंटे कार्लो एल्गोरिदम: लेखक SMC के साथ एक एल्गोरिदम प्रस्तावित करते हैं जो इष्टतम पॉलिसी से सैंपल करने के लिए सीक्वेंशियल इम्पोर्टेंस रिसेम्पलिंग का उपयोग करता है। वे एक विशिष्ट वेट अपडेट नियम व्युत्पन्न करते हैं जो ब्लैक-बॉक्स एजेंट के व्यवहार को निर्देशित करने के लिए सीखे गए वैल्यू फंक्शन का लाभ उठाता है।
अनुभवजन्य सत्यापन (Empirical Validation): तीन विविध वातावरणों (WebShop, SciWorld, TextCraft) में AgentGym बेंचमार्क पर AMC का सत्यापन किया गया है। परिणाम दर्शाते हैं कि AMC लगातार प्रॉम्प्टिंग बेसलाइन्स (ReAct, Best-of-N) से बेहतर प्रदर्शन करता है, और जैसे-जैसे टेस्ट-टाइम कंप्यूट स्केल होता है, यह उन GRPO बेसलाइन्स से भी बेहतर हो सकता है जिन्हें पूर्ण पैरामीटर एक्सेस की आवश्यकता होती है।

प्रयोगात्मक परिणाम

लेखकों ने Llama-3.2-11B (ओपन-वेट) और GPT-4.1-mini, GPT-5.1 (ब्लैक-बॉक्स) नीतियों का उपयोग करके WebShop (ई-कॉमर्स), SciWorld (वैज्ञानिक तर्क), और TextCraft (क्राफ्टिंग) पर AMC का मूल्यांकन किया।

प्रदर्शन में वृद्धि: AMC ने "Best-of-N" बेसलाइन (N सैंपल्स में से सर्वश्रेष्ठ ट्राजेक्टरी चुनना) और ह्यूरिस्टिक प्रॉम्प्टिंग (Fleet-of-Agents) वाले SMC को काफी पीछे छोड़ दिया। उदाहरण के लिए, Llama-3.2-11B पॉलिसी के साथ WebShop पर, AMC ने 0.562 (Best-of-15 के लिए) की तुलना में 0.625 का स्कोर प्राप्त किया।
GRPO के साथ तुलना: SciWorld पर आमने-सामने की तुलना में, GPT-5.1 प्रायर द्वारा समर्थित AMC ने केवल 5 ट्राजेक्टरीज के साथ Qwen-2.5-7B बैकबोन पर प्रशिक्षित GRPO को पछाड़ दिया। इसके अलावा, दोनों के लिए समान बैकबोन (Qwen-2.5-3B) का उपयोग करते हुए, 25 ट्राजेक्टरीज के साथ AMC ने पूरी तरह से फाइन-ट्यून किए गए GRPO से बेहतर प्रदर्शन किया।
लागत दक्षता: AMC छोटे ब्लैक-बॉक्स मॉडल्स (जैसे GPT-4.1-mini) को एक सीखे गए वैल्यू फंक्शन द्वारा निर्देशित करके बड़े मॉडल्स (GPT-5.1) के बराबर प्रदर्शन प्राप्त करने की अनुमति देता है, जिससे API लागत में 50% से अधिक की कमी आती है।
ट्रेनिंग बनाम ज़ीरो-शॉट: अध्ययन ने पुष्टि की कि वैल्यू फंक्शन को प्रशिक्षित करना आवश्यक है; वैल्यू एस्टिमेटर की ज़ीरो-शॉट प्रॉम्प्टिंग ने असंगत परिणाम दिए और $V_\theta$ के प्रदर्शन के बराबर नहीं पहुँच सकी।

महत्व और दावे

पेपर यह दावा करता है कि ग्रेडिएंट एक्सेस के बिना क्लोज्ड-सोर्स, ब्लैक-बॉक्स LLM एजेंटों पर सिद्धांतपूर्ण, RL-शैली के अनुकूलन को करने की व्यवहार्यता को प्रदर्शित करता है। ब्लैक-बॉक्स मॉडल को एक फिक्स्ड प्रायर के रूप में मानकर और SMC के माध्यम से सैंपलिंग को निर्देशित करने के लिए एक सीखे गए वैल्यू फंक्शन का उपयोग करके, AMC ग्रेडिएंट-आधारित RL के लिए एक व्यवहार्य विकल्प प्रदान करता है, जो GPU-प्रतिबंधित या API-प्रतिबंधित सेटिंग्स में उपयोगी है।

लेखक AMC को GRPO के विकल्प के रूप में नहीं, बल्कि एक आवश्यक विकल्प के रूप में देखते हैं जब बाद वाला संभव न हो। वे इस बात पर जोर देते हैं कि यह विधि मालिकाना (proprietary) एजेंटों के "सिद्धांतपूर्ण" अनुकूलन को सक्षम बनाती है, जो कम लागत में हल्के और उच्च-क्षमता वाले मॉडल्स के बीच प्रदर्शन के अंतर को कम कर सकती है। यह कार्य सुझाव देता है कि कठोर RL अवधारणाओं को क्लोज्ड-सोर्स एजेंटों पर लागू किया जा सकता है, जिससे उन सबसे सक्षम अत्याधुनिक मॉडल्स के कार्य-विशिष्ट ट्यूनिंग का मार्ग प्रशस्त होता है जो प्रत्यक्ष प्रशिक्षण के लिए सुलभ नहीं हैं।