🤖 machine learning

Prompting Policies for Multi-step Reasoning and Tool-Use in Black-box LLMs with Iterative Distillation of Experience

यह शोध पत्र एक सुदृढीकरण अधिगम (Reinforcement Learning) ढांचे का प्रस्ताव करता है जो अनुभव के पुनरावृत्ति आसवन (iterative distillation) के माध्यम से एक हल्के प्रॉमप्टर मॉडल को अनुकूलित करता है ताकि फ्रोजन ब्लैक-बॉक्स एलएलएम (LLMs) की बहु-चरणीय तर्क और टूल-उपयोग क्षमताओं को महत्वपूर्ण रूप से बढ़ाया जा सके, जिससे अत्याधुनिक विकासवादी बेसलाइनों की तुलना में बेहतर प्रदर्शन और नमूना दक्षता प्राप्त होती है।

मूल लेखक: Krishna Sayana, Ketan Todi, Ambarish Jash

प्रकाशित 2026-05-15

📖 5 मिनट में पढ़ें🧠 गहराई से पढ़ें

CC BY 4.0

मूल लेखक: Krishna Sayana, Ketan Todi, Ambarish Jash

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

यहाँ एक सरल भाषा और रचनात्मक उपमाओं का उपयोग करके शोध पत्र (paper) का स्पष्टीकरण दिया गया है।

बड़ी तस्वीर: "ब्लैक बॉक्स" की समस्या

कल्पना कीजिए कि आपके पास एक सुपर-स्मार्ट, ट्रिलियन-डॉलर का रोबोट (एक "ब्लैक-बॉक्स" AI) है जिसे आप न तो छू सकते हैं, न खोल सकते हैं और न ही रीप्रोग्राम कर सकते हैं। आप केवल वॉकी-टॉकी के माध्यम से उससे बात कर सकते हैं। अतीत में, यदि आप चाहते थे कि यह रोबोट किसी विशिष्ट कार्य में बेहतर बने, तो आपको इसके मस्तिष्क को फिर से वायर करना पड़ता था (फाइन-ट्यूनिंग)। लेकिन चूंकि आप मस्तिष्क को छू नहीं सकते, इसलिए आपको इसे जो कहना है, उसमें बहुत चतुर होना होगा। इसे प्रॉम्प्ट इंजीनियरिंग (Prompt Engineering) कहा जाता है।

समस्या यह है कि एकदम सही बात ढूँढना वैसा ही है जैसे रैंडम वाक्यांश चिल्लाकर जीतने वाली लॉटरी संख्या का अनुमान लगाने की कोशिश करना। कभी-कभी आपके शब्दों में एक छोटा सा बदलाव भी रोबोट को पूरी तरह से विफल कर देता है।

समाधान: एक "प्रॉम्प्टर" कोच और एक "वर्कर" रोबोट

लेखक एक नई प्रणाली प्रस्तावित करते हैं जिसमें दो पात्र हैं:

द वर्कर (The Worker): वह बड़ा, स्थिर, सुपर-स्मार्ट रोबोट जो वास्तव में कठिन काम करता है (जैसे गणित हल करना या उड़ान बुक करना)। हम इसे कभी नहीं बदलते।
द प्रॉम्प्टर (The Prompter): एक छोटा, सस्ता, जिसे प्रशिक्षित किया जा सकता है ऐसा "कोच" AI। इसका एकमात्र काम वर्कर के लिए एकदम सही निर्देश (प्रॉम्प्ट) लिखना है।

इसे एक शतरंज कोच (Chess Coach) और एक ग्रैंडमास्टर प्लेयर (Grandmaster Player) की तरह समझें। कोच खेल नहीं खेलता; वे बस ग्रैंडमास्टर को शुरुआती चालों के बारे में बताने के लिए सबसे अच्छा तरीका खोजते हैं। कोच यह देखकर सीखता है कि जब ग्रैंडमास्टर खेलता है तो क्या होता है।

वे कोच को कैसे सिखाते हैं: "एक्सपीरियंस बफर" (Experience Buffer)

आमतौर पर, AI को सिखाना कठिन होता है क्योंकि आपको अंत में केवल एक साधारण "सही" या "गलत" स्कोर मिलता है। यह एक छात्र को यह बताने जैसा है कि, "तुम परीक्षा में फेल हो गए," बिना यह बताए कि क्यों।

यह पेपर एक विशेष तकनीक पेश करता है जिसे कॉन्ट्रास्टिव एक्सपीरियंस बफर (Contrastive Experience Buffer) कहा जाता है।

उपमा: कल्पना कीजिए कि एक जिम ट्रेनर है जो केवल "अच्छा काम किया" या "बुरा काम किया" नहीं कहता। इसके बजाय, ट्रेनर हर वर्कआउट का एक नोटबुक (बफर) रखता है।
- जब एथलीट सफल होता है, तो ट्रेनर लिखता है कि उसने ठीक से क्या किया।
- जब वह विफल होता है, तो ट्रेनर एक विस्तृत आलोचना लिखता है: "आपने अपनी कोहनी बहुत ऊँची रखी थी," या "आप सांस लेना भूल गए।"
जादू: कोच AI हर नए प्रयास से पहले इस नोटबुक को पढ़ता है। वह केवल अंतिम स्कोर से नहीं, बल्कि पिछले सफलताओं और विफलताओं की कहानियों से सीखता है। यह कोच को बहुत तेज़ी से सीखने में मदद करता है, बजाय इसके कि वह केवल अंदाज़ा लगाता रहे।

परिणाम: अनाड़ी से उस्ताद तक

शोधकर्ताओं ने इसे दो प्रकार के कठिन कार्यों पर परखा:

लॉजिक पज़ल्स (तुलना: "झूठ का जाल"):
- कार्य: भ्रमित करने वाले बयानों की एक श्रृंखला में यह पता लगाना कि कौन सच बोल रहा है।
- परिणाम: मानक AI लगभग 55% बार सही था। कोच-वर्कर टीम 90% बार सही थी।
- कोच ने क्या सीखा: कोच ने वर्कर को "बस कड़ी मेहनत करने" के लिए कहना बंद कर दिया। इसके बजाय, इसने वर्कर को एक सख्त "स्टेट ऑडिटर" की तरह कार्य करने के लिए कहना सीखा, जो कच्चे डेटा के विरुद्ध हर एक कदम की जाँच करता है और अपनी सहज बुद्धि (intuition) पर भरोसा करने से इनकार करता है।
टूल का उपयोग (उड़ान बुक करना और खरीदारी करना):
- कार्य: कंप्यूटर सिस्टम का उपयोग करके उड़ान बुक करना या शर्ट वापस करना, जिसके लिए सख्त नियमों का पालन करने और सही क्रम में विशिष्ट बटनों पर क्लिक करने की आवश्यकता होती है।
- परिणाम: सफलता दर 74% से बढ़कर 91% हो गई।
- कोच ने क्या सीखा: कोच ने पाया कि वर्कर अक्सर एक साथ बहुत सारी चीजें करने की कोशिश करता है। कोच ने "प्रोटोकॉल इंजीनियर" की तरह निर्देश देना सीखा, जो वर्कर को एक छोटा कदम उठाने, परिणाम की जाँच करने और फिर अगला कदम उठाने के लिए मजबूर करता है, जिससे वर्कर भ्रमित होने से बच जाता है।

यह क्यों महत्वपूर्ण है

गति: क्योंकि कोच विस्तृत नोट्स (बफर) से सीखता है (न कि केवल स्कोर से), यह पिछले तरीकों की तुलना में 2.4 गुना तेज़ी से सीखता है।
दक्षता: आपको विशाल, महंगे वर्कर रोबोट को फिर से प्रशिक्षित करने की आवश्यकता नहीं है। आप केवल छोटे, सस्ते कोच को प्रशिक्षित करते हैं।
खोज: सिस्टम ने केवल एक बेहतर वाक्य ही नहीं ढूँढा; इसने नई रणनीतियाँ भी खोजीं। उदाहरण के लिए, फ्लाइट बुकिंग कार्य में, कोच ने पाया कि आपको उड़ान की तारीख बदलने से पहले केबिन क्लास को अपग्रेड करना चाहिए, जो एक विशिष्ट नियम है जिसे वर्कर अपने आप नहीं जानता था।

सारांश

यह शोध पत्र दिखाता है कि विशाल AI को ठीक करने के बजाय, हम एक छोटे, स्मार्ट "प्रॉम्प्टर" को कोच के रूप में प्रशिक्षित कर सकते हैं। इस कोच को विस्तृत फीडबैक (क्या सही हुआ और क्या गलत हुआ) की एक नोटबुक देकर, कोच ऐसे निर्देश लिखना सीखता है जो एक अच्छे AI को एक महान AI में बदल देते हैं, जिससे जटिल तर्क और टूल-उपयोग की समस्याओं को बहुत अधिक सटीकता के साथ हल किया जा सकता है।

तकनीकी सारांश: ब्लैक-बॉक्स LLMs में मल्टी-स्टेप रीजनिंग और टूल-यूज़ के लिए प्रॉम्पटिंग नीतियां (Iterative Distillation of Experience के साथ)

1. समस्या विवरण (Problem Statement)

यह शोध पत्र आधुनिक लार्ज लैंग्वेज मॉडल्स (LLMs) के परिदृश्य में निहित "फाइन-ट्यूनिंग बॉटलनेक" (fine-tuning bottleneck) को संबोधित करता है। जैसे-जैसे उद्योग प्रोप्रायटरी, "ब्लैक-बॉक्स" मॉडल्स (जैसे Gemini-Pro, GPT-5) की ओर बढ़ रहा है जो केवल API के माध्यम से सुलभ हैं, पारंपरिक ट्रांसफर लर्निंग तकनीकें जैसे कि फुल पैरामीटर अपडेट या पैरामीटर-एफिशिएंट फाइन-ट्यूनिंग (PEFT) जैसे कि LoRA, मॉडल वेट्स, ग्रेडिएंट्स या आंतरिक कंप्यूटेशन ग्राफ तक पहुंच की कमी के कारण असंभव हो गई हैं।

परिणामस्वरूप, कार्य अनुकूलन (task adaptation) इन-कॉन्टेक्स्ट लर्निंग (ICL) और प्रॉम्प्ट इंजीनियरिंग पर निर्भर है। हालांकि, मैनुअल प्रॉम्प्ट इंजीनियरिंग ह्यूरिस्टिक (heuristic) और नाजुक है; LLMs "सिमेंटिक नॉइज़" (semantic noise) के प्रति अत्यधिक संवेदनशील होते हैं, जहाँ वाक्यांशों या उदाहरणों के क्रम में मामूली बदलाव भी प्रदर्शन में महत्वपूर्ण उतार-चढ़ाव का कारण बन सकते हैं। जबकि ऑटोमेटेड प्रॉम्प्ट ऑप्टिमाइजेशन (APO) विधियाँ मौजूद हैं, उनमें से कई इवोल्यूशनरी एल्गोरिदम या LLM-आधारित रिफ्लेक्शन पर निर्भर करती हैं जो ऑप्टिमाइजेशन को एक संरचित नीति के बजाय एक ह्यूरिस्टिक जनरेशन के रूप में मानती हैं। ये विधियाँ अक्सर जटिल, मल्टी-स्टेप रीजनिंग ट्रेजेक्टरीज के साथ संघर्ष करती हैं और मजबूत परिनियोजन (deployment) के लिए आवश्यक सैंपल एफिशिएंसी की कमी होती है।

2. कार्यप्रणाली (Methodology)

लेखक एक रीइन्फोर्समेंट लर्निंग (RL) फ्रेमवर्क प्रस्तावित करते हैं जो एक बड़े, फ्रोजन "वर्कर" (Worker) LLM के लिए प्रॉम्प्ट्स को अनुकूलित करने हेतु एक सीखा हुआ "प्रॉम्प्टर पॉलिसी" (Prompter Policy) प्रशिक्षित करता है। मुख्य नवाचार नियंत्रण तर्क (control logic - प्रॉमप्टर) को निष्पादन तर्क (execution logic - वर्कर) से अलग करने और इटरेटिव डिस्टिलेशन ऑफ एक्सपीरियंस (Iterative Distillation of Experience) का उपयोग करने में निहित है।

2.1 डुअल-एजेंट आर्किटेक्चर (Dual-Agent Architecture)

प्रॉम्प्टर एजेंट ( $\pi_\theta$ ): एक छोटा, कुशल LLM (जैसे 2–10 बिलियन पैरामीटर्स) जो एकم्य (trainable) पॉलिसी के रूप में कार्य करता है। यह टास्क कॉन्टेक्स्ट और पिछले अनुभवों के इतिहास के आधार पर टास्क इंस्ट्रक्शंस (प्रॉम्प्ट्स) उत्पन्न करता है। ग्रेडिएंट्स विशेष रूप से इसी मॉडल के लिए कंप्यूट किए जाते हैं।
फ्रोजन वर्कर एजेंट ( $\pi_{LLM}$ ): एक बड़ा, फ्रोजन रीजनिंग इंजन (जैसे 1 ट्रिलियन पैरामीटर्स) जो प्रॉमप्टर द्वारा उत्पन्न निर्देशों को निष्पादित करता है। यह एनवायरनमेंट के रूप में कार्य करता है और आउटपुट प्रदान करता है।

2.2 उद्देश्य (The Objective)

लक्ष्य $\theta$ के लिए ऐसे पैरामीटर्स सीखना है जो डेटासेट $D$ पर अपेक्षित रिवॉर्ड $R(p, x, y)$ को अधिकतम करें, जबकि एक रेफरेंस पॉलिसी $\pi_{ref}$ से विचलन को KL-डाइवर्जेंस पेनल्टी के माध्यम से न्यूनतम करें:
$J(\theta) = \mathbb{E}_{(x,y) \sim D, p \sim \pi_\theta(\cdot|c,H)} [R(p, x, y) - \alpha D_{KL}(\pi_\theta \parallel \pi_{ref})]$
यह फ्रेमवर्क फिक्स्ड प्रॉम्प्ट ऑप्टिमाइजेशन (एक स्थिर प्रॉम्प्ट सीखने) और डायनेमिक प्रॉम्प्ट ऑप्टिमाइजेशन (एक मेटा-पॉलिसी सीखना जो विशिष्ट टास्क कॉन्टेक्स्ट के अनुकूल हो सके) दोनों का समर्थन करता है।

2.3 कॉन्ट्रास्टिव एक्सपीरियंस बफर (Contrastive Experience Buffer)

स्केलर रिवॉर्ड्स (सही/गलत) की विरलता (sparsity) और मल्टी-टर्न सेल्फ-रिफ्लेक्शन की कम्प्यूटेशनल लागत को संबोधित करने के लिए, लेखक एक कॉन्ट्रास्टिव एक्सपीरियंस बफर पेश करते हैं।

तंत्र (Mechanism): बफर $(prompt, critique, reward)$ के ट्रेजेक्टरीज को स्टोर करता है। 'क्रिटिक्स' (Critiques) बाहरी फीडबैक मॉडल द्वारा जेनरेट किए गए ग्राउंड ट्रुथ और वर्कर के आउटपुट के बीच विसंगतियों के सघन (dense) टेक्स्टुअल विवरण हैं।
एमोर्टाइजेशन (Amortization): इन्फरेंस के दौरान मल्टी-टर्न रिफ्लेक्शन करने के बजाय, प्रॉमप्टर को ट्रेनिंग के दौरान बफर से लिए गए एक सैंपल्ड हिस्ट्री $H$ पर कंडीशन किया जाता है। यह पॉलिसी को जटिल, मल्टी-टर्न रीजनिंग और करेक्शन पैटर्न को अपने वेट्स में "डिस्टिल" करने की अनुमति देता है।
अपडेट रणनीति (Update Strategy): प्रॉम्प्ट्स को बफर में तब जोड़ा जाता है जब उनका रिवॉर्ड बैच मैक्सिमम के सापेक्ष एक थ्रेशोल्ड को पूरा करता है ( $r \ge r_{max} - \epsilon$ ), जो एक विविध लेकिन उच्च-प्रदर्शन वाला इतिहास सुनिश्चित करता है।

3. मुख्य योगदान (Key Contributions)

मेमोरी के साथ डुअल-एजेंट डिस्टिलेशन: एक ऐसा फ्रेमवर्क जहाँ स्ट्रैटेजिक स्टीयरिंग को एक कुशल, मेमोरी-ऑगमेंटेड प्रॉमप्टर पॉलिसी में डिस्टिल किया जाता है। यह मॉडल को अनुभव से सीखने में सक्षम बनाता है, जिससे जटिल रीजनिंग ट्रेजेक्टरीज को एक सुव्यवस्थित पॉलिसी में संकुचित करना संभव होता है।
कॉन्ट्रास्टिव एक्सपीरियंस बफर: एक हाई-बैंडविड्थ फीडबैक मैकेनिज्म जो स्केलर रिवॉर्ड्स को सघन टेक्स्टुअल क्रिटिक्स के साथ जोड़ता है। लेखक एक औपचारिक लक्षण वर्णन प्रदान करते हैं जो दिखाता है कि कैसे यह मल्टी-टर्न सेल्फ-रफ्लेक्शन लूप्स को सिंगल-शॉट पॉलिसी वेट्स में एमोर्टाइज करता है, जिससे स्केलर-ओनली बेसलाइन्स की तुलना में 2.4× तेज़ कन्वर्जेंस प्राप्त होता है।
एल्गोरिद्मिक ह्यूरिस्टिक्स की खोज: गुणात्मक विश्लेषण से पता चलता है कि सीखी गई पॉलिसी विशिष्ट रणनीतियों को खोजने के लिए विकसित होती है, जैसे कि "ग्राउंड ट्रुथ एंकरिंग" (Raw input के पक्ष में दिए गए ट्रेसेस पर अविश्वास करना) और टूल कॉल्स के लिए "एटॉमिक सीक्वेंसिंग", न कि केवल अमूर्त मार्गदर्शन पर निर्भर रहना।
अनुभवजन्य सत्यापन (Empirical Validation): इस दृष्टिकोण को लॉजिक-इंटेंसिव रीजनिंग के लिए बिग बेंच एक्स्ट्रा हार्ड (BBEH) सूट और एजेंटिक टूल-यूज़ वर्कफ़्लो के लिए $\tau$ -bench पर सत्यापित किया गया है।

4. प्रयोगात्मक परिणाम (Experimental Results)

प्रयोगों में फ्रोजन वर्कर के रूप में Gemini 2.5 Flash और ट्रेन करने योग्य प्रॉमप्टर के रूप में Gemini 2.5 Flash-lite का उपयोग किया गया है।

4.1 रीजनिंग टास्क (BBEH)

प्रॉमप्टर पॉलिसी, एक्सपीरियंस बफर के साथ, दोनों ज़ीरो-शॉट बेसलाइन्स और स्टेट-ऑफ-द-आर्ट इवोल्यूशनरी बेसलाइन, GEPA से काफी बेहतर रही।

Dyck Languages: 63.33% (बेसलाइन) से सुधरकर 91.25% (प्रॉमप्टर पॉलिसी) हो गया, जो GEPA पर +27.92% की वृद्धि है।
Web of Lies: 52.50% (बेसलाइन) से सुधरकर 90.12% हो गया, जो GEFA पर +37.62% की वृद्धि है।
Disambiguation QA: 57.08% से सुधरकर 65.41% हो गया।

4.2 टूल-यूज़ टास्क ( $\tau$ -Bench)

पॉलिसी ने मल्टी-स्टेप टूल-यूज़ परिदृश्यों (रिटेल और एयरलाइन डोमेन) में पर्याप्त लाभ प्रदर्शित किया।

Retail: 91.30% सफलता दर प्राप्त की (73.91% बेसलाइन के मुकाबले)।
Airline: 83.33% सफलता दर प्राप्त की (65.27% बेसलाइन के मुकाबले)।
RL-ट्यून्ड प्रॉम्प्ट्स ने अमूर्त मार्गदर्शन को ठोस, प्रक्रियात्मक वर्कफ़लो (जैसे, टूल कॉल्स की स्पष्ट बैचिंग, सख्त स्टेट वेरिफिकेशन) से बदलकर GEPA को पछाड़ दिया।

4.3 क्रॉस-मॉडल जनरलाइजेशन (Cross-Model Generalization)

Flash मॉडल पर प्रशिक्षित पॉलिसी ने फॉरवर्ड कम्पैटिबिलिटी दिखाई, जिसने बड़े Gemini Pro मॉडल को Dyck Languages पर 80% सफलता दर तक सफलतापूर्वक स्टीयर किया (इसके ज़ीरो-शॉट बेसलाइन पर +7.5% की वृद्धि)। इसके विपरीत, इसने मॉडल्स के बीच के अंतर को पाटा, जिससे मिड-टियर Flash मॉडल (ऑप्टिमाइज्ड प्रॉम्प्ट के साथ 91%) बड़े Pro मॉडल (ज़ीरो-शॉट प्रॉम्प्टिंग के साथ 72.5%) से बेहतर प्रदर्शन करने में सक्षम हुआ।

5. महत्व और दावे (Significance and Claims)

शोध पत्र का दावा है कि प्रस्तावित RL फ्रेमवर्क, जो अनुभव के इटरेटिव डिस्टिलेशन के साथ है, ब्लैक-बॉक्स LLMs के साथ इंटरैक्ट करने में एक महत्वपूर्ण प्रगति का प्रतिनिधित्व करता है। एक मार्कोव डिसीजन प्रोसेस के रूप में प्रॉम्प्ट जनरेशन को मानकर और एक कॉन्ट्रास्टिव एक्सपीरियंस बफर का उपयोग करके, यह दृष्टिकोण:

फाइन-ट्यूनिंग बॉटलनेक को दूर करता है: यह मॉडल वेट्स तक पहुँच के बिना भी टास्क-विशिष्ट रणनीतियों को अनुकूलित करने में सक्षम बनाता है।
सैंपल एफिशिएंसी में सुधार करता है: रिवॉर्ड सिग्नल में सघन टेक्स्टुअल क्रिटिक्स के एकीकरण से इवोल्यूशनरी बेसलाइन्स या स्केलर-ओनली RL की तुलना में तेज़ कन्वर्जेंस और बेहतर प्रदर्शन मिलता है।
स्ट्रक्चरल इवोल्यूशन को सक्षम करता है: पॉलिसी केवल एक "बेहतर" प्रॉम्प्ट नहीं खोजती; यह विशेष एल्गोरिद्मिक ह्यूरिस्टिक्स (जैसे, इंडिपेंडेंट स्टैक सिमुलेशन, एंकर-एंड-चेन डिडक्शन) की खोज करती है जो वर्कर मॉडल के कार्य करने के तरीके को मौलिक रूप से बदल देते हैं।
लागत-लाभ लाभ प्रदान करता है: यह फ्रेमवर्क सीखे हुए इंस्ट्रक्शनल स्टीयरिंग के माध्यम से छोटे, सस्ते मॉडल्स को बड़े, ज़ीरो-शॉट मॉडल्स के बराबर या उनसे बेहतर प्रदर्शन स्तर प्राप्त करने में सक्षम बनाता है।

लेखक सीमाओं को स्वीकार करते हुए उल्लेख करते हैं कि पॉलिसी को सीमित सेट के कार्यों पर प्रशिक्षित किया गया था, और बिना बफर इनिशियलाइजेशन के पूरी तरह से अनदेखे कार्यों के लिए ज़ीरो-शॉट ट्रांसफर करने की इसकी क्षमता भविष्य के अध्ययन के लिए एक चुनौती बनी हुई है। वे उन्नत बफर प्रबंधन और उपयोगकर्ता अवस्था प्रतिनिधित्व (user state representation) के आधार पर व्यक्तिगत प्रॉम्प्ट जनरेशन में भविष्य के कार्य का भी सुझाव देते हैं।