💬 NLP

CacheRL:Multi-Turn Tool-Calling Agents via Cached Rollouts and Hybrid Reward

CacheRL एक ऐसी प्रणाली है जो हाइब्रिड रीजनिंग ट्रेसेस (hybrid reasoning traces), लाइव निष्पादन लागत को समाप्त करने के लिए एक थ्री-टियर फजी कैश (three-tier fuzzy cache) और शोर वाले वातावरण से मजबूत शिक्षण सुनिश्चित करने के लिए कैश-टियर-अवेयर रिवार्ड्स (cache-tier-aware rewards) का लाभ उठाकर, छोटे एजेंट फाउंडेशन मॉडल्स को 100 गुना कम कंप्यूट के साथ नियर-फ्रंटियर मल्टी-स्टेप टूल-कॉलिंग सटीकता प्राप्त करने के लिए प्रशिक्षित करती है।

मूल लेखक: Md Amirul Islam, Sumiran Thakur, Huancheng Chen, Su Min Park, Jiayun Wang, Gyuhak Kim

प्रकाशित 2026-06-15

📖 5 मिनट में पढ़ें🧠 गहराई से पढ़ें

CC0 1.0

मूल लेखक: Md Amirul Islam, Sumiran Thakur, Huancheng Chen, Su Min Park, Jiayun Wang, Gyuhak Kim

मूल पेपर CC0 1.0 (http://creativecommons.org/publicdomain/zero/1.0/) के तहत सार्वजनिक डोमेन को समर्पित है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

कल्पना कीजिए कि आप एक छोटे, बुद्धिमान सहायक (एक 4-बिलियन-पैरामीटर वाला AI मॉडल) को 1,185 विभिन्न उपकरणों (जैसे मौसम API, कोड निष्पादक और डेटाबेस) के एक विशाल टूलबॉक्स का उपयोग करके जटिल समस्याओं को हल करना सिखाना चाहते हैं। आमतौर पर, आपको एक विशाल, महंगे सुपर-कंप्यूटर मस्तिष्क (जैसे GPT-5) की आवश्यकता होगी, लेकिन रोज़मर्रा के उपयोग के लिए यह बहुत महंगा और धीमा है।

यह शोध पत्र CacheRL पेश करता है, जो एक चतुर प्रणाली है जो इन छोटे मॉडलों को बड़े मॉडलों की तरह कार्य करने के लिए प्रशिक्षित करती है, लेकिन बहुत कम लागत पर। यह कैसे काम करता है, यहाँ सरल अवधारणाओं में दिया गया है:

1. समस्या: "लाइव" प्रशिक्षण का जाल (The "Live" Training Trap)

सामान्यतः, AI को उपकरण का उपयोग करने के लिए प्रशिक्षित करने के लिए, आपको प्रशिक्षण के दौरान उसे वास्तविक दुनिया में उनका उपयोग करने देना होता है।

उपमा (Analogy): कल्पना कीजिए कि आप एक छात्र को खाना बनाना सिखा रहे हैं और हर बार अभ्यास करने के लिए उसे वास्तव में सामग्री खरीदने, खाना पकाने और सफाई करने के लिए कह रहे हैं। इसमें बहुत समय लगेगा, किराने के सामान पर बहुत पैसा खर्च होगा, और यदि उसने कोई गलती की तो बहुत सारा भोजन बर्बाद हो जाएगा।
वास्तविकता: AI के लिए, "लाइव" टूल उपयोग का अर्थ है हजारों API कॉल्स के लिए भुगतान करना, प्रतिक्रिया के लिए सेकंडों तक प्रतीक्षा करना, और त्रुटियों का जोखिम उठाना। इसे अच्छी तरह से सीखने के लिए पर्याप्त बार करना बहुत महंगा है।

2. समाधान: "कैश्ड" किचन (The "Cached" Kitchen - CacheAgentLoop)

शोधकर्ताओं ने CacheAgentLoop नामक एक प्रणाली बनाई है। उसे वास्तविक रसोई में खाना पकाने देने के बजाय, उन्होंने उसे एक "सिम्युलेटेड किचन" दिया है जहाँ सामग्री और परिणाम एक विशाल, स्मार्ट पेंट्री (pantry) में पहले से संग्रहीत हैं।

यह कैसे काम करता है: जब AI कहता है, "मुझे टोक्यो के मौसम की जाँच करने की आवश्यकता है," तो सिस्टम उसे अपनी पेंट्री में खोज लेता है।
- सटीक मिलान (Exact Match): यदि पेंट्री के पास सटीक उत्तर है, तो वह इसे तुरंत सौंप देता है।
- फजी मैच (Fuzzy Match): यदि पेंट्री के पास एक समान उत्तर है (जैसे, "टोक्यो, जापान" बनाम "टोक्यो, 2024"), तो वह निकटतम वाला दे देता है।
- सर्वश्रेष्ठ प्रयास (Best Effort): यदि यह पूरी तरह से नया है, तो यह एक जेनेरिक प्लेसहोल्डर देता है।
जादू: यह प्रशिक्षण की लागत को 100 गुना कम कर देता है। यह खाना पकाने का अभ्यास करने के लिए वास्तविक भोजन खरीदने के बजाय, सामग्री की फोटो और एक पहले से लिखे गए रेसिपी कार्ड के साथ अभ्यास करने जैसा है।

3. "क्यों" बनाम "क्या" (The "Why" vs. The "What" - Hybrid Thinking Trajectories)

AI को केवल यह दिखाना कि क्या टूल उपयोग करना है, पर्याप्त नहीं है; उसे यह भी समझने की आवश्यकता है कि क्यों।

उपमा: कल्पना कीजिए कि एक मास्टर शेफ (GPT-5) एक कुकबुक लिख रहा है। एक खराब कुकबुक केवल चरण सूचीबद्ध करती है: "नमक डालें। काली मिर्च डालें।" एक अच्छी कुकबुक तर्क को समझाती है: "नमी को बाहर निकालने के लिए नमक डालें, फिर स्वाद बढ़ाने के लिए काली मिर्च डालें।"
नवाचार: शोधकर्ताओं ने एक विशाल AI (GPT-5) का उपयोग करके मौजूदा हजारों टूल-उपयोग उदाहरणों को फिर से लिखा। उन्होंने हर टूल के चुनाव के पीछे के तर्क को समझाने के लिए "थिंकिंग ब्लॉक्स" (एक शेफ के आंतरिक मोनोलॉग की तरह) जोड़े। फिर उन्होंने इस "सोचने वाले" उदाहरणों का उपयोग करके छोटे मॉडल को प्रशिक्षित किया।
परिणाम: छोटे मॉडल ने न केवल टूल कॉल करने के यांत्रिकी को सीखा, बल्कि उसके पीछे की रणनीति को भी समझा।

4. "निष्पक्ष न्यायाधीश" (The "Fair Judge" - Cache-Tier-Aware Reward)

यहाँ पेचीदा हिस्सा है: चूंकि AI एक "सिम्युलेटेड पेंट्री" (कैशे) के साथ अभ्यास कर रहा है, इसलिए कभी-कभी उसे मिलने वाला डेटा थोड़ा गलत या जेनेरिक हो सकता है।

समस्या: यदि AI को पेंट्री से एक जेनेरिक उत्तर मिलता है और वह कार्य में विफल रहता है, तो एक मानक शिक्षक AI को "गलत" होने के लिए दंडित कर सकता है। लेकिन AI ने गलती नहीं की; पेंट्री अपूर्ण थी!
समाधान: शोधकर्ताओं ने एक "फेयर जज" बनाया।
- यदि पेंट्री ने सटीक (perfect) उत्तर दिया, तो जज अंतिम परिणाम के आधार पर AI का कड़ाई से मूल्यांकन करता है।
- यदि पेंट्री ने रफ (rough) या जेनेरिक उत्तर दिया, तो जज अंतिम परिणाम को अनदेखा करता है और केवल इस बात पर ग्रेड देता है कि क्या AI ने सही टूल चुना और सही सोचा।
क्यों महत्वपूर्ण है: यह AI को सिमुलेशन की खामियों से भ्रमित या हतोत्साहित होने से रोकता है।

5. परिणाम: छोटा लेकिन शक्तिशाली (The Results: Small but Mighty)

इस प्रणाली के साथ प्रशिक्षण के बाद, छोटे 4-बिलियन-पैरामीटर मॉडल ने मल्टी-स्टेप टूल कार्यों पर 92% सटीकता प्राप्त की।

तुलना: यह विशाल GPT-5 (जिसने 94% हासिल किया) के लगभग बराबर है, लेकिन छोटा मॉडल इसे प्रशिक्षित करने और चलाने में 100 गुना सस्ता है।
आश्चर्य: शोधकर्ताओं ने पाया कि डेटा की गुणवत्ता ("सोचने वाले" उदाहरण और निष्पक्ष निर्णय) प्रशिक्षण एल्गोरिदम के जटिल गणित से कहीं अधिक महत्वपूर्ण थी। यदि आप "सोचने वाले" उदाहरणों को हटा देते हैं, तो प्रदर्शन 41% गिर जाता है। यदि आप "फेयर जज" को हटा देते हैं, तो यह 17% गिर जाता है।

सारांश

CacheRL एक छोटे AI सहायक के लिए एक मास्टरक्लास की तरह है। यह उन्हें निम्नलिखित तरीकों से सिखाता है:

उन्हें एक सिम्युलेटेड अभ्यास वातावरण (कैशे) देकर ताकि उन्हें वास्तविक दुनिया की लागतों का भुगतान न करना पड़े।
उन्हें चरण-दर-चरण तर्क मार्गदर्शिका (हाइब्रिड ट्रेजेक्टरीज) प्रदान करके ताकि वे केवल चरणों को ही नहीं, बल्कि तर्क को भी समझ सकें।
एक स्मार्ट ग्रेडिंग सिस्टम (फेयर जज) का उपयोग करके जो जानता है कि कब अभ्यास डेटा अपूर्ण है और उसे इसके लिए दंडित नहीं करता है।

परिणामस्वरूप, एक छोटा, कुशल AI मिलता है जो जटिल, बहु-चरणीय कार्यों को दिग्गजों के लगभग समान रूप से संभाल सकता है, जिससे शक्तिशाली AI एजेंट वास्तविक दुनिया के उपयोग के लिए सुलभ हो जाते हैं।

` tags) या "यूजर-फेसिंग कंटेंट" (जो नए कॉज़ल रीजनिंग को ट्रिगर करता है)।

कॉज़ल रीजनिंग जनरेशन (Causal Reasoning Generation): यूजर-फेसिंग कंटेंट के लिए, GPT-5 यह विवरण देने वाले स्पष्टीकरण उत्पन्न करता है कि एक विशिष्ट टूल क्यों चुना गया, पिछले परिणाम वर्तमान क्रिया को कैसे सूचित करते हैं, और अपेक्षित परिणाम क्या हैं।
प्रामाणिकता का संरक्षण (Preservation of Authenticity): सभी मूल टूल कॉल्स, आर्गुमेंट्स और API रिस्पॉन्स (त्रुटियों सहित) को संरक्षित किया जाता है ताकि मॉडल 1,185 अद्वितीय टूल्स में वास्तविक इनवोकेशन पैटर्न सीख सके।

2. CacheAgentLoop (स्केलेबल RL ट्रेनिंग)

लाइव निष्पादन लागतों को समाप्त करने के लिए, लेखक रोलआउट लूप में एकीकृत एक तीन-स्तरीय फजी कैश सिस्टम पेश करते हैं:

तीन-स्तरीय कैश (Three-Tier Cache):
- एक्ज़ैक्ट (Exact): परफेक्ट मैच के लिए हैश-आधारित लुकअप।
- फजी (Fuzzy): समान टूल कॉल्स के लिए जैकार्ड समानता (Jaccard similarity)।
- बेस्ट-एफर्ट (Best-Effort): यदि आर्गुमेंट्स मेल नहीं खाते हैं तो टूल के लिए एक जेनेरिक परिणाम लौटाता है।
टोकन-लेवल मास्किंग (Token-Level Masking): सिस्टम एक बाइनरी मास्क बनाए रखता है जहाँ मॉडल-जेनरेटेड टोकन (रीजनिंग, टूल कॉल्स) को 1 के रूप में चिह्नित किया जाता है और इंजेक्ट किए गए कैश परिणामों को 0 के रूप में चिह्नित किया जाता है। यह सुनिश्चित करता है कि ग्रेडिएंट्स केवल मॉडल के निर्णयों के माध्यम से प्रवाहित हों, जिससे मॉडल को उन एनवायरनमेंट रिस्पॉन्स पर प्रशिक्षित होने से रोका जा सके जिन्हें उसने स्वयं जेनरेट नहीं किया है।
स्ट्रक्चर प्रिजर्वेशन (Structure Preservation): लूप इंजेक्ट किए गए परिणामों में थिंकिंग ब्लॉक्स को प्री-क्लोज करता है ताकि मॉडल को अंतहीन रीजनिंग लूप में जाने के बजाय उत्तर देने की ओर निर्देशित किया जा सके।

3. कैश-टियर-अवेयर रिवॉर्ड डिज़ाइन (Cache-Tier-Aware Reward Design)

कैश सीमाओं के लिए मॉडल को दंडित किए जाने वाली एट्रिब्यूशन समस्या को हल करने के लिए, लेखक एक डायनेमिक वेटिंग मैकेनिज्म प्रस्तावित करते हैं:

हाइब्रिड रिवॉर्ड (Hybrid Reward): $R = \alpha(\tau) \cdot R_{answer} + (1 - \alpha(\tau)) \cdot R_{process}$ ।
डायनेमिक वेटिंग ( $\alpha$ ):
- एक्ज़ैक्ट मैच: उत्तर की गुणवत्ता (LLM-as-judge) पर उच्च भार।
- फजी/बेस्ट-एफर्ट मैच: प्रक्रिया मेट्रिक्स (वैध टूल नाम, थिंकिंग ब्लॉक्स, विविधता के लिए नियत चेक) की ओर भार को स्थानांतरित करना।
यह सुनिश्चित करता है कि मॉडल को अपूर्ण कैश डेटा से प्राप्त गलत उत्तरों के लिए दंडित न किया जाए, जबकि उच्च गुणवत्ता वाले डेटा के मामले में उसे मजबूत लर्निंग सिग्नल मिलता रहे।

4. इटरेटिव ट्रेनिंग पाइपलाइन (Iterative Training Pipeline)

सिस्टम सुपरवाइज्ड फाइन-ट्यूनिंग (SFT), रिजेक्शन सैंपलिंग (उच्च-गुणवत्ता वाले ट्राजेक्टरीज को फ़िल्टर करना), और ग्रुप रिलेटिव पॉलिसी ऑप्टिमाइजेशन (GRPO) के चक्र का उपयोग करता है। RL से प्राप्त उच्च-स्कोरिंग ट्राजेक्टरीज को वापस SFT में फीड किया जाता है, जिससे एक वर्चुअस साइकिल बनता है जो मॉडल की क्षमताओं को परिष्कृत करता है।

मुख्य योगदान (Key Contributions)

छोटे एजेंट्स के लिए पहला कैश्ड RL सिस्टम: बिना लाइव निष्पादन के मल्टी-टर्न टूल कॉलिंग के लिए 4B-पैरामीटर मॉडल्स की कुशल RL ट्रेनिंग को सक्षम बनाता है, जो लाइव निष्पादन की तुलना में लागत को 100× कम कर देता है।
हाइब्रिड थिंकिंग ट्राजेक्टरी पाइपलाइन: ट्राजेक्टरीज को GPT-5 रीजनिंग के साथ बढ़ाने का एक स्केलेबल तरीका, जो छोटे मॉडल्स को 1,185 टूल्स के उपयोग के पीछे के कॉज़ल लॉजिक को सिखाता है।
कैश-टियर-अवेयर रिवॉर्ड: एक नवीन डायनेमिक वेटिंग स्कीम जो कैश फिडेलिटी के आधार पर रिवॉर्ड एट्रिब्यूशन को एडजस्ट करती है, जो अपूर्ण वातावरण में नॉइज़ की समस्या को हल करती है।
छोटे पैमाने पर प्रदर्शन: यह प्रदर्शित करता है कि एक 4B मॉडल मल्टी-स्टेप टूल कॉलिंग पर 92% प्रोसेस एक्यूरेसी प्राप्त कर सकता है, जो GPT-5 के 94% के करीब है, जबकि इसके लिए 100× कम कंप्यूट की आवश्यकता होती है।

परिणाम (Results)

प्रदर्शन (Performance): CacheRL, Qwen3-4B-Thinking के वैलिडेशन रिवॉर्ड को 0.43 (SFT बेसलाइन) से बढ़ाकर 0.78 कर देता है। पब्लिक बेंचमार्क्स पर, मॉडल 92% प्रोसेस एक्यूरेसी प्राप्त करता है, जो फ्रंटियर मॉडल्स के प्रतिस्पर्धी है।
एब्लेशन स्टडीज (Ablation Studies):
- डेटा क्वालिटी: हाई-क्वालिटी नॉलेज ट्रांसफर (GPT-5 रीजनिंग) को हटाने से 41.2% प्रदर्शन में गिरावट आती है।
- रिवॉर्ड डिज़ाइन: कैश-टियर-अवेयर वेटिंग को हटाने से 17.2% की गिरावट आती है, जो कैश सीमाओं के लिए मॉडल को दंडित न करने के महत्व को रेखांकित करती है।
- RL इम्पैक्ट: जबकि GRPO ट्रेनिंग स्थिरता प्रदान करती है, एक मजबूत SFT बेसलाइन से परे प्रदर्शन में सुधार न्यूनतम (केवल ~3% सुधार) है। यह सुझाव देता है कि व्यावहारिक छोटे एजेंट मॉडल बनाने के लिए जटिल ऑप्टिमाइजेशन एल्गोरिदम की तुलना में डेटा क्वालिटी और रिवॉर्ड डिज़ाइन अधिक महत्वपूर्ण हैं।
- स्केल: डेटासेट को 1.5K से बढ़ाकर 44K सैंपल करने से जनरलाइजेशन में सुधार हुआ, ओवरफिटिंग को रोका और 200+ स्टेप्स में ट्रेनिंग को स्थिर किया।

महत्व और दावे (Significance and Claims)

पेपर का दावा है कि CacheRL तैनात करने योग्य एजेंट फाउंडेशन मॉडल्स बनाने के लिए एक व्यावहारिक ब्लूप्रिंट प्रदान करता है। इसका प्राथमिक महत्व यह प्रदर्शित करने में है कि छोटे मॉडल्स के लिए परिष्कृत RL एल्गोरिदम की तुलना में सिस्टमैटिक नॉलेज ट्रांसफर और इंटेलिजेंट ट्रेनिंग डिज़ाइन अधिक प्रभावी है।

मुख्य अंतर्दृष्टि शामिल हैं:

डेटा क्वालिटी हावी है: प्रशिक्षण डेटा की गुणवत्ता (विशेष रूप से रीजनिंग ट्रेसेस) प्रदर्शन का प्राथमिक चालक है, जो RL ऑप्टिमाइजेशन के लाभों से कहीं अधिक है।
स्थिरता के लिए RL, लाभ के लिए नहीं: कैश्ड रोलआउट्स के संदर्भ में, RL मुख्य रूप से एक मजबूत SFT बेसलाइन के अलावा नई क्षमताओं को अनलॉक करने के बजाय ट्रेनिंग को स्थिर करता है।
छोटे एजेंट्स की व्यवहार्यता: यदि सही संयोजन (नॉलेज डिस्टिलेशन और कैश-अवेयर RL) के साथ प्रशिक्षित किया जाए, तो छोटे मॉडल्स (4B) मजबूत, जनरल-पर्पस एजेंट फाउंडेशन मॉडल्स के रूप में कार्य कर सकते हैं, जो इस धारणा को चुनौती देते हैं कि जटिल टूल उपयोग के लिए विशाल स्केल ही एकमात्र रास्ता है।

लेखक निष्कर्ष निकालते हैं कि हालांकि कैश-आधारित RL की कुछ सीमाएं हैं (जैसे स्टेलेनेस, टीचर मॉडल की गुणवत्ता पर निर्भरता), यह सफलतापूर्वक नॉलेज ट्रांसफर और व्यावहारिक परिनियोजन (डिप्लॉयमेंट) के बीच के अंतर को पाटता है, जो सर्वव्यापी AI एजेंट्स के लिए एक लागत प्रभावी मार्ग प्रदान करता है।