Speculate While You Reason: Teaching Agents to Predict Their Next Tool Call via Joint Agent-Speculator RL
यह शोध पत्र एक सेल्फ-स्पेक्टुलेटिंग एजेंट फ्रेमवर्क पेश करता है जो टास्क-सॉल्विंग और नेक्स्ट-टूल-कॉल प्रेडिक्शन को एक ही मॉडल के भीतर एकीकृत करता है, जो स्पेक्युलेशन सटीकता में उल्लेखनीय सुधार करने और कार्य प्रदर्शन से समझौता किए बिना विलंबता (लेटेंसी) को कम करने के लिए एक संयुक्त सुदृढीकरण शिक्षण (रीइन्फोर्समेंट लर्निंग) विधि का उपयोग करता है।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
कल्पना कीजिए कि आप एक रहस्य सुलझाने की कोशिश कर रहे एक अत्यंत बुद्धिमान जासूस हैं। आपके पास एक शानदार दिमाग है जो सुरागों पर विचार कर सकता है, लेकिन अंतिम उत्तर पाने के लिए, आपको बाहरी दुनिया से कुछ प्रश्न पूछने की आवश्यकता होती है—जैसे किसी किताब की जाँच करने के लिए लाइब्रेरियन को फोन करना या मौसम विज्ञानी से पूर्वानुमान पूछना। समस्या यह है कि हर बार जब आप फोन कॉल करते हैं, तो आपको फोन रखना पड़ता है, दूसरी ओर से व्यक्ति के फोन उठाने का इंतज़ार करना पड़ता है, उनका उत्तर सुनना पड़ता है, और फिर अगले सुराग के बारे में सोचने से पहले फोन रखना पड़ता है। इस "इंतज़ार के समय" के दौरान, आपका शानदार दिमाग बस खाली बैठा रहता है, कुछ भी नहीं कर रहा होता। यह "इंतज़ार का समय" (waiting time) AI एजेंटों के लिए एक बड़ी बाधा है, जो मूल रूप से कंप्यूटर प्रोग्राम हैं जो जटिल समस्याओं को हल करने के लिए टूल्स (औजारों) का उपयोग करते हैं।
इसे ठीक करने के लिए, वैज्ञानिकों ने "स्पेक्यूलेशन" (अनुमान लगाना) नामक एक तरकीब आजमाई है। यह एक साइडकिक (सहायक) रखने जैसा है जो आपके वाक्य पूरा करने से पहले ही अनुमान लगा लेता है कि आप लाइब्रेरियन से क्या पूछने वाले हैं। यदि साइडकिक का अनुमान सही निकलता है, तो लाइब्रेरियन किताब पढ़ना शुरू कर देता है जबकि आप अभी भी सोच ही रहे होते हैं, जिससे आपके पूछने के क्षण में ही उत्तर तैयार रहता है। लेकिन इसमें एक पेंच है: आमतौर पर, साइडकिक एक अलग व्यक्ति होता है (एक छोटा, अलग AI मॉडल) जो आपकी सोचने की शैली को उतना अच्छी तरह नहीं जानता जितना कि आप खुद को जानते हैं। वे अक्सर गलत अनुमान लगाते हैं, या उन्हें अपनी विशेष नोटबुक और फोन की आवश्यकता होती है, जिसमें अतिरिक्त जगह और ऊर्जा लगती है। बड़ा सवाल यह है: क्या जासूस बिना किसी अनाड़ी साइडकिक के, अपने अगले कदम का सटीक अनुमान खुद लगाने में सक्षम हो सकता है?
यह शोध पत्र AI एजेंटों को बिल्कुल यही करने के लिए सिखाने का एक चतुर नया तरीका पेश करता है। शोधकर्ताओं ने पाया कि एक एजेंट के अगले कदम का अनुमान लगाने के लिए सबसे अच्छा व्यक्ति वह एजेंट स्वयं है। एक अलग "अनुमान लगाने वाले मॉडल" को काम पर रखने के बजाय, उन्होंने एक एकल AI को दो मोड के बीच स्विच करने के लिए प्रशिक्षित किया: "सोचने का मोड" (वास्तविक कार्य को हल करना) और "अनुमान लगाने का मोड" (अपने अगले टूल कॉल की भविष्यवाणी करना)। उन्होंने "जॉइंट एजेंट-स्पेक्युलेटर आरएल" (Joint Agent–Speculator RL) नामक एक विशेष प्रशिक्षण पद्धति का उपयोग किया। इसे एक वीडियो गेम की तरह समझें जहाँ पात्र एक ही समय में लेवल खेलने और अगले दुश्मन की चाल का अनुमान लगाने का अभ्यास करता है। AI अपने ही हालिया खेलों से सीखता है ताकि वह बेहतर अनुमान लगा सके, जबकि यह भी सुनिश्चित करता है कि वह वास्तव में गेम जीतने की क्षमता न खो दे।
परिणाम काफी उत्साहजनक हैं। जब उन्होंने कठिन सवालों के जवाब खोजने या एयरलाइन बुकिंग प्रबंधित करने जैसे कार्यों के लिए इस "सेल्फ-गेसिंग" (स्वयं अनुमान लगाने वाले) एजेंट का परीक्षण किया, तो AI अपने अगले कदम की भविष्यवाणी करने में बहुत बेहतर हो गया। Qwen3-4B नामक एक विशिष्ट 4-बिलियन पैरामीटर वाले मॉडल के लिए, सही अगले टूल कॉल का अनुमान लगाने की सटीकता 44.1% से बढ़कर 61.2% हो गई। इसके थोड़े नए संस्करण, Qwen3.5-4B के लिए, यह 48.9% से बढ़कर 66.3% हो गई। महत्वपूर्ण रूप से, जबकि एजेंट अनुमान लगाने में बेहतर हुआ, वह वास्तव में कार्यों को हल करने में कमजोर नहीं हुआ; उसकी सफलता दर स्थिर रही या उसमें थोड़ा सुधार हुआ।
यह शोध पत्र इस विचार को भी खारिज करता है कि एक छोटा, अलग AI मॉडल सबसे अच्छा गेसर (अनुमान लगाने वाला) होता है। उन्होंने "साइडकिक" के रूप में छोटे मॉडलों का परीक्षण किया और पाया कि वे अक्सर गलत होते थे क्योंकि वे मुख्य एजेंट की शैली से मेल नहीं खाते थे। उन्होंने यह भी दिखाया कि एक अलग गेसर का उपयोग करने के लिए अधिक कंप्यूटर मेमोरी की आवश्यकता होती है और मॉडलों के बीच स्विच करने में अधिक समय लगता है, जो समय बचाने के उद्देश्य को ही विफल कर देता है। "विचारक" (thinker) और "अनुमान लगाने वाले" (guesser) को एक ही मस्तिष्क के रूप में रखकर, यह प्रणाली मेमोरी बचाती है और विभिन्न कंप्यूटरों के बीच स्विच करने के लैग (विलंब) से बचती है।
हालाँकि, लेखक इस बात पर ध्यान देने में सावधानी बरतते हैं कि यह विधि "रीड-ओनली" (केवल पढ़ने योग्य) टूल्स के लिए सबसे अच्छा काम करती है, जैसे जानकारी खोजना या डेटा देखना। यदि टूल वास्तविक दुनिया में कुछ बदलता है—जैसे कोई ऑर्डर देना या फ़ाइल हटाना—तो गलत अनुमान लगाना खतरनाक हो सकता है। ऐसे मामलों में, सिस्टम को अतिरिक्त सुरक्षा जाँचों की आवश्यकता होगी। लेकिन उन अधिकांश कार्यों के लिए जहाँ एक AI को केवल जानकारी एकत्र करने की आवश्यकता होती है, यह "सेल्फ-गेसिंग" तकनीक यह सुझाव देती है कि AI के काम करने का एक तेज़, अधिक कुशल तरीका है, जो सोचने के समय के पीछे प्रतीक्षा के समय को छिपा देता है।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।