Agentic Jackal: Live Execution and Semantic Value Grounding for Text-to-JQL
यह शोध पत्र "एजेंटिक जैकल" (Agentic Jackal) का परिचय देता है, जो एक टूल-ऑगमेंटेड एजेंट फ्रेमवर्क और प्राकृतिक भाषा को जीसीएल (JQL) में अनुवादित करने के लिए पहला बड़े पैमाने का, निष्पादन-आधारित बेंचमार्क है, जो लाइव क्वेरी निष्पादन और इंस्टेंस-विशिष्ट श्रेणीगत मानों एवं अस्पष्टताओं को हल करने के लिए सिमेंटिक रिट्रीवल का लाभ उठाकर सिंगल-पास मॉडलों की तुलना में सटीकता में महत्वपूर्ण सुधार करता है।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
कल्पना कीजिए कि आप एक बहुत ही सख्त, पुराने ख्यालों वाले लाइब्रेरियन (मान लीजिए उनका नाम जिरा (Jira) है) से एक विशिष्ट पुस्तक मांगना चाह रहे हैं। आपको लाइब्रेरी के गुप्त कोड सिस्टम (जिसे JQL कहा जाता है) के बारे में पता नहीं है, इसलिए आप उनसे साधारण अंग्रेजी (या सामान्य भाषा) में बात करते हैं।
समस्या क्या है? जिरा थोड़े नियम के पक्के हैं। यदि आप कहते हैं, "मुझे वर्जन 6.5 वाली किताब चाहिए," तो वे कह सकते हैं, "हमारे पास '6.5' नाम की कोई किताब नहीं है। हमारे पास '6.5.0', '6.5.1' और '6.5 Beta' है। कौन सी वाली?" यदि आप गलत अनुमान लगाते हैं, तो वे आपको एक खाली डिब्बा थमा देते हैं।
यह शोध पत्र आपको जिरा से बात करने का एक नया तरीका बताता है, जिसमें एक स्मार्ट असिस्टेंट (सहायक) जैकल (Jackal) का उपयोग किया गया है।
समस्या: "वन-शॉट" (एक बार में प्रयास करने वाली) गलती
पहले, यदि आप किसी स्मार्ट एआई (एक लार्ज लैंग्वेज मॉडल) से अपनी अंग्रेजी की रिक्वेस्ट को जिरा के गुप्त कोड में अनुवाद करने के लिए कहते, तो वह इसे एक ही बार के अनुमान में करने की कोशिश करता।
इसे एक बहुविकल्पीय परीक्षा (multiple-choice test) की तरह समझें जहाँ आपको अपने उत्तरों की जांच करने की अनुमति नहीं है।
- एआई अनुमान लगाता है: "शायद वर्जन '6.5' है?"
- परिणाम: एआई कोड लिखता है, उसे जिरा को भेजता है, और जिरा कुछ भी वापस नहीं देता क्योंकि वह सटीक वर्जन मौजूद ही नहीं है।
- विफलता: एआई को यह तब तक पता नहीं चला कि वह गलत था जब तक कि बहुत देर नहीं हो गई। वह यह देखने के लिए "अलमारियों की जांच" नहीं कर सका कि वास्तव में वहां क्या मौजूद है।
समाधान: एजेंटिक जैकल (स्मार्ट लाइब्रेरियन का सहायक)
लेखकों ने एजेंटिक जैकल (Agentic Jackal) बनाया है, जो एक सुपर-स्मार्ट सहायक की तरह काम करता है जो केवल अनुमान नहीं लगाता; वह वास्तविक समय में लाइब्रेरी की अलमारियों की जांच करता है।
यहाँ बताया गया है कि जैकल कैसे काम करता है, एक सरल उपमा (analogy) का उपयोग करके:
1. "लाइव चेक" (जिरा सर्च)
कोड लिखने और उम्मीद करने के बजाय कि सब सही होगा, जैकल एक ड्राफ्ट लिखता है, उसे लाइब्रेरी के माध्यम से चलाता है, और देखता है कि क्या होता है।
- परिदृश्य: आप पूछते हैं "बिल्ड टूल्स (Build Tools) के बारे में टास्क।"
- जैकल की चाल: वह सर्च चलाने की कोशिश करता है। जिरा कहता है, "मुझे कुछ नहीं मिला। हमारे पास 'Build Tools' नामक कोई श्रेणी नहीं है।"
- सुधार: जैकल तुरंत अपनी गलती को समझ जाता है। वह वापस जाता है, सोचता है, "ओह, शायद वे इसे 'Build Tools: Other' कहते हों?" वह फिर से कोशिश करता है। इस बार, यह काम कर जाता है।
- पुराना तरीका: एआई बस "Build Tools" का अनुमान लगाता, विफल हो जाता, और आपको खाली परिणाम दे देता, उसे कभी पता ही नहीं चलता कि इसे सुधारा जा सकता था।
2. "वैल्यू डिटेक्टिव" (JiraAnchor)
कभी-कभी, उपयोगकर्ता कुछ अस्पष्ट कहता है, जैसे "मुझे 6.5 रिलीज चाहिए।" लेकिन लाइब्रेरी में "6.5.0", "6.5.1" और "6.5.0 Beta" मौजूद हैं। अब जैकल को कैसे पता चलेगा कि आपका मतलब किससे है?
यहाँ JiraAnchor आता है। JiraAnchor को एक आवर्धक लेंस (magnifying glass) की तरह समझें जो तुरंत लाइब्रेरी के पूरे कैटलॉग को स्कैन करता है।
- आप कहते हैं: "6.5"।
- JiraAnchor जैकल के कान में फुसफुसाता है: "हे, मैं सिस्टम में '6.5.0 Beta1' और '6.5.0' देख पा रहा हूँ। अकेले '6.5' का अस्तित्व नहीं है।"
- जैकल फिर सबसे संभावित मिलान चुनता है और सही कोड लिखता है।
परिणाम: क्या यह काम आया?
शोधकर्ताओं ने इसका परीक्षण 9 अलग-अलग "स्मार्ट दिमागों" (AI मॉडल्स) पर 1,000 अलग-अलग अनुरोधों के साथ किया।
- "अनुमान लगाने वाले" (पुराना तरीका): वे कठिन, अस्पष्ट अनुरोधों में से लगभग 43% सही कर पाए। वे उन लोगों की तरह थे जो बिना किसी सुराग के तिजोरी का पासवर्ड गेस कर रहे हों।
- "चेक करने वाले" (एजेंटिक जैकल): नए सहायक के साथ, सफलता दर में काफी उछाल आया।
- सबसे कठिन, अस्पष्ट अनुरोधों के लिए, सफलता दर में 9% की वृद्धि हुई।
- विशिष्ट "कंपोनेंट्स" (जैसे किसी प्रोजेक्ट के विशिष्ट भाग) से संबंधित अनुरोधों के लिए, सफलता दर 17% से बढ़कर 66% हो गई। यह एक बहुत बड़ा सुधार है!
कमी: इसमें थोड़ा अधिक समय लगता है
यहाँ एक ट्रेड-ऑफ (समझौता) है।
- पुराना तरीका: तेज़ और सस्ता। जैसे पिज्जा ऑर्डर करना और उम्मीद करना कि टॉपिंग सही होगी। (2 सेकंड लगता है)।
- नया तरीका: धीमा लेकिन सटीक। जैसे पिज्जा शॉप को कॉल करना, पूछना "क्या आपके पास पेपरोनी है?", जवाब का इंतजार करना, और फिर ऑर्डर करना। (30 सेकंड लगता है)।
पेपर स्वीकार करता है कि इस "चेकिंग" प्रक्रिया में अधिक कंप्यूटर पावर और समय लगता है। हालाँकि, महत्वपूर्ण व्यावसायिक कार्यों के लिए जहाँ गलत उत्तर मिलना महंगा पड़ सकता है, वहाँ अतिरिक्त समय लेना सार्थक है।
बड़ी खोज: यह केवल डेटा के बारे में नहीं है
शोधकर्ताओं ने कुछ दिलचस्प पाया। सुपर-स्मार्ट सहायक द्वारा अलमारियों की जांच करने के बावजूद, एआई अभी भी गलतियाँ कर रहा था। लेकिन ये गलतियाँ इसलिए नहीं थीं क्योंकि वह सही "वर्जन 6.5" नहीं ढूंढ सका।
गलतियाँ इसलिए हुईं क्योंकि अंग्रेजी भाषा पेचीदा है।
- यदि आप कहते हैं "बग्स (bugs) ढूंढो," तो क्या इसका मतलब है "बग (Bug) इश्यू टाइप ढूंढो" या "उन इश्यूज को ढूंढो जिनमें विवरण (description) में 'बग' शब्द शामिल है"?
- एआई अभी भी इन मानवीय अस्पष्टताओं के साथ संघर्ष करता है। टूल अलमारियों की जांच तो कर सकता है, लेकिन अगर आपकी रिक्वेस्ट बहुत अस्पष्ट है, तो वह आपका मन नहीं पढ़ सकता।
सारांश
एजेंटिक जैकल (Agentic Jackal) एक स्मार्ट एआई को याददाश्त से अनुमान लगाने देने के बजाय, डेटाबेस के साथ एक लाइव फोन लाइन देने जैसा है।
- पहले: एआई अनुमान लगाता है, विफल होता है, और आपको कुछ नहीं मिलता।
- बाद में: एआई अनुमान लगाता है, डेटाबेस की जांच करता है, अपनी गलती सुधारता है, और आपको सही उत्तर देता है।
यह परफेक्ट नहीं है (यह धीमा है और अभी भी पेचीदा अंग्रेजी से भ्रमित हो जाता है), लेकिन यह "अंधे होकर अनुमान लगाने" के खेल को "स्मार्ट वेरिफिकेशन" के खेल में बदल देता है, जिससे यह वास्तविक व्यावसायिक उपयोग के लिए बहुत अधिक विश्वसनीय बन जाता है।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।