DOCSCHISEL: Adaptive Tool Documentation Optimization Framework for LLM Agents
यह शोध पत्र DocsChisel का परिचय देता है, जो एक अनुकूलन योग्य ढांचा (adaptive framework) है जो एजेंट विफलता ट्रेस (agent failure traces) का विश्लेषण करके सूचना क्षेत्रों को गतिशील रूप से परिष्कृत करने के लिए टूल दस्तावेज़ीकरण को पुनरावृत्ति से अनुकूलित करता है, जिसके परिणामस्वरूप मौजूदा बेसलाइन की तुलना में एलएलएम (LLM) एजेंट कार्य सफलता दरों में महत्वपूर्ण सुधार होता है।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
कल्पना कीजिए कि एक ऐसी दुनिया है जहाँ आपका पसंदीदा सुपर-स्मार्ट रोबोट सहायक एक घर बनाने, एक शानदार भोजन पकाने या किसी रहस्य को सुलझाने की कोशिश कर रहा है। ये काम करने के लिए, रोबोट केवल सोच ही नहीं सकता; उसे औजारों को पकड़ने की भी जरूरत है। उसे एक डिजिटल हथौड़ा, एक वर्चुअल रिंच (wrench), या एक हाई-टेक ओवन की आवश्यकता हो सकती है। लेकिन यहाँ एक पेंच है: रोबोट को यह नहीं पता कि इन औजारों का उपयोग कैसे करना है जब तक कि कोई उसे एक मैनुअल (निर्देश पुस्तिका) न दे दे। आर्टिफिशियल इंटेलिजेंस की दुनिया में, इन "रोबोटों" को लार्ज लैंग्वेज मॉडल (LLM) एजेंट कहा जाता है, और "मैनुअल" टूल डॉक्यूमेंटेशन (औजारों का विवरण) हैं। लंबे समय तक, वैज्ञानिकों ने सोचा कि इन एजेंटों को स्मार्ट बनाने का सबसे अच्छा तरीका उन्हें बेहतर दिमाग देना या उन्हें औजार खोजने में तेज़ बनाना है। उन्होंने मैनुअल्स को स्थिर, अपरिवर्तनीय नियमपुस्तिकाओं के रूप में माना। लेकिन क्या होगा अगर समस्या रोबोट का दिमाग नहीं है, बल्कि यह तथ्य है कि मैनुअल ऐसी भाषा में लिखा गया है जिसे रोबोट पूरी तरह से समझ नहीं पाता, या इसमें वह एक महत्वपूर्ण कदम गायब है जिसकी उसे सफलता के लिए आवश्यकता थी?
यह वह पहेली है जिसे फुदान यूनिवर्सिटी के शोधकर्ताओं की एक टीम ने सुलझाने का निर्णय लिया। उन्होंने एक सरल लेकिन गहरा प्रश्न पूछा: क्या इन टूल मैनुअल्स को लिखने का तरीका वास्तव में मायने रखता है, और क्या एक "एक ही आकार के सभी के लिए उपयुक्त" (one-size-fits-all) मैनुअल हर रोबोट के लिए काम करता है? यह पता लगाने के लिए, उन्होंने केवल अनुमान नहीं लगाया; उन्होंने एक विशाल प्रयोग चलाया। उन्होंने हजारों औजारों को देखा और विभिन्न प्रकार के AI एजेंटों पर उनके मैनुअल्स के विभिन्न संस्करणों का परीक्षण किया। उन्होंने जो खोजा वह आश्चर्यजनक था: कोई एक आदर्श मैनुअल नहीं है। एक मैनुअल जो एक रोबोट को सफल होने में मदद करता है, वह दूसरे को भ्रमित कर सकता है। एक विवरण जो "खाना पकाने" के कार्य में मददगार हो सकता है, वह "कोडिंग" के कार्य में ध्यान भटकाने वाला हो सकता है। इसी कारण से, उन्होंने एक नई प्रणाली बनाई जिसे DOCSCHISEL कहा जाता है। इसे एक सुपर-स्मार्ट संपादक के रूप में समझें जो रोबोट को प्रयास करते और असफल होते हुए देखता है, फिर मैनुअल के भ्रमित करने वाले हिस्सों को तराश कर हटा देता है और गायब हिस्सों को जोड़ देता है, जिससे निर्देश विशेष रूप से उस रोबोट और उस विशिष्ट कार्य के लिए तैयार किए जाते हैं। उनके परिणाम दिखाते हैं कि ऐसा करने से, रोबोट अपने कार्यों को पूरा करने में बहुत-बहुत बेहतर हो गए।
समस्या: "एक ही आकार के सभी के लिए उपयुक्त" मैनुअल फिट नहीं बैठता
कल्पना कीजिए कि आप एक नए दोस्त को एक जटिल वीडियो गेम कंट्रोलर का उपयोग करना सिखा रहे हैं। आप एक गाइड लिख सकते हैं जो कहती है, "कूदने के लिए A दबाएं।" लेकिन यदि आपका दोस्त एक रेसिंग गेम खेल रहा है, तो उसे यह जानने की आवश्यकता हो सकती है कि "तेज करने के लिए A दबाएं।" यदि आप उन्हें दोनों खेलों के लिए एक ही सामान्य गाइड देते हैं, तो वे कार को क्रैश कर देंगे या ढलान से नीचे गिर जाएंगे।
लंबे समय तक, AI एजेंट बनाने वाले शोधकर्ता यह मानकर चलते थे कि टूल डॉक्यूमेंटेशन एक स्थिर शब्दकोश की तरह है। उन्होंने सोचा, "यदि हम शब्दकोश को छोटा या साफ बना दें, तो AI इसे बेहतर ढंग से समझेगा।" कुछ पिछले प्रयासों ने इन मैनुअल्स को छोटे, साफ सारांशों में संकुचित करने की कोशिश की, जबकि अन्य ने उन्हें अधिक मानक बनाने के लिए फिर से लिखने की कोशिश की। लेकिन इस पेपर के पीछे के शोधकर्ताओं ने महसूस किया कि कुछ गायब था: वे मैनुअल्स के साथ ऐसे व्यवहार कर रहे थे जैसे वे पूर्ण हों, जिन्हें बस थोड़े पॉलिश की आवश्यकता हो। उन्हें संदेह था कि मैनुअल्स की सामग्री—जैसे कि जानकारी के विशिष्ट क्षेत्र जैसे "इसका उपयोग कैसे करें," "यदि मैं गलती कर दूँ तो क्या होगा," या "आउटपुट क्या दिखता है"—वास्तव में असली कुंजी थी, और विभिन्न AI एजेंटों को अलग-अलग कुंजियों की आवश्यकता थी।
जासूसी कार्य: मैनुअल्स में क्या है?
अपने सिद्धांत का परीक्षण करने के लिए, टीम ने डिजिटल जासूसों की भूमिका निभाई। उन्होंने 14 अलग-अलग डेटासेट्स से 24,955 उपकरणों का एक विशाल संग्रह एकत्र किया। इन औजारों में ईमेल और कैलेंडर प्रबंधित करने से लेकर डेटा का विश्लेषण करने और यहाँ तक कि सॉफ़्टवेयर बग्स को ठीक करने तक सब कुछ शामिल था। वे देखना चाहते थे कि वास्तव में इन मैनुअल्स में किस प्रकार की जानकारी शामिल है।
उन्होंने विसंगतियों का एक अराजक ढेर पाया। कुछ मैनुअल्स में "उपयोग मार्गदर्शन" (Usage Guidance) नामक अनुभाग था, जबकि अन्य में नहीं था। कुछ ने "इनपुट पैरामीटर नाम" (जो आप टाइप करते हैं) सूचीबद्ध किया, जबकि अन्य ने इसे पूरी तरह से छोड़ दिया। उन्होंने 17 अलग-अलग प्रकार के सूचना क्षेत्रों की पहचान की जो एक मैनुअल में हो सकते हैं। केवल दो क्षेत्र ऐसे थे जो प्रत्येक डेटासेट में मौजूद थे: "टूल का नाम" और "कार्यक्षमता विवरण" (टूल क्या करता है)। बाकी सब कुछ अनिश्चित था।
लेकिन असली आश्चर्य तब आया जब उन्होंने परीक्षण किया कि ये विभिन्न क्षेत्र AI के प्रदर्शन को कैसे प्रभावित करते हैं। उन्होंने औजारों का एक मानक सेट लिया और सूचना क्षेत्रों के साथ "जोड़ें या हटाएं" का खेल शुरू किया। वे एक मैनुअल लेते, "उपयोग मार्गदर्शन" को हटा देते, और देखते कि क्या AI विफल होता है। फिर वे इसे वापस जोड़ते और देखते कि क्या वह सफल होता है।
परिणाम चौंकाने वाले थे। एक ही जानकारी का टुकड़ा एक स्थिति में नायक और दूसरी में खलनायक हो सकता है।
- एक AI मॉडल के लिए, एक विशिष्ट क्षेत्र को हटाने से इसकी विफलता की दर 10% तक बढ़ सकती है।
- एक अलग AI मॉडल के लिए, उसी क्षेत्र को हटाने से वास्तव में इसकी सफलता बढ़ सकती थी क्योंकि अतिरिक्त टेक्स्ट इसे भ्रमित कर रहा था।
- "डेटा विश्लेषण" कार्य में, एक विशिष्ट क्षेत्र अत्यंत महत्वपूर्ण हो सकता है।
- "ईमेल प्रबंधन" कार्य में, वही क्षेत्र बेकार शोर हो सकता है।
शोधकर्ताओं ने पाया कि, औसतन, जानकारी के एक टुकड़े को जोड़ने या हटाने से AI की सफलता दर में 6.34 प्रतिशत अंक का बदलाव आया। इसने साबित कर दिया कि एक निश्चित, अपरिवable मैनुअल एक बुरा विचार है। जो "ReAct" एजेंट (एक रोबोट जो चरण-दर-चरण सोचता है) के लिए काम करता है, वह "Multi-Agent" सिस्टम (काम करने वाले रोबोटों की एक टीम) के लिए काम नहीं कर सकता।
समाधान: DOCSCHISEL, अनुकूलन योग्य संपादक
चूंकि एक निश्चित मैनुअल काम नहीं करता है, इसलिए टीम ने DOCSCHISEL (अनुकूली टूल डॉक्यूमेंटेशन ऑप्टिमाइज़ेशन फ्रेमवर्क) बनाया। आप DOCSCHISEL को एक अथक, अत्यधिक चौकस संपादक के रूप में समझ सकते हैं जो AI एजेंट के काम करने के दौरान उसके बगल में बैठा रहता है।
यह कैसे काम करता है, चरण-दर-चरण यहाँ दिया गया है:
- सतर्क दृष्टि: सबसे पहले, DOCSCHESL AI एजेंट को मूल, बिना संपादित मैनुअल्स का उपयोग करके अपना काम करने की अनुमति देता है। यह सावधानी से देखता है और हर बार जब एजेंट विफल होता है, तो उसे रिकॉर्ड करता है।
- निदान (Diagnosis): जब एजेंट विफल होता है, तो DOCSCHISEL "विफल ट्रेस" (failed trace)—यानी जो गलत हुआ उसके डिजिटल फुटप्रिंट—को देखता है। यह एक AI (एक "डायग्नोसिस" मॉडल) से पूछता है कि वह क्यों विफल हुआ। क्या इसलिए क्योंकि मैनुअल ने यह नहीं बताया कि टूल को एक विशिष्ट इनपुट की आवश्यकता है? क्या इसलिए क्योंकि उदाहरण भ्रमित करने वाला था?
- स्मृति (Memory): यही असली सफलता का मंत्र है। DOCSCHISEL यह याद रखता है कि अतीत में क्या गलत हुआ था। यदि वह देखता है कि "उपयोग मार्गदर्शन की कमी" के कारण "ईमेल" डोमेन में विफलता हुई, तो वह अगले टूल के लिए भी इसे याद रखता है। वह अपनी गलतियों से सीखता है।
- छेनी (The Chisel): निदान और अपनी स्मृति के आधार पर, DOCSCHISEL मैनुअल के विशिष्ट हिस्सों को जोड़ने (Add), हटाने (Remove), या परिष्कृत (Refine) करने का निर्णय लेता है।
- जोड़ें: "रोबोट को पता नहीं था कि उसे पासवर्ड की आवश्यकता है, इसलिए आइए एक 'आवश्यक इनपुट' क्षेत्र जोड़ें।"
- हटाएं: "रोबोट एक लंबे कोड स्निपेट से भ्रमित हो गया, इसलिए आइए इसे हटा दें।"
- परिष्कृत करें: "निर्देश अस्पष्ट था, इसलिए आइए इसे अधिक स्पष्ट बनाएं।"
- परीक्षण: इसके बाद यह नए, संपादित मैनुअल का परीक्षण करता है। यदि एजेंट अक्सर सफल होता है, तो बहुत अच्छा! यदि नया मैनुअल एजेंट को उन कार्यों में विफल करता है जो वह पहले कर सकता था, तो DOCSCHISEL को पीछे हटने का संकेत मिलता है। यह मैनुअल के सर्वोत्तम संस्करण को सुरक्षित रखता है और अगले टूल पर आगे बढ़ जाता है।
परिणाम: एक बड़ी छलांग
टीम ने DOCSCHISEL का दो अन्य शीर्ष-स्तरीय तरीकों (EASYTOOL और DRAFT) और मूल, बिना संपादित मैनुअल्स के विरुद्ध परीक्षण किया। परिणाम आश्चर्यजनक थे।
- मूल मैनुअल्स की तुलना में: DOCSCHISEL ने AI की कार्य सफलता दर में 95.89% का सुधार किया। इसका मतलब है कि रोबोटों ने काम पूरा करने की अपनी क्षमता लगभग दोगुनी कर ली।
- अन्य स्मार्ट तरीकों की तुलना में: औसतन, DOCSCHISEL अगले सबसे अच्छे दृष्टिकोण से 75.15% बेहतर था।
- निरंतरता: यह केवल एक प्रकार के रोबोट या एक प्रकार के कार्य के लिए नहीं था। यह विभिन्न AI मॉडलों (जैसे GPT-4o, GLM-5, और Claude Haiku 4.5) और विभिन्न एजेंट शैलियों (सिंगल रोबोट बनाम रोबोटों की टीम) में प्रभावी रहा।
शोधकर्ताओं ने लागत पर भी नज़र डाली। मैनुअल्स को अनुकूलित करने में समय लगता है—प्रति टूल लगभग 12.65 मिनट। हालांकि, उन्होंने तर्क दिया कि इतने बड़े सुधार के लिए यह एक छोटी कीमत है। नए मैनुल्स पुराने वाले की तुलना में बहुत लंबे नहीं थे, इसलिए उन्होंने AI को बहुत अधिक टेक्स्ट के साथ अभिभूत नहीं किया।
यह क्यों मायने रखता है
यह पेपर AI को सिखाने के हमारे तरीके को बदल देता है। यह दिखाता है कि हम केवल एक रोबोट पर एक सामान्य निर्देश पुस्तिका डालकर यह उम्मीद नहीं कर सकते कि सब ठीक हो जाएगा। "मैनुअल" एक जीवित, सांस लेती चीज़ होनी चाहिए जो रोबोट के दिमाग और उस विशिष्ट कार्य के प्रति अनुकूलित हो रही हो जो वह कर रहा है।
शोधकर्ताओं ने केवल सुझाव नहीं दिया; उन्होंने इसे डेटा के साथ सिद्ध किया। उन्होंने दिखाया कि डॉक्यूमेंटेशन के खराब हिस्सों को सावधानीपूर्वक तराश कर हटाने और सही हिस्सों को जोड़ने से, हम AI एजेंटों को काफी अधिक विश्वसनीय बना सकते हैं। यह बिल्कुल वैसा ही है जैसे यह समझना कि किसी छात्र को पियानो बजाना सिखाने के लिए, आपको केवल उसे शीट म्यूजिक की एक किताब नहीं देनी होती; आपको सबक को उसकी विशिष्ट उंगलियों की ताकत, उसकी संगीत की पसंद और उस विशिष्ट गीत के अनुसार तैयार करना होता जिसे वह सीखने की कोशिश कर रहा है। DOCSCHISEL वह उपकरण है जो AI एजेंटों के लिए बिल्कुल यही करता है।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।