Diagnosing Tool-Selection Reasoning in LLM Agents with Canary Tools
यह शोध पत्र "कैनरी टूल्स" (canary tools) को पेश करता है, जो LLM एजेंटों के टूल चयन में विशिष्ट तर्क संबंधी कमजोरियों को उजागर करने के लिए छह प्रकार के इंजीनियर प्रोब टूल्स के वर्गीकरण का उपयोग करने वाला एक नैदानिक ढांचा है, जो यह पाता है कि इन प्रोब्स के प्रति संवेदनशीलता मॉडल की क्षमता के अनुसार काफी भिन्न होती है और कार्य की विफलता का पूर्वानुमान लगाती है।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
कल्पना कीजिए कि आप एक रोबोट बटलर (नौकर) को घर के कामों में आपकी मदद करने के लिए सिखा रहे हैं। आप उसे अलग-अलग गैजेट्स से भरा एक विशाल टूलबॉक्स देते हैं: एक हथौड़ा, एक पेचकस, एक रिंच और एक शानदार नया "सुपर-पेचकस"। आपका लक्ष्य सरल है: रोबोट को एक ढीले पेंच को ठीक करने के लिए कहना, और उसे सही उपकरण चुन लेना चाहिए। लेकिन कभी-कभी, रोबोट भ्रमित हो जाता है। वह हथौड़ा उठा सकता है क्योंकि वह चमकदार दिखता है, या वह "सुपर-पेचकस" चुन सकता है क्योंकि उसका लेबल अधिक प्रभावशाली लगता है, भले ही वह काम के लिए गलत उपकरण हो। यह AI एजेंट्स (AI Agents) की दुनिया है: स्मार्ट कंप्यूटर प्रोग्राम जो सही और उपयोगी डिजिटल टूल्स चुनकर और उनका उपयोग करके समस्याओं को हल करने की कोशिश करते हैं।
लंबे समय तक, जब शोधकर्ता इन रोबोटों का परीक्षण करते थे, तो वे केवल एक ही सवाल पूछते थे: "क्या काम पूरा हुआ?" यदि रोबोट ने गलत उपकरण चुना और विफल रहा, तो स्कोर केवल एक बड़ा लाल "X" होता था। यह एक शिक्षक की तरह था जो गणित के टेस्ट को ग्रेड करते समय केवल अंतिम उत्तर को गलत बताता है, बिना यह बताए कि क्यों छात्र गलती कर रहा है। क्या यह पढ़ने में गलती थी? क्या उसने संख्याओं को गलत समझा? या उसने बस अनुमान लगाया? बिना यह जाने कि "क्यों", रोबकोट को ठीक करना कठिन है। यह पेपर उस कमी को दूर करता है, यह न केवल पूछकर कि AI विफल क्यों हुआ, बल्कि यह भी कि वह कैसे विफल हुआ, जिससे एक साधारण गलती को रोबोट की सोच की त्रुटियों के विस्तृत मानचित्र में बदल दिया गया।
कोयले की खान में कैनरी (The Canary in the Coal Mine)
शोधकर्ताओं ने "कैनरी टूल्स" (Canary Tools) नामक एक चतुर विचार निकाला। पुराने दिनों में, खनिक कोयले की खानों में कैनरी पक्षियों को ले जाते थे क्योंकि यदि हवा जहरीली होती, तो पक्षी सबसे पहले बेहोश हो जाता, जो खनिकों को भागने की चेतावनी देता था। इस पेपर में, "कैनरी" रोबोट के टूलबॉक्स के अंदर लगाया गया एक नकली उपकरण है। लेकिन एक वास्तविक उपकरण के विपरीत, इसे एक जाल के रूप में डिज़ाइन किया गया है। यह असली दिखता है और उपयोगी लगता है, लेकिन इसमें एक विशिष्ट दोष है जिसे केवल एक स्मार्ट रोबोट ही पहचान सकता है।
टीम ने छह अलग-अलग प्रकार के जाल बनाए, जिनमें से प्रत्येक एक विशिष्ट प्रकार की दिमागी गड़बड़ी को पकड़ने के लिए डिज़ाइन किया गया है:
- सिमेंटिक डेकॉय (Semantic Decoys): एक ऐसा उपकरण जिसका नाम सही लगता है लेकिन विवरण कहता है कि यह आपको पुराना, बासी डेटा देता है।
- पैरामीटर ट्रैप (Parameter Traps): एक ऐसा उपकरण जो एक गुप्त कुंजी (जैसे पासवर्ड) मांगता है जो रोबोट के पास नहीं है।
- कैपेबिलिटी मिराज (Capability Mirages): एक ऐसा उपकरण जो "रिसर्च-ग्रेड" होने या "सबसे कठिन मामलों" को हल करने का दावा करता है, जो रोबोट को इसे चुनने के लिए लुभाता है, भले ही इसकी आवश्यकता न हो।
- प्रिरेक्विज़िट ब्लाइंडनेस (Prerequisite Blindness): एक ऐसा उपकरण जिसे लॉगिन की आवश्यकता होती है लेकिन इसके विवरण में इसका उल्लेख नहीं किया गया है।
- टेम्पोरल डेकॉय (Temporal Decoys): एक ऐसा उपकरण जिस पर पुरानी तारीख अंकित है।
- ग्रैनुलैरिटी ट्रैप (Granularity Traps): एक ऐसा उपकरण जो बहुत विशिष्ट है (जैसे केवल एक शहर के लिए मौसम की रिपोर्ट) जबकि कार्य को एक सामान्य उत्तर की आवश्यकता है।
जब एक रोबोट इन कैनरी टूल्स में से एक को चुनता है, तो यह केवल एक यादृच्छिक (random) त्रुटि नहीं होती। यह एक संकेत है। यदि वह "कैपेबिलिटी मिराज" चुनता है, तो हमें पता चलता है कि रोबोट बड़े शब्दों से आसानी से प्रभावित हो जाता है। यदि वह "पैरामीटर ट्रैप" चुनता है, तो हमें पता चलता है कि उसने यह जांच नहीं की कि वह वास्तव में उस उपकरण का उपयोग कर सकता है या नहीं। यह एक साधारण "विफलता" को एक विस्तृत निदान में बदल देता है, जैसे कि एक डॉक्टर यह पहचानने के बजाय कि "मरीज बीमार है", ठीक यह बताता है कि कौन सी मांसपेशी कमजोर है।
द ग्रेट रोबट रेस (The Great Robot Race)
इसका परीक्षण करने के लिए, शोधकर्ताओं ने एक बड़ी दौड़ आयोजित की। उन्होंने आठ अलग-अलग AI मॉडल लिए—कुछ बड़ी टेक कंपनियों के सुपर-स्मार्ट "फ्रंटियर" मॉडल हैं, कुछ "मिड-टियर" कार्यबल हैं, और दो छोटे, ओपन-सोर्स मॉडल हैं। उन्होंने उन्हें 120 अलग-अलग कार्य दिए, जो आसान (जैसे मील को किलोमीटर में बदलना) से लेकर कठिन तक थे।
उन्होंने कुल 8,640 बार यह दौड़ चलाई, जिसमें इन कैनरी ट्रैप्स को विभिन्न तरीकों से मिलाया गया। उन्होंने एक विशेष, स्वतंत्र "जज" (एक अन्य AI जो दौड़ का हिस्सा नहीं था) का भी उपयोग किया ताकि परिणामों को ग्रेड किया जा सके, जिससे यह सुनिश्चित हो सके कि कोई पक्षपात या त्रुटियां पेश नहीं कर रहा है।
उन्हें क्या पता चला (What They Found)
परिणाम आश्चर्यजनक थे और हमें बहुत कुछ सिखाया कि ये रोबोट कैसे सोचते हैं:
1. बड़ा होना हमेशा सुरक्षित नहीं होता।
आप सोच सकते हैं कि सबसे महंगा, शक्तिशाली AI कभी भी जाल में नहीं फसेगा। लेकिन अध्ययन में पाया गया कि क्षमता का स्तर (capability tier) सुरक्षा की भविष्यवाणी नहीं करता है। वास्तव में, एक "मिड-टियर" मॉडल (GPT-4.1) जाल में फंसने के लिए सबसे अधिक प्रवृत्त था, यहाँ तक कि कुछ "फ्रंटियर" मॉडलों की तुलना में भी। वहीं, एक ही कंपनी के भीतर, एक सस्ता मॉडल कभी-कभी अपने महंगे भाई की तुलना में अधिक सुरक्षित था। यह स्पष्ट है कि सामान्य कार्यों में "मजबूत" होना अपने आप में यह गारंटी नहीं देता कि आप उपकरण चुनने में सावधान होंगे।
2. "बड़े शब्द" वाला जाल सबसे कठिन है।
छह प्रकार के ट्रैप्स में से, "कैपेबिलिटी मिराज" एकमात्र ऐसा था जिसने लगातार स्मार्ट रोबोटों को भी चकमा दिया। ये वे उपकरण हैं जो अपनी शक्ति का बखान करते हैं। यहाँ तक कि शीर्ष-स्तरीय मॉडल भी इन्हें चुनते थे, यह सोचकर, "ओह, यह वाला बेहतर लग रहा है, इसलिए यह सही होना चाहिए!" अन्य पांच जाल मुख्य रूप से केवल छोटे, कम सक्षम मॉडलों को ही पकड़ पाते थे। यह सुझाव देता है कि जबकि छोटे रोबोट कई तरह की गलतियाँ करते हैं, सबसे स्मार्ट रोबोटों की एक विशिष्ट कमजोरी है: वे उन उपकरणों से बहुत उत्साहित हो जाते हैं जो प्रभावशाली लगते हैं।
3. जाल सोचने की क्षमता को मापते हैं, केवल पहचानने को नहीं।
शोधकर्ताओं को डर था कि स्मार्ट रोबोट केवल स्पष्ट "दिखावटी" वाक्यांशों (जैसे "रिसर्च-ग्रेड" शब्द) को पहचान रहे होंगे। इसका परीक्षण करने के लिए, उन्होंने भाषा को नरम किया, जिससे जाल अधिक सूक्ष्म हो गए। परिणाम? स्मार्ट रोबोट फिर भी उनमें नहीं फंसे। यह साबित करता है कि उनकी कम त्रुटि दर इसलिए नहीं थी क्योंकि वे कीवर्ड पहचानने में अच्छे थे, बल्कि इसलिए थी क्योंकि वे वास्तव में उपकरणों के बारे में तर्क (reasoning) कर रहे थे।
4. गलतियाँ विफलता की भविष्यवाणी करती हैं।
जालों में फंसने और वास्तविक कार्य में विफल होने के बीच एक स्पष्ट संबंध था। यदि एक रोबोट ने कैनरी टूल चुना, तो उसके पूरे काम में विफल होने की संभावना बहुत अधिक थी। जो रोबोट जाल से बचने में सबसे अच्छे थे, वे वही थे जिन्होंने सबसे अधिक कार्य सफलतापूर्वक पूरे किए।
निष्कर्ष (The Takeaway)
मुख्य सबक यह है कि हम यह मानकर नहीं चल सकते कि एक शक्तिशाली AI उपकरणों के साथ उपयोग करने के लिए सुरक्षित है। केवल इसलिए कि कोई मॉडल "फ्रंटियर" या "स्मार्ट" है, इसका मतलब यह नहीं है कि वह गलत उपकरण नहीं चुनेगा। शोधकर्ता सुझाव देते हैं कि इससे पहले कि हम इन रोबोटों को वास्तविक दुनिया में छोड़ दें, हमें उनका परीक्षण इन "कैनरी टूल्स" के साथ करना चाहिए। यह देखने का एक सस्ता और आसान तरीका है कि उनकी तर्क प्रक्रिया कहाँ कमजोर है।
यदि कोई रोबोट बार-बार "कैपेबिलिटी मिराज" में फंसता है, तो हमें पता चलता है कि हमें उसे बखान को अनदेखा करना और वास्तविक काम पर ध्यान देना सिखाने की आवश्यकता है। यदि वह बार-बार "पैरामीटर ट्रैप" में फंसता है, तो हमें पता चलता है कि उसे अपनी आवश्यकताओं की अधिक सावधानी से जांच करने की आवश्यकता है। इन नैदानिक उपकरणों (diagnostic tools) का उपयोग करके, हम रोबोट के तर्क में आने वाली विशिष्ट दरारों को ठीक कर सकते हैं, जिससे वे हमारे लिए अधिक सुरक्षित और विश्वसनीय सहायक बन सकें।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।