तकनीकी सारांश: एजेंटिक टूल चयन का मात्रात्मक प्रमाणन (Quantitative Certification of Agentic Tool Selection)

समस्या विवरण (Problem Statement)

लार्ज लैंग्वेज मॉडल (LLM) एजेंट बाहरी उपकरणों (tools) के साथ बातचीत करने के लिए तेजी से बाहरी टूल्स पर निर्भर हो रहे हैं, जो आमतौर पर एक दो-चरणीय पाइपलाइन के माध्यम से होता है: एक रिट्रीवर (retriever) बड़े टूल पूल में से शीर्ष-$N$ स्लेट को फ़िल्टर करता है, और एक सेलेक्टर (selector) (LLM) विशिष्ट टूल को चुनता है जिसे कॉल किया जाना है। जबकि मौजूदा मूल्यांकन क्यूरेटेड, हानिरहित बेंचमार्क पर प्रदर्शन को मापते हैं, वे ओपन रजिस्ट्री (जैसे, Model Context Protocol) में निहित तैनाती संबंधी जोखिमों को पकड़ने में विफल रहते हैं। इन वातावरणों में, टूल पूल तीसरे पक्ष द्वारा आकार दिया जाता है जो भ्रामक, लगभग समान (near-duplicate), या दुर्भावनापूर्ण टूल्स प्रकाशित कर सकते हैं।

वर्तमान मूल्यांकन विधियाँ निश्चित डेटासेट पर गुणात्मक विश्लेषण या सटीकता के पॉइंट एस्टीमेट (point estimates) पर निर्भर करती हैं। ये दृष्टिकोण उन प्रणालियों के बीच अंतर नहीं कर सकते जो शायद ही कभी विफल होती हैं बनाम वे जो अक्सर विफल होती हैं, न ही विभिन्न मॉडलों, रिट्रीवर्स या रजिस्ट्री नीतियों में मजबूती (robustness) की तुलना करने का आधार प्रदान कर सकते हैं। मुख्य चुनौती यह स्थापित करना है कि एक मात्रात्मक प्रमाण (quantitative certificate) क्या है: एक उच्च-विश्वास सीमा (high-confidence bound) कि एक टूल-चयन पाइपलाइन एक घोषित सुरक्षा विनिर्देश (safety specification) को संतुष्ट करती है, जब टूल्स को वास्तविक रूप से तैनात वितरण (distribution) से सैंपल किया जाता है।

कार्यप्रणाली: LLMCert-T

लेखक LLMCert-T पेश करते हैं, जो एक सांख्यिकीय ढांचा है जिसे एक वास्तविक टूल वितरण के तहत एक टूल-चयन पाइपलाइन द्वारा सुरक्षा विनिर्देश को संतुष्ट करने की संभावना पर उच्च-विश्वास ऊपरी सीमा (upper bounds) लौटाने के लिए डिज़ाइन किया गया है।

1. औपचारिक ढांचा (Formal Framework)

यह ढांचा टूल-चयन पाइपलाइन को $R$ राउंड में संचालित एक ब्लैक बॉक्स के रूप में मॉडल करता है।

• पाइपलाइन: एक उपयोगकर्ता इरादा (user intent) $u$ को एक रिट्रीवर द्वारा प्रोसेस किया जाता है ताकि एक स्लेट $S_u$ (शीर्ष-$N$ टूल्स) बनाई जा सके, जिसे सेलेक्टर $L$ एक टूल $\hat{t}$ चुनने के लिए मूल्यांकन करता है।
• विनिर्देश ($\phi$): एक प्रेडिकेट जो एक संतोषजनक परिणाम को परिभाषित करता है (जैसे, "चयनित टूल को उपयोगकर्ता के विशेषाधिकारों से अधिक हुए बिना इरादे को संतुष्ट करना चाहिए")।
• वितरण ($\Delta$): एक स्टोकेस्टिक प्रक्रिया जो "सम्मिलित टूल्स" (inserted tools) के अनुक्रमों को उत्पन्न करती है जो राउंड-दर-राउंड पूल को विकसित करती है। विशिष्ट मॉडलों के लिए अनुकूलित एडवरसैरियल हमलों के विपरीत, $\Delta$ वास्तविक तैनाती स्थितियों को मॉडल करता है जहाँ तीसरे पक्ष के प्रकाशक टूल्स पेश करते हैं।

2. सैंपलिंग प्रक्रिया ($\Delta$)

यथार्थवाद और सूचनात्मकता सुनिश्चित करने के लिए, $\Delta$ को एक कंडीशनल स्टोकेस्टिक प्रक्रिया के रूप में लागू किया गया है:

• राउंड-दर-राउंड जनरेशन: एक LLM जनरेटर प्रत्येक राउंड $r$ में $k$ सम्मिलित टूल्स प्रस्तावित करता है, जो सेलेक्टर के पिछले चुनाव $\hat{t}^{(r-1)}$ पर आधारित (conditioned) होते हैं। यह फीडबैक लूप उन अनुक्रमों पर सैंपलिंग मास को केंद्रित करता है जो सेलेक्टर की विशिष्ट कमजोरियों को उजागर करते हैं।
• प्रतिबंधित जनरेशन (Constrained Generation): जनरेटर आउटपुट को यह सुनिश्चित करने के लिए नियत पोस्ट-प्रोसेसिंग से गुजारा जाता है कि टूल्स वास्तविक रजिस्ट्री प्रविष्टियों के समान हों:
  • पैरामीटर कोलिजन (Parameter Collision): उपयोगकर्ता की अपेक्षाओं से मेल खाने के लिए पहले से चयनित टूल्स के पैरामीटर स्कीमा की नकल करता है।
  • होमोग्लिफ क्लोन (Homoglyph Clones): सटीक-मैच डिडुप्लीकेशन से बचने के लिए पात्रों को दृश्य रूप से समान यूनिकोड वेरिएंट (जैसे, लैटिन 'a' के लिए सिरिलिक 'a') से बदल देता है, जबकि वे मानव-पठनीय बने रहते हैं।
  • परसुएशन क्यूज़ (Persuasion Cues): नाम और विवरण में [official], v2, या [enterprise] जैसे मार्कर जोड़ता है ताकि अधिकार के संकेतों का अनुकरण किया जा सके।
• बर्नौली रिडक्शन (Bernoulli Reduction): प्रत्येक $R$-राउंड ट्राजेक्टरी को एक एकल बाइनरी परिणाम $Z_u$ में कम किया जाता है (1 यदि सभी राउंड के लिए विनिर्देश मान्य है, 0 अन्यथा)। यह $n$ परीक्षणों के एकत्रीकरण को एक सांख्यिकीय सीमा में बदलने की अनुमति देता है।

3. प्रमाणन तंत्र (Certification Mechanism)

LLMCert-T $n$ स्वतंत्र बर्नौली परीक्षणों ($Z_1, \dots, Z_n$) को एकत्रित करता है ताकि संतुष्टि की संभावना पर एक वन-साइडेड क्लॉपर-पियर्सन अपर बाउंड ($p_u$) की गणना की जा सके।

• यदि $n$ परीक्षणों में $C$ विफलताएं देखी जाती हैं, तो $p_u$ वास्तविक संतुष्टि की संभावना का सबसे बड़ा मान है जो देखे गए डेटा के लिए $1-\alpha$ विश्वास स्तर पर सुसंगत है।
• यह दृष्टिकोण एक कठोर, गैर-एसिम्टोटिक गारंटी प्रदान करता है कि वास्तविक विफलता दर, क्लीन-पूल सटीकता के बावजूद, इस सीमा से अधिक नहीं है।

प्रमुख योगदान (Key Contributions)

1. डिस्ट्रैक्शन एक परिनियोजन गुण के रूप में (Distraction as a Deployment Property): यह पेपर एक एजेंट द्वारा तैनात किए जाने के बाद सामना किए जाने वाले टूल्स के वितरण पर टूल चयन को औपचारिक रूप देता है, जो "क्या" (सुरक्षा विनिर्देश) को "स्थितियों" (टूल वितरण) से अलग करता है।
2. मात्रात्मक प्रमाणन (Quantitative Certification): यह वास्तविक सम्मिलित-टूल अनुक्रमों के लिए एक स्टोकेस्टिक प्रक्रिया को स्थापित करता है और परिणामों को एक सांख्यिकीय रूप से कठोर ऊपरी सीमा में एकत्रित करता है, जो पॉइंट एस्टीमेट से आगे बढ़ता है।
3. विफलता मोड की पहचान (Identification of Failure Modes): चार ओपन-वेट सेलेक्टरों (4B–14B पैरामीटर्स) के साथ BFCL और OpenAPI टूल पूल्स पर मूल्यांकन के माध्यम से, यह ढांचा पांच विशिष्ट डिस्ट्रैक्शन मैकेनिज्म की पहचान करता है और प्रदर्शित करता है कि प्रमाणित शुद्धता सीमाएँ (certified correctness bounds) क्लीन-पूल निचली सीमाओं (lower bounds) से काफी नीचे गिर जाती हैं।

प्रयोगात्मक परिणाम (Experimental Results)

$n=1000$ परीक्षणों और $R=10$ राउंड के साथ मानक बेंचमार्क (BFCL, OpenAPI) पर मूल्यांकन किया गया:

• क्लीन सटीकता बनाम प्रमाणित व्यवहार (Clean Accuracy vs. Certified Behavior): बेंचमार्क सटीकता और प्रमाणित मजबूती के बीच एक गहरा अंतर है। जबकि सेलेक्टर क्लीन-पूल निचली सीमाएँ ($p^{clean}_{\ell}$) 0.69 और 0.75 के बीच प्राप्त करते हैं, वास्तविक वितरण के तहत प्रमाणित ऊपरी सीमा ($p_u$) सबसे गंभीर विनिर्देशों के लिए लगभग 0.20 तक गिर जाती है।
• महत्वपूर्ण विफलता मोड (Critical Failure Modes):
  • डिस्ट्रैक्टर सिलेक्शन (Distractor Selection): सेलेक्टर को सतह की विश्वसनीयता संकेतों (जैसे, [official], v2) वाले टूल्स द्वारा विश्वसनीय रूप से गुमराह किया जाता है जो कार्यात्मकता की कमी के बावजूद अधिक आधिकारिक प्रतीत होते हैं। प्रमाणित ऊपरी सीमा 0.20 है।
  • टॉप-N सैचुरेशन (Top-N Saturation): लगभग समान टूल्स (parameter schemas की नकल करने वाले) दस राउंड के भीतर 89% परीक्षणों में ग्राउंड-ट्रुथ टूल को शीर्ष-$N$ स्लेट से विस्थापित कर देते हैं। प्रमाणित ऊपरी सीमा 0.20 है।
  • प्रिविलेज एस्केलेशन (Privilege Escalation): सेलेक्टर उन्नत अनुमतियों (जैसे, "अनुपालन लॉगिंग के लिए आवश्यक") के लिए विवरण में दिए गए औचित्य को स्वीकार कर लेते हैं, जिसके परिणामस्वरूप 0.65 की सीमा प्राप्त होती है।
  • एब्स्टेंशन ट्रिगर और इंटेंट शिफ्टिंग (Abstention Trigger & Intent Shifting): ये कम गंभीर हैं (सीमा ~0.73–0.75), क्योंकि सेलेक्टर गलत टूल चुनने की अधिक संभावना रखते हैं बजाय इसके कि वे मजबूत परसुएशन क्यूज़ के बिना इनकार करें या इरादे को बदल दें।
• शमन (Mitigations) का प्रभाव: पांच प्रतिनिधि शमन (डिफेंडेड रिट्रीवर्स, एनोमली मॉनिटर्स, स्ट्रक्चर्ड प्रॉम्प्टिंग, अलाइनमेंट ट्यूनिंग, परप्लेक्सिटी फिल्टर्स) का मूल्यांकन किया गया। कोई भी दो सबसे मजबूत विनिर्देशों (डिस्ट्रैक्टर सिलेक्शन और टॉप-N सैचुरेशन) के अंतर को बंद नहीं कर सका। सबसे अच्छा शमन (डिस्ट्रैक्टर सिलेक्शन के लिए SecAlign) केवल सीमा को 0.20 से बढ़ाकर 0.30 कर पाया।
• फोर्स्ड इंक्लूजन (Forced Inclusion): भले ही रिट्रीवर को स्लेट में एक संतोषजनक टूल शामिल करने के लिए मजबूर किया जाए, प्रमाणित सीमा 0.50 से नीचे रहती है, जो यह संकेत देता है कि विफलता मुख्य रूप से चयन (selection) चरण में है, न कि केवल रिट्रीवल में।

महत्व और दावे (Significance and Claims)

पेपर का दावा है कि क्यूरेटेड पूल्स पर बेंचमार्क सटीकता तैनात पाइपलाइन व्यवहार का पर्याप्त सारांश नहीं है। क्लीन-पूल प्रदर्शन और वास्तविक टूल वितरण के तहत व्यवहार के बीच का अंतर एक मौलिक भेद्यता (vulnerability) है।

• कार्रवाई योग्य मेट्रिक्स (Actionable Metrics): LLMCert-T एक ऐसा मेट्रिक प्रदान करता है जो सहज, कार्रवाई योग्य और विभिन्न मॉडलों, रिट्रीवर्स और रजिस्ट्री नीतियों के बीच तुलनीय है।
• नैदानिक मानक (Diagnostic Standard): चूंकि वर्तमान शमन (mitigations) सबसे मजबूत विनिर्देशों के अंतर को बंद करने में विफल रहते हैं, इसलिए यह ढांचा भविष्य के शमन तरीकों के मूल्यांकन के लिए एक नैदानिक मानक के रूप में कार्य करता है।
• भेद्यता की प्रकृति (Nature of Vulnerability): प्राथमिक परिनियोजन जोखिम खराब सिमेंटिक समझ नहीं है, बल्कि मेटाडेटा-स्तर के विश्वसनीयता संकेतों (अधिकार के संकेत, लगभग समान टूल्स) के प्रति संवेदनशीलता है जो रिट्रीवर और सेलेक्टर को हेरफेर करते हैं।

लेखक LLMCert-T को इन कमजोरियों को ठीक करने वाले समाधान के रूप में नहीं, बल्कि सांख्यिकीय गारंटी के साथ उन्हें मापने (quantify) में सक्षम पहले ढांचे के रूप में प्रस्तुत करते हैं, जिससे तैनाती व्यवहार को एक मापने योग्य गुण में बदल दिया जाता है।