Beyond Benchmark Islands: Toward Representative Trustworthiness Evaluation for Agentic AI

यहाँ शोध पत्र "Beyond Benchmark Islands: Toward Representative Trustworthiness Evaluation for Agentic AI" का विस्तृत तकनीकी सारांश दिया गया है।

1. समस्या विवरण (Problem Statement)

यह शोध पत्र एजेंटिक एआई (Agentic AI) प्रणालियों के मूल्यांकन में एक महत्वपूर्ण अंतराल को संबोधित करता है। जैसे-जैसे ये सिस्टम निष्क्रिय प्रश्न-उत्तर सहायकों से बदलकर स्वायत्त एजेंटों (autonomous agents) के रूप में विकसित हो रहे हैं, जो खुले वातावरण में योजना बनाने, टूल का उपयोग करने और बहु-चरणीय वर्कफ़्लो (multi-step workflows) को संचालित करने में सक्षम हैं, उनके दुरुपयोग और परिचालन विफलता की संभावना बढ़ जाती है।

• "बेंचमार्क आइलैंड" (Benchmark Island) की समस्या: वर्तमान मूल्यांकन पद्धतियाँ खंडित हैं। मौजूदा बेंचमार्क (जैसे, AgentBench, SWE-bench, JailbreakBench) संकीर्ण रूप से परिभाषित, नियंत्रित वातावरण के भीतर अलग-थलग क्षमताओं (कोडिंग, मतिभ्रम/hallucination, सुरक्षा) पर ध्यान केंद्रित करते हैं।
• प्रतिनिधित्व का अंतर (The Representativeness Gap): लेखक तर्क देते हैं कि मुख्य सीमा मूल्यांकन आयामों की कमी नहीं है, बल्कि प्रतिनिधित्व (representativeness) की कमी है। वास्तविक दुनिया की विश्वसनीयता एक वितरणात्मक गुण (distributional property) है, जो इस बात पर निर्भर करती है कि एक एजेंट विविध, भारी-पूंछ वाले (heavy-tailed) सामाजिक-तकनीकी परिदृश्यों के बीच कैसे व्यवहार करता है।
• परिणाम: वर्तमान बेंचमार्क अक्सर वास्तविक तैनाती वितरण ($P_{deploy}$) के साथ मेल नहीं खाते, जिससे वे कम आवृत्ति वाले लेकिन उच्च-परिणाम वाले (low-frequency but high-consequence) आयोजनों (जैसे, प्रतिकूल हेरफेर, कैस्केडिंग टूल विफलताएं, सामाजिक पूर्वाग्रह) को पकड़ने में विफल रहते हैं। उच्च बेंचमार्क स्कोर वास्तविक दुनिया की सुरक्षा या विश्वसनीयता की गारंटी नहीं देते हैं।

2. कार्यप्रणाली: होलोग्राफिक एजेंट असेसमेंट फ्रेमवर्क (HAAF)

इस अंतर को पाटने के लिए, लेखक HAAF प्रस्तावित करते हैं, जो एक व्यवस्थित मूल्यांकन प्रतिमान (paradigma) है जो ध्यान अलग-थलग बेंचमार्क इंस्टेंस से हटाकर एक संरचित सामाजिक-तकनीकी परिदृश्य मैनिफोल्ड (structured socio-technical scenario manifold) पर केंद्रित करता है। यह ढांचा "होलोग्राफिक" है क्योंकि विश्वसनीयता को केवल प्रतिनिधि स्थितियों के तहत कई पूरक दृष्टिकोणों से देखकर ही पुनर्गठित किया जा सकता है।

HAAF में चार एकीकृत परतें और एक पुनरावृत्ति अनुकूलन लूप (iterative optimization loop) शामिल हैं:

परत 1: स्थिर संज्ञानात्मक और नीति विश्लेषण (Static Cognitive and Policy Analysis)

• कार्य: बातचीत शुरू होने से पहले एजेंट के कॉन्फ़िगरेशन का विश्लेषण करना।
• तंत्र: उन नीति-दृश्य कलाकृतियों (policy-visible artifacts) की जांच करना जो सिस्टम निर्देश, टूल विवरण, अनुमति स्कोप और मेमोरी इंटरफेस जैसे हैं।
• लक्ष्य: उन अंतर्निहित भेद्यता सतहों (latent vulnerability surfaces) की पहचान करना (जैसे, विरोधाभासी उद्देश्य, अस्पष्ट सुरक्षा सीमाएं, लुप्त पुष्टिकरण बाधाएं) जो एजेंट को विफलता के लिए पूर्व-निर्धारित करते हैं।

परत 2: इंटरैक्टिव सैंडबॉक्स सिमुलेशन (Interactive Sandbox Simulation)

• कार्य: उच्च-सटीकता वाले, नियंत्रित वातावरण में पूर्ण प्रक्षेप पथों (full trajectories) पर एजेंट के व्यवहार का मूल्यांकन करना।
• तंत्र: विभिन्न इंटरफेस (OS, वेब, DB, API) को प्रदर्शित करने वाली एक वर्ल्ड मॉडल लाइब्रेरी का उपयोग करता है। यह परीक्षण करता है:
  • सौम्य जटिलता (Benign Complexity): बहु-चरणीय वर्कफ़्लो और योजना।
  • प्रतिकूल स्थितियाँ (Adversarial Conditions): प्रॉम्प्ट इंजेक्शन, टूल-आउटपुट भ्रष्टाचार।
  • परिचालन तनाव (Operational Stress): विलंबता (latency) स्पाइक्स, आंशिक टूल विफलताएं।
• लक्ष्य: लक्ष्य अपहरण (goal hijacking) या मौन टूल दुरुपयोग जैसे प्रक्षेप पथ-स्तरीय विफलता मोड का पता लगाना।

परत 3: सामाजिक और नैतिक संरेखण मूल्यांकन (Social and Ethical Alignment Assessment)

• कार्य: मूल्यांकन को सामाजिक संदर्भों और बहु-पक्षीय इंटरैक्शन तक विस्तारित करना।
• तंत्र: मानव-एजेंट सहयोग, एजेंट-एजेंट समन्वय, और प्रतिनिधिमंडल (delegation), बातचीत (negotiation), और शक्ति विषमता (power asymmetries) से जुड़े संस्थागत वर्कफ़्लो का अनुकरण करता है।
• लक्ष्य: सामाजिक प्रोत्साहन, भावनात्मक हेरफेर और संघर्षित हितधारकों के हितों (जैसे, पूर्वाग्रह, असुरक्षित अधिकार के साथ अत्यधिक अनुपालन) के तहत व्यवहार का आकलन करना।

परत 4: वितरण-जागरूक प्रतिनिधि नमूनाकरण (Distribution-Aware Representative Sampling)

• कार्य: वह मुख्य इंजन जो यह निर्धारित करता है कि क्या परीक्षण करना है और विशिष्ट परिदृश्यों पर कितना जोर देना है।
• तंत्र: मूल्यांकन को एक संरचित नमूनाकरण समस्या के रूप में मानता है। यह आयामों (कार्य, इंटरफेस, जोखिम, सामाजिक संवेदनशीलता) द्वारा परिदृश्य मैनिफोल्ड को विभाजित करता है और एक भारित सेट $Q^*$ को अनुकूलित करता है ताकि संतुलन बनाया जा सके:
  • कवरेज (Coverage): बार-बार होने वाले वर्कफ़्लो का प्रतिनिधित्व करना।
  • जोखिम संवेदनशीलता (Risk Sensitivity): दुर्लभ लेकिन उच्च-परिणाम वाले आयोजनों को प्राथमिकता देना।
  • रचनात्मक विविधता (Compositional Diversity): उन परिदृश्यों का परीक्षण करना जहाँ कई स्ट्रेसर (stressors) एक साथ आते हैं।
• आउटपुट: एक एकल स्केलर स्कोर के बजाय, एक बहु-आयामी विश्वसनीयता प्रोफाइल।

विश्वसनीय अनुकूलन कारखाना (The Trustworthy Optimization Factory)

HAAF एक वन-शॉट टेस्ट नहीं है बल्कि एक पुनरावृत्ति चक्र है:

1. रेड-टीम प्रोबिंग (Red-Team Probing): कमजोरियों को उजागर करने और विफलताओं को मूल कारणों के साथ जोड़ने के लिए चारों परतों को तैनात करना।
2. ब्लू-टीम हार्डनिंग (Blue-Team Hardening): निदान (diagnostics) के आधार पर लक्षित हस्तक्षेप (जैसे, प्रॉम्प्ट हार्डनिंग, टूल-आउटपुट सैनिटाइजेशन, पुष्टिकरण गेट्स) डिजाइन करना।
3. पुनः मूल्यांकन (Re-evaluation): सुधारों को सत्यापित करना। यह चक्र तब तक दोहराया जाता है जब तक कि सिस्टम तैनाती-तैयारी (deployment-readiness) की दहलीज को पूरा नहीं कर लेता।

3. प्रमुख योगदान

1. प्रतिनिधित्व की पहचान: यह शोध पत्र एजेंट मूल्यांकन में प्राथमिक चुनौती वितरण डिजाइन (distribution design) है, न कि केवल मेट्रिक डिजाइन। यह अलग-थलग बेंचमार्क इंस्टेंस के बजाय एक प्रतिनिधि सामाजिक-तकनीकी परिदृश्य वितरण पर एजेंटों का आकलन करने का समर्थन करता है।
2. HAAF फ्रेमवर्क: एक एकीकृत ढांचा जो स्थिर विश्लेषण, इंटरैक्टिव सिमुलेशन, सामाजिक मूल्यांकन और जोखिम-जागरूक नमूनाकरण को एकीकृत करता है।
3. पुनरावृत्ति पद्धति: "ट्रस्टवर्दी ऑप्टिमाइजेशन फैक्ट्री" का प्रस्ताव, जो एक रेड-ब्लू टीम चक्र है जो मूल्यांकन को स्थिर स्कोरिंग से गतिशील सुदृढ़ीकरण (dynamic hardening) और तैनाती की तैयारी की ओर ले जाता है।

4. परिणाम (एक दृष्टांत उदाहरण)

लेखकों ने एक एकल मॉडल (Qwen3-8B) और 24 सिंथेटिक परिदृश्यों का उपयोग करके "ट्रस्टवर्दी ऑप्टिमाइजेशन फैक्ट्री" के एक एकल चक्र के माध्यम से HAF की व्यवहार्यता को प्रदर्शित किया।

• सेटअप: परिदृश्यों में सौम्य, प्रतिकूल, परिचालन और सामाजिक श्रेणियां शामिल थीं जिनमें जोखिम भार (1–5) था।
• रेड-टीम चरण:
  • आधारभूत प्रदर्शन (Baseline Performance): 16.7% उल्लंघन दर (24/24 परिदृश्यों में 4)।
  • विफलता मोड (Failure Modes): प्रॉम्प्ट इंजेक्शन (PI) को सबसे बार होने वाली विफलता के रूप में पहचाना गया, इसके बाद अनधिकृत कार्रवाई (UA) और पॉलिसी लीक (PL) का स्थान रहा।
  • मूल कारण (Root Cause): PI विफलताओं का पता अनसैनिटाइज्ड टूल आउटपुट से चला; UA/PL विफलताओं का पता उच्च-जोखिम वाले कार्यों के लिए पुष्टिकरण गेट्स की कमी से चला।
• ब्लू-टीम हस्तक्षेप:
  1. टूल-आउटपुट फायरवॉल: एजेंट को अंतर्निहित निर्देशों का पालन करने से रोकने के लिए टूल रिटर्न को डेलीमिटर्स (delimiters) के साथ रैप किया गया।
  2. पुष्टिकरण गेट (Confirmation Gate): उच्च-जोखिम वाली क्रियाओं (जैसे, संरक्षित पथों पर लिखना) को रोकने के लिए मानव-इन-द-लूप अनुमोदन की आवश्यकता थी।
• पुनः मूल्यांकन परिणाम:
  • उल्लंघन दर (Violation Rate): 16.7% से घटकर 4.2% (-12.5 प्रतिशत अंक) हो गई।
  • सफलता दर (Success Rate): 83.3% से बढ़कर 95.8% हो गई।
  • जोखिम-भारित विफलता (RWF): 0.210 से घटकर 0.062 हो गई।
• अवशिष्ट मुद्दे (Residual Issues): एक अवशिष्ट उल्लंघन देखा गया जहाँ एजेंट ने सीधे उपयोगकर्ता अनुरोध के कारण एक निषिद्ध कार्य करने का प्रयास किया, जो यह दर्शाता है कि प्रॉम्प्ट-स्तरीय हार्डनिंग के इरादे-आधारित विफलताओं (intent-based failures) के विरुद्ध सीमाएं हैं।

5. महत्व और भविष्य का दृष्टिकोण

• प्रतिमान परिवर्तन (Paradigm Shift): यह शोध पत्र "बेंचमार्क आइलैंड्स" से "प्रतिनिधि परिदृश्य मैनिफोल्ड्स" की ओर बढ़ने की वकालत करता है। यह क्षेत्र को "क्या एजेंट इस विशिष्ट परीक्षण को पास करता है?" से बदलकर "क्या एजेंट वास्तविक दुनिया की स्थितियों के वितरण में विश्वसनीय है?" की ओर ले जाता है।
• तैनाती की तैयारी (Deployment Readiness): HAF एक ठोस पाइपलाइन (रेड-ब्लू फैक्ट्री) प्रदान करता है जिससे तैनाती की तैयारी प्राप्त की जा सके, जो उभरते हुए AI गवर्नेंस फ्रेमवर्क के अनुरूप है जो ऑडिट योग्य सुरक्षा साक्ष्य की मांग करते हैं।
• भविष्य की दिशाएं: लेखक समुदाय से साझा परिदृश्य वर्गीकरण (taxonomies), वर्ल्ड-मॉडल लाइब्रेरी और बहु-आयामी विश्वसनीयता प्रोफाइल पर सहमत होने का आह्वान करते हैं। भविष्य के कार्यों के लिए बड़े परिदृश्य सूट, विविध मॉडल तुलना, और वास्तविक दुनिया के तैनाती लॉग और घटना रिपोर्टों के आधार पर नमूनाकरण को ग्राउंड करने की आवश्यकता है।

निष्कर्षतः, शोध पत्र तर्क देता है कि प्रतिनिधि मूल्यांकन के बिना, बेंचमार्क प्रगति वास्तविक दुनिया की सुरक्षा से कमजोर रूप से जुड़ी रहती है। HAF व्यवस्थित नमूनाकरण, बहु-स्तरीय जांच और पुनरावृत्ति सुदृढ़ीकरण के माध्यम से इस अंतर को पाटने के लिए एक संरचित मार्ग प्रदान करता है।