Towards a Science of AI Agent Reliability

तकनीकी सारांश: AI एजेंट विश्वसनीयता के विज्ञान की ओर

समस्या विवरण
यह शोध पत्र AI एजेंटों के मूल्यांकन में एक महत्वपूर्ण विसंगति को संबोधित करता है: जबकि मानक बेंचमार्क पर सटीकता (accuracy) स्कोर तेजी से बढ़े हैं, एजेंट वास्तविक दुनिया के अनुप्रयोगों (deployments) में अक्सर विफल हो जाते हैं। लेखक तर्क देते हैं कि एजेंटों का मूल्यांकन करने के लिए औसत कार्य सफलता दर (सटीकता) का उपयोग करने वाला प्रमुख प्रतिमान अपर्याख्या पर्याप्त नहीं है क्योंकि यह महत्वपूर्ण व्यवहार संबंधी गुणों को छिपा देता है। सटीकता अकेले यह अंतर नहीं कर सकती कि एक एजेंट विशिष्ट कार्यों पर अनुमानित रूप से विफल होता है या यादृच्छिक (random) रूप से विफल होता है, और न ही यह बेनेन (benign) फॉर्मेटिंग त्रुटियों और विनाशकारी कार्यों (जैसे, प्रोडक्शन डेटाबेस को हटाना) के बीच अंतर कर सकती है। यह मूल्यांकन अंतराल सुरक्षा-महत्वपूर्ण इंजीनियरिंग डोमेन (विमानन, परमाणु ऊर्जा, ऑटोमोटिव) के विपरीत है, जहाँ विश्वसनीयता को निरंतरता, मजबूती, पूर्वानुमान और विफलताओं की सीमा के प्रभाव (bounded failure severity) से जुड़े एक बहु-आयामी गुण के रूप में माना जाता है।

कार्यप्रणाली (Methodology)
लेखक AI एजेंट विश्वसनीयता के मूल्यांकन के लिए एक समग्र ढांचा प्रस्तावित करते हैं, जो सुरक्षा-महत्वपूर्ण इंजीनियरिंग सिद्धांतों पर आधारित है। वे विश्वसनीयता को चार स्वतंत्र आयामों में विभाजित करते हैं, जिनमें से प्रत्येक को विशिष्ट मेट्रिक्स के साथ संचालित किया गया है:

1. निरंतरता (Consistency - $R_{Con}$): समान परिस्थितियों में दोहराने योग्य व्यवहार को मापता है।
   • परिणाम निरंतरता (Outcome Consistency - $C_{out}$): बार-बार किए गए रन के बीच सफलता/विफलता में भिन्नता।
   • ट्रैजेक्टरी निरंतरता (Trajectory Consistency): क्रिया पथों (action paths) की वितरण संबंधी ($C^d_{traj}$) और अनुक्रमिक ($C^s_{traj}$) समानता।
   • संसाधन निरंतरता (Resource Consistency - $C_{res}$): कम्प्यूटेशनल/मौद्रिक लागतों में परिवर्तनशीलता।
2. मजबूती (Robustness - $R_{Rob}$): व्यवधानों (perturbations) के तहत स्थिरता को मापता है।
   • दोष मजबूती (Fault Robustness - $R_{fault}$): बुनियादी ढांचे की विफलताओं (जैसे, API टाइमआउट) के प्रति लचीलापन।
   • पर्यावरण मजबूती (Environment Robustness - $R_{env}$): डेटा प्रारूपों या टूल इंटरफेस में अर्थ-संरक्षण परिवर्तनों के विरुद्ध स्थिरता।
   • प्रॉम्प्ट मजबूती (Prompt Robustness - $R_{prompt}$): अर्थपूर्ण रूप से समान निर्देश रूपांतरणों (paraphrases) के प्रति अपरिवर्तनीयता।
3. पूर्वानुमेयता (Predictability - $R_{Pred}$): व्यक्त आत्मविश्वास और वास्तविक प्रदर्शन के बीच संरेखण को मापता है।
   • कैलिब्रेशन (Calibration - $P_{cal}$): आत्मविश्वास स्कोर और अनुभवजन्य सफलता दर के बीच संरेखण (Expected Calibration Error)।
   • भेदभाव (Discrimination - $P_{AUROC}$):* आत्मविश्वास स्कोर द्वारा सफलताओं और विफलताओं को अलग करने की क्षमता (AUC-ROC)।
   • ब्रायर स्कोर (Brier Score - $P_{brier}$): एक उचित स्कोरिंग नियम जो कैलिब्रेशन और भेदभाव को संयुक्त रूप से मापता है।
4. सुरक्षा (Safety - $R_{Saf}$): विफलताओं के मामले में होने वाले नुकसान की सीमा को मापता है।
   • अनुपालन (Compliance - $S_{comp}$): पूर्व-निर्धारित बाधाओं का पालन (जैसे, अनधिकृत कार्यों का न होना)।
   • हानि की गंभीरता (Harm Severity - $S_{harm}$): उन कार्यों के परिणामों की गंभीरता जो बाधाओं का उल्लंघन करते हैं।

लेखक OpenAI, Google और Anthropic के 15 मॉडलों (जो 2024 की शुरुआत से मध्य-2026 के बीच जारी किए गए) का दो पूरक बेंचमार्क के माध्यम से मूल्यांकन करते हैं:

• GAIA: एक सामान्य सहायक बेंचमार्क जिसमें वेब ब्राउजिंग, फ़ाइल हेरफेर और बहु-चरणीय तर्क शामिल है।
• $\tau$-bench: एक ग्राहक सेवा सिमुलेशन बेंचमार्क जिसमें बहु-टर्न बातचीत और परिणामी डेटाबेस क्रियाएं शामिल हैं।

मूल्यांकन प्रोटोकॉल में गैर-सैंपलिंग स्टोकेस्टिसिटी (non-sampling stochasticity) को अलग करने के लिए तापमान (temperature) को शून्य पर सेट करते हुए मल्टी-रन निष्पादन ($K=5$) के साथ-साथ मजबूती के लिए व्यवस्थित व्यवधान और आत्मविश्वास अनुमान के लिए पोस्ट-हॉक आत्म-आकलन शामिल है।

मुख्य योगदान

1. एक औपचारिक वर्गीकरण और मेट्रिक सूट: शोध पत्र गुणात्मक सुरक्षा-महत्वपूर्ण सिद्धांतों को 12 गणना योग्य मेट्रिक्स में अनुवादित करता है जो कच्चे कार्य सफलता के स्वतंत्र रूप से विश्वसनीयता का मूल्यांकन करते हैं।
2. एक व्यापक विश्वसनीयता प्रोफाइल: लेखक एक विस्तृत मानचित्र प्रदान करते हैं कि अत्याधुनिक मॉडल कहाँ सफल और विफल होते हैं, जिससे निरंतरता और पूर्वानुमानता जैसे क्षेत्र सामने आते हैं जिन्हें तत्काल अनुसंधान फोकस की आवश्यकता है।

परिणाम

• क्षमता की तुलना में विश्वसनीयता की प्रगति पीछे है: मॉडल विकास के 24 महीनों और सटीकता में महत्वपूर्ण सुधारों के बावजूद, समग्र विश्वसनीयता में न्यूनतम सुधार देखा गया है। सटीकता और विश्वसनीयता के बीच सहसंबंध कमजोर है, विशेष रूप से खुले GAIA बेंचमार्क पर।
• आयाम-विशिष्ट निष्कर्ष:
  • निरंतरता: सभी मॉडलों में परिणाम निरंतरता कम बनी हुई है। एजेंट "क्या लेकिन कब नहीं" (what but not when) का पैटर्न प्रदर्शित करते हैं, जो समान प्रकार की क्रियाओं को विश्वसनीय रूप से चुनते हैं लेकिन उनके निष्पादन क्रम में भिन्नता होती है। GAIA पर संसाधन निरंतरता विशेष रूप से खराब है।
  • मजबूती: दोष और पर्यावरण मजबूती में सीलिंग इफेक्ट (उच्च स्कोर) दिखता है, लेकिन प्रॉम्प्ट मजबूती विभिन्न मॉडलों के बीच काफी भिन्न होती है। एजेंट सतही निर्देश रूपांतरणों के प्रति संवेदनशील बने रहते हैं।
  • पूर्वानुमेयता: हालिया मॉडलों (विशेष रूप से Claude) में कैलिब्रेशन में सुधार हुआ है, लेकिन GAIA पर भेदभाव स्थिर रहा है या बिगड़ गया है। यह इंगित करता है कि हालांकि मॉडल अपनी औसत सफलता दर का अनुमान लगाने में बेहतर हैं, वे यह पहचानने में बेहतर नहीं हैं कि वे किन विशिष्ट कार्यों में विफल होंगे।
  • सुरक्षा: हालिया फ्रंटियर मॉडल कम उल्लंघन दर प्रदर्शित करते हैं। हालांकि, $\tau$-bench में वित्तीय सटीकता उल्लंघन सबसे सामान्य विफलता मोड रहे हैं।
• मॉडल प्रकार विश्लेषण: विश्वसनीयता, क्षमता के साथ समान रूप से स्केल नहीं होती है। जबकि मॉडल आकार के साथ कैलिब्रेशन, मजबूती और सुरक्षा में सुधार होता है, निरंतरता अक्सर एक विपरीत पैटर्न प्रदर्शित करती है, जहाँ छोटे मॉडल कभी-कभी उच्च निरंतरता प्राप्त करते हैं। रीजनिंग मॉडल गैर-रीजनिंग समकक्षों की तुलना में आम तौर पर अधिक विश्वसनीय होते हैं, लेकिन उनकी विश्वसनीयता लाभ उनकी सटीकता सुधारों की तुलना में पीछे रह जाते हैं।

महत्व और सिफारिशें
यह शोध पत्र तर्क देता है कि AI एजेंटों के सुरक्षित परिनियोजन (deployment) के लिए विश्वसनीयता को प्रगति के एक स्वतंत्र अक्ष के रूप में मानना आवश्यक है। लेखक चार सिफारिशें प्रस्तावित करते हैं:

1. डायनेमिक बेंचमार्क: मूल्यांकन को एकल-रन सटीकता से आगे बढ़कर मल्टी-रन प्रोटोकॉल और व्यवस्थित व्यवधानों को शामिल करना चाहिए जो वास्तविक दुनिया के वितरण बदलावों (distribution shifts) को दर्शाते हों।
2. आर्किटेक्चर डिज़ाइन: एजेंट आर्किटेक्चर को केवल क्षमता के लिए ही नहीं, बल्कि स्पष्ट रूप से विश्वसनीयता आयामों के लिए अनुकूलित किया जाना चाहिए।
3. परिनियोजन शासन (Deployment Governance): विश्वसनीयता मेट्रिक्स को परिनियोजन निर्णयों, परिवर्तन प्रबंधन और अनुपालन को सूचित करना चाहिए, जो सुरक्षा-महत्वपूर्ण उद्योगों में प्रमाणन आवश्यकताओं के समान है।
4. स्वायत्तता स्केलिंग: विश्वसनीयता की आवश्यकताएं एजेंट की स्वायत्तता के स्तर के साथ स्केल होनी चाहिए; बिना मानव बफर के काम करने वाले एजेंटों को ऑगमेंटेशन सेटिंग्स में उपयोग किए जाने वाले एजेंटों की तुलना में सख्त विश्वसनीयता थ्रेसहोल्ड की आवश्यकता होती है।

लेखक निष्कर्ष निकालते हैं कि दृष्टिकोण में मुख्य बदलाव यह पूछने से है कि "एजेंट कितनी बार सफल होता है?" के बजाय "वह कितनी अनुमानित, सुसंगत, मजबूत और सुरक्षित रूप से व्यवहार करता है?" वे इस ढांचे को विश्वसनीयता को एक मानक मूल्यांकन आयाम के रूप में स्थापित करने के लिए एक शुरुआती बिंदु के रूप में देखते हैं, जो सावधानीपूर्ण परिनियोजन प्रथाओं को बदलने के बजाय उनका पूरक है।