Stop Shipping AI Agents on Faith: Capability Is Not Production Readiness
यह शोध पत्र प्रूफ़एजेंट इंडेक्स (PAI) को प्रस्तुत करता है, जो एक गवर्नेंस रेडिनेस फ्रेमवर्क है जो एआई एजेंट परिनियोजन निर्णयों को केवल क्षमता प्रदर्शन पर निर्भरता से हटाकर मूल्यांकन, संदर्भ, अनुपालन और शासन के एक ऑडिट योग्य, चार-आयामी मूल्यांकन की ओर ले जाता है, जिसे विनियमित डोमेन में उत्पादन तत्परता को केवल कार्यात्मक क्षमता से अलग करने के लिए मान्य किया गया है।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
कल्पना कीजिए कि आप एक रोबोट बटलर (नौकर) बना रहे हैं। आपने महीनों इसे खाना बनाना, कपड़े तह करना और चुटकुले सुनाना सिखाने में बिताए हैं। आप अपने लिविंग रूम में इसके कुछ परीक्षण करते हैं, और यह अद्भुत दिखता है! यह आपके लिए एक बेहतरीन ऑमलेट परोसता है और आपको हंसाता है। आप इसे काम पर रखने के लिए तैयार हैं। लेकिन तभी आपको याद आता है: यह रोबोट एक व्यस्त अस्पताल की रसोई में काम करेगा, मरीजों के भोजन को संभालेगा, स्वास्थ्य नियमों का कड़ाई से पालन करेगा, और ऐसे निर्णय लेगा जो लोगों के जीवन को प्रभावित कर सकते हैं। सिर्फ इसलिए कि रोबोट खाना बना सकता है, इसका मतलब यह नहीं है कि वह वहां काम करने के लिए तैयार है। हो सकता कि उसे सुरक्षा नियमों का पता न हो, वह हाथ धोना भूल जाए, या नए मेनू को देखकर भ्रमित हो जाए। आर्टिफिशियल इंटेलिजेंस (AI) की दुनिया में, हमारे पास एक समान समस्या है। हमने "AI एजेंट" बनाए हैं—स्मार्ट कंप्यूटर प्रोग्राम जो कार्य कर सकते हैं, टूल्स का उपयोग कर सकते हैं और हमसे बात कर सकते हैं। हम अक्सर उन्हें केवल इस आधार पर आंकते हैं कि वे किसी कार्य को कितनी अच्छी तरह से करते हैं, जैसे कि एक रोबोट बटलर अपनी खाना बनाने की कला का प्रदर्शन करता है। लेकिन वास्तविक दुनिया में, विशेष रूप से अस्पतालों और बैंकों जैसी गंभीर जगहों पर, हमें "क्या यह काम कर सकता है?" से कहीं अधिक जानने की आवश्यकता है। हमें जानना होगा: क्या यह सुरक्षित है? क्या यह नियमों का पालन करता है? क्या इसे देखने के लिए कोई बॉस है? और यदि यह गलती करता है, तो क्या हम इसे रोक सकते हैं?
यह शोध पत्र, जिसका शीर्षक "Stop Shipping AI Agents on Faith" (विश्वास के भरोसे AI एजेंटों को भेजना बंद करें) है, यह तर्क देता है कि हम वर्तमान में एक खतरनाक गलती कर रहे हैं। हम इन AI एजेंटों को वास्तविक दुनिया में केवल इसलिए छोड़ रहे हैं क्योंकि वे सक्षम दिखते हैं, जैसे कि रोबकल बटलर की सुरक्षा नियमावली की जांच किए बिना उसे काम पर रखना। लेखक, फौआद बुसेतौने और उनके सहयोगियों का कहना है कि "क्षमता" (एजेंट कितना स्मार्ट है) "प्रोडक्शन रेडीनेस" (क्या यह वास्तव में उपयोग के लिए सुरक्षित है) के समान नहीं है। इसे ठीक करने के लिए, उन्होंने एक नया टूल बनाया है जिसे प्रूफएजेंट इंडेक्स (PAI) कहा जाता है। PAI को एक विशाल, बहु-स्तरीय रिपोर्ट कार्ड के रूप में समझें जो केवल "खाना बनाने के कौशल" के लिए एक एकल ग्रेड नहीं देता है। इसके बजाय, यह चार अलग-अलग चीजों की जांच करता है:
- मूल्यांकन (Evaluation): क्या एजेंट ने वास्तव में कार्य को सही ढंग से किया?
- संदर्भ (Context): क्या वह वातावरण जिसमें वह काम कर रहा है, सही ढंग से सेट किया गया है? (जैसे यह सुनिश्चित करना कि रसोई में सही उपकरण और नियम हों)।
- अनुपालन (Compliance): क्या इसने सभी कानूनों और नियमों का पालन किया? (जैसे यह जांचना कि क्या इसने हाथ धोए)।
- शासन (Governance): क्या कोई मानव बॉस उसे देख रहा है, और यदि कुछ गलत हो जाता है तो क्या हमारे पास कोई योजना है?
यह पत्र प्रूफएजेंट हार्नेस (ProofAgent Harness) नामक एक प्रणाली पेश करता है, जो एक टेस्टिंग लैब की तरह है जो इन एजेंटों को हजारों कठिन परिदृश्यों से गुजारकर इस रिपोर्ट कार्ड को भरने के लिए चलाती है। शोधकर्ताओं ने अपने विचार का परीक्षण दो बहुत ही सख्त दुनिया में किया: स्वास्थ्य सेवा (अस्पताल) और वित्त (बैंक)। उन्होंने AI एजेंटों के 12 अलग-अलग संस्करण बनाए, जिसमें "स्मार्टनेस" (कमजोर से लेकर मजबूत तक) और "एनवायरनमेंट सेटअप" (अव्यवस्थित और अपदर्थ से लेकर साफ और सुव्यवस्थित तक) के विभिन्न स्तरों को मिलाया गया।
यहाँ उन्हें क्या मिला, और यह उन लोगों के लिए एक बड़ा आश्चर्य है जो सोचते हैं कि "बड़ा और स्मार्ट होना हमेशा बेहतर होता है।" उन्होंने पाया कि क्षमता, तैयारी (readiness) के बराबर नहीं है। भले ही आपके पास दुनिया का "सबसे शक्तिशाली" AI एजेंट हो, यदि आप उसे एक अव्यवस्थित, अपदर्थ वातावरण (जिसे वे "कमजोर संदर्भ" कहते हैं) में रखते हैं, तो वह बुरी तरह विफल हो जाएगा। वास्तव में, उनके परीक्षणों ने दिखाया कि एक पूरी तरह से व्यवस्थित वातावरण में एक "मध्यम स्तर" का स्मार्ट एजेंट, एक "सुपर-स्मार्ट" एजेंट की तुलना में कहीं अधिक विश्वसनीय था जो अव्यवस्थित वातावरण में था। कच्ची बुद्धिमत्ता की तुलना में वातावरण अधिक महत्वपूर्ण था।
उन्होंने यह भी पाया कि आप स्कोर का औसत नहीं निकाल सकते। यदि कोई एजेंट खाना बनाने में बहुत अच्छा है लेकिन सुरक्षा नियम तोड़ देता है, तो आप यह नहीं कह सकते, "खैर, यह खाना बनाने में 90% अच्छा है, तो यह 90% तैयार है।" यह पत्र "हार्ड ब्लॉक" नियमों को पेश करता है। इसका मतलब यह है कि यदि एजेंट एक महत्वपूर्ण सुरक्षा जांच में विफल रहता है या किसी आवश्यक नियम को मिस करता है, तो पूरा सिस्टम स्वचालित रूप से "ना" कह देगा, चाहे अन्य स्कोर कितने भी अच्छे क्यों न हों। यह ड्राइविंग लाइसेंस की तरह है: आप लाइसेंस केवल इसलिए नहीं प्राप्त कर सकते क्योंकि आप एक बेहतरीन ड्राइवर हैं यदि आप यातायात कानूनों को नहीं जानते हैं।
शोधकर्ताओं ने विभिन्न सेटअपों में 10,000 टर्न (परस्पर क्रियाओं) के साथ एक विशाल परीक्षण चलाया। उन्होंने पाया कि उनका नया इंडेक्स, PAI, यह रैंक करने में अविश्वसनीय रूप से कुशल था कि कौन से एजेंट तैयार थे और कौन से जोखिम भरे थे। जब उन्होंने अनदेखे परीक्षणों पर कौन से कॉन्फ़िगरेशन विफल हो जाएंगे, इसकी भविष्यवाणी करने के लिए PAI का उपयोग किया, तो इसने 0.98 का रैंकिंग स्कोर (AUC) प्राप्त किया। इसका मतलब है कि इंडेक्स ने लगभग पूरी तरह से जोखिम के आधार पर एजेंटों को क्रमबद्ध किया, उच्च-जोखमर वाले सेटअप को कम-जोखमर वाले सेटअप से अलग किया। उन्होंने यह भी साबित किया कि केवल AI को "स्मार्ट" बनाना (एक बड़े मॉडल का उपयोग करना) समस्याओं को ठीक नहीं करता है यदि वातावरण ठीक नहीं है। सबसे बड़ा सुधार "कॉन्टेक्स्ट इंजीनियरिंग" से आया—मूल रूप से, उन नियमों, निर्देशों और टूल्स को सावधानीपूर्वक सेट करना जिनका AI उपयोग करता है।
संक्षेप में, यह पत्र सुझाव देता है कि हमें AI एजेंटों पर केवल इसलिए भरोसा करना बंद कर देना चाहिए क्योंकि वे डेमो में शानदार और सक्षम दिखते हैं। हमें उन्हें "विश्वास" के भरोसे भेजना बंद कर देना चाहिए। हमें प्रूफएजेंट इंडेक्स जैसे सिस्टम का उपयोग करने की आवश्यकता है ताकि उन्हें वास्तविक दुनिया में छोड़ने से पहले यह जांचा जा सके कि वे सुरक्षित, कानूनी और निगरानी में हैं। यह "देखो यह रोबोट कितना स्मार्ट है!" से "यहाँ प्रमाण है कि यह रोबोट काम करने के लिए तैयार है" की ओर बढ़ने का आह्वान है।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।