TOAIAF: A Runtime AI Assurance Control Plane for Trustworthy On-Device Agentic AI in Consumer Intelligence Ecosystems
यह शोध पत्र TOAIAF को प्रस्तुत करता है, जो एक रनटाइम AI आश्वासन नियंत्रण तल (control plane) है जिसमें तीन-चरणीय निर्णय प्रक्रिया और सात शासन घटक शामिल हैं, जो ऑन-डिवाइस एजेंटिक AI के लिए सुरक्षा उल्लंघनों, प्रॉम्प्ट इंजेक्शन और गोपनीयता जोखिमों का पता लगाने में बेसलाइन सिस्टम से काफी बेहतर प्रदर्शन करता है, साथ ही पारदर्शी रूप से प्रयोगात्मक सीमाओं की रिपोर्ट करता है और अपने ढांचे को प्रमुख अंतर्राष्ट्रीय AI सुरक्षा मानकों के अनुरूप मैप करता है।
मूल पेपर CC BY 4.0 (https://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
एक ऐसी दुनिया की कल्पना करें जहाँ आपके घर के उपकरण, आपकी घड़ी और आपकी कार केवल आदेशों की प्रतीक्षा नहीं करते, बल्कि आपकी ओर से सक्रिय रूप से सोचते, योजना बनाते और कार्य करते हैं। यह "एजेंटिक" (agentic) आर्टिफिशियल इंटेलिजेंस का उभरता हुआ यथार्थ है। पारंपरिक सॉफ़्टवेयर के विपरीत जो केवल एक प्रश्न का उत्तर देता है या एक गाना बजाता है, ये नई प्रणालियाँ अपने परिवेश का अवलोकन करती हैं, आपके लक्ष्यों के बारे में तर्क करती हैं, और फिर उन्हें प्राप्त करने के लिए चरणों की एक श्रृंखला को निष्पादित करती हैं। वे बिना आपके एक भी बटन दबाए थर्मोस्टेट को कम करने, दरवाज़ा खोलने या किराने का सामान ऑर्डर करने का निर्णय ले सकती हैं। हालाँकि यह बदलाव अविश्वसनीय सुविधा का वादा करता है, लेकिन यह एक गहरा नया संकट भी पेश करता है: आप यह कैसे सुनिश्चित करेंगे कि एक स्वतंत्र निर्णय लेने वाली मशीन कोई खतरनाक गलती न कर दे? समस्या केवल सॉफ़्टवेयर में बग होने के बारे में नहीं है, बल्कि इस बारे में है कि एजेंट स्वयं लक्ष्य की गलत व्याख्या कर सकता है, किसी अजनबी के संदेश से धोखा खा सकता है, या ऐसा कार्य कर सकता है जिसे एक बार होने के बाद बदला नहीं जा सकता।
शोधकर्ता राकेश कुमार अग्रवाल, वासिम मोहम्मद अमीन तांबे और निहार कर्रा ने इस समस्या के समाधान के रूप में TOAIAF नामक एक समाधान प्रस्तावित किया है। इसे एक समर्पित सुरक्षा अधिकारी के रूप में समझें जो उपकरण के भीतर रहता है, एजेंट द्वारा किए जाने वाले हर निर्णय को होने से पहले देखता है। उनका कार्य उस सूक्ष्म क्षण पर केंद्रित है जब एक एजेंट कुछ करने का निर्णय लेता है और जब वह वास्तव में उसे करता है। इस संक्षिप्त अवधि में, सिस्टम प्रस्तावित कार्य की जाँच नियमों और विश्वास स्कोर (trust scores) के एक सेट के विरुद्ध करता है। शोधकर्ताओं ने इस जाँच के लिए एक पूर्ण ढांचा तैयार किया है, जिसमें सात अलग-अलग घटक शामिल हैं जो विश्वसनीयता, सुरक्षा, गोपनीयता और यह मूल्यांकन करने के लिए मिलकर काम करते हैं कि क्या किसी मनुष्य से परामर्श लेना चाहिए। उन्होंने एक सौ विभिन्न परिदृश्यों के कंप्यूटर सिमुलेशन का उपयोग करके इस प्रणाली का परीक्षण किया, जिसमें स्मार्ट होम द्वारा लाइट एडजस्ट करने से लेकर स्वास्थ्य डेटा की निगरानी करने वाले पहनने योग्य उपकरण तक शामिल थे। लक्ष्य यह देखना था कि क्या यह नया सुरक्षा स्तर अच्छे कार्यों में बाधा डाले बिना बुरे कार्यों को रोक सकता है।
उनके सिस्टम का मूल एक तीन-चरणीय निर्णय प्रक्रिया है जो एजेंट द्वारा विचार किए जाने वाले प्रत्येक कार्य के लिए एक फ़िल्टर की तरह कार्य करती है। सबसे पहले, सिस्टम एक 'हार्ड चेक' करता है कि क्या एजेंट के पास उस कार्य को करने की अनुमति भी है। यदि कोई एजेंट ऐसे टूल का उपयोग करने या डेटा तक पहुँचने की कोशिश करता है जिसके लिए वह अधिकृत नहीं है, तो सिस्टम उसे तुरंत रोक देता है। यह एक सरल लेकिन महत्वपूर्ण द्वारपाल है। दूसरा चरण एक सुरक्षा गेट (safety gate) है जो विशिष्ट खतरों की तलाश करता है, जैसे कि ऐसे कार्य जो गोपनीयता का उल्लंघन कर सकते हैं या सुरक्षा नियमों को तोड़ सकते हैं। महत्वपूर्ण बात यह है कि यह गेट 'नॉन-कंपेंसेटरी' (non-compensatory) है, जिसका अर्थ है कि अन्य क्षेत्रों में कोई भी मात्रा में "अच्छा व्यवहार" एक एकल सुरक्षा उल्लंघन की भरपाई नहीं कर सकता। यदि गोपनीयता उल्लंघन का जोखिम बहुत अधिक है, तो कार्य को रोक दिया जाता है, चाहे एजेंट आमतौर पर कितना भी विश्वसनीय क्यों न हो। तीसरा चरण छह विभिन्न कारकों के आधार पर एक अंतिम विश्वास स्कोर की गणना करता है, जिसमें यह शामिल है कि एजेंट उपयोगकर्ता के वास्तविक लक्ष्यों के साथ कितनी अच्छी तरह संरेखित है और यदि आवश्यक हो तो एक मानव कितनी प्रभावी ढंग से हस्तक्षेप कर सकता है। यदि जोखिम कम है, तो कार्य की अनुमति दी जाती है; यदि यह मध्यम है, तो सिस्टम उपयोगकर्ता को चेतावनी दे सकता है या अनुमोदन मांग सकता है; यदि यह उच्च है, तो यह कार्य को पूरी तरह से रोक देता है।
यह परीक्षण करने के लिए कि यह दृष्टिकोण काम करता है या नहीं, शोधकर्ताओं ने एक सौ परिदृश्यों का एक सिंथेटिक बेंचमार्क बनाया। ये वास्तविक लोगों या उपकरणों के साथ वास्तविक दुनिया के परीक्षण नहीं थे, बल्कि वास्तविक जीवन के जोखिमों की नकल करने के लिए सावधानीपूर्वक निर्मित सिमुलेशन थे। इनमें चालीस हानिरहित स्थितियाँ शामिल थीं ताकि यह सुनिश्चित हो सके कि सिस्टम सामान्य जीवन में बाधा न डाले, और साठ जोखिम भरी स्थितियाँ शामिल थीं जो छह विशिष्ट विफलता मोड को कवर करती थीं: असुरक्षित कार्य, गोपनीयता लीक, लक्ष्यों का भटक जाना, प्रॉम्प्ट इंजेक्शन के माध्यम से छल, टूल का दुरुपयोग, और अपर्याप्त मानवीय निरीक्षण। उन्होंने अपने नए सिस्टम की तुलना दो अन्य दृष्टिकोणों से की: एक ऐसा सिस्टम जिसमें कोई सुरक्षा जाँच नहीं थी, और एक सरल सिस्टम जो केवल विशिष्ट "बुरे" कीवर्ड वाले कार्यों को रोकता था। परिणामों ने एक स्पष्ट अंतर दिखाया। नए सिस्टम ने लगभग सभी खतरनाक परिदृश्यों को सफलतापूर्वक चिह्नित किया, जिसमें 100% असुरक्षित नीति उल्लंघन, प्रॉम्प्ट इंजेक्शन और टूल के दुरुपयोग के मामले पकड़े गए। इसने 92% से अधिक गोपनीयता जोखिमों और लक्ष्य मिसअलाइनमेंट (goal misalignments) को भी पकड़ा। इसके विपरीत, सरल कीवर्ड सिस्टम लक्ष्य मिसअलाइनमेंट और गोपनीयता जोखिमों पर पूरी तरह विफल रहा, क्योंकि उसने लगभग सभी को मिस कर दिया क्योंकि उन बुरे कार्यों में अक्सर विनम्र भाषा का उपयोग किया गया था। सबसे महत्वपूर्ण बात यह है कि नए सिस्टम ने हानिरहित परिदृश्यों पर शून्य गलतियाँ कीं, कभी भी किसी सुरक्षित कार्य को नहीं रोका।
हालाँकि, शोधकर्ता इस बात को लेकर पारदर्शी रहने में सावधानी बरतते थे कि उनके अध्ययन ने क्या सिद्ध किया और क्या नहीं। जबकि सिस्टम ने सिमुलेशन में उत्कृष्ट प्रदर्शन किया, अध्ययन ने यह भी उजागर किया कि सिस्टम के विभिन्न भाग एक साथ कैसे काम करते हैं। जब उन्होंने यह देखने के लिए सुरक्षा गेट को हटाने की कोशिश की कि क्या यह वास्तव में आवश्यक था, तो उन्होंने पाया कि इस विशिष्ट परीक्षणों में अन्य हिस्से पहले से ही समान त्रुटियों को पकड़ रहे थे, जिससे गेट के अद्वितीय मूल्य को मापना कठिन हो गया। इसी तरह, उन्होंने पाया कि एक नया मीट्रिक, जिसे यह मापने के लिए डिज़ाइन किया गया था कि मानव एजेंट की कितनी अच्छी तरह निगरानी कर सकते हैं, वास्तव में कुछ मामलों में सिस्टम को कम संवेदनशील बना देता है, जो सुझाव देता कि गणित को और अधिक ट्यूनिंग की आवश्यकता है। शायद सबसे महत्वपूर्ण बात यह है कि उन्होंने अपने प्रोटोटाइप में एक डिज़ाइन गैप की खोज की: सिस्टम वर्तमान में एक कार्य को आगे बढ़ने की अनुमति देता है भले ही वह इसे चेतावनी के साथ चिह्नित करता हो, जो दरवाज़ा खोलने जैसे भौतिक कार्यों के लिए खतरनाक हो सकता है। इसका अर्थ है कि जबकि निर्णय तर्क सही है, अंतिम कार्यान्वयन को अपरिवर्तनीय कार्यों के लिए एक सख्त नियम की आवश्यकता है।
अध्ययन ने उनके ढांचे को मौजूदा वैश्विक एआई सुरक्षा मानकों के साथ भी मैप किया, जिससे यह दिखाया गया कि उनके तकनीकी घटक कैसे यूरोपीय संघ के एआई अधिनियम (EU AI Act) और नेशनल इंस्टीट्यूट ऑफ स्टैंडर्ड्स एंड टेक्नोलॉजी (NIST) के दिशानिर्देशों जैसे नियमों के साथ संरेखित हैं। यह संबंध बताता है कि सिस्टम केवल एक सैद्धांतिक विचार नहीं है बल्कि एक व्यावहारिक उपकरण है जो निर्माताओं को भरोसेमंद एआई के लिए कानूनी आवश्यकताओं को पूरा करने में मदद कर सकता है। शोधकर्ता इस बात पर जोर देते हैं कि उनका कार्य एक शुरुआत है। परिणाम एक सिमुलेशन से आए हैं, और अगले चरणों में वास्तविक हार्डवेयर, जैसे स्मार्ट स्पीकर और पहनने योग्य उपकरणों पर वास्तविक कृत्रिम बुद्धिमत्ता मॉडल के साथ सिस्टम का परीक्षण करना शामिल है। वे यह देखने के लिए स्थापित सुरक्षा बेंचमार्क का उपयोग करने की योजना बना रहे हैं कि उनका सिस्टम वास्तविक दुनिया की जटिलता को कैसे संभालता है। फिलहाल, यह कार्य एक ऐसे सुरक्षा स्तर के निर्माण के लिए एक स्पष्ट ब्लूप्रिंट प्रदान करता है जो स्वायत्त एजेंटों की निगरानी करता है, यह सुनिश्चित करता है कि वे अनियंत्रित स्वामियों के बजाय सहायक सेवक बने रहें। यह बुद्धिमान उपकरणों के वादे को बनाए रखते हुए बिना पर्यवेक्षण के कार्य करने के वास्तविक जोखिमों से रक्षा करने का एक तरीका प्रदान करता है।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।