Teleoneutrosophic Logic for Three-Way Authorisation of Institutional AI Agents
यह शोध पत्र टेलीओन्यूट्रोसॉफ़िक लॉजिक (Teleoneutrosophic Logic) का प्रस्ताव करता है, जो एक प्रोवेनेंस-जागरूक (provenance-aware) ढांचा है जो प्रभाव और उद्देश्य के लिए अलग-अलग न्यूट्रोसॉफ़िक ट्रिपल्स को जोड़ता है ताकि संस्थागत एआई एजेंटों के त्रि-पक्षीय प्राधिकरण को सक्षम किया जा सके, जो वैध बाहरी अनुरोधों को दुर्भावनापूर्ण प्रलोभनों से अलग करके प्रत्यक्ष-हानि पास-थ्रू (direct-harm pass-through) को प्रभावी रूप से कम करता है।
मूल पेपर CC BY 4.0 (https://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
आधुनिक डिजिटल दुनिया में, सरकारी एजेंसियां और बड़े संस्थान जटिल कार्यों को संभालने के लिए आर्टिफिशियल इंटेलिजेंस (AI) का उपयोग करना शुरू कर रहे हैं, जैसे कि नागरिक याचिकाओं का सारांश बनाना या टैक्स रिकॉर्ड का प्रबंधन करना। ये AI एजेंट शक्तिशाली उपकरण हैं, लेकिन उन्हें एक अनूठी और खतरनाक समस्या का सामना करना पड़ता है: उन्हें धोखा दिया जा सकता है। कल्पना कीजिए कि एक नागरिक टैक्स संबंधी मुद्दे पर एक याचिका प्रस्तुत करता है, लेकिन उस दस्तावेज़ के भीतर एक गुप्त निर्देश छिपा है जो AI को किसी अजनबी के खाते में पैसा ट्रांसफर करने के लिए कहता है। AI के लिए, वह निर्देश केवल पालन किए जाने वाले एक और कमांड की तरह दिखता है। सुरक्षा विशेषज्ञों के लिए चुनौती यह है कि वे एक अधिकृत अधिकारी के वैध आदेश और एक ऐसे दस्तावेज़ में दबे छिपे हुए कमांड के बीच अंतर करें जिसे AI केवल पढ़ रहा है। पारंपरिक सुरक्षा प्रणालियाँ अक्सर केवल इस बात पर ध्यान देती हैं कि कोई कार्य क्या करता है—जैसे कि पैसा ट्रांसफर करना—और इस बात को समझने में संघर्ष करती हैं कि वास्तव में इसे किसने और क्यों मांगा। यह अंतर संस्थानों को "प्रॉम्प्ट इंजेक्शन" के प्रति असुरक्षित छोड़ देता है, जहाँ हमलावर उस डेटा के भीतर दुर्भावनापूर्ण निर्देश छिपा देते हैं जिसे AI प्रोसेस कर रहा है।
इसे हल करने के लिए, शोधकर्ताओं सेल्कुक टोपाल और बुगरा अयान ने यह तय करने के लिए एक नया तरीका विकसित किया है कि क्या एक AI एजेंट को किसी अनुरोध को पूरा करना चाहिए। उनका दृष्टिकोण, जिसे टेलीन्यूट्रोसॉफ़िक लॉजिक (Teleoneutrosophic Logic) कहा जाता है, किसी कार्य को अधिकृत करने के निर्णय को एक तीन-तरफा विकल्प के रूप में देखता है: सिस्टम कार्य को मंजूरी दे सकता है, उसे अस्वीकार कर सकता है, या समीक्षा के लिए मानव से पूछने हेतु रुक सकता है। उनके नवाचार का मूल "क्या" को "क्यों" से अलग करना है। सिस्टम क्रिया (प्रभाव) और निर्देश के स्रोत (उद्देश्य) दोनों का दो अलग-अलग साक्ष्यों के रूप में मूल्यांकन करता है। महत्वपूर्ण रूप से, यह प्रत्येक स्रोत को एक 'ट्रस्ट स्कोर' (विश्वास स्कोर) प्रदान करता है। एक सत्यापित सरकारी अधिकारी से सीधे प्राप्त आदेश का ट्रस्ट स्कोर उच्च होता है, जबकि किसी नागरिक द्वारा अपलोड किए गए दस्तावेज़ या अज्ञात प्रेषक के ईमेल का स्कोर कम होता है। सिस्टम फिर इन स्कोरों को संभावित नुकसान के विरुद्ध तौलता है। यदि एक कम-ट्रस्ट वाला स्रोत किसी उच्च-जोखिम वाले निर्णय को प्रभावित करने की कोशिश करता है, तो सिस्टम केवल उसे अनदेखा नहीं करता है; इसके बजाय, यह स्पष्ट, विश्वसनीय उद्देश्य की कमी को रुकने और निर्णय को मानव तक पहुँचाने के कारण के रूप में देखता है।
शोधकर्ताओं ने सिम्युलेटेड हमलों और वास्तविक सरकारी परिदृश्यों के एक बड़े संग्रह का उपयोग करके इस प्रणाली का परीक्षण किया। उन्होंने एक हज़ार से अधिक परिदृश्य बनाए जहाँ हमलावरों ने डेटा चुराने या अनधिकृत रिफंड जारी करने के लिए AI एजेंटों को ठगने की कोशिश की। इन परीक्षणों में, नया सिस्टम अप्रतिबंधित स्रोतों से होने वाले हमलों को रोकने में अत्यधिक प्रभावी साबित हुआ। जब सिस्टम ने सही ढंग से पहचान लिया कि अनुरोध एक कम-ट्रस्ट वाले चैनल से आया था, तो उसने AI को कार्य करने से रोक दिया, भले ही छिपा हुआ निर्देश बहुत प्रभावशाली लग रहा हो। अध्ययन में पाया गया कि "उद्देश्य" को उसके "प्रभाव" से अलग रखकर, सिस्टम सफल हमलों की दर को एक खतरनाक स्तर से घटाकर एक बहुत छोटे अंश तक कम कर सकता है। उदाहरण के लिए, प्रत्यक्ष नुकसान से संबंधित परीक्षणों के एक सेट में, जब लेबल सही थे, तो सिस्टम ने सफल हमलों की संख्या को 36 प्रतिशत से अधिक से घटाकर 2 प्रतिशत से भी कम कर दिया। यहाँ तक कि जब सिस्टम को एक खतरनाक स्रोत को विश्वसनीय के रूप में गलत लेबल करने के लिए छला गया, तब भी इसने अधिकांश हमलों को रोकने में सफलता प्राप्त की, जिससे सफलता की दर 80 प्रतिशत से गिरकर लगभग 35 प्रतिशत रह गई।
हालाँकि, शोधकर्ताओं ने इस दृष्टिकोण की सीमाओं का भी पता लगाया। सिस्टम विभिन्न चैनलों को दिए गए ट्रस्ट लेबल की सटीकता पर बहुत अधिक निर्भर करता है। यदि कोई हमलावर सिस्टम को यह विश्वास दिलाने में सफल हो जाता है कि एक दुर्भावनापूर्ण स्रोत भरोसेमंद है, तो सुरक्षा कमजोर हो जाती है। इसके अलावा, अध्ययन ने दिखाया कि यह प्रणाली एक जादुई ढाल नहीं है जो हर स्थिति में पूरी तरह से काम करती है। कुछ मामलों में, विशेष रूप से जब AI से विशिष्ट निर्देशों के बिना नागरिकों से सामान्य अनुरोधों को प्रोसेस करने के लिए कहा गया था, तो सिस्टम सतर्क था और अक्सर मानव समीक्षा के लिए रुक गया। यह सावधानी एक बग नहीं, बल्कि एक विशेषता है; यह सुनिश्चित करती है कि AI गलती से हानिकारक कार्यों को मंजूरी न दे दे। शोधकर्ताओं ने पाया कि जबकि सिस्टम स्पष्ट हमलों को रोकने में उत्कृष्ट है, फिर भी इसे जटिल या संदिग्ध स्थितियों के लिए मानव निरीक्षण की आवश्यकता होती है। उन्होंने यह भी नोट किया कि सिस्टम को सीखने और सुधारने के लिए, उसे अप्रतिबंधित चैनलों से आने वाले वैध अनुरोधों के उदाहरण देखने की आवश्यकता है, जो वर्तमान में प्रशिक्षण डेटा में दुर्लभ हैं। इन उदाहरणों के बिना, सिस्टम वैध नागरिक अनुरोधों को गलती से ब्लॉक कर सकता है।
अध्ययन निष्कर्ष निकालता है कि हालांकि यह नया लॉजिक AI एजेंटों को सुरक्षित करने की दिशा में एक महत्वपूर्ण कदम है, लेकिन यह एक स्टैंडअलोन समाधान नहीं है। यह तब सबसे अच्छा काम करता है जब इसे डेटा को लेबल करने और ट्रैक करने के सख्त नियमों के साथ जोड़ा जाता है। शोधकर्ताओं ने प्रदर्शित किया कि एक सरल, कठोर नियम जो किसी भी अप्रतिबंधित इनपुट को संदिग्ध मानता है, उतना ही सुरक्षित हो सकता है जितना कि उनका जटिल सिस्टम, बशर्ते लेबल सही हों। उनके कार्य का वास्तविक मूल्य अनिश्चितता को संभालने के तरीके को दिखाने में निहित है। सिस्टम को "एम्बिवेलेंस" (द्विधा या अनिश्चितता की स्थिति)—एक ऐसी स्थिति जहाँ वह अनिश्चित है कि कोई अनुरोध सुरक्षित है या असुरक्षित—व्यक्त करने की अनुमति देकर, यह सरल हाँ-या-ना फ़िल्टर की तुलना में स्मार्ट निर्णय ले सकता है। यह दृष्टिकोण सुनिश्चित करता है कि जब एक AI एजेंट को संवेदनशील कार्य करने के लिए कहा जाता है, तो वह न केवल यह जाँचता है कि कार्य संभव है या नहीं, बल्कि यह भी कि उसे यह पूछने वाले व्यक्ति के पास ऐसा करने का अधिकार है या नहीं। निष्कर्ष बताते हैं कि AI को सरकार और महत्वपूर्ण बुनियादी ढांचे में सुरक्षित रूप से उपयोग करने के लिए, हमें ऐसे सिस्टम बनाने चाहिए जो एक कमांड और एक सुझाव के बीच अंतर को समझते हों, और जिन्हें पता हो कि कब पीछे हटना है और मानव को कमान संभालने देनी है।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।