PolicyFaultBench: Mutation-Based Assurance of Policy Mediation and Proposal-Interface Conformance for Tool- Using AI Agents
PolicyFaultBench एक म्यूटेशन-आधारित बेंचमार्क है जो रनटाइम पॉलिसी मीडिएशन और प्रपोजल-इंटरफेस कन्फॉर्मेंस का कड़ाई से परीक्षण करके टूल-उपयोग करने वाले एआई एजेंटों को मान्य करता है, जो यह प्रकट करता है कि हालांकि एजेंट उच्च निष्पादन सफलता प्राप्त कर सकते हैं, फिर भी वे सूक्ष्म इंटरफेस विचलन के कारण सख्त स्वीकृति मानदंडों में विफल हो सकते हैं जिनके पता लगाने के लिए लक्षित जांच की आवश्यकता होती है।
मूल पेपर CC BY 4.0 (https://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
कल्पना कीजिए कि एक ऐसी दुनिया है जहाँ आपका पसंदीदा एआई असिस्टेंट एक सुपर-स्मार्ट, उत्साही इंटर्न की तरह है। यह कोड लिख सकता है, ईमेल भेज सकता है, और यदि आप कहें तो पैसे भी ट्रांसफर कर सकता है। लेकिन यहाँ एक पेंच है: यह इंटर्न अविश्वसनीय रूप से रचनात्मक है और कभी-कभी बहुत अधिक बातें करने लगता है। यदि आप इसे कहते हैं, "मेरे बॉस को एक ईमेल भेजें," तो यह ईमेल भेजने से पहले उसमें एक मज़ेदार चुटकुला, एक अजीब इमोजी, या अपने सप्ताहांत के बारे में एक लंबी कहानी जोड़ सकता है। कंप्यूटर सुरक्षा की उच्च-दांव वाली दुनिया में, वह अतिरिक्त बातचीत केवल परेशान करने वाली नहीं है; बल्कि वह खतरनाक है। यदि सिस्टम जो इंटर्न के काम की जाँच करता है, वह सटीक संदेश को नहीं देखता है, तो वह एक छिपे हुए जाल को मिस कर सकता है या अनजाने में एक खतरनाक क्रिया को मंजूरी दे सकता है। यह "पॉलिसी मीडिएशन" (नीति मध्यस्थता) की समस्या है: यह सुनिश्चित करना कि जब कोई एआई किसी कार्य का सुझाव देता है, तो एक सख्त सुरक्षा गार्ड उसे लिखे गए रूप में बिल्कुल सटीक तरीके से जाँच ले। बड़ा सवाल केवल यह नहीं है कि "क्या एआई स्मार्ट है?" बल्कि यह है कि "क्या सुरक्षा गार्ड अपना काम पूरी तरह से कर रहा है, भले ही एआई थोड़ा अजीब व्यवहार करे?"
यह शोध पत्र, जिसका शीर्षक PolicyFaultBench है, उस सुरक्षा गार्ड का एक कठोर निरीक्षण है। शोधकर्ताओं, हसन फादिल कासिम और सारा अब्दुलज़हरा कादिम ने केवल एआई को यादृच्छिक चीजें करने के लिए नहीं कहा; उन्होंने एक नियंत्रित खेल बनाया जहाँ एआई को एक "ट्रांसक्राइबर" (लिपिक) के रूप में कार्य करना था। एक जटिल मिशन की योजना बनाने के बजाय, एआई को एक विशिष्ट, स्थिर कार्य (जैसे "बॉब को $10 ट्रांसफर करें") दिया गया और उसे एक बहुत ही विशिष्ट प्रारूप में लिखने के लिए कहा गया। शोधकर्ताओं ने फिर सुरक्षा गार्ड (मध्यस्थ) का परीक्षण किया ताकि यह देखा जा सके कि क्या वह गलतियों, अजीब फॉर्मेटिंग, या छिपी हुई चालों को पकड़ पाता है। उन्होंने "म्यूटेशन टेस्टिंग" नामक एक चतुर तकनीक का उपयोग किया, जो सुरक्षा गार्ड की नियम पुस्तिका को छोटे तरीकों से जानबूझकर तोड़ने जैसा है। उदाहरण के लिए, वे यह दिखा सकते हैं कि गार्ड ने यह जाँचना भूल गया कि पैसा ट्रांसफर स्वीकृत हुआ या नहीं, या वे यह दिखा सकते हैं कि गार्ड ने किसी दूसरे व्यक्ति को ट्रांसफर की अनुमति दे दी।
अध्ययन से पता चला कि हालांकि सुरक्षा गार्ड (OpenAI और Anthothic जैसी कंपनियों के) आम तौर पर बुरे कार्यों को रोकने में अच्छे हैं, लेकिन वे पूर्ण नहीं हैं। एक प्रदाता के 400 परीक्षणों के एक परीक्षण में, गार्ड ने हर एक बुरे प्रयास को पकड़ लिया। हालाँकि, जब उन्होंने दूसरे प्रदाता का परीक्षण किया, तो 9 बार 400 में से, एआई ने अपने संदेश में टेक्स्ट का एक छोटा सा अतिरिक्त हिस्सा जोड़ दिया (जैसे कि एक "स्कोप" फ़ील्ड जोड़ना जिसकी मांग नहीं की गई थी)। सुरक्षा गार्ड ने, एक सख्त नियम का पालन करते हुए कि "संदेश बिल्कुल मेल खाना चाहिए," इन 9 संदेशों को अस्वीकार कर दिया। यह एक "फेल-क्लोज्ड" (fail-closed) डिज़ाइन है, जिसका अर्थ है कि एक छोटी सी टाइपो के कारण सुरक्षित संदेश को अस्वीकार करना, एक खतरनाक संदेश को गलती से स्वीकार करने से बेहतर है। शोधकर्ताओं ने दिखाया कि हालांकि उन 9 मामलों में एआई का इरादा सुरक्षित था, लेकिन अतिरिक्त टेक्स्ट के कारण सिस्टम भ्रमित न हो जाए, यह सुनिश्चित करने के लिए सख्त जाँच आवश्यक थी।
शोध पत्र ने यह भी खोजा कि सुरक्षा गार्ड की नियम पुस्तिका में कुछ छिपे हुए छेद थे। जब उन्होंने जानबूझकर नियमों को तोड़ा (म्यूटेशन वाला हिस्सा), तो गार्ड पहले दौर में 12 प्रकार की चालों में से 5 को पकड़ नहीं पाया। यह केवल तभी बाकी को पकड़ पाया जब शोधकर्ताओं ने विशेष "प्रोब" (जांच) परीक्षण जोड़े जो विशेष रूप से उन छूटे हुए छेदों को खोजने के लिए डिज़ाइन किए गए थे। यह सुझाव देता है कि सिर्फ इसलिए कि कोई सिस्टम आज काम कर रहा है, इसका मतलब यह नहीं है कि वह कल हर संभव चाल के खिलाफ सुरक्षित है। शोधकर्ताओं ने यह भी देखने की कोशिश की कि क्या ये परिणाम अलग कार्यों (AgentDojo नामक बेंचमार्क से प्राप्त) और एक अलग सुरक्षा प्रणाली के साथ कायम रहेंगे। परिणाम मिले-जुले थे: एआई नए कार्यों के साथ 400 में से 391 बार सफल रहा, और केवल उसी "अतिरिक्त टेक्स्ट" वाली समस्या के कारण विफल हुआ।
संक्षेप में, यह पत्र सुझाव देता है कि हम एआई मॉडलों पर खुद से पूर्ण होने के लिए भरोसा नहीं कर सकते। हमें एक अलग, सख्त सुरक्षा परत की आवश्यकता है जो एआई के प्रस्तावों की अत्यधिक सटीकता के साथ जाँच करे। यदि एआई अनुरोधित चीज़ के अलावा एक अतिरिक्त शब्द भी जोड़ता है, तो सिस्टम को अनुमान लगाने के बजाय रुक जाना चाहिए और स्पष्टीकरण मांगना चाहिए। अध्ययन साबित करता है कि हालांकि वर्तमान प्रणालियाँ मजबूत हैं, लेकिन उन्हें सूक्ष्म त्रुटियों को मिस न करने के लिए निरंतर, कठोर परीक्षण की आवश्यकता है। शोधकर्ता निष्कर्ष निकालते हैं कि सुरक्षा केवल एक "पास" या "फेल" ग्रेड नहीं है; यह विभिन्न जाँचों का एक संग्रह है—संदेश के प्रारूप की जाँच करना, नियमों की जाँच करना और अंतिम परिणाम की जाँच करना—जो डिजिटल दुनिया को सुरक्षित रखने के लिए मिलकर काम करते हैं।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।