SafePyramid: A Hierarchical Benchmark for In-context Policy Guardrailing
यह शोध पत्र SafePyramid को प्रस्तुत करता है, जो एक पदानुक्रमित बेंचमार्क है जिसमें 1,000 बहु-चरण (multi-turn) वार्तालाप और 3,000 अनुप्रयोग-विशिष्ट नीतियां शामिल हैं, जो इन-कॉन्टेक्स्ट पॉलिसी गार्डरेलिंगिंग का मूल्यांकन करता है, और यह प्रकट करता है कि अत्याधुनिक मॉडल भी जटिलता के विभिन्न स्तरों के माध्यम से सुरक्षा उल्लंघनों को सटीक रूप से पहचानने और नवीन नीति ढांचों के अनुकूल होने में संघर्ष करते हैं।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
कल्पना कीजिए कि आप एक विशाल, हाई-टेक इमारत के सुरक्षा प्रमुख हैं। अतीत में, आपके सुरक्षा गार्ड (AI मॉडल) एक निश्चित, कठोर नियम पुस्तिका के साथ प्रशिक्षित किए गए थे: "कोई हथियार नहीं," "कोई चिल्लाना नहीं," "कोई आवारागर्दी नहीं।" यदि कोई इन नियमों को तोड़ता था, तो गार्ड उन्हें रोकता था। इसे फिक्स्ड-टैक्सोनॉमी गार्ड्रेलिंग (Fixed-Taxonomy Guardrailing) कहा जाता है। यह सामान्य सुरक्षा के लिए अच्छा काम करता है, लेकिन वास्तविक जीवन के लिए बहुत कठोर है।
कभी-कभी, एक वीआईपी अतिथि को प्रतिबंधित क्षेत्र में प्रवेश करने की आवश्यकता होती है (एक "विशेषज्ञ सलाह" परिदृश्य), या एक निर्माण दल को भारी मशीनरी को गलियारे से ले जाने की आवश्यकता होती है (एक "महत्वपूर्ण बुनियादी ढांचा" परिदृश्य)। इन विशिष्ट स्थितियों के लिए नियम दिन, व्यक्ति और संदर्भ के आधार पर बदलते रहते हैं। आप हर बार पूरी इमारत की सुरक्षा नियमावली को फिर से नहीं लिख सकते; आपको एक ऐसे गार्ड की आवश्यकता है जो प्रवेश के समय ही उसे दिया गया एक नया, अस्थायी नियम पत्र (new, temporary rule sheet) पढ़ सके और उसका पूरी तरह से पालन कर सके।
यही वह चीज़ है जिसे पेपर इन-कॉन्टेक्स्ट पॉलिसी गार्ड्रेलिंग (In-Context Policy Guardrailing) कहता है।
इस पेपर के लेखक, जो बाइटडांस (ByteDance) और मेलबर्न विश्वविद्यालय के हैं, ने महसूस किया कि हालांकि हमारे पास बेहतरीन AI गार्ड हैं, लेकिन हमें वास्तव में यह नहीं पता कि क्या वे इन नए, अस्थायी नियम पत्रों को पढ़ने में अच्छे हैं। इसलिए, उन्होंने एक विशाल परीक्षण स्थल बनाया जिसे सेफपिरामिड (SafePyramid) कहा जाता है।
द सेफपिरामिड टेस्ट: एक तीन मंजिला इमारत
इन AI गार्डों का परीक्षण करने के लिए, शोधकर्ताओं ने एक बेंचमार्क बनाया जो कठिनाई के तीन स्तरों वाले पिरामिड जैसा दिखता है। इसे एक वीडियो गेम की तरह समझें जिसमें तीन बढ़ते हुए कठिन स्तर हैं:
स्तर 0: "उल्लंघन पहचानें" का खेल (समझना)
कल्पना कीजिए कि एक गार्ड को 20 नियमों की एक सूची दी गई है। कुछ नियम आने वाले व्यक्ति के लिए प्रासंगिक हैं (जैसे, "कुत्ते की अनुमति नहीं है"), और कुछ 'रेड हेरिंग्स' (भटकाने वाले तत्व) हैं (जैसे, "लॉबी में तैराकी की अनुमति नहीं है," जबकि वहां कोई पूल नहीं है)।
- परीक्षण: क्या गार्ड व्यक्ति और बातचीत को देखकर कह सकता है, "ठीक है, उनके पास एक कुत्ता है, इसलिए उन्होंने नियम #3 तोड़ा। लेकिन वे तैर नहीं रहे हैं, इसलिए नियम #15 ठीक है"?
- चुनौती: कई AI गार्ड रेड हेरिंग्स से भ्रमित हो जाते हैं या वास्तविक उल्लंघन के सूक्ष्म विवरणों को मिस कर देते हैं।
स्तर 1: "नियम पुस्तिका तर्क" का खेल (निर्भरताएं)
अब, नियम पेचीदा हो जाते हैं। कल्पना कीजिए कि एक नियम कहता है, "कुत्तों की अनुमति नहीं है।" लेकिन एक दूसरा नियम है: "जब तक कि कुत्ता एक प्रमाणित सेवा पशु (certified service animal) न हो।"
- परीक्षण: गार्ड को यह समझना होगा कि पहला नियम आमतौर पर सच होता है, लेकिन दूसरा नियम इसे रद्द कर सकता है यदि विशिष्ट स्थितियां पूरी होती हैं। या, एक नियम कह सकता है कि "आप कुत्ता ला सकते हैं," जब तक कि कुत्ता जोर से भौंक न रहा हो।
- चुनौती: AI को एक साथ कई नियमों को संभालना होता है। यदि वह एक कुत्ता देखता है, तो वह केवल "उल्लंघन!" नहीं कह सकता; उसे यह भी जांचना होगा कि क्या "सेवा पशु" वाला अपवाद लागू होता है। पेपर में पाया गया कि अधिकांश AI गार्ड यहाँ बहुत भ्रमित हो जाते हैं, या तो अपवादों को मिस कर देते हैं या उन्हें तब लागू कर देते हैं जब उन्हें नहीं करना चाहिए।
स्तर 2: "विदेशी भाषा" का खेल (नवीन ढांचे)
यह सबसे कठिन स्तर है। कल्पना कीजिए कि एक गार्ड को एक पूरी तरह से बनाई गई भाषा में नियम पुस्तिका दी गई है जिसमें बनाए गए शब्द हैं (जैसे, "द OGCP प्रोटोकॉल" या "कंटेनमेंट वेरिफिकेशन")। गार्ड ने पहले कभी ये शब्द नहीं देखे हैं। वे अपने प्रशिक्षण या सामान्य ज्ञान पर भरोसा नहीं कर सकते; उन्हें नए नियम पुस्तिका में दी गई परिभाषाओं को पढ़ना होगा और उन्हें बिल्seits लिखे अनुसार सटीक रूप से लागू करना होगा।
- परीक्षण: क्या गार्ड तुरंत नए नियमों को सीख सकता है और बिना किसी गलती के उन्हें लागू कर सकता है?
- चुनौती: यहीं पर AI गार्ड वास्तव में संघर्ष करते हैं। सबसे स्मार्ट मॉडल भी नए शब्दावली में खो जाते हैं और नियमों को सही ढंग से लागू करने में विफल रहते हैं।
परिणाम: गार्ड अभी भी सीख रहे हैं
शोधकर्ताओं ने दुनिया के 10 सबसे स्मार्ट AI मॉडलों ("फ्रंटियर LLMs") और 5 विशिष्ट सुरक्षा मॉडलों का इस पिरामिड के विरुद्ध परीक्षण किया।
यहाँ बुरी खबर है: गार्ड अभी इस काम के लिए तैयार नहीं हैं।
- आसान स्तर पर (स्तर 0): सबसे अच्छा AI (GPT-5.5) केवल 54% बार ही पूरे उल्लंघन की सूची को सही ढंग से बता पाया। जटिल कार्य के लिए यह एक सिक्के के उछाल (coin flip) से भी मुश्किल से बेहतर है।
- मध्यम स्तर पर (स्तर 1): सफलता दर गिरकर 35% हो गई।
- कठिन स्तर पर (स्तर 2): सफलता दर तेजी से गिरकर 13% रह गई।
यह एक छात्र को गणित का टेस्ट देने जैसा है। वे सरल जोड़-घटाव के सवाल सही कर सकते हैं, लेकिन जैसे ही आप बीजगणित (निर्भरताएं) पेश करते हैं और फिर गणित के पूरी तरह से नए प्रतीकों (नवीन ढांचे) में बदल जाते हैं, वे बुरी तरह विफल होने लगते हैं।
वे क्यों विफल होते हैं?
पेपर ने गहराई से जांचा कि AI क्यों विफल होता है, जिससे उनकी सोच में तीन मुख्य "बग्स" मिले:
- कीवर्ड स्निफिंग (Keyword Sniffing): AI "कुत्ता" जैसा शब्द देखता है और तुरंत "उल्लंघन!" सोच लेता है, बिना यह जांचे कि क्या यह नियम वास्तव में इस विशेष कुत्ते पर लागू होता है या कोई अपवाद मौजूद है। यह एक सुरक्षा गार्ड की तरह है जो हर उस व्यक्ति को रोकता है जिसने टोपी पहनी है, यह नजरअंदाज करते हुए कि "बच्चों के लिए टोपी की अनुमति है।"
- अपवादों पर नियंत्रण खोना (Losing the Plot on Exceptions): जब एक नियम कहता है "कुत्ते की अनुमति नहीं है, जब तक कि वह सेवा पशु न हो," तो AI अक्सर "जब तक कि" वाले हिस्से को भूल जाता है। वह कुत्ता देखता है और व्यक्ति को रोक देता है, बारीकियों को समझने में विफल रहता है।
- नए शब्दों में खो जाना (Getting Lost in New Words): जब नियम एक नए, काल्पनिक ढांचे (स्तर 2) में लिखे जाते हैं, तो AI भ्रमित हो जाता है। वे नियमों को जज करने के बजाय नियमों को ही उल्लंघन मानने लगते हैं। यह एक छात्र की तरह है जो, जब उसे एक नया शब्दकोश दिया जाता है, तो वह कहानियों को समझने के लिए परिभाषाओं का उपयोग करने के बजाय परिभाषाओं को ही तथ्य मानकर रटने लगता है।
समाधान क्या है?
पेपर सुझाव देता है कि केवल AI को "स्मार्ट" बनाना पर्याप्त नहीं है। वर्तमान दृष्टिकोण, जिसमें AI को नियमों का पूरा पेज पढ़ने और फिर उल्लंघनों की सूची बताने के लिए कहा जाता है, बहुत कठिन है।
इसके बजाय, शोधकर्ताओं ने पाया कि यदि आप कार्य को विभाजित करते हैं—AI को एक बार में एक नियम की जांच करने के लिए कहना और फिर उत्तरों को मिलाना—तो प्रदर्शन बहुत बेहतर हो जाता है। यह एक सुरक्षा गार्ड को एक चेकलिस्ट के माध्यम से एक-एक करके आइटम की जांच करने के लिए कहने जैसा है, बजाय इसके कि उनसे एक ही बार में पूरी इमारत की सुरक्षा नीति याद करने को कहा जाए।
उन्होंने यह भी पाया कि "एजेंट हार्नेस" (जो कि मुख्य गार्ड की मदद करने के लिए AI सहायकों की एक टीम होने जैसा है) का उपयोग करने से परिणामों में काफी सुधार होता है।
निचोड़
सेफपिरामिड (SafePyramid) एक चेतावनी है। जबकि AI बातचीत करने और लिखने में अद्भुत है, यह वर्तमान में एक सख्त, नियम का पालन करने वाले सुरक्षा गार्ड के रूप में बहुत खराब है जो मौके पर नए, विशिष्ट नीतियों के अनुकूल हो सके। हमें बेहतर सिस्टम बनाने की आवश्यकता है जो जटिल नियमों की निर्भरताओं को संभाल सकें और नए ढांचों को तुरंत सीख सकें, अन्यथा हम वास्तविक दुनिया के अनुप्रयोगों में अपने डिजिटल स्थानों को सुरक्षित रखने के लिए उन पर भरोसा नहीं कर सकते।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।