Beyond Accuracy: Policy Invariance as a Reliability Test for LLM Safety Judges
यह शोध पत्र LLM सुरक्षा जजों के लिए एक महत्वपूर्ण विश्वसनीयता परीक्षण के रूप में "पॉलिसी इनवेरिएंस" (नीति अपरिवर्तनीयता) को प्रस्तुत करता है, जो एक नए स्ट्रेस-टेस्ट प्रोटोकॉल के माध्यम से यह प्रदर्शित करता है कि वर्तमान मूल्यांकनकर्ता अक्सर प्रॉम्प्ट की शब्दावली को एजेंट के व्यवहार के साथ मिला देते हैं, जो महत्वपूर्ण निर्णय अस्थिरता को प्रकट करता है और केवल सटीकता-आधारित बेंचमार्क के लिए अदृश्य विश्वसनीयता अंतराल को उजागर करने के लिए 'पॉलिसी इनवेरिएंस स्कोर' का प्रस्ताव देता है।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
कल्पना कीजिए कि आपने एक फुटबॉल मैच का निर्णय करने के लिए एक सख्त रेफरी को काम पर रखा है। रेफरी का काम खिलाड़ियों के कार्यों को देखना और यह तय करना है कि क्या उन्होंने नियमों को तोड़ा है। आर्टिफिशियल इंटेलिजेंस (AI) की दुनिया में, ये "रेफरी" बड़े लैंग्वेज मॉडल्स (LLMs) हैं जिनका उपयोग यह तय करने के लिए किया जाता है कि क्या AI एजेंट सुरक्षित रूप से व्यवहार कर रहे हैं।
यह शोध पत्र एक सरल लेकिन भयानक प्रश्न पूछता है: क्या रेफरी वास्तव में खिलाड़ियों का निर्णय ले रहा है, या वह केवल इस बात का निर्णय ले रहा है कि नियम कैसे लिखे गए हैं?
लेखकों ने पाया कि आज के कई AI रेफरी अपने काम में बहुत खराब हैं क्योंकि उन्हें नियमों की शब्दों की बनावट (wording) से आसानी से धोखा दिया जा सकता है, भले ही नियमों का अर्थ बिल्कुल न बदला हो।
यहाँ उनकी खोज का सरल उपमाओं (analogies) का उपयोग करके विवरण दिया गया है:
1. मुख्य समस्या: "शब्द-बदलने" वाली चाल (The "Word-Switch" Trick)
कल्पना कीजिए कि एक रेफरी हाथ में एक नियम पुस्तिका पकड़े हुए है जिसमें लिखा है: "आपको हाथों से गेंद को नहीं छूना चाहिए।"
- परिदृश्य A: खिलाड़ी हाथ से गेंद को छूता है। रेफरी सीटी बजाता है: फाउल!
- परिदृश्य B: आप नियम पुस्तिका को फिर से लिखते हैं: "हाथों का उपयोग करके गेंद को छूना वर्जित है।" (इसका अर्थ बिल्कुल वही है)।
- परिदृश्य C: आप इसे फिर से लिखते हैं: "खिलाड़ियों को हाथों के उपयोग से बचना चाहिए।" (यह थोड़ा नरम/हल्का है)।
शोधकर्ताओं ने AI रेफरी का इन परिदृश्यों के साथ परीक्षण किया। उन्होंने पाया कि:
- जब नियमों को ऐसे फिर से लिखा गया जिसका अर्थ बिल्कुल समान था (परिदृश्य B), तो AI रेफरी ने 10% बार अपना निर्णय बदल दिया। उन्होंने परिदृश्य A में "फाउल" कहा लेकिन परिदृश्य B में "कोई फाउल नहीं" कहा, भले ही खिलाड़ी ने बिल्कुल वही काम किया था।
- जब नियमों को सख्त या नरम बनाया गया (परिदृश्य C), तो रेफरीओं ने अपना निर्णय बदल दिया, जो कि अच्छा है। लेकिन डरावनी बात यह है कि वे "अर्थहीन" शब्द बदलने के मामले में भी उतनी ही बार अपना निर्णय बदल देते थे जितना कि "अर्थपूर्ण" नियम परिवर्तनों के मामले में।
रूपक (Metaphor): यह एक ऐसे जज की तरह है जो किसी अपराधी को दोषी करार देता है यदि कानून 'बोल्ड' फॉन्ट में लिखा हो, लेकिन निर्दोष करार देता है यदि वही कानून 'इटैलिक' (तिरछे) अक्षरों में लिखा हो। वे अपराध को नहीं देख रहे हैं; वे फॉन्ट को देख रहे हैं।
2. तीन परीक्षण (द "स्ट्रेस टेस्ट")
लेखकों ने यह देखने के लिए एक "स्ट्रेस टेस्ट" बनाया कि क्या रेफरी वास्तविक नियम परिवर्तन और नकली परिवर्तन के बीच अंतर कर सकते हैं। उन्होंने तीन सिद्धांतों का उपयोग किया:
सिद्धांत 1: "समान अर्थ" का परीक्षण (The "Same Meaning" Test)।
यदि आप अलग शब्दों का उपयोग करके नियम को फिर से लिखते हैं लेकिन अर्थ 100% समान रखते हैं (जैसे "must not" को "is prohibited from" में बदलना), तो निर्णय कभी भी नहीं बदलना चाहिए।- परिणाम: रेफरी विफल रहे। केवल शब्दों को पुनर्व्यवस्थित करने के कारण उन्होंने 9% तक अपने निर्णयों को बदल दिया।
सिद्धांत 2: "सख्त बनाम उदार" का परीक्षण (The "Strict vs. Lenient" Test)।
यदि आप नियम को स्पष्ट रूप से सख्त (जैसे, "कोई अपवाद नहीं") या स्पष्ट रूप से नरम (जैसे, "बचने का प्रयास करें") बनाते हैं, तो निर्णय उस दिशा में बदलना चाहिए।- परिणाम: रेफरी इसमें सफल रहे। वे समझ गए कि "कोई अपवाद नहीं" कहना "बचने का प्रयास करें" से अधिक सख्त है।
सिद्धांत 3: "स्पष्ट मामला" का परीक्षण (The "Clear Case" Test)।
यदि मामला स्पष्ट है (जैसे, खिलाड़ी ने किसी को मुक्का मारा), तो नियम को आप चाहे कैसे भी फिर से लिखें, निर्णय वही होना चाहिए।- परिणाम: रेफरी इसमें बुरी तरह विफल रहे। यहाँ तक कि स्पष्ट मामलों में भी, नियम की संरचना बदलने (जैसे, अपवादों के बारे में "सुराग" को पैराग्राफ के सामने ले जाना) से उनके निर्णय बदल गए।
3. बड़ी खोज: "भ्रमित रेफरी" (The "Confused Referee")
शोध पत्र का मुख्य निष्कर्ष यह है कि वर्तमान AI जज एक सार्थक परिवर्तन और एक अर्थहीन परिवर्तन के बीच अंतर नहीं कर सकते।
- वे नियमों में एक वास्तविक बदलाव (इसे सख्त बनाना) के प्रति उसी तीव्रता से प्रतिक्रिया करते हैं जैसे कि वे एक नकली बदलाव (केवल शब्दों को इधर-उधर करने) के प्रति प्रतिक्रिया करते हैं।
- इसका मतलब है कि जब हम किसी AI एजेंट के लिए सुरक्षा स्कोर देखते हैं, तो हमें नहीं पता कि वह स्कोर एजेंट के कार्य पर आधारित है, या केवल इस पर कि प्रॉम्प्ट (निर्देश) कैसे लिखा गया था।
उपमा: एक ड्राइविंग टेस्ट लेने की कल्पना करें।
- वास्तविक दुनिया: आप रेड लाइट पार करते हैं। आप फेल हो जाते हैं।
- शोध का निष्कर्ष: यदि इंस्ट्रक्टर नियम लिखता है "रेड लाइट पार न करें" बनाम "रेड लाइट एक नो-गो ज़ोन है," तो AI ड्राइविंग इंस्ट्रक्टर दूसरे संस्करण में आपको पास कर सकता है, भले ही आपने रेड लाइट पार की हो। AI वाक्य का निर्णय ले रहा है, कार्य का नहीं।
4. समाधान: "जज कार्ड" (The "Judge Card")
चूंकि हम इन रेफरीों पर आँख मूंदकर भरोसा नहीं कर सकते, इसलिए लेखक उनकी विश्वसनीयता रिपोर्ट करने का एक नया तरीका प्रस्तावित करते हैं। उन्होंने एक पॉलिसी इनवेरिएंस स्कोर (PIS) और एक जज कार्ड बनाया।
इसे भोजन पर लगे 'पोषण लेबल' (nutrition label) की तरह समझें, लेकिन AI जजों के लिए। केवल यह कहने के बजाय कि "यह जज 90% सटीक है," कार्ड कहता है:
- "यह जज 90% सटीक है, लेकिन यदि आप नियमों को थोड़ा सा फिर से लिखते हैं, तो इसकी सटीकता गिरकर 60% हो जाती है।"
- "यह जज नाजुक है: नियम पुस्तिका में एक कॉमा (comma) हिलाने से भी इसका निर्णय बदल जाता है।"
उन्होंने चार लोकप्रिय AI मॉडल्स (GPT, Claude, DeepSeek, और Gemini) का परीक्षण किया।
- GPT-5.4-mini सबसे स्थिर था (स्कोर: 0.70)।
- Gemini-Flash सबसे कम स्थिर था (स्कोर 0.03 जितना कम था), जिसका अर्थ है कि यह एक विश्वसनीय जज के रूप में लगभग बेकार था क्योंकि यह सरल शब्द परिवर्तनों से भ्रमित हो जाता था।
सारांश
यह शोध पत्र तर्क देता है कि हम इन AI रेफरी पर हमारे डिजिटल जगत को सुरक्षित रखने के लिए भरोसा कर रहे हैं, लेकिन हमने यह जाँच नहीं की है कि वे वास्तव में नियमों पर ध्यान दे रहे हैं या केवल शब्दों की बनावट पर।
निष्कर्ष: सिर्फ इसलिए कि एक AI कहता है कि एक एजेंट "सुरक्षित" है, इसका मतलब यह नहीं है कि वह सुरक्षित है। इसका मतलब सिर्फ यह हो सकता है कि AI को उस दिन सुरक्षा नियमों को लिखने का तरीका पसंद आया था। इन जजों को उच्च-जोखिम वाले निर्णयों (जैसे स्वास्थ्य सेवा या वित्त) के लिए सौंपने से पहले, हमें यह परीक्षण करने की आवश्यकता है कि क्या वे "फालतू बातों" (fluff) को अनदेखा कर सकते हैं और तथ्यों पर ध्यान केंद्रित कर सकते हैं। लेखक ठीक यही करने के लिए एक टूलकिट प्रदान करते हैं।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।