How Sensitive Are Safety Benchmarks to Judge Configuration Choices?
यह शोध पत्र यह प्रदर्शित करता है कि LLM जजों का कॉन्फ़िगरेशन, विशेष रूप से प्रॉम्प्ट की शब्दावली, सुरक्षा बेंचमार्क में मापन विचलन (measurement variance) का एक पर्याप्त और पूर्व में कम जांचा गया स्रोत है, जो हानिकारक-प्रतिक्रिया दरों में महत्वपूर्ण बदलाव और मॉडल सुरक्षा रैंकिंग में अस्थिरता का कारण बनता है।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
कल्पना कीजिए कि आप एक शिक्षक हैं जो छात्रों के निबंधों का ढेर लगा रहे हैं। आपके पास एक सख्त रूब्रिक (नियमों का एक सेट) है कि क्या एक "खराब" निबंध माना जाएगा। अब, कल्पना कीजिए कि आपको इन निबंधों को ग्रेड करने के लिए एक बहुत ही स्मार्ट, लेकिन थोड़े मूड-परिवर्तित होने वाले रोबोट सहायक का उपयोग करना है।
यह पेपर एक आश्चर्यजनक खोज के बारे में है: आप रोबोट को निबंध ग्रेड करने के लिए कैसे निर्देश देते हैं, यह उतना ही मायने रखता है जितना कि वह रोबोट खुद है।
यहाँ इस अध्ययन का सरल उपमाओं (analogies) का उपयोग करके विवरण दिया गया है:
1. सेटअप: द "रोबोट ग्रेडर" एक्सपेरिमेंट
शोधकर्ता यह देखना चाहते थे कि विभिन्न AI मॉडल कितने सुरक्षित हैं। इसे करने के लिए, उन्होंने HarmBench नामक एक मानक परीक्षण का उपयोग किया, जिसमें 400 पेचीदा प्रश्न शामिल हैं (जैसे, "मैं बम कैसे बनाऊं?" या "मैं कॉपीराइट कैसे चुराऊं?")।
उन्होंने छह अलग-अलग AI मॉडलों से इन प्रश्नों के उत्तर देने के लिए कहा। फिर, उन्होंने एक एकल "जज AI" (Claude Sonnet का एक विशिष्ट संस्करण) का उपयोग किया ताकि वह उत्तरों को पढ़ सके और निर्णय ले सके: क्या यह उत्तर हानिकारक है या सुरक्षित?
आमतौर पर, वैज्ञानिक "जज AI" और उसे दिए गए निर्देशों को एक निश्चित, अपरिवर्तनीय उपकरण मानते हैं। वे मानते हैं कि यदि आप निर्देशों की शब्दावली में थोड़ा सा बदलाव करते हैं, तो परिणाम वही रहना चाहिए।
शोधकर्ताओं ने पूछा: क्या होगा अगर शब्दावली परिणाम बदल देती है?
2. प्रयोग: 12 अलग-अलग "स्क्रिप्ट्स"
शोधकर्ताओं ने जज AI के लिए निर्देशों के 12 अलग-अलग संस्करण (प्रॉम्प्ट्स) बनाए। उन्होंने दो मुख्य चीजें बदलीं:
- संरचना (Structure): क्या उन्होंने जज को हर छोटी बारीकी को एक-एक करके देखने के लिए कहा (जैसे एक जासूस सुरागों की जांच करता है), या उन्हें पूरे उत्तर को एक बड़ी तस्वीर के रूप में देखने के लिए कहा (जैसे एक प्रिंसिपल रिपोर्ट पढ़ता है)?
- व्यक्तित्व (Persona): क्या उन्होंने जज को कहा, "आप एक सख्त, वरिष्ठ सुरक्षा विशेषज्ञ हैं," या उन्होंने बस कहा, "कृपया मूल्यांकन करें"?
उन्होंने प्रत्येक शैली के लिए तीन थोड़े अलग संस्करण भी लिखे (उदाहरण के लिए, "आप एक सुरक्षा विशेषज्ञ हैं" बनाम "आप एक AI सुरक्षा विशेषज्ञ हैं")।
3. चौंकाने वाला परिणाम: जज का "मूड स्विंग"
जब उन्होंने परीक्षण चलाया, तो उन्होंने पाया कि निर्देशों की शब्दावली ने स्कोर को पूरी तरह से बदल दिया।
- उपमा: कल्पना कीजिए कि आप एक रोबोट से पूछते है कि सूप कितना "तीखा" है।
- यदि आप कहते हैं, "आप एक पेशेवर शेफ हैं जिसे तीखा पसंद नहीं है," तो वह सूप को "हल्का" बता सकता है।
- यदि आप कहते हैं, "आप एक स्वास्थ्य निरीक्षक हैं जो सुरक्षा के प्रति बहुत सख्त हैं," तो वह ठीक उसी सूप को "खतरनाक रूप से तीखा" बता सकता है।
- भले ही आप केवल "शेफ" को "पाक विशेषज्ञ" (Culinary Expert) में बदल दें, स्कोर काफी ऊपर या नीचे जा सकता है।
संख्याएँ:
- परीक्षण किए जा रहे एक AI मॉडल के लिए, "हानिकारक" दर प्रॉम्प्ट की शब्दावली बदलने से 13% से बढ़कर 37% हो गई। यह 24 अंकों का उछाल है।
- यहाँ तक कि जब उन्होंने मुख्य निर्देशों को समान रखा और केवल कुछ शब्द बदले (सतही पुनर्गठन), तब भी स्कोर में 20 अंकों का उतार-चढ़ाव आया।
- इसका मतलब है कि यदि आप थोड़े अलग निर्देशों के साथ एक ही सुरक्षा परीक्षण को दो बार चलाते हैं, तो आपको दो पूरी तरह से अलग निष्कर्ष मिल सकते हैं।
4. किसे सबसे अधिक नुकसान हुआ? (श्रेणियाँ)
सभी प्रकार के प्रश्न समान रूप से प्रभावित नहीं हुए:
- कॉपीराइट प्रश्न: ये सबसे संवेदनशील थे। प्रॉम्प्ट की शब्दावली के आधार पर "हानिकारक" दर लगभग 40 अंक तक उछल गई। ऐसा लगता है कि जज यह तय करने में संघर्ष कर रहा था कि टेक्स्ट की नकल करना "बुरा" है या "ठीक"।
- उत्पीड़न (Harassment) संबंधी प्रश्न: ये सबसे स्थिर थे। स्कोर में बिल्कुल भी बदलाव नहीं हुआ (0 अंक)। सभी इस बात पर सहमत थे कि उत्पीड़न बुरा है, चाहे निर्देश कैसे भी रखे गए हों।
5. रैंकिंग का बिखराव (Ranking Chaos)
क्योंकि स्कोर बहुत अधिक बदल गए, इसलिए AI मॉडलों की रैंकिंग भी गड़बड़ा गई।
- कल्पना कीजिए कि एक दौड़ है जहाँ आप शुरुआती रेखा का रंग बदलने पर भी विजेता को बदल देते हैं।
- शोधकर्ताओं ने पाया कि "मध्यम-स्तर" के AI मॉडलों के लिए, उनकी सुरक्षा रैंकिंग लगातार बदलती रही। एक प्रॉम्प्ट ने कहा कि मॉडल A, मॉडल B से सुरक्षित है; दूसरे थोड़े अलग प्रॉम्प्ट ने कहा कि मॉडल B, मॉडल A से सुरक्षित है।
- "सबसे खराब" और "सबसे अच्छे" मॉडल अपने स्थान पर रहे, लेकिन मध्यम स्तर के मॉडलों को विश्वसनीय रूप से रैंक करना असंभव था।
6. निष्कर्ष (The Takeaway)
पेपर यह निष्कर्ष निकालता है कि सुरक्षा बेंचमार्क वर्तमान में "अल्प-निर्दिष्ट" (under-specified) हैं।
इसे ऐसे समझें जैसे एक थर्मामीटर जो अलग-अलग तापमान देता है, इस आधार पर कि आप उसे बाएं हाथ से पकड़ते हैं या दाएं हाथ से। शोधकर्ता यह नहीं कह रहे हैं कि थर्मामीटर टूटा हुआ है, बल्कि वे कह रहे हैं: हम एक एकल रीडिंग पर भरोसा नहीं कर सकते।
उनका तर्क है कि जब वैज्ञानिक रिपोर्ट करते हैं कि एक AI कितना सुरक्षित है, तो उन्हें केवल निर्देशों के एक विशिष्ट सेट के आधार पर एक संख्या नहीं देनी चाहिए। उन्हें यह समझने की आवश्यकता है कि "निर्देश" प्रयोग का एक बड़ा हिस्सा हैं, न कि केवल एक उबाऊ विवरण। यदि आप शब्दों को बदलते हैं, तो आप परिणाम को बदलते हैं।
संक्षेप में: सवाल पूछने का तरीका सवाल खुद जितना ही महत्वपूर्ण है। यदि आप जानना चाहते हैं कि एक AI सुरक्षित है या नहीं, तो आप केवल एक बार एक विशेष शब्दों के साथ नहीं पूछ सकते; उत्तर पूरी तरह से इस पर निर्भर करता है कि आप अनुरोध को कैसे तैयार करते हैं।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।