तकनीकी सारांश: CASE-Bench

समस्या विवरण

वर्तमान बड़े भाषा मॉडल (LLM) सुरक्षा बेंचमार्क मुख्य रूप से अलग-थलग, समस्याग्रस्त प्रश्नों के निषेध (refusal) पर ध्यान केंद्रित करते हैं। यह दृष्टिकोण प्रतिक्रिया की सुरक्षा निर्धारित करने में संदर्भ (context) की महत्वपूर्ण भूमिका की अनदेखी करता है। फलस्वरूप, कई LLM "अति-निषेध" (over-refusal) व्यवहार प्रदर्शित करते हैं, यानी वे उन प्रश्नों को भी अस्वीकार कर देते हैं जो विशिष्ट संदर्भों में सुरक्षित हैं लेकिन अलग-थलग देखने पर हानिकारक प्रतीत होते हैं। यह उपयोगकर्ता अनुभव को कम करता है और मानवीय मूल्यों के साथ संरेखित होने में विफल रहता है, जो अक्सर सूक्ष्म सामाजिक और नैतिक संदर्भों पर निर्भर होते हैं। इसके अलावा, मौजूदा अध्ययन अक्सर सीमित एनोटेटर पूल और बाइनरी निर्णयों पर निर्भर करते हैं, जिनमें प्रयोगात्मक स्थितियों में सुरक्षा धारणाओं के बीच महत्वपूर्ण अंतर का पता लगाने के लिए सांख्यिकीय कठोरता का अभाव होता है।

कार्यप्रणाली

लेखक CASE-Bench (Context-Aware SafEty Benchmark) पेश करते हैं, जो एक ऐसा ढांचा है जिसे LLM सुरक्षा मूल्यांकन में संदर्भ को एकीकृत करने के लिए डिज़ाइन किया गया है।

1. सैद्धांतिक आधार: प्रासंगिक अखंडता (Contextual Integrity - CI)

CASE-Bench, संदर्भों को औपचारिक रूप से वर्णित करने के लिए प्रासंगिक अखंडता (CI) सिद्धांत (Nissenbaum, 2004) का उपयोग करता है। व्यापक डोमेन वर्गीकरणों के विपरीत, CI संदर्भ को विशिष्ट मापदंडों में विभाजित करता है:

• प्रेषक (Sender): चैटबॉट, जिसे परस्पर क्रिया की प्रकृति (सामान्य बनाम अनुकूलित डोमेन) और प्लेटफ़ॉर्म प्रकार (जैसे, वेबसाइट, मोबाइल ऐप) द्वारा परिभाषित किया जाता है।
• प्राप्तकर्ता (Recipient): उपयोगकर्ता, जिसे प्रकार (जैसे, गुमनाम, मौजूदा) और पृष्ठभूमि (जनसांख्यिकी, पूर्व बातचीत, क्वेरी का उद्देश्य) द्वारा परिभाषित किया जाता है।
• प्रसार सिद्धांत (Transmission Principle): सूचना प्रवाह को नियंत्रित करने वाले नियम, जिसमें प्रेषक का उद्देश्य, गोपनीयता (निजी बनाम सार्वजनिक), और स्रोत जवाबदेही शामिल हैं।

2. डेटासेट निर्माण

• क्वेरी चयन: बेंचमार्क SORRY-Bench से 450 असुरक्षित निर्देशों को अनुकूलित करता है, जो 45 सूक्ष्म सुरक्षा श्रेणियों (जैसे, धोखाधड़ी, आत्म-क्षति, घृणा भाषण) को कवर करता है।
• संदर्भ निर्माण: प्रत्येक क्वेरी के लिए, दो अलग-अलग संदर्भ उत्पन्न किए जाते हैं: एक जहाँ उत्तर देना सुरक्षित है और एक जहाँ यह असुरक्षित है।
  • प्रक्रिया: एक दो-चरणीय पाइपलाइन का उपयोग किया गया था। पहले, GPT-4o ने CI टेम्पलेट्स के आधार पर संदर्भ उत्पन्न किए। दूसरे, शोधकर्ताओं ने इन संदर्भों को मैन्युअल रूप से संशोधित किया ताकि "सुरक्षा निषेध व्यवहारों" (जहाँ मॉडल अनजाने में असुरक्षित संदर्भ को शुद्ध/sanitize कर देता था) को ठीक किया जा सके और स्पष्टता सुनिश्चित की जा सके।
• एनोटेशन: डेटासेट में 900 क्वेरी-संदर्भ जोड़े शामिल हैं। प्रत्येक जोड़े को 21 उच्च-गुणवत्ता वाले क्राउड वर्कर्स (Amazon MTurk के माध्यम से) द्वारा एनोटेट किया गया था, जिन्हें सांख्यिकीय शक्ति विश्लेषण (G*Power) के माध्यम से निर्धारित किया गया था ताकि प्रयोगात्मक स्थितियों में महत्वपूर्ण अंतर का पता लगाना सुनिश्चित किया जा सके। इसके परिणामस्वरूप 47,000 से अधिक मानव एनोटेशन प्राप्त हुए।
• रेटिंग स्केल: एनोटेटर्स ने केवल बाइनरी लेबल के बजाय गैर-बाइनरी सुरक्षा रेटिंग (सुरक्षा के स्तर) प्रदान की, जिससे अनिश्चितता को मापने की अनुमति मिली।

3. प्रयोगात्मक सेटअप

अध्ययन ने विभिन्न ओपन-सोर्स और वाणिज्यिक LLMs (GPT-4o, Claude-3.5-sonnet, Llama-3-70B, और DeepSeek-R1 सहित) का "जज" के रूप में मूल्यांकन किया।

• कार्य: मॉडलों से पूछा गया कि क्या एक विशिष्ट, सत्यापित संदर्भ को देखते हुए किसी क्वेरी का उत्तर देना सुरक्षित है।
• मूल्यांकन मेट्रिक्स: प्रदर्शन को सटीकता (Accuracy), रिकॉल (Safe/Unsafe), मानव रेटिंग के विरुद्ध पियर्सन सहसंबंध गुणांक (PCC), और बाइनरी क्रॉस एंट्रॉपी (BCE) के माध्यम से मापा गया।
• सांख्यिकीय विश्लेषण: मानव निर्णय पर संदर्भ के प्रभाव को z-टेस्ट और क्रुस्कल-वालिस (K-W) परीक्षणों का उपयोग करके परिमाणित किया गया।

प्रमुख योगदान

1. CASE-Bench ढांचा: पहला सुरक्षा बेंचमार्क जो संदर्भ-जागरूक सुरक्षा निर्णय का मूल्यांकन करने के लिए वर्गीकृत क्वेरी के साथ 900 विशिष्ट, औपचारिक रूप से वर्णित संदर्भों (CI सिद्धांत के माध्यम से) को व्यवस्थित रूप से जोड़ता है।
2. कठोर एनोटेशन प्रोटोकॉल: सांख्यिकीय रूप से महत्वपूर्ण निष्कर्ष सुनिश्चित करने के लिए आवश्यक एनोटेटरों (प्रत्येक कार्य के लिए 21) को निर्धारित करने हेतु सांख्यिकीय शक्ति विश्लेषण का अनुप्रयोग, साथ ही 2,000 से अधिक प्रतिभागियों से गैर-बाइनरी सुरक्षा रेटिंग का संग्रह।
3. प्रासंगिक प्रभाव का अनुभवजन्य प्रमाण: व्यापक विश्लेषण जो दर्शाता है कि संदर्भ मानव सुरक्षा निर्णयों को महत्वपूर्ण रूप से बदल देता है।
4. मॉडल बेमेल (Mismatch) की पहचान: मानव निर्णयों और LLM प्रतिक्रियाओं के बीच महत्वपूर्ण विसंगतियों को प्रकट करने वाला विस्तृत तुलनात्मक विश्लेषण, विशेष रूप से सुरक्षित संदर्भों में अति-मॉडरेशन के संबंध में।

परिणाम

• मानव निर्णय संवेदनशीलता: सांख्यिकीय विश्लेषण ने मानव निर्णयों पर संदर्भ के पर्याप्त और महत्वपूर्ण प्रभाव का खुलासा किया ($p < 0.0001$)।
  • असुरक्षित संदर्भ: "उत्तर देना चाहिए" (Should Respond) चुनने वाले एनोटेटर्स के अनुपात को काफी कम कर दिया (उदाहरण के लिए, मैनुअल असुरक्षित संदर्भों ने z-वैल्यू -31.18 दिखाई)।
  • सुरक्षित संदर्भ: मैन्युअल रूप से संशोधित सुरक्षित संदर्भों ने "उत्तर देना चाहिए" की दर को काफी बढ़ा दिया (z-वैल्यू 21.95), जबकि ऑटो-जेनरेटेड सुरक्षित संदर्भ कम प्रभावी थे।
  • श्रेणी भिन्नता: संदर्भ का सबसे स्पष्ट प्रभाव "धर्म प्रचार" (Religion Promotion) श्रेणी में देखा गया (K-W सांख्यिकी 18.6), जबकि स्वाभाविक रूप से हानिकारक श्रेणियों (जैसे, "बाल-संबंधी अपराध") में संदर्भ के बावजूद बहुत कम भिन्नता देखी गई।
• LLM प्रदर्शन:
  • Claude-3.5-sonnet ने उच्चतम सटीकता (स्कोर पद्धति के साथ 90.1%) और मानव रेटिंग के साथ सर्वश्रेष्ठ संरेखण (PCC 76.27) प्राप्त किया, विशेष रूप से सुरक्षित संदर्भों में, जो GPT-4o की तुलना में अति-निषेध की कम प्रवृत्ति को दर्शाता है।
  • DeepSeek-R1, हालांकि स्पष्ट रूप से सुरक्षा-अनुकूलित नहीं था, सुरक्षा-अनुकूलित मॉडलों के तुलनीय प्रदर्शन करता है, जो यह सुझाव देता है कि बेहतर तर्क क्षमताएं (reasoning capabilities) सुरक्षा निर्णयों में लाभ पहुँचाती हैं।
  • अति-निषेध (Over-Refusal): GPT-4o जैसे मॉडलों ने सुरक्षित संदर्भों में मानव निर्णयों के साथ उल्लेखनीय बेमेल प्रदर्शित किया, जो अक्सर उन प्रश्नों को अस्वीकार कर देते हैं जिन्हें मनुष्य सुरक्षित मानते हैं।
  • विशेषज्ञ मॉडल: Llama-Guard-3-8B ने संदर्भ शामिल होने पर बेहतर प्रदर्शन दिखाया (सटीकता 54.1% से बढ़कर 60.1% हो गई), हालांकि यह अभी भी सामान्य-उद्देश्य वाले मॉडलों से पीछे रहा, जो संदर्भ-निर्भर फाइन-ट्यूनिंग की आवश्यकता को रेखांकित करता है।

महत्व और दावे

यह शोध दावा करता है कि सटीक LLM सुरक्षा मूल्यांकन के लिए संदर्भ एक आवश्यक घटक है। लेखक तर्क देते हैं कि:

1. अति-निषेध एक गंभीर मुद्दा है: संदर्भ की अनदेखी करने से मॉडल निर्दोष प्रश्नों को अस्वीकार कर देते हैं, जो उपयोगकर्ता अनुभव और उपयोगिता को नुकसान पहुँचाता है।
2. संदर्भ को औपचारिक बनाना आवश्यक है: CI सिद्धांत का उपयोग सूचना प्रवाह की बारीकियों को दर्शाने के लिए एक संरचित, सत्यापन योग्य तरीका प्रदान करता है, जो व्यापक डोमेन लेबल से आगे जाता है।
3. LLM संदर्भ-जागरूक सुरक्षा के साथ संघर्ष करते हैं: वर्तमान मॉडल, अत्याधुनिक (state-of-the-art) होने के बावजूद, अक्सर संदर्भ की उपस्थिति में मानव निर्णयों के साथ संरेखित होने में विफल रहते हैं, विशेष रूप से सुरक्षित परिदृश्यों में जहाँ वे अत्यधिक सावधानी बरतते हैं।
4. भविष्य के अनुसंधान का आधार: CASE-Bench सुरक्षा रिवॉर्ड मॉडल और मॉडरेशन सिस्टम विकसित करने के लिए आधार तैयार करता है जो संदर्भ के प्रति संवेदनशील हों, जिससे संभावित रूप से अति-मॉडरेशन को कम किया जा सके और वास्तविक दुनिया के डोमेन-विशिष्ट परिदृश्यों में AI सहायकों की तैनाती में सुधार किया जा सके।

लेखक इस बात पर जोर देते हैं कि उनका कार्य नए सुरक्षा तंत्र का प्रस्ताव नहीं करता है, बल्कि मौजूदा प्रणालियों की संदर्भ-जागरूक सुरक्षा निर्णय लेने की क्षमता का मूल्यांकन और सुधार करने के लिए आवश्यक बेंचमार्क और कार्यप्रणाली प्रदान करता है।