तकनीकी सारांश: OpenSafeIntent

समस्या विवरण (Problem Statement)

लार्ज लैंग्वेज मॉडल (LLM) की सुरक्षा के वर्तमान मूल्यांकन अक्सर अलग-थलग प्रॉम्प्ट्स पर निर्भर करते हैं, जो सुरक्षा को उपयोगिता (helpfulness) और हानि (harm) के बीच एक द्विआधारी (binary) ट्रेड-ऑफ के रूप में देखते हैं। यह दृष्टिकोण सुरक्षित पूर्णता (safe completion) की सूक्ष्मता को पकड़ने में विफल रहता है, जहाँ एक मॉडल को दुरुपयोग को सक्षम करने वाले विवरणों को रोकते हुए उपयोगी सहायता प्रदान करनी चाहिए। मुख्य चुनौती यह है कि कई अनुरोध "दोहरे उपयोग" (dual-use) वाले होते हैं: एक ही अंतर्निहित क्षमता (जैसे, एक रासायनिक प्रक्रिया को समझाना या सुरक्षा भेद्यता का विश्लेषण करना) वैध लक्ष्यों का समर्थन कर सकती है या हानि को सुगम बना सकती है, जो उपयोगकर्ता के इरादे (intent) पर निर्भर करता है।

मौजूदा मेट्रिक्स जो प्रॉम्प्ट्स को स्वतंत्र रूप से स्कोर करते हैं, वे यह निर्धारित करने में सक्षम नहीं हैं कि मॉडल इरादे (intent) के प्रति प्रतिक्रिया दे रहा है या केवल विषय, शब्दावली या कठिनाई जैसे सतही संकेतों पर प्रतिक्रिया दे रहा है। फलस्वरूप, एक मॉडल औसत रूप से सुरक्षित दिखाई दे सकता है, लेकिन जब एक ही कार्य डोमेन के भीतर इरादा 'सौम्य' (benign) से 'अस्पष्ट' (dual-use) या 'दुर्भावनापूर्ण' (malicious) की ओर बदलता है, तो वह अपनी सहायता को उचित रूप से कैलिब्रेट करने में विफल हो सकता है।

कार्यप्रणाली: OpenSafeIntent बेंचमार्क (Methodology: OpenSafeIntent Benchmark)

लेखक OpenSafeIntent पेश करते हैं, जो इरादा-कैलिब्रेटेड सुरक्षित पूर्णता (intent-calibrated safe completion) का मूल्यांकन करने के लिए डिज़ाइन किया गया एक बेंचमार्क है। मूल्यांकन की मूल इकाई व्यक्तिगत प्रॉम्प्ट नहीं, बल्कि एक नियंत्रित प्रॉम्प्ट-सेट (controlled prompt-set) है।

डेटासेट निर्माण (Dataset Construction)

डेटासेट में 115 प्रॉम्प्ट-सेट्स शामिल हैं जिनमें कुल 805 प्रॉम्प्ट्स हैं। प्रत्येक प्रॉम्प्ट-सेट एक निश्चित अंतर्निहित कार्य (underlying task), हानि डोमेन (harm domain), और कार्य प्रकार (task type) के इर्द-गिर्द बनाया गया है, जबकि केवल इरादा फ्रेमिंग (intent framing) को बदला गया है।

• संरचना: प्रत्येक सेट में तीन प्राथमिक वेरिएंट शामिल हैं:
  1. सौम्य (Benign): कार्य के लिए एक वैध अनुरोध।
  2. दोहरा उपयोग (Dual-use): एक अस्पष्ट अनुरोध जो वैध या हानिकारक दोनों हो सकता है।
  3. दुर्भावनापूर्ण (Malicious): स्पष्ट रूप से हानि को सक्षम करने के लिए किया गया अनुरोध।
• पैराफ्रेज़ (Paraphrases): प्रत्येक 'ड्यूल-यूज़' प्रॉम्प्ट के साथ चार पैराफ्रेज़ दिए गए हैं ताकि मामूली शब्दों के बदलाव के तहत मॉडल के व्यवहार की स्थिरता का परीक्षण किया जा सके।
• वर्गीकरण (Taxonomies): जनरेशन को दो वर्गीकरणों के माध्यम से नियंत्रित किया जाता है:
  • हानि डोमेन (Harm Domains): (जैसे, साइबर समझौता, बचाव और परिहार, खतरनाक एजेंट का उपयोग)।
  • कार्य प्रकार (Task Types): (जैसे, योजना बनाना, समस्या निवारण, अनुशंसा)।
• पाइपलाइन: एक जनरेटर (GPT-5.4) और एक जज (Claude Sonnet 4.6) का उपयोग करने वाली एक चरणबद्ध जनरेशन पाइपलाइन यह सुनिश्चित करती है कि एक सेट के भीतर के प्रॉम्प्ट्स समान अंतर्निखंड जटिलता और विशिष्टता साझा करते हैं, जो केवल इरादे में भिन्न होते हैं। मानव सत्यापन ने उच्च गुणवत्ता वाले इरादा पृथक्करण और स्वाभाविकता की पुष्टि की है।

मूल्यांकन मेट्रिक्स (Evaluation Metrics)

बेंचमार्क निरंतरता को पकड़ने के लिए रिस्पॉन्स-लेवल और प्रॉम्प्ट-सेट-लेवल दोनों मेट्रिक्स का उपयोग करता है:

• रिस्पॉन्स-लेवल (Response-Level):
  • उपयोगिता (Helpfulness): कार्य संतुष्टि स्कोर (1–4)।
  • सुरक्षा (Safety): बाइनराइज्ड हानि गंभीरता (0 या 1)।
  • उपयोगिता (Utility): सुरक्षा-गेटेड हेल्पफुलनेस ($U = S \times H$)।
• प्रॉम्प्ट-सेट लेवल (Prompt-Set Level):
  • औसत सुरक्षा (Mean Safety): सभी प्रॉम्प्ट प्रकारों में औसत सुरक्षा।
  • ट्रिपलेट सुरक्षा (Triplet Safety): उन प्रॉम्प्ट-सेट्स का अंश जहाँ मॉडल सभी तीन वेरिएंट (सौम्य, ड्यूल-यूज़, दुर्भावनापूर्ण) में एक साथ सुरक्षित रहता है। यह इरादा निरंतरता (intent consistency) को मापता है।
  • सबसे खराब स्थिति की उपयोगिता (Worst-Case Utility): सौम्य और ड्यूल-यूज़ वेरिएंट के बीच न्यूनतम उपयोगिता, जिसमें दुर्भावनापूर्ण प्रॉम्प्ट्स को बाहर रखा गया है (जिन्हें कम सुरक्षित उपयोगिता के लिए डिज़ाइन किया गया है)।

मुख्य परिणाम (Key Results)

लेखकों ने मॉडल्स के एक विस्तृत समूह का मूल्यांकन किया, जिससे औसत सुरक्षा स्कोर और इरादा-कैलिब्रेटेड व्यवहार के बीच महत्वपूर्ण अंतर का पता चला।

1. औसत सुरक्षा विसंगति को छिपा लेती है (Average Safety Masks Inconsistency)

समान Mean Safety स्कोर वाले मॉडल अक्सर बहुत अलग Triplet Safety प्रदर्शित करते हैं। एक मॉडल दुर्भावनापूर्ण प्रॉम्प्ट्स पर सुरक्षित हो सकता है लेकिन ड्यूल-यूज़ प्रॉम्प्ट्स पर नाजुक (brittle) हो सकता है, या इसके विपरीत। ट्रिपलेट सुरक्षा इन विफलताओं को उजागर करती है, यह दर्शाती है कि औसत स्कोर एक ही कार्य के भीतर इरादा-असंगत व्यवहारों को छिपा सकते हैं।

2. ड्यूल-यूज़ व्यवहार नाजुक होता है (Dual-Use Behavior is Brittle)

• पैराफ्रेज़ अस्थिरता (Paraphrase Instability): केवल ~53% ड्यूल-यूज़ पैराफ्रेज़ सेट्स ही सभी वेरिएंट के लिए समान रूप से सुरक्षित रिस्पॉन्स देने में सफल रहे। शेष सेट्स में "सेफ्टी फ्लिप्स" (कुछ पैराफ्रेज़ सुरक्षित, अन्य असुरक्षित) या एक समान असुरक्षा देखी गई, जो इंगित करती है कि सुरक्षा सीमा के पास मॉडल का व्यवहार शब्दों के मामूली बदलाव के प्रति अत्यधिक संवेदनशील है।
• उपयोगिता भिन्नता (Utility Variance): सुरक्षित रिस्पॉन्स के बीच भी, कई मॉडल्स के लिए पैराफ्रेज़ के बीच उपयोगिता (helpfulness) काफी भिन्न थी, जो सुरक्षित सहायता प्रदान करने के तरीके में अस्थिरता का सुझाव देती है।

3. अमूर्तता (Abstraction) एक विश्वसनीय सुरक्षा रणनीति नहीं है

अध्ययन ने रिस्पॉन्स को चार मोड में वर्गीकृत किया:

• A1: इनकार (Refusal)।
• A2: जोखिम भरे विषय पर उच्च-स्तरीय उत्तर।
• A3: अनुरोध को एक सुरक्षित कार्य में बदलकर प्राप्त ठोस उत्तर।
• A4: मूल जोखिम भरे अनुरोध के सीधे उत्तर।
  परिणामों ने दिखाया कि A2 (उच्च-स्तरीय अमूर्तता) में उच्च सशर्त असुरक्षित दर (58.14%) है, जो सीधे उत्तरों (A4) के बराबर है। यह सुझाव देता है कि केवल प्रक्रियात्मक विवरणों को हटा देना जोखिम को समाप्त नहीं करता है; अमूर्त उत्तर अभी भी रणनीतिक जानकारी या तंत्र को उजागर कर सकते हैं। इसके विपरीत, A3 (रीफ्रेमिंग) में सबसे कम असुरक्षित दर (18.65%) थी, जो इंगित करती है कि सफल सुरक्षित पूर्णता के लिए केवल जोखिम भरे विषय पर उच्च स्तर पर उत्तर देने के बजाय कार्य को एक सुरक्षित डोमेन में बदलना आवश्यक है।

4. विफलता मोड: डिटेक्शन बनाम निष्पादन (Failure Modes: Detection vs. Execution)

असुरक्षित ड्यूल-यूज़ रिस्पॉन्स दो अलग-अलग विफलता मोड से उत्पन्न होते हैं:

• डिटेक्शन विफलता (Detection Failure): मॉडल पहचानने में विफल रहता है कि प्रॉम्प्ट को सीमित सहायता की आवश्यकता है।
• पॉलिसी निष्पादन विफलता (Policy Execution Failure): मॉडल जोखिम को पहचानता है लेकिन जनरेशन के दौरान सीमा को लागू करने में विफल रहता है।
  इन विफलताओं की व्यापकता विभिन्न मॉडल्स के अनुसार बदलती है। कुछ मॉडल मुख्य रूप से डिटेक्शन में विफल होते हैं, जबकि अन्य (जैसे GPT-5.4) अक्सर जोखिम को पहचान लेते हैं लेकिन उसे निष्पादित करने में विफल रहते हैं, जिससे सावधानी बरतने की आवश्यकता के बावजूद असुरक्षित विवरण उत्पन्न होते हैं।

महत्व और दावे (Significance and Claims)

यह पेपर तर्क देता है कि सुरक्षित पूर्णता का मूल्यांकन स्वतंत्र प्रॉम्प्ट्स पर एकल सुरक्षा-उपयोगिता ट्रेड-ऑफ के बजाय, नियंत्रित कार्य वेरिएंट के ऊपर एक इरादा-कैलिब्रेटेड व्यवहार (intent-calibrated behavior) के रूप में किया जाना चाहिए।

• मूल्यांकन का पुनर्गठन (Reframing Evaluation): लेखक दावा करते हैं कि प्रॉम्प्ट-लेवल औसत अपर्याप्त हैं क्योंकि वे यह छिपा देते हैं कि क्या एक मॉडल इरादा बदलने के साथ अपनी सहायता को उचित रूप से बदलता है या नहीं। OpenSafeIntent एक ढांचा प्रदान करता है यह परीक्षण करने के लिए कि क्या मॉडल्स संबंधित अनुरोधों के एक "स्थानीय पड़ोस" (local neighborhood) में सुरक्षित और उपयोगी बने रहते हैं।
• इनकार से परे (Beyond Refusal): परिणाम बताते हैं कि सुरक्षित पूर्णता केवल हानिकारक अनुरोधों को अस्वीकार करने या उच्च-स्तरीय अमूर्तता प्रदान करने के बारे में नहीं है। इसके बजाय, इसके लिए एक स्थिर रिस्पॉन्स मोड का चयन करने की आवश्यकता होती है: सौम्य इरादों के लिए पूर्ण सहायता, ड्यूल-यूज़ इरादों के लिए सीमित या रीफ्रेम की गई सहायता, और दुर्भावनापूर्ण इरादों के लिए इनकार/रीडायरेक्शन।
• भविष्य की दिशा (Future Direction): लेखक तर्क देते हैं कि भविष्य के सुरक्षा प्रशिक्षण को ड्यूल-यूज़ व्यवहार की अस्थिरता और अमूर्तता पर निर्भरता को संबोधित करना चाहिए, जिसका ध्यान केवल विषय के बजाय इरादे के आधार पर सहायता को लगातार कैलिब्रेट करने की मॉडल की क्षमता पर होना चाहिए।