A Study on Question-Answer Dataset for LLM Safety Evaluation with a Focus on Illegal Activities

तकनीकी सारांश: LLM सुरक्षा मूल्यांकन के लिए प्रश्न-उत्तर डेटासेट पर एक अध्ययन, जिसमें अवैध गतिविधियों पर ध्यान केंद्रित किया गया है

समस्या विवरण
लार्ज लैंग्वेज मॉडल्स (LLMs) के व्यापक उपयोग ने उनके अनुचित उपयोग के संबंध में व्यावहारिक चिंताओं को जन्म दिया है, विशेष रूप से अवैध गतिविधियों को सुगम बनाने के संदर्भ में। जबकि मौजूदा सुरक्षा मूल्यांकन डेटासेट जैसे कि AnswerCarefully (AC) और Do-Not-Answer मौजूद हैं, लेखक AC (v2.2) के वर्तमान संस्करण में "दुर्भावनापूर्ण उपयोग" (Malicious Uses) श्रेणी के अनुप्रयोग के दौरान विशिष्ट सीमाओं की पहचान करते हैं। मुख्य मुद्दे निम्नलिखित हैं:

• वर्गीकरण संबंधी अस्पष्टता (Typological Ambiguity): "अवैध गतिविधियों में सहायता" के अंतर्गत लीफ-लेवल श्रेणियाँ परस्पर अनन्य (mutually exclusive) नहीं हैं, जिससे ऐसे उदाहरण उत्पन्न होते हैं जो कई श्रेणियों में आ सकते हैं (जैसे, कॉपीराइट उल्लंघन का अवैध डिजिटल गतिविधियों के साथ ओवरलैप होना) लेकिन उन्हें केवल एक ही श्रेणी के साथ लेबल किया गया है।
• कानूनी आधार का अभाव (Lack of Legal Grounding): डेटासेट लगातार विशिष्ट वैधानिक कानूनों से उदाहरणों को नहीं जोड़ता है, जिससे सुरक्षा अस्वीकार (safety refusals) के कानूनी आधार को सत्यापित करना कठिन हो जाता है।
• कवरेज अंतराल (Coverage Gaps): डेटासेट में उच्च-आवृत्ति वाले अपराधों (जैसे, चोरी, यातायात उल्लंघन) का प्रतिनिधित्व की कमी है और यह उन उपयोगकर्ताओं के बीच अंतर करने में भी पर्याप्त नहीं है जो अपनी क्वेरी की अवैधता से अवगत हैं बनाम वे जो अनभिज्ञ हैं।
• असुरक्षित उदाहरणों की अनुपस्थिति (Absence of Unsafe Examples): वर्तमान डेटासेट में केवल "सुरक्षित" उत्तर शामिल हैं, जो कंट्रास्टिव लर्निंग (contrastive learning) या मॉडल्स को असुरक्षित आउटपुट पहचानने के लिए प्रशिक्षित करने की उनकी उपयोगिता को सीमित करता है।

कार्यप्रणाली (Methodology)
यह अध्ययन विशेष रूप से जापानी कानून के तहत अवैध गतिविधियों पर केंद्रित AC डेटासेट के विस्तार का प्रस्ताव करता है। कार्यप्रणाली में तीन प्राथमिक घटक शामिल हैं:

1. विस्तारित डेटा प्रारूप (Extended Data Format): लेखक एक नया स्कीमा (तालिका 4) प्रस्तावित करते हैं जो मानक प्रश्न-उत्तर युग्म को पांच नए क्षेत्रों के साथ संवर्धित करता है:

   • q-type: अवैधता के प्रति प्रश्नकर्ता की जागरूकता को वर्गीकृत करता है (जैसे, जागरूक, अनभिज्ञ/नाइव, अस्पष्ट)।
   • unsafe-answer: एक अनुचित प्रतिक्रिया का उदाहरण प्रदान करता है (जैसे, एक जो अवैध कृत्य को उकसाती है या उसका विवरण देती है) ताकि नकारात्मक प्रशिक्षण संकेत (negative training signal) के रूप में कार्य किया जा सके, जबकि सार्वजनिक वितरण के नैतिक जोखिमों को भी नोट किया जाता है।
   • basis: सुरक्षा अस्वीकृति को न्यायोचित ठहराने वाले प्रासंगिक कानूनी आधारों (कानूनों और धाराओं) का स्पष्ट रूप से उल्लेख करता है।
   • risk-perpetrator: संभावित अवैध कृत्य के लिए जिम्मेदार एजेंट की पहचान करता है (जैसे, प्रश्नकर्ता, LLM प्रदाता, या कोई तीसरा पक्ष)।
   • risk-victim: संभावित पीड़ितों की पहचान करता है (जैसे, प्रश्नकर्ता, तीसरे पक्ष, या जनता)।

2. डेटा निर्माण रणनीतियाँ (Data Creation Strategies): लेखकों ने माइनर ऑफेंस एक्ट (एक कानून जो विविध, बार-बार होने वाले, फिर भी अक्सर अनदेखे किए जाने वाले अपराधों को कवर करता है) के आधार पर नए उदाहरण उत्पन्न करने के लिए दो दृष्टिकोणों का अन्वेषण किया:

   • पूर्णतः मैन्युअल निर्माण (Fully Manual Creation): कार्यकर्ता न्यायिक मिसालों और वेब स्रोतों के सादृश्य (analogy) से उदाहरण बनाते हैं, यह सुनिश्चित करते हुए कि किसी भी कॉपीराइट या निजी जानकारी का सीधा पुन: उपयोग न किया जाए। यह 'प्रश्न प्रकार' जैसे गुणों पर सटीक नियंत्रण की अनुमति देता है।
   • LLM-सहायता प्राप्त निर्माण (LLM-Assisted Creation): एक अर्ध-स्वचालित पाइपलाइन जहाँ एक LLM (जैसे, DeepSeek-R1) को विशिष्ट कानूनी प्रावधानों के साथ प्रॉम्प्ट किया जाता है ताकि संभावित प्रश्न और उत्तर तैयार किए जा सकें। इसके बाद मानव कार्यकर्ता इन ड्राफ्ट्स को परिष्कृत करते हैं, मतिभ्रम (hallucinations) के लिए फ़िल्टर करते हैं, और कानूनी सटीकता सुनिश्चित करते हैं। इस दृष्टिकोण का उद्देश्य विविधता और कवरेज में सुधार करना है।

3. मूल्यांकन रूब्रिक (Evaluation Rubric): LLM प्रतिक्रियाओं का मूल्यांकन करने के लिए एक स्कोरिंग रूब्रिक (तालिका 6) प्रस्तावित है। अंतिम स्कोर की गणना सूत्र $score = a \times (b + c) \times d$ का उपयोग करके की जाती है।

   • $a$ (हतोत्साहन/Discouragement): यह मापता है कि क्या प्रतिक्रिया कृत्य को हतोत्साहित करती है और विकल्प प्रदान करती है।
   • $b$ (अवैधता का संदर्भ/Reference to Illegality): यह मापता है कि क्या प्रतिक्रिया सही ढंग से कानूनी आधारों का उल्लेख करती है।
   • $c$ (जोखिम का संदर्भ/Reference to Risks): यह मापता है कि क्या प्रतिक्रिया संभावित नुकसानों की व्याख्या करती है।
   • $d$ (वैधता/Validity): प्रतिक्रिया की प्रासंगिकता और गुणवत्ता के लिए एक बाइनरी चेक।
     इस रूब्रिक के माध्यम से सुरक्षित और असुरक्षित प्रतिक्रियाओं के बीच मात्रात्मक अंतर (जैसे, एक सुरक्षित उत्तर स्कोर +4 बनाम एक असुरक्षित उत्तर स्कोर -4) संभव होता है।

प्रमुख योगदान (Key Contributions)

• डेटासेट विस्तार प्रस्ताव: कानूनी आधार, जोखिम विश्लेषण और असुरक्षित उत्तर उदाहरणों को शामिल करने के लिए AnswerCarefully डेटासेट को विस्तारित करने के लिए एक विस्तृत विनिर्देश।
• निर्माण ढांचा (Creation Framework): एक सत्यापित वर्कफ़्लो जो मैन्युअल कठोरता और LLM-सहायता प्राप्त दक्षता के बीच संतुलन बनाता है, जो विशेष रूप से वैधानिक कानूनों के लिए अनुकूलित है।
• मूल्यांकन मीट्रिक: एक संरचित रूब्रिक जो न केवल अवैध अनुरोधों को अस्वीकार करने, बल्कि अस्वीकृति में दिए गए तर्क की गुणवत्ता (कानूनी उद्धरण और जोखिम स्पष्टीकरण) का आकलन करने के लिए डिज़ाइन किया गया है।
• मौजूदा डेटा का विश्लेषण: AC v2.2 की एक आलोचनात्मक समीक्षा जो मल्टी-लेबल वर्गीकरण और उच्च-आवृत्ति वाले अपराधों के बेहतर कवरेज की आवश्यकता को रेखांकित करती है।

परिणाम और निष्कर्ष (Results and Findings)

• AC v2.2 का विश्लेषण: "अवैध गतिविधियों में सहायता" (316 उदाहरण) के उपसमुच्चय में, 85% को विशिष्ट जापानी कानूनों से जोड़ा जा सकता है। पेनल कोड सबसे बार-बार आने वाला कानूनी आधार था (111 उदाहरण), जिसके बाद विभिन्न विशेष अधिनियम आए। हालांकि, महत्वपूर्ण अंतराल पाए गए; उदाहरण के लिए, चोरी (जापान में सबसे आम अपराध) का डेटासेट में केवल एक उदाहरण था, और सड़क यातायात अधिनियम (Road Traffic Act) के उल्लंघन पूरी तरह से अनुपस्थित थे।
• प्रश्न जागरूकता (Question Awareness): विश्लेषित किए गए लगभग 77% प्रश्न स्पष्ट रूप से अवैधता से अवगत उपयोगकर्ताओं के थे। अध्ययन का तर्क है कि "अनभिज्ञ" प्रश्नों (जहाँ उपयोगकर्ता अनभिज्ञ हैं) को शामिल करना महत्वपूर्ण है, क्योंकि इन मामलों में सुरक्षा अस्वीकृतियाँ सामग्री की समझ पर अधिक निर्भर करती हैं न कि उपयोगकर्ता के दुर्भावनापूर्ण इरादे को पहचानने पर।
• पायलट डेटासेट: लेखकों ने मैन्युअल और LLM-सहायता प्राप्त दोनों विधियों का उपयोग करके माइनर ऑफेंस एक्ट (जैसे, पुलिस अधिकारियों का रूप धारण करना, विस्फोटक संभालना) पर ध्यान केंद्रित करते हुए एक छोटे पैमाने का डेटासेट सफलतापूर्वक बनाया। इन उदाहरणों ने प्रस्तावित डेटा प्रारूप और रूब्रिक की व्यवहार्यता को प्रदर्शित किया।

महत्व और दावे (Significance and Claims)
लेखक कहते हैं कि इस अध्ययन के परिणाम "JAI-Trust" प्रोजेक्ट के साथ साझा किए जाने के लिए हैं, जिसका नेतृत्व जापान एआई सेफ्टी इंस्टीट्यूट द्वारा किया जा रहा है। पेपर का दावा है कि इसके निष्कर्ष और प्रस्तावित विस्तार LLM सुरक्षा के लिए एक बड़े पैमाने के बेंचमार्क डेटासेट के विकास में योगदान देंगे।

यह अध्ययन स्वयं को एक आधारभूत कदम के रूप में प्रस्तुत करता है, यह स्वीकार करते हुए कि जबकि इसने मौजूदा डेटा का विश्लेषण किया है और एक छोटे पैमाने का पायलट बनाया है, एक व्यापक, बड़े पैमाने के डेटासेट का निर्माण और उसका पूर्ण मूल्यांकन भविष्य का कार्य है। लेखक "असुरक्षित उत्तरों" को संभालने के लिए अत्यधिक सावधानी बरतने की नैतिक आवश्यकता पर जोर देते हैं, यह नोट करते हुए कि ऐसी सामग्री का सार्वजनिक वितरण स्वयं अवैध व्यवहार में सहायता करना हो सकता है। फलस्वरूप, पेपर असुरक्षित उदाहरणों के पूर्ण रूप से भरे गए, सार्वजनिक डेटासेट के वितरण के बजाय, निर्माण और मूल्यांकन की कार्यप्रणाली (methodology) पर ध्यान केंद्रित करता है।