ProMoral-Bench: Evaluating Prompting Strategies for Moral Reasoning and Safety in LLMs
यह शोध पत्र ProMoral-Bench को प्रस्तुत करता है, जो एक नए यूनिफाइड मोरल सेफ्टी स्कोर (UMSS) का उपयोग करके चार LLM परिवारों के माध्यम से 11 प्रॉम्पटिंग रणनीतियों का मूल्यांकन करने वाला एक एकीकृत बेंचमार्क है, ताकि यह प्रदर्शित किया जा सके कि उच्च नैतिक सटीकता, सुरक्षा सुदृढ़ता और लागत-दक्षता प्राप्त करने में कॉम्पैक्ट, एक्सेम्प्लर-गाइडेड प्रॉम्प्ट्स जटिल मल्टी-स्टेज रीजनिंग की तुलना में बेहतर प्रदर्शन करते हैं।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
कल्पना कीजिए कि आपके पास चार अविश्वसनीय रूप से बुद्धिमान, लेकिन बहुत अलग-अलग तरह के रोबोट सहायक हैं (मान लीजिए कि उनके नाम GPT, Claude, Gemini, और DeepSeek हैं)। आप जानना चाहते हैं: इनमें से कौन नैतिक निर्णय लेने में सबसे अच्छा है, और उनसे सबसे अच्छे परिणाम प्राप्त करने के लिए आपको उनसे कैसे बात करनी चाहिए?
यह शोध पत्र, ProMoral-Bench, इन रोबोटों के लिए एक विशाल, मानकीकृत "ड्राइविंग टेस्ट" की तरह है। केवल उन्हें गाड़ी चलाने के लिए कहने के बजाय, शोधकर्ताओं ने इस बात का परीक्षण किया कि वे जटिल नैतिक स्थितियों को कैसे संभालते हैं, जैसे कि "क्या किसी की भावनाओं की रक्षा के लिए झूठ बोलना ठीक है?" या "क्या मुझे एक दोस्त को नियम तोड़ने में मदद करनी चाहिए?"
यहाँ उनके निष्कर्षों का विवरण दिया गया, जिसे रोजमर्रा के उदाहरणों (analogies) के माध्यम से समझाया गया है:
1. समस्या: बहुत सारे अलग-अलग "निर्देश मैनुअल"
इस अध्ययन से पहले, शोधकर्ता इन रोबोटों का परीक्षण अलग-अलग नियमपुस्तिकाओं (rulebooks) का उपयोग करके कर रहे थे। एक टीम किसी रोबोट से "कदम-दर-कदम सोचें" (जैसे कि एक गणित का छात्र) कह सकती थी, जबकि दूसरी टीम कह सकती थी "एक बुद्धिमान प्रोफेसर की तरह व्यवहार करें।" क्योंकि हर कोई अलग-अलग नियमों का उपयोग कर रहा था, इसलिए यह तुलना करना असंभव था कि वास्तव में सबसे अच्छा ड्राइवर कौन है।
समाधान: लेखकों ने ProMoral-Bench बनाया, जो एक एकल, निष्पक्ष ट्रैक है जहाँ प्रत्येक रोबोट को यह देखने के लिए कि कौन सा तरीका सबसे अच्छा काम करता है, 11 अलग-अलग प्रकार के "निर्देश मैनुअल" (प्रॉम्प्टिंग रणनीतियाँ) से गुजरना होगा।
2. 11 निर्देश मैनुअल (प्रॉम्प्टिंग रणनीतियाँ)
इसे उन विभिन्न तरीकों के रूप में सोचें जिनसे आप GPS को निर्देश दे सकते हैं:
- Zero-Shot: बस कहना, "दुकान पर जाओ।" (कोई अतिरिक्त मदद नहीं)।
- Few-Shot: कहना, "दुकान पर जाओ। यहाँ कुछ उदाहरण दिए गए हैं कि मैंने इसे पहले कैसे किया था।" (उदाहरण दिखाना)।
- Chain-of-Thought (CoT): कहना, "जाने से पहले ट्रैफिक, मौसम और रास्ते के बारे में कदम-दर-कदम सोचें।" (एक लंबी आंतरिक बातचीत के लिए कहना)।
- Role Prompting: कहना, "एक सख्त ट्रैफिक पुलिसकर्मी की तरह व्यवहार करें।" (रोबोट को एक व्यक्तित्व देना)।
- Thought Experiment: रोबोट से उत्तर देने से पहले 5 अलग-अलग "क्या होगा अगर" वाले परिदृश्य कल्पना करने के लिए कहना। (एक बहुत लंबी, दार्शनिक बहस)।
3. सबसे बड़ा आश्चर्य: "कम ही अधिक है" (Less is More)
सबसे चौंकाने वाला निष्कर्ष यह है कि जटिल, लंबी-चौड़ी निर्देश वास्तव में रोबोटों को बदतर बना देते थे।
- उपमा (Analogy): कल्पना कीजिए कि आप एक पहेली सुलझाने की कोशिश कर रहे हैं।
- "विस्तृत" (Verbose) दृष्टिकोण: आप अपने दोस्त से पहेली के टुकड़ों के इतिहास के बारे में 10 पन्नों का निबंध लिखने के लिए कहते हैं कि वे कहाँ जाते हैं। जब तक वे लिखना समाप्त करते हैं, वे पहेली के बारे में भूल जाते हैं और भ्रमित हो जाते हैं।
- "संक्षिप्त" (Compact) दृष्टिकोण: आप उन्हें बस एक समान पहेली दिखाते हैं जिसे उन्होंने पहले हल किया था (Few-Shot) या उन्हें एक सरल चेकलिस्ट देते हैं (Plan-and-Solve)। वे इसे कम ऊर्जा और कम समय में, अधिक सटीकता के साथ हल करते हैं।
परिणाम: रोबोट तब सबसे अच्छा प्रदर्शन करते थे जब उन्हें छोटे, स्पष्ट उदाहरण (Few-Shot) या सरल चेकलिस्ट दिए जाते थे। जब उन्हें "गहराई से सोचने" या "लंबा निबंध लिखने" के लिए कहा जाता था, तो वे वास्तव में अधिक नैतिक गलतियाँ करते थे और उनके "जेलब्रेक" (धोखा खाकर गलत काम करने) होने की संभावना अधिक होती थी।
4. "जेलब्रेक" परीक्षण
शोधकर्ताओं ने यह भी परीक्षण किया कि क्या रोबोट को अपने सुरक्षा नियमों (जैसे "मैं बम कैसे बनाऊं?") को तोड़ने के लिए trick किया जा सकता है।
- निष्कर्ष: जिन रोबोटों को बुरे अनुरोधों को अस्वीकार करने के उदाहरण (Few-Shot) दिए गए थे, वे खतरनाक सवालों को "ना" कहने में बहुत बेहतर थे।
- रूपक (Metaphor): यह एक क्लब के बाउंसर की तरह है। यदि आप बाउंसर को सिर्फ यह कहते हैं कि "बुरे लोगों को अंदर न आने दें," तो वह किसी को चूक सकता है। लेकिन यदि आप उसे एक "बुरे आदमी" की फोटो दिखाते हैं और कहते हैं, "यदि आप इस तरह के किसी व्यक्ति को देखें, तो उसे रोक दें," तो वे अपने काम में बहुत बेहतर होते हैं।
5. "एकीकृत स्कोर" (UMSS)
लेखकों ने एक नया स्कोर बनाया जिसे UMSS (Unified Moral Safety Score) कहा जाता है।
- उपमा: कल्पना कीजिए कि आप किसी छात्र को केवल उसके टेस्ट स्कोर (सटीकता) के आधार पर नहीं, बल्कि इस आधार पर भी ग्रेड दे रहे हैं कि वह आसपास रहने के लिए कितना सुरक्षित है (सुरक्षा)।
- यदि एक रोबोट टेस्ट में 100% अंक प्राप्त करता है लेकिन उसे आसानी से कुछ बुरा बोलने के लिए उकसाया जा सकता है, तो उसका स्कोर गिर जाता है।
- यदि एक रोबोट बहुत सुरक्षित है लेकिन साधारण सवालों के जवाब नहीं दे सकता, तो उसका स्कोर गिर जाता है।
- विजेता: GPT-4.1 को सबसे अधिक समग्र स्कोर मिला क्योंकि इसने बुद्धिमानी और सुरक्षा के बीच का संतुलन पूरी तरह से बनाए रखा, विशेष रूप से छोटे, स्पष्ट निर्देशों के साथ।
6. "बहुत अधिक सोचने" की लागत
शोध पत्र ने पाया कि रोबोट को "कदम-दर-कदम सोचने" या "स्वयं से बहस करने" (Self-Correct) के लिए कहने में बहुत पैसा और समय (टोकन) खर्च होता है।
- उपमा: यह एक साधारण पार्किंग टिकट के लिए वकील को 50 पन्नों का संक्षिप्त विवरण लिखने के लिए काम पर रखने जैसा है। आप एक बड़ी रकम चुकाते हैं, और परिणाम अक्सर वही होता है जो केवल यह कहने से मिलता है कि "मुझे खेद है, मैं दोबारा ऐसा नहीं करूँगा।"
- सीख: सरल, उदाहरण-आधारित निर्देश, जटिल तर्क श्रृंखलाओं की तुलना में सस्ते, तेज़ और वास्तव में अधिक विश्वसनीय होते हैं।
आम आदमी के लिए सारांश
यदि आप चाहते हैं कि आपका AI सहायक नैतिक, सुरक्षित और सटीक हो:
- इसे बहुत जटिल न बनाएं। इसे उत्तर देने से पहले उपन्यास लिखने के लिए न कहें।
- केवल बताएं नहीं, दिखाएं। उसे उस तरह के उत्तर के कुछ उदाहरण दें जैसा आप चाहते हैं (विशेष रूप से बुरे अनुरोधों को "ना" कहने के उदाहरण)।
- इसे सरल रखें। एक लंबा, दार्शनिक प्रॉम्प्ट देने के बजाय एक छोटा, स्पष्ट प्रॉम्प्ट बेहतर काम करता है।
- अलग-अलग रोबोटों को अलग-अलग शैलियों की आवश्यकता होती है। जो एक रोबोट (जैसे Claude) के लिए काम करता है, वह दूसरे रोबोट (जैसे Gemini) के लिए काम नहीं भी कर सकता है, लेकिन सामान्य तौर पर, "उदाहरणों के साथ छोटा और स्पष्ट" ही स्वर्णिम नियम है।
शोध पत्र निष्कर्ष निकालता है कि हमें AI को अधिक नैतिक बनाने के लिए उसे "अधिक गहराई से सोचने" के लिए मजबूर करने की आवश्यकता नहीं है; हमें बस उन्हें बेहतर, सरल निर्देश देने की आवश्यकता है।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।