Do Large Language Models Reflect Demographic Pluralism in Safety?
यह शोधपत्र डेमो-सेफ्टीबेंच (Demo-SafetyBench) प्रस्तुत करता है, जो एक ऐसा ढांचा है जिसे मौजूदा डेटासेट को विविध सुरक्षा डोमेन में पुनर्वर्गीकृत करके और इस बात का मूल्यांकन करने के लिए एक स्केलेबल, सुदृढ़ विधि प्रदान करके एलएलएम (LLM) सुरक्षा संरेखण में जनसांख्यिकीय विविधता की कमी को दूर करने के लिए डिज़ाइन किया गया है कि सुरक्षा धारणाएं विभिन्न जनसांख्यिकीय समूहों में कैसे भिन्न होती हैं।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
"यूनिवर्सल रूलबुक" की समस्या: AI सुरक्षा को एक सांस्कृतिक दिशा-सूचक (कम्पास) की आवश्यकता क्यों है
कल्पना कीजिए कि आप एक विशाल, वैश्विक स्कूल में एक शिक्षक हैं। आप कक्षा में छात्रों द्वारा कुछ भी अनुचित कहने से रोकने के लिए एक "सुरक्षा नियम पुस्तिका" (Safety Rulebook) बनाना चाहते हैं।
यदि आप केवल एक विशिष्ट पड़ोस के शिक्षकों से नियम लिखने के लिए कहते हैं, तो आपके पास ऐसी नियम पुस्तिका हो सकती है जो कहती है, "लंच के दौरान तीखे भोजन के बारे में बात करना सख्त वर्जित है," क्योंकि यह एक स्थानीय रिवाज है। लेकिन दुनिया के दूसरे हिस्से के छात्र के लिए, यह नियम बेतुका और अनावश्यक लगेगा। वहीं दूसरी ओर, यह नियम पुस्तिका किसी अन्य संस्कृति के लिए वास्तव में महत्वपूर्ण चीज़ों को पूरी तरह से छोड़ सकती है, जैसे कि बड़ों का सम्मान कैसे किया जाए।
यह शोध पत्र तर्क देता है कि वर्तमान AI मॉडल उस एक-पड़ोस वाले शिक्षक की तरह हैं। उन्हें ऐसे "सुरक्षा नियमों" पर प्रशिक्षित किया जा रहा है जो मुख्य रूप से पश्चिमी या संकीर्ण सांस्कृतिक विचारों को दर्शाते हैं। शोधकर्ता यह देखना चाहते थे कि क्या AI यह समझ सकता है कि "सुरक्षा" कोई एक, सार्वभौमिक नियम पुस्तिका नहीं है, बल्कि इस पर निर्भर करती है कि आप कौन हैं, यह विभिन्न दृष्टिकोणों का एक संग्रह है।
समाधान: "डेमो-सेफ्टीबेंच" (सांस्कृतिक प्रिज्म)
शोधकर्ताओं ने Demo-SafetyBench नामक एक नई परीक्षण प्रणाली बनाई। केवल AI से यह पूछने के बजाय कि, "क्या यह वाक्य बुरा है?", उन्होंने प्रश्न में एक "सांस्कृतिक प्रिज्म" (Cultural Prism) जोड़ दिया।
उन्होंने केवल वाक्य नहीं बदला; उन्होंने संदर्भ (Context) को बदल दिया। उन्होंने हजारों विषयों (जैसे राजनीति, नशीली दवाएं, या सामाजिक शिष्टाचार) को लिया और उनके साथ "पहचान टैग" (Identity Tags) जोड़ दिए।
उपमा: "डिनर पार्टी" परीक्षण
कल्पना कीजिए कि आप एक डिनर पार्टी में जाते हैं।
- परिदृश्य A: आप लंदन में एक औपचारिक व्यावसायिक गाला (Formal Business Gala) में हैं।
- परिदृश्य B: आप टेक्सास में एक शोर-शराबे वाले, अनौपचारिक बैकयार्ड बीबीक्यू (Backyard BBQ) में हैं।
- परिदृश्य C: आप टोक्यो में एक शांत, पारंपरिक पारिवारिक रात्रिभोज में हैं।
प्रत्येक सेटिंग में, एक मजाक या टिप्पणी की "सुरक्षा" बदल जाती है। टेक्सास में एक ज़ोरदार मज़ाक "सुरक्षित" हो सकता है, लेकिन टोक्यो में वह "असुरक्षित" (अशिष्ट) हो सकता है।
शोधकर्ताओं ने इन विभिन्न "सेटिंग्स" (आयु, जाति, लिंग, शिक्षा) को AI मॉडलों में डाला यह देखने के लिए कि क्या AI का "सुरक्षा अलार्म" सेटिंग के आधार पर अलग तरह से बजता है।
उन्हें क्या मिला? (परिणाम)
उन्होंने तीन अलग-अलग "जजों" (AI मॉडलों) का परीक्षण किया: एक हेवीवेट चैंपियन (GPT-4o), एक मिडिलवेट (LLaMA-2), और एक लाइटवेट (Gemma)।
- "बड़ा दिमाग" अधिक सुसंगत है, लेकिन पूर्ण नहीं: सबसे स्मार्ट मॉडल (GPT-4o) सबसे विश्वसनीय था। यह आसानी से "भ्रमित" नहीं हुआ, लेकिन इसमें अभी भी मामूली पूर्वाग्रह दिखाई दिए। यह एक बहुत ही बुद्धिमान न्यायाधीश की तरह है जो काफी हद तक निष्पक्ष है लेकिन उसके कुछ अवचेतन स्वभाव अभी भी मौजूद हैं।
- छोटे मॉडल "मूड स्विंग्स" वाले होते हैं: छोटे, हल्के AI मॉडल जनसांख्यिकी (Demographics) के प्रति बहुत अधिक संवेदनशील थे। उनका "सुरक्षा अलार्म" इस आधार पर बहुत अलग तरह से बजा कि वे किससे बात कर रहे हैं। वे किशोरों की तरह हैं—कभी वे नियमों का पालन करते हैं, और कभी उनका निर्णय कमरे में मौजूद व्यक्ति के आधार पर नाटकीय रूप रूप से बदल जाता है।
- सुरक्षा "सामाजिक रूप से अनुकूलित" होती है: बेहतरीन AI मॉडल भी अभी भी "अंध बिंदु" (Blind Spots) रखते हैं। वे हर जनसांख्यिकीय समूह के साथ बिल्कुल एक जैसा व्यवहार नहीं करते हैं। यह साबित करता है कि AI सुरक्षा केवल "सही बनाम गलत" के बारे में नहीं है; यह इस बारे में है कि "कौन पूछ रहा है और किस दृष्टिकोण से पूछ रहा है।"
यह आपके लिए क्यों मायने रखता है?
जैसे-जैसे AI डॉक्टरों, शिक्षकों और नीति निर्माताओं की मदद करना शुरू कर रहा है, हमारे पास "एक ही आकार सबके लिए उपयुक्त" (One-size-fits-all) वाला सुरक्षा फ़िल्टर नहीं हो सकता। यदि AI का उपयोग किसी रूढ़िवादी धार्मिक समुदाय में किया जा रहा है, तो उसे उन मानदंडों को समझने की आवश्यकता है। यदि इसका उपयोग किसी प्रगतिशील विश्वविद्यालय में किया जा रहा है, तो इसे उन मानदंडों को भी समझना होगा।
यह शोध पत्र यह मापने के लिए एक वैज्ञानिक थर्मामीटर प्रदान करता है कि एक AI कितना "सांस्कृतिक रूप से जागरूक" है। यह डेवलपर्स को ऐसा AI बनाने में मदद करता है जो न केवल नियमों के एक सेट का पालन करता है, बल्कि वास्तविक मानव दुनिया की सुंदर, जटिल और विविध "बहुलता" (Pluralism) का सम्मान भी करता है।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।