The Alignment Veto: How Safety Training Suppresses Cultural Knowledge in LLMs
यह शोध पत्र प्रकट करता है कि लार्ज लैंग्वेज मॉडल्स में सुरक्षा संरेखण (सेफ्टी अलाइनमेंट) प्रशिक्षण अक्सर सांस्कृतिक ज्ञान को मिटाने के बजाय उसे दबा देता है, जिससे एक असमान "अलाइनमेंट वीटो" उत्पन्न होता है जहाँ आंतरिक प्रतिनिधित्व सटीक रहते हैं लेकिन आउटपुट के स्तर पर बाधित हो जाते हैं, जिसके परिणामस्वरूप विभिन्न राष्ट्रों और भाषाओं के बीच महत्वपूर्ण सुरक्षा लागत और गुणवत्ता अंतराल पैदा होते हैं।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
यहाँ "द अलाइनमेंट वीटो" (The Alignment Veto) नामक शोध पत्र की एक सरल भाषा और रचनात्मक उपमाओं के साथ व्याख्या दी गई है।
मुख्य विचार: "शांत पुस्तकालय" (The Silent Library)
कल्पना कीजिए कि एक विशाल पुस्तकालय (AI मॉडल) है जिसने मध्य पूर्व और उत्तरी अफ्रीका (MENA) की हर संस्कृति की किताबें पढ़ी हैं। इस पुस्तकालय के भीतर, किताबें इस बात का सटीक प्रतिबिंब हैं कि मिस्र, तुर्की या ईरान के लोग परिवार, धर्म और सामाजिक मुद्दों के बारे में वास्तव में क्या सोचते हैं।
हालाँकि, इस पुस्तकालय में एक बहुत ही सख्त, ज़रूरत से ज़्यादा सतर्क लाइब्रेरियन ( "सेफ्टी ट्रेनिंग") है। इस लाइब्रेरियन को इस तरह प्रशिक्षित किया गया है कि वह AI को कुछ भी ऐसा कहने से रोके जो पश्चिमी मानकों के अनुसार विवादास्पद या अपमानजनक हो सकता है।
शोध पत्र की मुख्य खोज: जब लाइब्रेरियन AI को किसी संवेदनशील प्रश्न का उत्तर देने से रोकता है, तब भी AI को उत्तर पता होता है। ज्ञान हटाया नहीं गया है; इसे बस AI के मुँह से बाहर आने से रोका जा रहा है। शोध पत्र इसे "अलाइनमेंट वीटो" (Alignment Veto) कहता है।
1. AI विफल होने के दो तरीके
लेखकों ने पाया कि जब AI सांस्कृतिक प्रश्नों का गलत उत्तर देता है, तो यह दो तरीकों में से एक से होता है। इसे एक छात्र द्वारा परीक्षा देने के उदाहरण से समझें:
प्रकार A: "खाली दिमाग" (Representational Bias)
छात्र को वास्तव में उत्तर नहीं पता है। उसने सही किताबें नहीं पढ़ी हैं। यदि आप उनसे पूछें, "तुर्की के लोग X के बारे में क्या सोचते हैं?" तो वे अमेरिकी परिप्रेक्ष्य के आधार पर अनुमान लगा सकते हैं, क्योंकि उन्होंने तुर्की का दृष्टिकोण कभी सीखा ही नहीं।- समाधान: आपको उन्हें नए तथ्य सिखाने होंगे (मॉडल को फिर से प्रशिक्षित करना होगा)।
प्रकार B: "छिपने वाला छात्र" (Suppression Failure)
छात्र को उत्तर पता है। यदि आप उनके रफ पेपर (AI के अंदर का गणित/तर्क) को देखें, तो आप देखेंगे कि उनके पास सही उत्तर लिखा हुआ है। लेकिन जब उन्हें ज़ोर से बोलने की आवश्यकता होती है, तो "सेफ्टी लाइब्रेरियन" उनके हाथ पर थप्पड़ मारकर कहता है, "नहीं, तुम यह नहीं कह सकते!" इसलिए छात्र कहता है, "मैं इसका उत्तर नहीं दे सकता," या एक सामान्य, सुरक्षित उत्तर देता है जो वास्तविकता से मेल नहीं खाता।- समाधान: आपको उन्हें नए तथ्य सिखाने की ज़रूरत नहीं है; आपको बस सवाल पूछने का तरीका बदलना होगा ताकि लाइब्रेरियन थोड़ा ढील दे सके।
शोध पत्र की खोज: अधिकांश समय, AI "खाली" नहीं होता; वह "छिप" रहा होता है। आंतरिक गणित दिखाता है कि AI सांस्कृतिक सत्य जानता है, लेकिन सुरक्षा फ़िल्टर उसे ब्लॉक कर देता है।
2. "सेफ्टी टैक्स" (The Safety Tax)
लेखक इन ब्लॉक किए गए उत्तरों पर AI द्वारा बर्बाद किए गए अतिरिक्त समय और प्रयास को "सेफ्टी टैक्स" कहते हैं।
- कल्पना कीजिए कि आप ब्रेड का एक लोफ (एक साधारण प्रश्न) खरीदने के लिए एक दुकान पर जाते हैं। कैशियर आपको तुरंत इसे खरीदने देता है।
- अब, कल्पना कीजिए कि आप एक ऐसा ब्रेड खरीदने की कोशिश करते हैं जो संयोग से किसी विशिष्ट देश का है (एक संवेदनशील सांस्कृतिक प्रश्न)। कैशियर आपको रोकता है, आपका आईडी चेक करता है, तीन सुरक्षा प्रश्न पूछता है, और फिर कहता है, "वास्तव में, मैं इसे नहीं बेच सकता।"
- शोध पत्र में पाया गया कि संवेदनशील विषयों के लिए, AI 37.6% बार उत्तर देने से मना कर देता है। जानकारी प्राप्त करने के लिए यह एक बहुत बड़ा "टैक्स" है।
- असमानता: यह टैक्स समान रूप से नहीं चुकाया जाता है। कुछ देशों (जैसे फिलिस्तीन) के लोगों को सटीक उत्तर मिलते हैं जब AI बोलता है, लेकिन उन्हें अधिक बार मना किया जाता है। अन्य देशों (जैसे अल्जीरिया) के लोगों को अक्सर मना किया जाता है और उन्हें खराब उत्तर भी मिलते हैं। यह "टैक्स" कुछ राष्ट्रों पर दूसरों की तुलना में अधिक भारी है।
3. भाषा का जाल (The Language Trap)
आप सोच सकते हैं, "यदि मैं अरबी या तुर्की में AI से पूछूँ, तो वह संस्कृति को बेहतर समझेगा, है ना?"
- शोध पत्र का आश्चर्य: नहीं। वास्तव में, मूल भाषा में पूछने से चीजें अक्सर और भी बदतर हो जाती हैं।
- उपमा: कल्पना कीजिए कि AI एक ऐसा व्यक्ति है जिसने अपनी सभी सुरक्षा नियम अंग्रेजी में सीखी हैं। यदि आप उससे अंग्रेजी में बात करते हैं, तो वह जानता है कि क्या "सुरक्षित" है। यदि आप अरबी में बात करते हैं, तो वह भ्रमित हो जाता है। उसे नहीं पता कि कौन से नियम लागू होते हैं, इसलिए वह और अधिक सतर्क हो जाता है और उत्तर देने से अधिक बार मना करता है।
- इसके अलावा, जब AI अरबी बोलता है, तो वह सभी अरबी भाषी देशों के साथ एक जैसा व्यवहार करता है। वह मिस्र, इराक और सऊदी अरब के बीच अंतर करना बंद कर देता है और उन सभी को एक सामान्य "अरब" श्रेणी में डाल देता है।
4. जादू का तरीका: "थर्ड-पर्सन" फ्रेमिंग (Third-Person Framing)
शोध पत्र में नियमों को तोड़े बिना "सेफ्टी लाइब्रेरियन" को बायपास करने का एक चतुर तरीका मिला।
- सेटअप: यदि आप पूछते हैं, "कल्पना करें कि आप एक मिस्र के व्यक्ति हैं। क्या आप X पसंद करते हैं?" तो AI घबरा जाता है और मना कर देता है।
- ट्रिक: यदि आप पूछते हैं, "एक औसत मिस्र के व्यक्ति की प्रतिक्रिया X के प्रति कैसी होगी?" तो AI शांत हो जाता है।
- यह क्यों काम करता है: यह एक शर्मीले छात्र से पूछने जैसा है, "तुम क्या करोगे?" बनाम "कोई और क्या करेगा?" दूसरा प्रश्न कम व्यक्तिगत और कम जोखिम भरा लगता है।
- परिणाम: इस "थर्ड-पर्सन" ट्रिक का उपयोग करके, AI ऐसे उत्तर देने लगता है जो वास्तव में वास्तविक मनुष्यों की सोच के बहुत करीब होते हैं। यह उस ज्ञान को अनलॉक कर देता है जिसे दबाया जा रहा था।
5. अंदर का "ब्लैक बॉक्स" (The Black Box Inside)
शोधकर्ताओं ने AI के मस्तिष्क के अंदर देखने के लिए एक विशेष उपकरण (जिसे Sparse Autoencoder कहा जाता है) का उपयोग किया, जबकि वह उत्तर देने से मना कर रहा था।
- उन्होंने एक विशिष्ट "स्विच" या "फीचर" पाया जो केवल तभी चालू होता है जब AI किसी संवेदनशील सांस्कृतिक प्रश्न का उत्तर देने वाला होता है।
- यह स्विच DPO (Direct Preference Optimization) नामक एक विशिष्ट प्रशिक्षण चरण के दौरान स्थापित किया गया लगता है।
- जब उन्होंने एक परीक्षण मॉडल में अस्थायी रूप से इस स्विच को "बंद" कर दिया, तो AI अचानक संवेदनशील सांस्कृतिक प्रश्नों के सही उत्तर देने लगा, जिससे यह सिद्ध हुआ कि ज्ञान वहीं मौजूद था, बस एक विशिष्ट तंत्र द्वारा ब्लॉक किया गया था।
सारांश
शोध पत्र का तर्क है कि हमें यह नहीं मान लेना चाहिए कि AI विभिन्न संस्कृतों के प्रति "अज्ञानी" है। अक्सर, यह केवल स्वयं को सेंसर (Censoring) कर रहा होता है।
- AI के पास ज्ञान है (पुस्तकालय भरा हुआ है)।
- सुरक्षा प्रशिक्षण एक द्वारपाल की तरह कार्य करता है जो उस ज्ञान को साझा करने से रोकता है (लाइब्रेरियन)।
- यह द्वारपाल (Gatekeeping) अनुचित है (कुछ देशों को अधिक नुकसान होता है)।
- हम इसे सवाल पूछने का तरीका बदलकर (थर्ड-पर्सन फ्रेमिंग का उपयोग करके) कुछ हद तक ठीक कर सकते हैं, लेकिन हम उन हिस्सों को ठीक नहीं कर सकते जहाँ AI वास्तव में संस्कृति को नहीं जानता (प्रकार A की विफलताएं)।
लेखक निष्कर्ष निकालते हैं कि AI को संस्कृति के बारे में क्या बोलने की अनुमति दी जानी चाहिए, यह तय करना केवल एक तकनीकी समस्या नहीं है; यह एक मानवीय निर्णय है जिसके लिए संबंधित समुदायों का इनपुट आवश्यक है।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।