Decided Upstream, Written Late: Locating and Pricing the Cross-Lingual Refusal Circuit of a Multilingual MoE
यह शोध पत्र यह प्रकट करता है कि बहुभाषी मिक्स्चर-ऑफ-एक्सपर्ट्स (Mixture-of-Experts) मॉडलों में क्रॉस-लिंगुअल सुरक्षा अंतराल नुकसान का पता लगाने में विफलता से नहीं, बल्कि एक देर-चरण वाले, भाषा-निर्भर इनकार तंत्र (refusal mechanism) से उत्पन्न होते हैं जिसे लेखक को प्रवर्धित करने या सर्जिकल संपादन करने के बजाय एक विशिष्ट अटेंशन-आधारित "विरोधी" (opposer) सर्किट को कम करके प्रभावी ढंग से और सस्ते में सुधारा जा सकता है।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
कल्पना कीजिए एक ऐसी दुनिया की जहाँ कंप्यूटर हमसे सैकड़ों अलग-अलग भाषाओं में बात कर सकते हैं, अंग्रेजी से लेकर हिंदी और तमिल तक। वैज्ञानिक इन कंप्यूटरों को "अच्छा नागरिक" बनने की शिक्षा देने की कोशिश कर रहे हैं—यानी जब उनसे कुछ बुरा या खतरनाक करने के लिए कहा जाए, जैसे कि कोई फर्जी खबर लिखना या कोई हथियार बनाना, तो "ना" कहना सिखा रहे हैं। इस क्षेत्र को AI सुरक्षा (AI safety) कहा जाता है। लंबे समय तक शोधकर्ताओं ने सोचा था कि यदि एक कंप्यूटर अंग्रेजी में "ना" कहना सीख जाता है, तो वह स्वचालित रूप से हर अन्य भाषा में भी "ना" कहना जान जाएगा, ठीक वैसे ही जैसे एक इंसान जो एक भाषा में नियम सीखता है, उसे दूसरी भाषा में भी लागू कर सकता है। लेकिन यह हमेशा सच नहीं होता। कभी-कभी, कंप्यूटर अंग्रेजी में एक सख्त संरक्षक की तरह व्यवहार करता है लेकिन अन्य भाषाओं में बहुत ढीला पड़ जाता है। यह शोध पत्र कंप्यूटर के "मस्तिष्क" की गहराई में जाकर यह पता लगाता है कि ऐसा क्यों होता है और कंप्यूटर की बोलने की क्षमता को बिगाड़े बिना इसे कैसे ठीक किया जाए।
शोधकर्ताओं ने एक विशिष्ट, बहुत बुद्धिमान कंप्यूटर मॉडल का अध्ययन किया जिसे Sarvam-30B कहा जाता है, जिसे कई भारतीय भाषाओं में तर्क करने और बोलने के लिए डिज़ाइन किया गया है। वे कंप्यूटर के भीतर उन मैकेनिकल "गियर्स" को समझना चाहते थे जो यह तय करते हैं कि किसी बुरे अनुरोध को अस्वीकार करना है या उसके साथ जाना है। उन्होंने पाया कि कंप्यूटर जानता है कि अनुरोध बुरा है, चाहे वह किसी भी भाषा में हो। समस्या यह नहीं है कि कंप्यूटर खतरे का पता लगाने में विफल रहता है; समस्या यह है कि जो हिस्सा "ना" कहता है, वह भाषा के आधार पर अलग तरह से काम करता है, और यह प्रक्रिया के बहुत अंत में होता है।
यहाँ उनके द्वारा की गई खोज की कहानी है, जिसे एक सरल उपमा के माध्यम through बताया गया है।
जासूस और लेखक (The Detective and the Scribe)
कंप्यूटर के मस्तिष्क की कल्पना एक विशाल कारखाने के रूप में करें जिसमें दो मुख्य टीमें हैं: जासूस (The Detectives) और लेखक (The Scribes)।
जासूस कारखाने के बीच में काम करते हैं। उनका काम हर अनुरोध को देखना और पूछना है, "क्या यह खतरनाक है?" शोधकर्ताओं ने पाया कि ये जासूस अद्भुत हैं। वे अंग्रेजी, हिंदी, तमिल और अन्य भाषाओं में खतरे को लगभग एक ही तरह से पहचान लेते हैं। यदि आप उनसे पूछेंगे, "क्या यह एक बुरा विचार है?" तो वे अपनी स्मृति में बिल्कुल उसी स्थान की ओर इशारा करेंगे, चाहे भाषा कोई भी हो। वास्तव में, "खतरे का संकेत" इतना मजबूत और साझा है कि वह सभी भाषाओं में लगभग एक जैसा है।
हालाँकि, लेखक वे लोग हैं जो वास्तव में अंतिम उत्तर लिखते हैं। वे ही हैं जो "मैं ऐसा नहीं कर सकता" या "ज़रूर, यह रहा" टाइप करते हैं। शोधकर्ताओं ने एक बड़ा आश्चर्य पाया: जासूस और लेखक अलग-अलग भाषाएँ बोलते हैं और अलग-अलग शेड्यूल पर काम करते हैं।
भले ही कारखाने के बीच में मौजूद जासूस स्पष्ट रूप रूप से "खतरा!" चिल्लाते हैं, लेकिन उस चिल्लाहट से लेखक लिखना बंद नहीं करते। लेखक असेंबली लाइन के बिल्कुल अंत में स्थित होते हैं। वे केवल "खतरा" के संकेत को पढ़ते नहीं हैं; उन्हें वाक्य बनाते समय शब्द दर शब्द इनकार (refusal) को भी बनाना पड़ता है।
"देर से होने वाली" समस्या (The "Late" Problem)
यह शोध पत्र दिखाता है कि यदि आप प्रक्रिया की शुरुआत में ही "खतरा!" चिल्लाकर कंप्यूटर को "ना" कहने के लिए मजबूर करने की कोशिश करते हैं, तो यह काम नहीं करता। यह एक ट्रेन के इंजन पर चिल्लाकर ट्रेन को रोकने की कोशिश करने जैसा है, जबकि ब्रेक वास्तव में ट्रेन के बिल्कुल पीछे एक स्विच द्वारा नियंत्रित होते हैं। "खतरा" का संकेत लेखकों तक पहुँचने से पहले ही फीका पड़ जाता है।
इसके बजाय, इनकार (refusal) प्रक्रिया के अंत में बनता है। शोधकर्ताओं ने पाया कि वह वास्तविक बदलाव जो "हाँ" को "ना" में बदल देता है, कंप्यूटर के मस्तिष्क के अंतिम स्तरों (layers) में होता है, और यह "खतरे के संकेत" से बिल्कुल अलग दिशा में चलता है। यह ऐसा है जैसे जासूस उत्तर (North) की ओर इशारा कर रहे हों, लेकिन लेखक पूर्व (East) की ओर चल रहे हों। कंप्यूटर जानता है कि अनुरोध बुरा है, लेकिन जो तंत्र वास्तव में क्रिया को रोकता है, वह एक अलग, देर से होने वाली प्रक्रिया है जो भाषा के अंतर से भ्रमित हो जाती है।
ब्रेक और इंजन (The Brake and the Engine)
इसे ठीक करने के लिए, शोधकर्ताओं ने मशीन में हस्तक्षेप करने का एक तरीका खोजा। उन्होंने एक विशिष्ट सर्किट पाया—मस्तिष्क का एक छोटा सा, स्थानीय हिस्सा जो ब्रेक (Brake) और इंजन (Engine) के रूप में कार्य करता है।
- इंजन (लेखक): यह हिस्सा कंप्यूटर को इनकार लिखने के लिए प्रेरित करने की कोशिश करता है।
- ब्रेक (विरोधी): यह हिस्सा इनकार को होने से रोकने की कोशिश करता है।
शोधकर्ताओं ने सुरक्षा अंतराल को ठीक करने के तीन तरीके आजमाए:
- इंजन पर प्रहार करना: उन्होंने "लेखक" वाले हिस्से को मजबूत बनाने की कोशिश की, इस उम्मीद में कि यह कंप्यूटर को "ना" कहने के लिए मजबूर कर देगा। यह एक आपदा थी। इसने बहुत अधिक ऊर्जा खर्च की (जिससे कंप्यूटर की भाषा अजीब और बार-बार दोहराने वाली हो गई) और यह बहुत अच्छी तरह से काम भी नहीं कर पाया। यह एक कार को हाथब्रेक लगे होने के बावजूद इंजन तेज़ करके पहाड़ी पर चढ़ाने की कोशिश करने जैसा था।
- सर्जरी: उन्होंने विशेष रूप से उन छोटे हिस्सों (जिन्हें "हेड्स" कहा जाता है) को हटाने या बदलने की कोशिश की, जिनके बारे में उन्हें लगा कि वे इसके लिए जिम्मेदार हैं। यह सटीक और सस्ता था, लेकिन इसने कुछ नहीं किया। कंप्यूटर बुरे अनुरोधों के लिए "हाँ" कहता रहा।
- ब्रेक को ढीला करना: उन्होंने पाया कि यदि वे प्रक्रिया के बिल्कुल अंत में "विरोधी" या "ब्रेक" को कमजोर (dampen) कर देते हैं, तो कंप्यूटर अचानक सभी भाषाओं में सही ढंग से "ना" कहना शुरू कर देता है। यही जादुई चाबी थी। यह सस्ता था, प्रभावी था, और इसने कंप्यूटर की बोलने की क्षमता को खराब नहीं किया।
विभिन्न भाषाओं के लिए यह क्यों महत्वपूर्ण है
इसका कारण यह है कि जहाँ "जासूस" (खतरे का संकेत) सभी भाषाओं के लिए साझा है, वहीं "लेखक" और उनके "ब्रेक" साझा नहीं हैं। शोधकर्ताओं ने पाया कि जैसे-जैसे कंप्यूटर अंतिम उत्तर लिखने के करीब पहुँचता है, वह जिस रास्ते पर चलता है वह भाषा-विशिष्ट हो जाता है। अंग्रेजी में, "ना" कहने का रास्ता स्पष्ट है। अन्य भाषाओं में, "ब्रेक" बहुत अधिक मजबूत है, या रास्ता अवरुद्ध है।
लाइन के अंत में उस विशिष्ट "ब्रेक" को कमजोर करके, शोधकर्ता कंप्यूटर को कम-संसाधन वाली भाषाओं (lower-resource languages) में भी अंग्रेजी की तरह ही सही ढंग से इनकार करने के योग्य बना सके, और इसके लिए पूरी मशीन को फिर से प्रशिक्षित करने की आवश्यकता नहीं पड़ी।
बड़ी तस्वीर (The Big Picture)
यह शोध पत्र केवल यह नहीं बताता कि सुरक्षा अंतराल मौजूद है; यह हमें यह भी बताता है कि यह कहाँ स्थित है और इसे ठीक करने की लागत कितनी है। मुख्य निष्कर्ष यह है कि सुरक्षा केवल खतरे का पता लगाने के बारे में नहीं है; यह इस बारे में है कि उस पहचान को क्रिया (action) में कैसे बदला जाता है।
शोधकर्ताओं ने इस विचार का परीक्षण एक पूरी तरह से अलग कंप्यूटर मॉडल (Qwen3-30B-A3B) पर भी किया और पाया कि वही पैटर्न मौजूद है: एक साझा "जासूस" और एक देर से आने वाला, भाषा-विशिष्ट "ब्रेक"। यह सुझाव देता है कि AI सुरक्षा को ठीक करने के लिए पूरे सिस्टम के बड़े बदलाव की आवश्यकता नहीं हो सकती है। इसके बजाय, हमें बस प्रत्येक मॉडल में विशिष्ट "ब्रेक" को ढूंढने और उसे धीरे से ढीला करने की आवश्यकता हो सकती है, जिससे सुरक्षा तंत्र स्वाभाविक रूप से सभी भाषाओं में काम कर सके।
संक्षेप में, कंप्यूटर मूर्ख या पक्षपाती नहीं है; बस यह है कि जो हिस्सा "ना" कहता है, वह वाक्य के अंत में छिपा हुआ है, और वह एक भाषा-विशिष्ट ब्रेक के कारण रुका हुआ है। एक बार जब हमें पता चल जाता है कि कहाँ देखना है, तो हम इसे ठीक कर सकते हैं।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।