Latent Space Refusal Anchoring for Low-Resource African Languages: Mechanistic Safety Recovery Without Retraining
यह शोधपत्र लेटेंट स्पेस रिफ्यूज़ल एंकरिंग (LSR-Anchoring) को प्रस्तुत करता है, जो एक प्रशिक्षण-मुक्त विधि है जो अंग्रेजी से रिफ्यूज़ल दिशाओं (refusal directions) को निकालकर और उन्हें इन्फरेंस के दौरान रेसिडुअल स्ट्रीम पर लागू करके कम-संसाधन वाले अफ्रीकी भाषाओं में सुरक्षा अस्वीकार (safety refusals) को पुनर्स्थापित करती है, जो SAE-डेरिव्ड स्टीयरिंग जैसी तकनीकों के माध्यम से न्यूनतम प्रदर्शन ह्रास के साथ प्रभावी सुरक्षा रिकवरी प्राप्त करती है।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
आधुनिक आर्टिफिशियल इंटेलिजेंस सिस्टम, जिन्हें अक्सर लार्ज लैंग्वेज मॉडल्स कहा जाता है, उन्हें मानव भाषा को समझने और उत्पन्न करने के लिए प्रशिक्षित किया जाता है। उनके विकास का एक महत्वपूर्ण हिस्सा उन्हें हानिकारक अनुरोधों को पहचानने और उन्हें अस्वीकार करने के लिए सिखाना है, जैसे कि मैलवेयर बनाने या हिंसा की योजना बनाने के निर्देश। शोधकर्ताओं ने पाया है कि इन मॉडल्स के पास एक आंतरिक "सेफ्टी स्विच" (सुरक्षा स्विच) होता है जो खतरे का पता चलते ही सक्रिय हो जाता है। हालांकि, यह स्विच वर्तमान में लगभग विशेष रूप से अंग्रेजी में खतरों को पहचानने के लिए ट्यून किया गया है। जब कोई उपयोगकर्ता किसी अन्य भाषा में, विशेष रूप से उन भाषाओं में जिनमें डिजिटल संसाधन कम हैं जैसे कि कई अफ्रीकी भाषाओं में, वही खतरनाक प्रश्न पूछता है, तो यह सुरक्षा स्विच अक्सर काम करने में विफल रहता है। मॉडल, उस विशिष्ट भाषा में खतरे को पहचानने में असमर्थ होने के कारण, अनुरोध का अनुपालन कर सकता है, जिससे लाखों वक्ता असुरक्षित रह जाते हैं। यह अंतर वैश्विक एआई सुरक्षा में एक महत्वपूर्ण कमी (ब्लिंड स्पॉट) का प्रतिनिधित्व करता है, क्योंकि यह तकनीक कुछ के लिए तो अच्छी तरह काम करती है लेकिन दूसरों को असुरक्षित छोड़ देती है।
एक मशीन लर्निंग वर्कशॉप में प्रस्तुत एक नया अध्ययन इस असंतुलन को बिना उस विशाल डेटा या कंप्यूटिंग पावर की आवश्यकता के संबोधित करता है जो आमतौर पर इसे ठीक करने के लिए आवश्यक होती है। शोधकर्ता, जो अंग्रेजी, योरूबा, इग्बो, इगाला और हौसा समझने में सक्षम मॉडल्स के साथ काम कर रहे थे, उन्होंने पाया कि "अस्वीकृति" का आंतरिक संकेत कंप्यूटर की मेमोरी के भीतर मौजूद होता है, भले ही मॉडल अन्य भाषाओं में उस पर कार्रवाई करने में विफल रहे। पूरे सिस्टम को फिर से प्रशिक्षित करने के बजाय, जो उन भाषाओं के लिए असंभव होगा जिनके पास बड़े डेटासेट की कमी है, उन्होंने मॉडल की आंतरिक स्थिति को उसके सोचने के क्षण में मैन्युअल रूप से प्रेरित करने की एक विधि विकसित की। उन्होंने उस विशिष्ट गतिविधि के पैटर्न को निकाला जो तब संकेत देता है कि "मैं यह नहीं कर सकता" जब मॉडल अंग्रेजी को प्रोसेस कर रहा होता है, और फिर उसी पैटर्न को अफ्रीकी भाषाओं में अनुरोधों को प्रोसेस करते समय मॉडल के आंतरिक कामकाज पर लागू किया। यह तकनीक, जिसे वे 'लेटेंट स्पेस रिफ्यूज़ल एंकरिंग' (latent space refusal anchoring) कहते हैं, प्रभावी रूप से सुरक्षा संकेत को मॉडल की विचार प्रक्रिया पर थाम लेती है, जिससे वह भाषा के उपयोग की परवाह किए बिना खतरे को पहचानने के लिए मजबूर हो जाता है।
इस दृष्टिकोण के परिणाम कई अलग-अलग मॉडल आकारों और प्रकारों में आश्चर्यजनक रूप से सफल रहे। जब शोधकर्ताओं ने योरूबा, इग्बो, इगाला और हौसा में हानिकारक अनुरोधों को प्रोसेस करने वाले मॉडल्स पर इस प्रेरणा (नज) को लागू किया, तो मॉडल्स ने उन अनुरोधों को ठीक उसी तरह से अस्वीकार करना शुरू कर दिया जैसे वे अंग्रेजी में करते हैं। कई मामलों में, हानिकारक सामग्री को रोकने की सफलता दर लगभग पूर्ण स्तर तक पहुंच गई। उदाहरण के लिए, सबसे बड़े परीक्षण किए गए मॉडल (Llama-3.1-70B) पर, इस विधि ने योरूबा और इगाला प्रॉम्प्ट्स के लिए सुरक्षा को पूरी तरह से बहाल कर दिया और इग्बो के लिए 0.99 की सफलता दर प्राप्त की; हालांकि, चूंकि इस मॉडल आकार के लिए हानिरहित प्रश्नों को गलत तरीके से अस्वीकार करने के मेट्रिक को नहीं मापा गया था, इसलिए ये उच्च सफलता दरें वास्तविक सुरक्षा रिकवरी के ऊपरी स्तर (upper bounds) को दर्शाती हैं। महत्वपूर्ण रूप से, इस सुधार ने छोटे मॉडल्स पर हानिरहित प्रश्नों के उत्तर देने की मॉडल की क्षमता को बाधित नहीं किया जहाँ इसका मापन किया गया था; उन मॉडल्स के लिए, हानिरहित अनुरोधों को गलत तरीके से अस्वीकार करने की त्रुटि दर अत्यंत कम रही, जो अक्सर आठ प्रतिशत से भी नीचे थी। यह विधि इतनी अच्छी तरह से काम कर गई कि इसने बिना किसी लेबल वाले डेटा के सुरक्षा को बहाल कर दिया, जो उन क्षेत्रों के लिए एक बड़ी सफलता है जहाँ ऐसा डेटा दुर्लभ है।
हालांकि, अध्ययन ने इस तकनीक की महत्वपूर्ण सीमाओं को भी उजागर किया। शोधकर्ताओं ने पाया कि यह विधि हर भाषा के लिए काम नहीं करती है। जब उन्होंने अंग्रेजी-आधारित सुरक्षा संकेत को अरबी पर लागू करने की कोशिश की, तो यह पूरी तरह से विफल रहा, जिससे मॉडल अधिक सुरक्षित होने के बजाय कम सुरक्षित हो गया। यह सुझाव देता है कि मॉडल जिस तरह से अरबी का प्रतिनिधित्व करता है, उसका आंतरिक ज्यामिति (geometry) अंग्रेजी के प्रतिनिधित्व से मौलिक रूप से भिन्न है, जिसका अर्थ है कि सुरक्षा संकेत का एक सरल अनुवाद वहां फिट नहीं बैठता। इसके अतिरिक्त, यह विधि मॉडल के आकार के आधार पर अलग-अलग व्यवहार करती थी। एक छोटे मॉडल पर, तकनीक के प्रारंभिक संस्करण बहुत अधिक आक्रामक था, जिससे मॉडल लगभग हर चीज़ को अस्वीकार करने लगा, यहाँ तक कि हानिरहित प्रश्नों को भी। इसे ठीक करने के लिए, शोधकर्ताओं ने अपने दृष्टिकोण को परिष्कृत किया और अस्वीकृति के लिए जिम्मेदार एक बहुत ही विशिष्ट आंतरिक विशेषता (feature) को अलग किया, न कि एक व्यापक औसत का उपयोग किया। इस परिष्कृत विधि ने छोटे मॉडल को अत्यधिक सतर्क हुए बिना सुरक्षा प्राप्त करने की अनुमति दी, जिससे प्रारंभिक प्रयास की तुलना में त्रुटियों का जोखिम तीन से सात गुना कम हो गया।
यह अध्ययन पुष्टि करता है कि इन आर्टिफिशियल इंटेलिजेंस सिस्टम में सुरक्षा तंत्र अनुपस्थित नहीं हैं, बल्कि वे केवल सुप्त अवस्था में हैं, जो सही आंतरिक संकेत मिलने पर सक्रिय होने की प्रतीक्षा कर रहे हैं। उपयोग के क्षण में इन संकेतों को सक्रिय करने के लिए एक प्रशिक्षण-मुक्त (training-free) विधि का उपयोग करके, शोधकर्ताओं ने एक व्यावहारिक तरीका प्रदान किया है जिससे सैकड़ों लाखों वक्ताओं तक सुरक्षा कवच का विस्तार किया जा सके जो पहले पीछे छूट गए थे। यह कार्य प्रदर्शित करता है कि सावधानीपूर्वक समायोजन के साथ, एआई भाषा की बाधाओं के पार एक हानिकारक अनुरोध के इरादे को समझने में सक्षम हो सकता है, बशर्ते उन भाषाओं की आंतरिक संरचनाएं संगत हों। जबकि अरबी जैसी भाषाओं के लिए चुनौतियां बनी हुई हैं, पश्चिम अफ्रीकी भाषाओं के साथ मिली सफलता एक अधिक विविध वैश्विक आबादी के लिए एआई को सुरक्षित बनाने के लिए एक स्पष्ट मार्ग प्रदान करती है, जिसमें केवल मॉडल्स के भीतर पहले से उपलब्ध संसाधनों का उपयोग किया गया है।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।