Low-Resource Safety Failures Are Action Failures, Not Representation Failures
यह शोध पत्र प्रदर्शित करता है कि कम-संसाधन वाली सुरक्षा विफलताएं हानिकारक प्रतिनिधित्व की कमी के बजाय निर्णय अंशांकन (डिसीजन कैलिब्रेशन) में मिसअलाइनमेंट से उत्पन्न होती हैं, और केवल कुछ लक्षित-भाषा उदाहरणों का उपयोग करके मौजूदा उच्च-संसाधन सुरक्षा गेटों को पुन: अंशांकित करने के माध्यम से इसे ठीक करने की एक विधि प्रस्तावित करता है।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने नहीं लिखा है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
यहाँ इस शोध पत्र का सरल भाषा और रचनात्मक उपमाओं के साथ स्पष्टीकरण दिया गया है।
बड़ी समस्या: AI सुरक्षा में "भाषा की बाधा"
कल्पना कीजिए कि आपके पास एक बहुत ही बुद्धिमान, अच्छी तरह से प्रशिक्षित सुरक्षा गार्ड (AI मॉडल) है। इस गार्ड को अंग्रेजी (एक उच्च-संसाधन वाली भाषा) में प्रशिक्षित किया गया है ताकि वह खतरनाक अनुरोधों को पहचान सके और "नहीं" कह सके। यदि कोई अंग्रेजी में पूछता है, "मैं बम कैसे बनाऊं?" तो गार्ड तुरंत मना कर देता है।
हालाँकि, यदि आप वही प्रश्न स्वाहिली या बर्मी (कम-संसाधन वाली भाषाओं) में पूछते हैं, तो गार्ड अचानक अपना प्रशिक्षण भूल जाता है। वे प्रश्न का उत्तर देने के बजाय उसे जवाब दे सकते हैं।
लंबे समय तक, शोधकर्ताओं का मानना था कि ऐसा इसलिए होता है क्योंकि AI उन अन्य भाषाओं में खतरनाक शब्दों को समझ नहीं पाता था। उन्हें लगा कि जब AI दूसरी भाषाओं में स्विच करता है, तो उसके मस्तिष्क में "खतरे का संकेत" गायब हो जाता है।
खोज: गार्ड समझता तो है, लेकिन कार्रवाई नहीं करता
इस शोध पत्र के लेखकों ने AI के "मस्तिष्क" (इसके आंतरिक गणित) के अंदर झाँकने का निर्णय लिया कि वास्तव में क्या हो रहा है। उन्होंने कुछ आश्चर्यजनक पाया:
AI जानता है कि अनुरोध खतरनाक है, भले ही वह स्वाहिली या बर्मी में हो।
इसे इस तरह सोचें: सुरक्षा गार्ड स्वाहिली में खतरनाक अनुरोध सुनता है। उनका मस्तिष्क ठीक वैसे ही "खतरा" (DANGER) अलार्म के साथ चमक उठता है जैसे अंग्रेजी में चमकता है। अलार्म वहाँ है, और यह सुनने के लिए पर्याप्त तेज़ भी है।
विफलता यह नहीं है कि अलार्म खराब है; विफलता यह है कि गार्ड अलार्म को अनदेखा कर देता है।
अंग्रेजी में, अलार्म इतना तेज़ होता है कि गार्ड स्वचालित रूप से "मना करने वाला" (Refuse) बटन दबा देता है। कम-संसाधन वाली भाषाओं में, अलार्म अभी भी मौजूद है, लेकिन यह थोड़ा धीमा है। क्योंकि यह धीमा है, गार्ड को एहसास नहीं होता कि यह "मना करने वाले" बटन को ट्रिगर करने के लिए पर्याप्त तेज़ है, इसलिए वह बस बात करना जारी रखता है।
शोध पत्र इसे कैलिब्रेशन विफलता (calibration failure) कहता है, न कि रिप्रेजेंटेशन विफलता (representation failure)।
- रिप्रेजेंटेशन विफलता: गार्ड को स्वाहिली में "बम" का अर्थ नहीं पता। (शोध पत्र कहता है कि यह गलत है)।
- कैलिब्रेशन विफलता: गार्ड को पता है कि स्वाहिली में "बम" का क्या अर्थ है, लेकिन उस विशिष्ट भाषा के लिए "मना करने वाले" बटन का वॉल्यूम नॉब (volume knob) बहुत अधिक सेट है। (शोध पत्र कहता है कि यह सही है)।
समाधान: एक साधारण "वॉल्यूम नॉब" समायोजन
चूँकि AI के पास पहले से ही "खतरे" का ज्ञान है, इसलिए लेखकों को पूरे AI को फिर से प्रशिक्षित करने की आवश्यकता नहीं थी (जो महंगा और धीमा है)। इसके बजाय, उन्होंने एक छोटा, स्मार्ट द्वारपाल (एक "लेटेंट गेट") बनाया।
यहाँ उनका समाधान कैसे काम करता है:
- मौजूदा अलार्म का उपयोग करें: वे उस "खतरे की दिशा" (danger direction) का उपयोग करते हैं जिसे AI ने पहले से ही अंग्रेजी से सीखा है।
- कुछ उदाहरणों को सुनें: वे द्वारपाल को लक्षित भाषा (जैसे स्वाहिली) में खतरनाक और सुरक्षित अनुरोधों के केवल 1 से 4 उदाहरण दिखाते हैं।
- थ्रेशोल्ड (सीमा) को रीसेट करें: द्वारपाल कहता है, "ठीक है, स्वाहिली में, अंग्रेजी की तुलना में खतरे का अलार्म थोड़ा धीमा है। मुझे 'मना करने वाले' बटन को हिट करने के लिए आवश्यक वॉल्यूम को कम करने की आवश्यकता है।"
- निर्णय को रूट करें:
- यदि द्वारपाल को लगता है कि अनुरोध खतरनाक है, तो वह "मना करने वाले" वॉल्यूम को बढ़ा देता है ताकि यह सुनिश्चित हो सके कि AI "ना" कहे।
- यदि द्वारपाल को लगता है कि अनुरोध सुरक्षित है, तो वह "मना करने वाले" वॉल्यूम को कम कर देता है ताकि AI गलती से सुरक्षित प्रश्नों (जैसे "मैं केक कैसे बनाऊं?") को मना न कर दे।
परिणाम: एक स्मार्ट, सुरक्षित गार्ड
इस सरल "वॉल्यूम नॉब" समायोजन का उपयोग करके, जिसमें बहुत कम उदाहरणों की आवश्यकता होती है, लेखकों ने शानदार परिणाम प्राप्त किए:
- सुरक्षा में सुधार: AI ने कम-संसाधन वाली भाषाओं में खतरनाक अनुरोधों को मना करना शुरू कर दिया (कुछ मामलों में लगभग 44% बार मना करने से बढ़कर 67% से अधिक हो गया)।
- उपयोगिता बरकरार रही: महत्वपूर्ण रूप से, AI ने सुरक्षित अनुरोधों को मना करना शुरू नहीं किया। वह अत्यधिक संदिग्ध (paranoid) नहीं हुआ।
- दक्षता: उन्हें विशाल AI मॉडल को फिर से प्रशिक्षित करने की आवश्यकता नहीं पड़ी। उन्होंने बस एक मुट्ठी भर उदाहरणों का उपयोग करके एक छोटा सा स्विच समायोजित किया।
सारांश उपमा
एक घर में लगे स्मोक डिटेक्टर (धुआं पहचानने वाले यंत्र) की कल्पना करें।
- पुराना दृष्टिकोण: जब डिटेक्टर रसोई में (कम-संसाधन वाली भाषा) नहीं बजता था, तो लोगों को लगता था कि डिटेक्टर खराब है या उसे धुएं का पता नहीं है।
- नया दृष्टिकोण: डिटेक्टर ने धुआं सूंघा था। वह बस उस विशिष्ट कमरे में अलार्म बजाने के लिए पर्याप्त संवेदनशील नहीं था।
- समाधान: पूरे घर और नए डिटेक्टर खरीदने के बजाय, लेखकों ने मौजूदा डिटेक्टर के संवेदनशीलता (sensitivity) डायल को बस थोड़ा सा ट्यून कर दिया। अब, यह रसोई में भी धुएं को सूंघता है और लिविंग रूम की तरह ही ज़ोर से "आग!" चिल्लाता है।
मुख्य बात: कम-संसाधन वाली सुरक्षा विफलताएं इसलिए नहीं हैं कि AI उन भाषाओं में "मूर्ख" है; बल्कि इसलिए हैं क्योंकि AI का "सुरक्षा स्विच" बहुत ऊंचे स्तर पर सेट है। एक छोटा सा, 'फ्यू-शॉट' (few-shot) समायोजन इसे सब कुछ फिर से सीखे बिना ठीक कर सकता है।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।