On the Limits of Support-Preserving Alignment and Bounded Filtering
यह शोध पत्र सैद्धांतिक और अनुभवजन्य रूप से यह प्रदर्शित करता है कि आंतरिक मॉडल वितरणों को संरक्षित करने वाली संरेखण योजनाएं, जब सीमित सुरक्षा फिल्टरों के साथ संयोजित की जाती हैं, तो विभिन्न मॉडलों और क्वेरी बजटों में एक निरंतर अनुभवजन्य हानि फ्लोर (harm floor) द्वारा प्रमाणित, बड़े भाषा मॉडलों से हानिकारक आउटपुट को पूरी तरह से समाप्त नहीं कर सकती हैं।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
कल्पना कीजिए कि आप एक अत्यंत बुद्धिमान, अविश्वसनीय रूप से रचनात्मक रोबोट को एक अच्छा नागरिक बनना सिखाने की कोशिश कर रहे हैं। आप उसे विकलांग (lobotomize) नहीं करना चाहते या दुनिया कैसे काम करती है इसकी उसकी याददाश्त को मिटाना नहीं चाहते; आप बस उसके व्यक्तित्व को थोड़ा इस तरह मोड़ना चाहते हैं कि वह कुछ बुरा या खतरनाक कहने की कम संभावना रखे। यह लार्ज लैंग्वेज मॉडल्स (LLMs) की दुनिया है, जो उन चैटबॉट्स के पीछे का AI दिमाग है जिनका हम आज उपयोग करते हैं। वैज्ञानिकों ने अलाइनमेंट (alignment) नामक एक विधि विकसित की है, जो एक नए प्रकार के 'वरीयता सेट' देने जैसा है। खतरनाक विषयों पर बात करने की अपनी क्षमता को मिटाने के बजाय, रोबट यह सीखता है कि उन विषयों पर बात करना "कम मजेदार" है, इसलिए वह अधिकांश समय सुरक्षित उत्तर चुनता है।
हालाँकि, इसमें एक पेंच है। भले ही रोबोट सुरक्षित रहना पसंद करता हो, फिर भी उसे खतरनाक होने का तरीका पता है। यह सुनिश्चित करने के लिए कि वह कोई गलती न कर दे, हम उसके सामने एक "सेफ्टी फिल्टर" लगाते हैं—जैसे क्लब के दरवाजे पर खड़ा एक बाउंसर। यह बाउंसर तेज़ और सस्ता है, लेकिन वह रोबोट की तरह गहराई से या धीरे नहीं सोच सकता। बड़ा सवाल वैज्ञानिकों के लिए यह है: यदि हम रोबोट के दिमाग को बिल्कुल वैसा ही रखते हैं (बस थोड़ा सा मोड़ा गया है) और एक तेज़, सीमित बाउंसर पर भरोसा करते हैं जो बुरी चीज़ों को पकड़ सके, तो क्या हम कभी इसे 100% सुरक्षित बना सकते हैं? या क्या इसमें एक छोटा, अदृश्य रिसाव है जिसे हम कभी बंद नहीं कर पाएंगे?
द ग्रेट एआई सेफ्टी लीक: क्यों "काफी अच्छा" पर्याप्त नहीं हो सकता
इस शोध पत्र में, नानयांग टेक्नोलॉजिकल यूनिवर्सिटी के शोधकर्ता आर्यन दत्त, रुई माओ और अनुपम चट्टोपाध्याय ने इस सुरक्षा सेटअप की सीमाओं का परीक्षण करने का निर्णय लिया। वे जानना चाहते थे कि क्या कोई "हार्म फ्लोर" (harm floor) है—एक ऐसा बिंदु जहाँ आप कितनी भी कोशिश कर लें, आप बुरे उत्तरों की दर को शून्य तक नहीं ला सकते।
AI मॉडल को एक विशाल पुस्तकालय के रूप में सोचें जिसमें अब तक लिखी गई हर कहानी शामिल है, जिनमें कुछ बहुत खतरनाक कहानियाँ भी हैं। अलाइनमेंट खतरनाक किताबों पर "पढ़ना मना है" का स्टिकर लगाने जैसा है। लाइब्रेरियन (AI) के पास अभी भी किताबें हैं, लेकिन उन्हें सुरक्षित किताबों को पहले चुनने के लिए कहा गया है। सेफ्टी फिल्टर एक सुरक्षा गार्ड है जो आपके पास पहुँचने से पहले लाइब्रेरियन द्वारा चुनी गई किताबों की जाँच करता है। समस्या यह है कि सुरक्षा गार्ड को तेज़ होने के लिए भुगतान किया जाता है; वे केवल कुछ पन्नों को देख सकते हैं या कुछ त्वरित प्रश्न पूछ सकते हैं। वे छिपे हुए जाल को खोजने के लिए पूरी किताब को धीरे-धीरे नहीं पढ़ सकते।
शोधकर्ताओं ने पूछा: यदि लाइब्रेरियन के पास अभी भी खतरनाक किताबें हैं (क्योंकि हमने उन्हें हटाया नहीं है, बस उन्हें चुनने की संभावना कम कर दी है), और गार्ड हर चाल को पकड़ने के लिए बहुत तेज़ है, तो क्या हम वास्तव में सभी बुरी किताबों को आने से रोक सकते हैं?
प्रयोग: बाउंसर को सीमा तक धकेलना
यह जानने के लिए, टीम ने एक विशाल प्रयोग किया। उन्होंने उपलब्ध सबसे स्मार्ट AI मॉडल्स में से कई को लिया (जिनमें LLaMA और Nemotron जैसे प्रसिद्ध मॉडल शामिल हैं) और उन्हें विभिन्न प्रकार के "सुरक्षा गार्डों" में लपेटा।
उन्होंने तीन प्रकार के गार्डों का परीक्षण किया:
- ब्लैक-बॉक्स गार्ड: यह गार्ड केवल विशिष्ट "बुरे शब्दों" या सरल पैटर्न को देखता है। यह तेज़ है लेकिन थोड़ा कम समझदार है।
- व्हाइट-बॉक्स गार्ड: यह गार्ड थोड़ा अधिक स्मार्ट है; यह बुरे शब्दों की जाँच करने के साथ-साथ उत्तर की लंबाई और AI कितना आत्मविश्वासी दिखता है, इस पर भी नज़र रखता है।
- स्टैटिस्टिकल-क्वेरी गार्ड: यह गार्ड एक जासूस की तरह है जो निर्णय लेने से पहले AI से एक ही सवाल कई बार पूछता है ताकि "वाइब" (vibe) का अंदाजा लगाया जा सके।
इसके बाद उन्होंने इन AI मॉडल्स को उन पेचीदा सवालों के साथ टेस्ट किया जो उन्हें कंप्यूटर हैक करने या हथियार बनाने जैसी खतरनाक सलाह देने के लिए उकसाते हैं। उन्होंने यह सब गार्ड्स के "बजट" को बढ़ाते हुए किया—बेसिकली, उन्होंने गार्ड्स को यह अनुमति दी कि वे "हाँ" या "नहीं" कहने से पहले कितने अधिक सवाल पूछ सकते हैं या कितने विकल्प चेक कर सकते हैं।
खोज: वह दीवार जिसे तोड़ा नहीं जा सकता
परिणाम आश्चर्यजनक और थोड़े चिंताजनक थे।
जैसे-जैसे शोधकर्ताओं ने गार्ड्स को अधिक समय और अधिक सवाल पूछने का बजट दिया (बजट को 1 से 64 चेक्स तक बढ़ाया), खतरनाक उत्तरों की संख्या नीचे तो गई। गार्ड्स स्पष्ट रूप से बुरी चीज़ों को पकड़ने में बेहतर हो गए। लेकिन मुख्य बात यह है: बुरे उत्तरों की दर कभी शून्य नहीं हुई।
चाहे उन्होंने बजट कितना भी बढ़ाया हो, या गार्ड कितना भी स्मार्ट क्यों न हो, या AI कितना भी अलाइन किया गया हो, खतरनाक उत्तरों में कमी आना रुक गई और एक सीधी रेखा (flat line) पर आ गई। यह एक बाथटब को एक छोटे कप से खाली करने की कोशिश करने जैसा था; अंततः, आप आखिरी कुछ बूंदों को नहीं निकाल पाते क्योंकि कप इतना छोटा होता है कि वह कोनों में छपकने वाले पानी को नहीं पकड़ पाता।
शोधकर्ताओं ने इस "हार्म फ्लोर" को अपने द्वारा टेस्ट किए गए हर मॉडल में पाया, छोटे से लेकर विशाल, सुपर-स्मार्ट मॉडल्स तक। यहाँ तक कि सबसे बेहतर तरीके से अलाइन किए गए मॉडल्स भी, जो आमतौर पर बुरे सवालों का जवाब देने से मना कर देते हैं, अगर सवाल काफी पेचीदा हों तो कभी-कभी चूक जाते हैं।
ऐसा क्यों होता है?
पेपर सुझाव देता है कि यह "सोचने की गहराई" (thinking depth) के बेमेल होने के कारण होता है। AI मॉडल एक गहरा विचारक है जो जटिल, बहु-चरणीय परिदृश्यों की कल्पना कर सकता है। हालाँकि, सेफ्टी फिल्टर को वास्तविक समय की चैट के साथ तालमेल बिठाने के लिए उथला (shallow) और तेज़ होने के लिए मजबूर किया जाता है।
लुका-छिपी के खेल की कल्पना करें। AI (छिपने वाला) को एक आदर्श छिपने की जगह बनाने के लिए घंटों सोचने की अनुमति है। फिल्टर (खोजने वाला) को केवल 5 सेकंड के लिए खोजने की अनुमति है। भले ही छिपने वाला अच्छा बनने की कोशिश करे, हमेशा कुछ ऐसे स्थान होंगे जो इतने चतुराई से छिपे होंगे कि 5-सेकंड वाला खोजने वाला उन्हें मिस कर देगा। क्योंकि AI अभी भी उन जगहों पर छिपना जानता है (खतरनाक व्यवहार का "सपोर्ट" अभी भी वहीं है), और खोजने वाला उन्हें खोजने के लिए पर्याप्त समय तक नहीं देख सकता, इसलिए कुछ बुरे उत्तर हमेशा निकल जाते हैं।
भविष्य के लिए इसका क्या अर्थ है
लेखक सावधानी बरतते हुए कहते हैं कि इसका मतलब यह नहीं है कि AI उम्मीद की किरण नहीं है या हमें हार मान लेनी चाहिए। इसका मतलब सिर्फ यह है कि काम करने का वर्तमान तरीका—AI की प्राथमिकताओं को बदलना और ऊपर से एक तेज़ फिल्टर जोड़ना—एक कठिन सीमा (hard limit) रखता है। आप AI को सुरक्षित और सुरक्षित बना सकते हैं, लेकिन आप इस विशिष्ट पद्धति के साथ "पूर्ण सुरक्षा" तक कभी नहीं पहुँच सकते।
यह सुझाव देता है कि समस्या को वास्तव में ठीक करने के लिए, हमें शायद AI के मस्तिष्क को ही बदलना होगा, न कि केवल उसकी प्राथमिकताओं को या एक बेहतर बाउंसर को जोड़ना होगा। हमें शायद AI को कुछ खतरनाक चीजों को न जानने के लिए सिखाने की आवश्यकता होगी, बजाय इसके कि केवल इस उम्मीद में रहें कि वह उन्हें बोलने का चुनाव नहीं करेगा। जब तक हम उस समस्या को हल नहीं कर लेते, तब तक हमेशा जोखिम का एक छोटा, जिद्दी रिसाव बना रहेगा जिसे हम केवल फिल्टरों से नहीं भर सकते।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।