SteeringSafety: Benchmarking Representation Steering in LLMs Across Safety Perspectives
यह शोध पत्र SteeringSafety को प्रस्तुत करता है, जो नौ सुरक्षा दृष्टिकोणों और 18 डेटासेटों के माध्यम से प्रतिनिधित्व स्टीयरिंग (representation steering) विधियों का मूल्यांकन करने वाला एक व्यापक बेंचमार्क है, जो यह प्रकट करता है कि हालांकि स्टीयरिंग विशिष्ट व्यवहारों को लक्षित करने में प्रभावी हो सकती है, लेकिन यह अक्सर पर्याप्त उलझाव (entanglement) के कारण सामाजिक व्यवहार और मानदण्डिक निर्णय जैसे अन्य सुरक्षा आयामों में महत्वपूर्ण अनपेक्षित गिरावट का कारण बनती है।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
कल्पना कीजिए कि आपने अभी-अभी एक सुपर-स्मार्ट रोबोट दोस्त बनाया है जो कविताएँ लिख सकता है, गणित की समस्याओं को हल कर सकता है और चुटकुले सुना सकता है। आपने इसे मददगार बनने के लिए प्रशिक्षित किया है, लेकिन आप यह भी सुनिश्चित करना चाहते हैं कि यह कोई बुरी बात न कहे, तथ्यों के बारे में झूठ न बोले, या इंसान होने का ढोंग न करे। यह लार्ज लैंग्वेज मॉडल्स (LLMs) की दुनिया है: विशाल AI मस्तिष्क जो अविश्वसनीय रूप से प्रवाहपूर्ण हैं लेकिन कभी-कभी अप्रत्याशित व्यवहार कर सकते हैं।
इन रोबोटों को नियंत्रण में रखने के लिए, वैज्ञानिकों ने एक तरकीब खोजी है जिसे रिप्रेजेंटेशन स्टीयरिंग (Representation Steering) कहा जाता है। सोचिए कि एक AI का मस्तिष्क कोड का एक ठोस ब्लॉक नहीं है, बल्कि लाखों छोटे स्विचों (एक्टिवेशन्स) से भरा एक विशाल, चमकता हुआ कंट्रोल रूम है। शोधकर्ताओं ने पाया कि यदि वे उस विशिष्ट "स्विच" या "दिशा" को खोज सकें जो एक व्यवहार को नियंत्रित करता है—जैसे कि "उत्तर देने से मना करना" या "सच बोलना"—तो वे एक साधारण गणितीय धक्के (push) के साथ उसे दिशा दे सकते हैं। यह एक रिमोट कंट्रोल रखने जैसा है जिससे आप बिना पूरे सिस्टम को फिर से प्रशिक्षित किए, तुरंत रोबोट को अधिक ईमानदार या कम अभद्र बना सकते हैं। यह जादू जैसा लगता है, लेकिन बड़ा सवाल यह है कि यदि आप एक समस्या को ठीक करने के लिए एक बटन दबाते हैं, तो क्या आप अनजाने में किसी और चीज़ को खराब कर देते हैं?
यह बिल्कुल वही है जिसकी जांच नया पेपर SteeringSafety करता है। शोधकर्ताओं ने एक विशाल परीक्षण स्थल, एक "सेफ्टी जिम" बनाया, यह देखने के लिए कि जब आप इन रिमोट कंट्रोल्स का उपयोग विभिन्न AI मॉडलों पर करते हैं तो क्या होता है। उन्होंने केवल एक चीज़ का परीक्षण नहीं किया; उन्होंने नौ अलग-अलग सुरक्षा दृष्टिकोणों की जाँच की, जिसमें यह शामिल था कि क्या रोबोट बुरे कामों को करने से मना करता है, या क्या वह मतिभ्रम (hallucinations/मनगढ़ंत बातें बनाना) का शिकार होता है, या वह सामाजिक पूर्वाग्रहों और यहाँ तक कि अपने राजनीतिक विचारों के साथ कैसा व्यवहार करता है।
इसके परिणाम "व्हैक-ए-मोल" (whack-a-mole) के खेल की तरह हैं, लेकिन एक ट्विस्ट के साथ। टीम ने पाया कि जबकि स्टीयरिंग कुछ चीजों के लिए अच्छी तरह काम करती है, यह अव्यवस्थित है। उदाहरण के लिए, उन्होंने पाया कि यदि वे AI को हानिकारक प्रश्नों का उत्तर देने से मना करने से रोकने के लिए (अनिवार्य रूप से "जेलब्रेकिंग") बटन दबाते हैं, तो यह अक्सर अन्य चीजों में बदतर हो जाता है। कुछ मामलों में, रोबند को कम जिद्दी बनाने से सामाजिक व्यवहार, जैसे कि विनम्र होने या "जी-हुज़ूरी" (sycophant) न करने में, वह 76% तक खराब हो गया।
शायद सबसे आश्चर्यजनक खोज यह है कि ये दुष्प्रभाव अप्रत्याशित हैं। जब उन्होंने AI को तथ्य गढ़ने (hallucinations) से रोकने की कोशिश की, तो रोबोट के राजनीतिक विचार बेतहाशा बदल गए। एक मॉडल पर, इस धक्के ने उसे 25% अधिक दक्षिणपंथी (right) बना दिया; दूसरे पर, यह 28% वामपंथी (left) की ओर झुक गया। यह ऐसा है जैसे रोबोट की याददाश्त को ठीक करने की कोशिश ने अनजाने में उसके व्यक्तित्व को बदल दिया हो।
पेपर यह निष्कर्ष निकालता है कि कोई एक "जादुई बटन" नहीं है जो बिना दुष्प्रभावों के सुरक्षा को ठीक कर सके। स्टीयरिंग की सफलता पूरी तरह से उपयोग की गई विधि के विशिष्ट मिश्रण, विशिष्ट AI मॉडल और उस सटीक व्यवहार पर निर्भर करती है जिसे आप बदलना चाह रहे हैं। हालांकि कुछ तरीके, जैसे कि DIM नामक तकनीक, इनकार (refusals) को रोकने में आम तौर पर अच्छे हैं, शोधकर्ता चेतावनी देते हैं कि हम यह मान नहीं सकते कि एक सुरक्षा समस्या को ठीक करने से दूसरी समस्या पैदा नहीं होगी। वे सुझाव देते हैं कि वास्तविक दुनिया में इन रिमोट कंट्रोल्स का उपयोग करने से पहले, हमें यह समझने की आवश्यकता है कि AI का मस्तिष्क एक उलझा हुआ जाल है: एक धागे को खींचने से पूरा स्वेटर उधड़ सकता है। अध्ययन यह नहीं कहता कि स्टीयरिंग बेकार है, लेकिन यह कहता है कि हमें बहुत सावधान रहने की आवश्यकता है, हर एक संयोजन का परीक्षण करने की आवश्यकता है ताकि हम एक खतरे के बदले दूसरे खतरे को न अपना लें।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।