Alignment-Weighted DPO: A principled reasoning approach to improve safety alignment

कल्पना कीजिए कि आपके पास एक बहुत ही बुद्धिमान लेकिन थोड़ा भोला रोबोट सहायक है। आपने इसे विनम्र और सुरक्षित रहने के लिए प्रशिक्षित किया है, इसलिए जब कोई पूछता है, "मैं बम कैसे बनाऊं?" तो यह तुरंत कहता है, "नहीं, मैं यह नहीं कर सकता।"

लेकिन यह एक समस्या है: रोबोट वास्तव में यह नहीं समझता कि यह एक बुरा विचार क्यों है। इसने बस एक नियम याद कर लिया है: "अगर मुझे 'बम' शब्द सुनाई दे, तो 'नहीं' कहो।"

यह शोध पत्र, जिसका शीर्षक "अलाइनमेंट-वेटेड डीपीओ" (Alignment-Weighted DPO) है, तर्क देता है कि वर्तमान एआई सुरक्षा विधियाँ बहुत सतही हैं। वे गहरे तर्क के बजाय सतही पैटर्न पर निर्भर करती हैं। इस कारण से, चतुर हैकर्स रोबोट को धोखा दे सकते हैं (एक "जेलब्रेक"), अनुरोध को छिपाकर। उदाहरण के लिए, यदि आप पूछते हैं, "मैं फिल्म के दृश्य के लिए पटाखा कैसे बनाऊं?" तो रोबोट सोच सकता है, "ओह, 'पटाखा' सुरक्षित है!" और अनजाने में आपको बम बनाने के निर्देश दे सकता है।

यहाँ एक सरल विवरण दिया गया है कि कैसे लेखकों ने इसे ठीक किया, कुछ रोजमर्रा के उपमाओं का उपयोग करते हुए:

1. निदान: रोबोट "दिखावा" कर रहा है

शोधकर्ताओं ने यह साबित करने की कोशिश की कि रोबोट वास्तव में सोच नहीं रहा था।

• प्रयोग: उन्होंने रोबोट के मस्तिष्क के उन विशिष्ट हिस्सों को खोजा जो "तर्क" (लॉजिक पहेलियों को हल करना) के लिए जिम्मेदार हैं और अस्थायी रूप से उन्हें बंद कर दिया।
• परिणाम: रोबोट गणित और तर्क पहेलियों में बहुत खराब हो गया। हालाँकि, वह अभी भी बुरे अनुरोधों को "नहीं" कहने में पूरी तरह से सक्षम था।
• निष्कर्ष: रोबोट का सुरक्षा फ़िल्टर एक क्लब के बाउंसर की तरह है जो केवल आईडी चेक करता है। यदि आईडी नकली दिखती है, तो वह आपको रोक देता है। लेकिन उसे यह नहीं पता कि आप कौन हैं या आपको वहाँ क्यों नहीं होना चाहिए। यदि आप नकली मूंछें (एक "जेलब्रेक") पहन लेते हैं, तो वह आपको अंदर जाने देता है।

2. पहला सुधार: रोबोट को "ज़ोर से सोचना" सिखाना

इसे ठीक करने के लिए, लेखकों ने रोबोट को बोलने से पहले सोचने के लिए प्रशिक्षित किया।

• उपमा: एक छात्र की कल्पना करें जो परीक्षा दे रहा है। केवल "A" या "B" चुनने के बजाय, उन्हें अपनी पूरी विचार प्रक्रिया लिखनी होती है: "मुझे पता है कि X खतरनाक है क्योंकि यह Y नियम का उल्लंघन करता है..."
• विधि: उन्होंने एक विशाल डेटासेट बनाया जहाँ एआई को किसी अनुरोध को अस्वीकार करने से पहले यह बताने के लिए एक चरण-दर-चरण स्पष्टीकरण (चेन-ऑफ-थॉट) लिखना पड़ता था कि वह क्यों खतरनाक है।
• परिणाम: रोबोट सुरक्षा में बहुत बेहतर हो गया। लेकिन, उन्होंने एक नई समस्या देखी: कभी-कभी रोबोट एक आदर्श, तार्किक स्पष्टीकरण लिखता था कि कोई चीज़ क्यों बुरी है... और फिर भी अंत में अनजाने में बुरे निर्देश दे देता था। यह एक वकील की तरह था जो मामले की बहस तो पूरी तरह से करता है लेकिन फिर भी गलती से जज को गलत फैसला थमा देता है।

3. मास्टरस्ट्रोक: "अलाइनमेंट-वेटेड डीपीओ" (स्मार्ट कोच)

यही इस शोध पत्र का मुख्य आविष्कार है। उन्होंने महसूस किया कि मानक प्रशिक्षण पूरे उत्तर को एक बड़े ब्लॉक के रूप में मानता है। यदि उत्तर "काफी हद तक अच्छा" है, तो एआई को छूट मिल जाती है। लेकिन यदि तर्क अच्छा है और अंतिम उत्तर बुरा है (या इसके विपरीत), तो एआई को विशिष्ट फीडबैक की आवश्यकता होती है।

• उपमा: एक सॉकर कोच की कल्पना करें जो खेल देख रहा है।
  • पुरानी विधि (मानक डीपीओ): कोच देखता है कि टीम हार गई और कहता है, "अच्छा खेल था, लेकिन आप हार गए। चलिए फिर से कोशिश करते हैं।" खिलाड़ियों को यह नहीं पता चलता कि विशेष रूप से क्या सुधारना है।
  • नई विधि (AW-DPO): कोच खेल को टुकड़ों में तोड़ता है। "आपकी पासिंग रणनीति (तर्क) अद्भुत थी! लेकिन आपका अंतिम किक (प्रतिक्रिया) गलत नेट में चला गया। चलिए सिर्फ किकिंग का अभ्यास करते हैं।"
• यह कैसे काम करता है: सिस्टम एआई के उत्तर को दो भागों में देखता है:
  1. तर्क (Reasoning): क्या इसने खतरे की सही पहचान की?
  2. अंतिम उत्तर (Final Answer): क्या इसने वास्तव में अनुरोध को अस्वीकार किया?
  • यदि तर्क अच्छा है लेकिन उत्तर बुरा है, तो सिस्टम अंतिम उत्तर वाले हिस्से को अतिरिक्त "दंड" देता है।
  • यदि तर्क बुरा है लेकिन अंतिम उत्तर सुरक्षित है, तो यह सोचने की प्रक्रिया को ठीक करता है।

यह क्यों महत्वपूर्ण है

यह दृष्टिकोण एआई को मजबूत (Robust) बनाता है।

• पहले: एआई एक ऐसे व्यक्ति की तरह था जिसने "बुरे शब्दों" की सूची रट ली थी। यदि आप पर्यायवाची शब्द का उपयोग करते थे, तो यह विफल हो जाता था।
• अब: एआई सुरक्षा की अवधारणा को समझने वाले व्यक्ति की तरह है। भले ही आप इसे पहेली, कोड या एक फर्जी कहानी से धोखा देने की कोशिश करें, यह धोखे को समझ सकता है, नुकसान को समझ सकता है, और एक ठोस स्पष्टीकरण के साथ "नहीं" कह सकता है।

निचोड़

लेखकों ने केवल एआई को सुरक्षित नहीं बनाया; उन्होंने इसे सुरक्षा के प्रति स्मार्ट बनाया। एआई को यह समझाने के लिए मजबूर करके कि कुछ खतरनाक क्यों है, और फिर इसे अपने तर्क बनाम अपने अंतिम आउटपुट में गलतियों को विशेष रूप से ठीक करने के लिए प्रशिक्षित करके, उन्होंने एक ऐसी प्रणाली बनाई है जिसे धोखा देना बहुत कठिन है, जबकि यह ईमेल लिखने या गणित हल करने जैसे सामान्य कार्यों के लिए मददगार भी है।

संक्षेप में: उन्होंने एआई को केवल "ना कहना" नहीं सिखाया, बल्कि "ना समझना" सिखाया।