Private Direct Preference Optimization for LLM Alignment

कल्पना कीजिए कि आप एक सुपर-स्मार्ट रोबोट को विनम्र, सहायक और सुरक्षित होना सिखा रहे हैं। आप उसे केवल नियम नहीं बताते; बल्कि आप उसे उदाहरण दिखाते हैं। आप रोबोट को एक प्रश्न देते हैं, और वह दो अलग-अलग उत्तर लिखता है। फिर एक इंसान दोनों को देखता है और कहता है, "मुझे उत्तर B की तुलना में उत्तर A अधिक पसंद है।" इस प्रक्रिया को "अलाइनमेंट" (alignment) कहा जाता है, और इसी से हम AI मॉडल्स को अराजक समस्या निर्माता बनने के बजाय एक अच्छे नागरिक की तरह व्यवहार करना सिखाते हैं। रोबोट इन "A बनाम B" विकल्पों के हजारों उदाहरणों को देखकर सीखता है।

लेकिन यहाँ एक पेंच है: वे विकल्प केवल डेटा पॉइंट्स नहीं हैं; वे मानवीय राय हैं। यदि कोई इंसान किसी राजनीतिक राय या किसी विशिष्ट नैतिक दृष्टिकोण को प्राथमिकता देता है, तो वह एक रहस्य है। यदि हम बिना सुरक्षा के इन रहस्यों का उपयोग करके रोबोट को प्रशिक्षित करते हैं, तो रोबोट अनजाने में यह याद कर सकता है कि किसने क्या कहा था, या प्रशिक्षण प्रक्रिया स्वयं उन रहस्यों को किसी जिज्ञासु पर्यवेक्षक के सामने उजागर कर सकती है। यह एक कक्षा को पढ़ाने जैसा है जहाँ छात्रों से वोट देने के लिए कहा जाता है, लेकिन वोटिंग बूथ खुला छोड़ दिया जाता है ताकि हर कोई देख सके कि किसने किसे वोट दिया। मानक गोपनीयता उपकरण मौजूद हैं, लेकिन वे एक अखरोट तोड़ने के लिए हथौड़े के इस्तेमाल करने जैसे हैं: वे सब कुछ (यहाँ तक कि सार्वजनिक प्रश्नों और रोबोट के उत्तरों को भी) सुरक्षित करने के लिए इतना अधिक "शोर" या भ्रम पैदा करते हैं कि रोबोट भ्रमित हो जाता है और प्रभावी ढंग से सीखना बंद कर देता है। हमें केवल उस गुप्त वोट को सुरक्षित करने के तरीके की आवश्यकता है जिससे सीखने की प्रक्रिया पर बुरा प्रभाव न पड़े।

यह ठीक वही समस्या है जिसे नेशनल यूनिवर्सिटी ऑफ सिंगापुर और अलीबाबा के शोधकर्ताओं द्वारा पेश किए गए एक नए पेपर में हल किया गया है। वे एक चतुर नई विधि पेश करते हैं जिसे PrivDPO (प्राइवेट डायरेक्ट प्रेफरेंस ऑप्टिमाइजेशन) कहा जाता है। उनका बड़ा विचार यह है कि इन रोबोटों को सिखाने के पीछे के गणित में, "रहस्य" (मानवीय प्राथमिकता) केवल एक बहुत ही विशिष्ट, एक-आयामी पथ (one-dimensional path) के साथ चलता है, जैसे एक विशाल विद्युत ग्रिड में एक एकल तार। बाकी ग्रिड केवल सार्वजनिक जानकारी है। पूरे ग्रिड को अस्त-व्यस्त करने के बजाय, PrivDPO केवल उस एकल तार के साथ सावधानीपूर्वक गणना की गई थोड़ी सी यादृच्छिकता (randomness) इंजेक्ट करता है।

इसे "टेलीफोन" के खेल की तरह समझें जहाँ आप यह छिपाना चाहते हैं कि किसने गुप्त संदेश फुसफुसाया था। मानक गोपनीयता विधियाँ ऐसा करेंगी कि हर कोई पूरी तरह से अलग, विकृत कहानी फुसफुसाएगा, जिससे अंतिम संदेश निरर्थक हो जाएगा। हालाँकि, PrivDPO यह महसूस करता है कि रहस्य केवल संदेश के गुजरने की दिशा में है। इसलिए, यह कभी-कभी संदेश को थोड़ा बदल देता है या उसकी आवाज़ इतनी बदल देता है कि एक जासूस को भ्रमित किया जा सके, लेकिन यह ऐसा करता है कि औसतन संदेश पूरी तरह से सही तरीके से पहुँच जाता है। शोधकर्ताओं ने पाया कि यह दृष्टिकोण उन्हें बड़े AI मॉडल्स (32 बिलियन पैरामीटर्स तक!) को प्रशिक्षित करने की अनुमति देता है जबकि मानवीय प्राथमिकताओं को निजी रखता है। उन्होंने गणितीय रूप से सिद्ध किया कि यह विधि निजी है और प्रयोगों के माध्यम से दिखाया कि AI उतना ही अच्छा सीखता है जितना कि वह बिना गोपनीयता कवच के सीखता, जबकि पुराने तरीके AI को काफी कम बुद्धिमान बना देते थे।

मुख्य खोज: वोट को छिपाना, मतपत्र को नहीं

पेपर का मुख्य निष्कर्ष यह है कि आप AI प्रशिक्षण में मानवीय प्राथमिकताओं को सुरक्षित रख सकते हैं बिना AI की सीखने की क्षमता से समझौता किए, बशर्ते आप पूरे प्रशिक्षण उदाहरण को एक रहस्य न मानें। लेखक तर्क देते हैं कि डायरेक्ट प्रेफरेंस ऑप्टिमाइजेशन (DPO) में, संवेदनशील हिस्सा केवल "वोट" (कौन सा उत्तर बेहतर है) है, जबकि प्रश्न और दोनों उत्तर आमतौर पर सार्वजनिक ज्ञान होते हैं।

वे दो सामान्य दृष्टिकोणों को स्पष्ट रूप से खारिज करते हैं:

1. मानक डिफरेंशियल प्राइवेसी (DP-SGD): वे दिखाते हैं कि पूरे प्रशिक्षण प्रक्रिया पर मानक गोपनीयता उपकरणों को लागू करना आपदा है। यह बड़े मॉडल्स के लिए इतना अधिक "शोर" की आवश्यकता होती है कि AI प्राथमिकताओं को सीखना ही बंद कर देता है। उनके परीक्षणों में, इस पद्धति के कारण AI का प्रदर्शन इतना गिर गया कि वह रैंडम अनुमान लगाने से भी मुश्किल से बेहतर था।
2. रैंडमाइज्ड रिस्पॉन्स (RR): यह एक सरल विधि है जहाँ आप वोट को पलट देते हैं (जैसे "A बेहतर है" कहना जब वास्तव में "B" बेहतर हो) कुछ संभावना के साथ। पेपर दिखाता है कि यह एक "बायस" (bias) पैदा करता है। यह एक सिक्का उछालने जैसा है जिससे निर्णय लिया जाता है; जबकि यह सच्चाई को छिपाता है, यह एक सुसंगत त्रुटि भी पेश करता है जो AI को गलत सबक सिखाती है।

इसके बजाय, पेपर सुझाव देता है और सिद्ध करता है कि PrivDPO सबसे सटीक विकल्प है। यह गणितीय विश्लेषण करके कि AI कैसे सीखता है, उन्होंने खोजा कि दो प्रशिक्षण उदाहरणों के बीच का अंतर (जहाँ केवल प्राथमिकता को बदला गया है) टेक्स्ट द्वारा निर्धारित एक विशिष्ट "एक्सिस" (axis) पर स्थित है। उन्होंने एक एल्गोरिदम डिज़ाइन किया जो पूरे डेटा के बजाय केवल उस एक्सिस पर सीखने के संकेत की शक्ति में यादृच्छिकता जोड़ता है।

यह कैसे काम करता है: "मैजिक वेट" ट्रिक

PrivDPO को समझने के लिए, कल्पना करें कि आप एक छात्र के निबंध को ग्रेड दे रहे हैं। आपके पास दो संस्करण हैं: संस्करण A (अच्छा) और संस्करण B (बुरा)। आप छात्र को बताना चाहते हैं, "A अधिक करो, B कम करो।"

मानक प्रशिक्षण में, आप एक स्पष्ट निर्देश देते हैं: "A को 10 अंक बढ़ाएं।"
"रैंडमाइज्ड रिस्पॉन्स" विधि में (जिसे पेपर बुरा बताता है), आप एक सिक्का उछाल सकते हैं। यदि हेड आता है, तो आप कहते हैं "A को 10 बढ़ाएं।" यदि टेल आता है, तो आप कहते हैं "B को 10 बढ़ाएं।" यह छात्र को भ्रमित करता है, और वह गलत चीज़ सीखता है।

PrivDPO में, शिक्षक कुछ स्मार्ट करता है। वे जानते हैं कि छात्र पर एक जासूस नज़र रख रहा है जो यह जानना चाहता है कि छात्र वास्तव में A को पसंद करता है या B को। शिक्षक कहता है, "मैं आपके निर्देश को गुणा करने के लिए एक 'मैजिक वेट' (जादुई भार) दूंगा।"

• कभी-कभी, वे 1.2 का वेट देते हैं (निर्देश को मजबूत बनाता है)।
• कभी-कभी, वे 0.8 का वेट देते हैं (निर्देश को कमजोर बनाता है)।
• महत्वपूर्ण रूप से, वे यह सुनिश्चित करते हैं कि समय के साथ सभी निर्देशों का औसत निकालने पर, छात्र को अभी भी बिल्कुल सही संदेश मिले: "A को 10 बढ़ाएं।"

जासूस देखता है कि शिक्षक अलग-अलग नंबर (1.2, 0.8, 1.1, आदि) चिल्ला रहा है और वह यह नहीं बता सकता कि मूल प्राथमिकता वास्तव में A थी या B क्योंकि नंबर आपस में मिल गए हैं। लेकिन छात्र, जो कई उदाहरणों के माध्यम से सीखता है, शोर का औसत निकाल लेता है और पूरी तरह से सीख जाता है।

परिणाम: बड़े मॉडल्स, बड़ी गोपनीयता

शोधकर्ताओं ने तीन अलग-अलग प्रकार के AI मॉडल्स (Qwen, Llama, और Pythia) पर परीक्षण किया जो 3 बिलियन से 32 बिलियन पैरामीटर्स तक के थे। उन्होंने मानवीय प्राथमिकताओं के तीन अलग-अलग डेटासेट का उपयोग किया।

परिणाम स्पष्ट थे:

• गोपनीयता (Privacy): PrivDPO ने प्राथमिकताओं को सफलतापूर्वक सुरक्षित रखा। उन्होंने यह देखने के लिए एक "मेमोराइजेशन टेस्ट" चलाया कि क्या AI पिछले देखे गए विशिष्ट उदाहरणों का अनुमान लगा सकता है। मानक AI मॉडल (बिना गोपनीयता के) Anthropic-HH डेटासेट पर 9.76% बार सही अनुमान लगा सकते थे, जिससे पता चलता है कि उन्होंने रहस्यों को याद कर लिया था। PrivDPO ने इसे लगभग शून्य (0.01%) तक गिरा दिया, जिसका अर्थ है कि रहस्य प्रभावी रूप से छिपे हुए थे।
• प्रदर्शन (Performance): उन गोपनीयता विधियों के विपरीत जो AI को बेकार कर देती थीं, PrivDPO ने AI को स्मार्ट बनाए रखा। Anthropic-HH डेटासेट पर, मानक गैर-प्राइवेट AI का "रिवॉर्ड मार्जिन" (सीखने की सफलता का स्कोर) 0.393 था। एक मजबूत गोपनीयता सेटिंग ($\epsilon=1$) के साथ PrivDPO का स्कोर 0.359 था। यह बहुत करीब है! इसके विपरीत, मानक गोपनीयता विधि (DP-SGD) का स्कोर केवल 0.01 था, जो कि एक पूर्ण विफलता थी।
• गति (Speed): क्योंकि PrivDPO को हर एक डेटा के लिए जटिल गोपनीयता गणित की गणना करने के लिए कंप्यूटर को रोकने की आवश्यकता नहीं है (यह केवल गणितीय समीकरण को थोड़ा बदल देता है), यह लगभग उतनी ही तेज़ी से चलता है जितनी कि गैर-प्राइवेट वर्शन। उन्होंने पाया कि इसने प्रशिक्षण प्रक्रिया में केवल नगण्य समय जोड़ा, यहाँ तक कि सबसे बड़े 32-बिलियन-पैरामीटर वाले मॉडल्स के लिए भी।

यह क्यों मायने रखता है

पेपर निष्कर्ष निकालता है कि हमें गोपनीयता और प्रदर्शन के बीच चुनाव करने की आवश्यकता नहीं है। लंबे समय से, लोगों को लगता था कि यदि आप AI प्रशिक्षण में मानवीय डेटा को सुरक्षित रखना चाहते हैं, तो आपको एक कम बुद्धिमान AI को स्वीकार करना होगा। यह पेपर सुझाव देता है कि AI कैसे प्राथमिकताओं से सीखता है, इसके विशिष्ट गणित को समझकर, हम एक ऐसा "प्राइवेसी शील्ड" बना सकते हैं जो सीखने को आने देने के लिए पर्याप्त पतला है लेकिन जासूसों को रोकने के लिए पर्याप्त मोटा है।

लेखक नोट करते हैं कि यह विशेष रूप से वर्तमान तरीके (DPO) के लिए काम करता है और अन्य विधियों के लिए इसमें समायोजन की आवश्यकता हो सकती है। वे यह भी स्पष्ट करते हैं कि जबकि उनकी विधि वरीयता (वोट) की रक्षा करती है, यह उन प्रश्नों या उत्तरों की सामग्री को जादू से नहीं छिपाती जो पहले से ही गुप्त थे। लेकिन अधिकांश मामलों के लिए जहाँ प्रश्न सार्वजनिक हैं और केवल मानवीय राय निजी है, यह नया तरीका एक व्यावहारिक, स्केलेबल और प्रभावी तरीका प्रदान करता है जिससे हम हमारे रहस्यों का सम्मान करने वाला AI बना सकते हैं।