Value Drifts: Tracing Value Alignment During LLM Post-Training
यह शोध पत्र LLM पोस्ट-ट्रेनिंग के दौरान वैल्यू अलाइनमेंट (मूल्य संरेखण) की गतिशीलता की जांच करता है, जो यह प्रकट करता है कि सुपरवाइज्ड फाइन-ट्यूनिंग मुख्य रूप से एक मॉडल के मूल्यों को स्थापित करती है जबकि बाद का प्रेफरेंस ऑप्टिमाइज़ेशन शायद ही कभी उन्हें पुन: संरेखित करता है, जिसमें अलग-अलग एल्गोरिदम समान डेटासेट पर भी भिन्न परिणाम देते हैं।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
कल्पना कीजिए कि आपके पास एक बिल्कुल नया, सुपर-स्मार्ट रोबोट है जिसने इंटरनेट पर लगभग सब कुछ पढ़ लिया है। वह तथ्य जानता है, कविताएँ लिख सकता है, और गणित की समस्याएँ हल कर सकता है। लेकिन अभी, वह विचारों के मामले में एक कोरे कागज़ की तरह है। यदि आप उससे पूछते हैं, "क्या दुनिया को बचाना बेहतर है या जल्दी पैसा कमाना?" तो वह बिना कोई पक्ष लिए केवल तथ्यों की सूची दे सकता है। इस रोबोट को मनुष्यों के लिए मददगार और सुरक्षित बनाने के लिए, हमें इसे सिखाना होगा कि इन पेचीदा सवालों के बारे में कैसे सोचा जाए। इस प्रक्रिया को "अलाइनमेंट" (alignment) कहा जाता है।
अलाइनमेंट को एक पिल्ले (puppy) को प्रशिक्षित करने जैसा समझें। पहले, आप उसे बुनियादी आदेश सिखाते हैं जैसे "बैठो" और "रुको" (इसे सुपरवाइज्ड फाइन-ट्यूनिंग, या SFT कहा जाता है)। आप उसे अच्छे व्यवहार के उदाहरण दिखाते हैं ताकि वह नियमों को सीख सके। फिर, आप उसे अन्य कुत्तों के साथ खेलने और सामाजिक संकेतों को सीखने के लिए डॉग पार्क में ले जाते हैं, जहाँ उसे अच्छा खेलने पर पुरस्कृत किया जाता है और काटने पर डांटा जाता है (इसे प्रेफरेंस ऑप्टिमाइज़ेशन कहा जाता है)। बड़ा सवाल जो वैज्ञानिक पूछ रहे हैं, वह यह है: पिल्ला वास्तव में अपना व्यक्तित्व कब सीखता है? क्या वह अपने मूल मूल्य बुनियादी प्रशिक्षण के दौरान सीखता है, या उसे अपना व्यक्तित्व डॉग पार्क से मिलता है? यह समझना महत्वपूर्ण है क्योंकि यदि हमें नहीं पता कि रोबोट के मूल्य कहाँ से आते हैं, तो हम अनजाने में उसे बिना जाने बुरा, पक्षपाती या खतरनाक बना सकते हैं।
यह शोध पत्र, जिसका शीर्षक "वैल्यू ड्रिफ्ट्स" (Value Drifts) है, प्रशिक्षण प्रक्रिया के पीछे जाकर यह देखता है कि बड़े भाषा मॉडल (LLMs) अपने मूल्यों को कब और कैसे सीखते हैं। शोधकर्ताओं ने प्रशिक्षण प्रक्रिया को एक टाइम-लैप्स वीडियो की तरह माना, जिसमें उन्होंने केवल अंत में तैयार उत्पाद को देखने के बजाय, प्रशिक्षण के हर एक चरण में रोबet के "विचारों" की जाँच की।
यहाँ उन्हें क्या मिला, और यह आपको आश्चर्यचकित कर सकता है:
1. पहला सबक सबसे महत्वपूर्ण है
अध्ययन में पता चला कि "सुपरवाइज्ड फाइन-ट्यूनिंग" (SFT) चरण वह है जहाँ रोबोट वास्तव में अपना व्यक्तित्व प्राप्त करता है। यह बिल्कुल वैसा ही है जैसे पिल्ला बैठना सीखता है; एक बार जब यह हो जाता है, तो मूल व्यवहार निर्धारित हो जाता है। शोधकर्ताओं ने पाया कि जैसे ही मॉडल ने निर्देश डेटासेट (instruction datasets) पर प्रशिक्षण शुरू किया, बड़े विषयों (जैसे अप्रवासन या जलवायु परिवर्तन) पर उसका रुख नाटकीय रूप से और तेजी से बदल गया। यदि प्रशिक्षण डेटा तटस्थ, "मुझे यकीन नहीं है" वाले उत्तरों से भरा था, तो रोबोट तटस्थ हो गया। यदि डेटा समर्थक, "हाँ, चलो यह करते हैं!" वाले उत्तरों से भरा था, तो रोबोट समर्थक बन गया। यह "मूल्य प्रतिचित्रण" (value imprinting) प्रक्रिया के बहुत शुरुआती चरण में हुआ, अक्सर प्रशिक्षण के पहले कुछ सौ चरणों के भीतर।
2. डॉग पार्क से ज्यादा बदलाव नहीं होता
प्रारंभिक प्रशिक्षण के बाद, मॉडल "प्रेफरेंस ऑप्टिमाइज़ेशन" (डॉग पार्क चरण) से गुजरते हैं, जहाँ उन्हें उत्तरों के जोड़े दिखाए जाते हैं और बताया जाता है कि मनुष्य किसे पसंद करते हैं। शोधकर्ता उम्मीद कर रहे थे कि यह चरण रोबोट के मूल्यों को थोड़ा बदल देगा, शायद उसे थोड़ा अधिक विनम्र या अधिक सहायक बना देगा। लेकिन उन्होंने पाया कि अधिकांशतः, इस चरण ने पहले चरण में स्थापित मूल्यों को बदलने में लगभग कुछ भी नहीं किया। रोबोट की राय ठीक वहीं रही जहाँ उसे पहले प्रशिक्षण चरण द्वारा छोड़ा गया था।
3. डॉग पार्क क्यों विफल हुआ (और इसे कैसे ठीक करें)
दूसरे चरण ने कुछ भी क्यों नहीं बदला? टीम को एहसास हुआ कि ऐसा इसलिए था क्योंकि "प्रशिक्षण के इनाम" (preference datasets) बहुत समान थे। मानक डेटासेट में उपयोग किए जाने वाले "अच्छे" उत्तर और "बुरे" उत्तर अक्सर केवल शैली में भिन्न होते थे (एक लंबा था, एक छोटा था) लेकिन उनका विचार बिल्कुल समान था। यह एक कुत्ते को गेंद लाना सिखाने जैसा है जहाँ आप उसे दो एक जैसे डंडे दिखाते हैं और कहते हैं, "बेहतर डंडा चुनो।" कुत्ता नया करतब नहीं सीख सकता यदि विकल्प एक जैसे हों।
हालाँकि, शोधकर्ताओं ने साबित किया कि यदि आप रोबोट को एक स्पष्ट विकल्प देते हैं—उसे एक उत्तर दिखाते हैं जो एक मूल्य का समर्थन करता है और दूसरा जो उसके कड़े विरोध में है—तो रोबोट अपना मन बदल सकता है। लेकिन उसके बदलने का तरीका उस विशिष्ट एल्गोरिदम पर निर्भर करता है जिसका उपयोग उसे सिखाने के लिए किया जाता है। कुछ एल्गोरिदम (जैसे DPO) जिद्दी शिक्षकों की तरह हैं जो केवल उसी बात को पुख्ता करते हैं जिसमें रोबमान पहले से विश्वास करता है, जबकि अन्य (जैसे SIMPO) अधिक सतर्क हैं और छोटे, धीमे बदलाव करते हैं।
निष्कर्ष
यह शोध पत्र सुझाव देता है कि यदि हम चाहते हैं कि AI के विशिष्ट मूल्य हों, तो हम अंतिम "प्रेफरेंस" चरण पर चीजों को ठीक करने के लिए भरोसा नहीं कर सकते। भारी काम प्रारंभिक निर्देश प्रशिक्षण के दौरान होता है। यदि हम चाहते हैं कि एक AI संवेदनशील विषयों पर तटस्थ रहे, तो हमें सुनिश्चित करना होगा कि प्रारंभिक प्रशिक्षण डेटा तटस्थ हो। यदि हम चाहते कि वह समर्थक हो, तो प्रारंभिक डेटा समर्थक होना चाहिए। अंतिम पॉलिशिंग चरण मुख्य रूप से शैली के लिए है, न कि रोबोट की आत्मा को बदलने के लिए। यह एक बड़ी अंतर्दृheid है क्योंकि यह हमें बताता है कि एक सुरक्षित AI बनाने का सबसे महत्वपूर्ण हिस्सा उन पहले उदाहरणों को तैयार करना है जो हम उसे दिखाते हैं, न कि केवल अंतिम फीडबैक राउंड।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।