Synthetic Persona Pretraining: Alignment from Token Zero
यह शोध पत्र सिंथेटिक पर्सोना प्रीट्रेनिंग (SPP) को प्रस्तुत करता है, जो एक विधि है जो टोकन जीरो से ही एक वांछित सहायक व्यक्तित्व को स्थापित करने के लिए मूल्य-संरेखित प्रथम-पुरुष प्रतिबिंबों (first-person reflections) को सीधे प्रीट्रेनिंग चरण में समाहित करती है, जो यह प्रदर्शित करता है कि इस प्रकार का प्रारंभिक हस्तक्षेप पोस्ट-ट्रेनिंग अलाइनमेंट दृष्टिकोणों की तुलना में संविधान पालन, जेलब्रेक सुदृढ़ता और नैतिक संरेखण में महत्वपूर्ण सुधार करता है।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
कल्पना कीजिए कि आप एक बच्चे का पालन-पोषण कर रहे हैं। आप इंतज़ार कर सकते हैं जब तक वह किशोर न हो जाए, फिर उसे बिठाकर कह सकते हैं, "ठीक है, अब जब तुम बोलना सीख गए हो, तो ये रहे नियम: दयालु बनो, सच बोलो, और दूसरों को चोट मत पहुँचाओ।" या, आप उन मूल्यों को उसके द्वारा बोले गए पहले शब्द से ही सिखाना शुरू कर सकते हैं, उन्हें हर उस कहानी में बुन सकते हैं जो आप उसे बढ़ते हुए सुनाते हैं। यही वह मूल दुविधा है जिसका सामना आर्टिफिशियल इंटेलिजेंस बनाने वाले वैज्ञानिक कर रहे हैं।
AI मॉडल डिजिटल बच्चों की तरह हैं जो इंटरनेट से अरबों पन्नों के टेक्स्ट को पढ़कर सीखते हैं। इस प्रारंभिक सीखने के चरण को "प्रीट्रेनिंग" (pretraining) कहा जाता है। इस दौरान, AI तथ्यों, लेखन शैलियों और मनुष्य आपस में कैसे बात करते हैं, इसे आत्मसात करता है। हालाँकि, एक सहायक, सुरक्षित असिस्टेंट होने के "नियम" आमतौर पर इस विशाल सीखने के चरण के बाद, "पोस्ट-ट्रेनिंग" (post-training) नामक एक अलग चरण में जोड़े जाते हैं। समस्या यह है कि जब तक AI इंटरनेट पढ़ना समाप्त करता है, तब तक वह वहां मिली चीज़ों के आधार पर एक व्यक्तित्व बना चुका होता है। एक पूरी तरह से विकसित व्यक्तित्व पर नए नियम थोपना एक किशोर को विनम्र होना सिखाने जैसा है, जबकि उसने पहले ही बदतमीजी करना सीख लिया है; यह अक्सर एक गंदी दीवार पर पेंट की एक पतली परत लगाने जैसा महसूस होता है, और पुराने स्वभाव आसानी से बाहर आ सकते हैं।
यह शोध पत्र, जिसका शीर्षक "सिंथेटिक पर्सोना प्रीट्रेनिंग: अलाइनमेंट फ्रॉम टोकन ज़ीरो" (Synthetic Persona Pretraining: Alignment from Token Zero) है, हमारे AI बच्चों को पालने का एक अलग तरीका सुझाता है। शोधकर्ता इस विचार का प्रस्ताव देते हैं कि वांछित व्यक्तित्व और मूल्यों को प्रशिक्षण के बिल्कुल पहले क्षण से ही स्थापित किया जाए—जिसे वे "टोकन ज़ीरो" (token zero) कहते हैं। बाद में ठीक करने के लिए इंतज़ार करने के बजाय, वे चाहते हैं कि जब AI बोलना सीख रहा हो, तभी उसके मस्तिष्क में एक "अच्छे असिस्टेंट" का निर्माण किया जाए।
प्रयोग: एक संविधान के साथ डिजिटल बच्चे का पालन-पोषण
शोधकर्ताओं के एक समूह ने, जो EPFL और विभिन्न विश्वविद्यालयों से हैं, इस "मॉडल रेजिंग" (Model Raising) विचार का परीक्षण करने का निर्णय लिया। उन्होंने सिंथेटिक पर्सोना प्रीट्रेनिंग (SPP) नामक एक नई विधि बनाई। उन्होंने इसे एक सरल उपमा का उपयोग करके कैसे किया, यहाँ बताया गया है:
कल्पना कीजिए कि AI किताबों के एक पुस्तकालय को पढ़ रहा है। पुराने तरीके में, AI बस किताबें पढ़ता है। नए तरीके में, शोधकर्ताओं ने उन किताबों में से लगभग 10% ली और हर कुछ पैराग्राफ के बाद एक विशेष "विचार बुलबुला" (thought bubble) जोड़ दिया। इस विचार बुलबुले के अंदर, AI का भविष्य का व्यक्तित्व (मान लीजिए, "केटो") रुककर जो उसने अभी पढ़ा उस पर विचार करेगा, जैसे, "हूँ, अपराध की यह कहानी दुखद है, और मेरे नियम कहते हैं कि मुझे कभी हिंसा को बढ़ावा नहीं देना चाहिए," या "यह तकनीकी मैनुअल उबाऊ है लेकिन उपयोगी है।"
उन्होंने केवल ये विचार नहीं जोड़े; उन्होंने AI को उन्हें उत्पन्न करना भी सिखाया। उन्होंने मॉडल को मूल टेक्स्ट और इन नए "चिंतन" विचारों, दोनों पर प्रशिक्षित किया। उन्होंने इसे दो तरीकों से किया:
- टोकन ज़ीरो ("जन्म से" वाला दृष्टिकोण): उन्होंने प्रशिक्षण प्रक्रिया के पहले सेकंड से लेकर आखिरी सेकंड तक इन चिंतन विचारों को बिखेर दिया।
- मिडट्रेनिंग ("किशोर" वाला दृष्टिकोण): उन्होंने तब तक इंतज़ार किया जब तक कि AI अधिकांश किताबें पढ़ नहीं चुका था और प्रशिक्षण चरण के बिल्कुल अंत में ही इन विचारों को जोड़ा।
उनके पास एक कंट्रोल ग्रुप भी था जिसने सामान्य रूप से किताबें पढ़ीं (वैनिला/Vanilla) और एक जिसने बुरी किताबों को हटा दिया था लेकिन कोई विचार नहीं जोड़ा था (फ़िल्टर्ड/Filtered)।
उन्होंने क्या पाया: शुरुआत करने की शक्ति
परिणाम दिलचस्प थे और उन्होंने सुझाव दिया कि आप AI को क्या सिखाते हैं, यह उतना ही महत्वपूर्ण है जितना कि आप उसे कब सिखाते हैं।
1. "जन्म से" वाला AI मूल्यों के मामले में अधिक समझदार था।
वे मॉडल जिन्हें शुरुआत से ही प्रतिबिंबों (reflections) के साथ प्रशिक्षित किया गया था (टोकन ज़ीरो), वे अपने "संविधान" (नियमों का एक सेट जिसका उन्हें पालन करना था) का पालन करने में बहुत बेहतर थे। जब शोधकर्ताओं ने उन्हें कठिन नैतिक दुविधाओं—ऐसी स्थितियों पर जिनका सामना AI ने पहले कभी नहीं किया था—पर टेस्ट किया, तो टोकन ज़ीरो मॉडल्स ने ऐसे चुनाव किए जो नियमों के अनुरूप महसूस होते थे। उन्होंने केवल नियमों को रटा नहीं; वे उनके भाव को समझने में सक्षम दिखे।
- आंकड़े: "कॉन्स्टिट्यूशनइवल" (ConstitutionEval) नामक एक टेस्ट पर, टोकन ज़ीरो मॉडल्स ने लगभग 67% सही उत्तर दिए, जबकि वे मॉडल जिन्हें अंत में प्रतिबिंब मिले थे (मिडट्रेनिंग), वे केवल लगभग 56% सही हो पाए।
- आश्चर्य: टोकनो ज़ीरो मॉडल्स ने वास्तव में अपनी प्राथमिकताओं को बदल दिया। उन्होंने अन्य मॉडल्स की तुलना में "सत्यनिष्ठा" (Truthfulness) और "न्याय" (Justice) को बहुत अधिक महत्व देना शुरू कर दिया, जो "रचनात्मकता" (Creativity) और "सीखने" (Learning) को प्राथमिकता दे रहे थे। यह सुझाव देता है कि शुरुआत में ही सिखाने से केवल नियम नहीं जुड़े; इसने AI के दुनिया को देखने के नज़रिए को भी नया आकार दिया।
2. "किशोर" वाला दृष्टिकोण कुछ चीजों के लिए ठीक था, लेकिन सभी के लिए नहीं।
दिलचस्प बात यह है कि यदि लक्ष्य केवल AI को "जेलब्रेक" (बुरी चीज़ें करने के लिए बहकाना) होने से रोकना था, तो मिडट्रेनिंग दृष्टिकोण टोकन ज़ीरो दृष्टिकोण के लगभग बराबर काम कर गया। ऐसा लगता है कि सरल "ऐसा मत करो" जैसे रिफ्लेक्सिस के लिए, आप उन्हें देर से भी सिखा सकते हैं। लेकिन गहरे, जटिल नैतिक तर्क के लिए, आपको वास्तव में पहले दिन से ही शुरुआत करनी होगी।
3. बड़े दिमाग, बड़े लाभ।
शोधकर्ताओं ने इस पर दो आकार के AI का परीक्षण किया: एक छोटा (1.7 बिलियन पैरामीटर्स) और एक बड़ा (3 बिलियन पैरामीटर्स)। उन्होंने पाया कि शुरुआत में सीखने का लाभ तब और भी महत्वपूर्ण हो जाता है जब AI बड़ा और अधिक स्मार्ट होता है। सबसे कठिन टेस्ट पर, "जन्म से" वाले AI और "किशोर" वाले AI के बीच का अंतर बड़े पैमाने पर बढ़ने के साथ दोगुना हो गया। यह सुझाव देता है कि भविष्य के विशाल, सुपर-स्मार्ट AI के लिए, सही मूल्यों के साथ शुरुआत करना और भी महत्वपूर्ण होगा।
4. "गोंद" (Glue) मायने रखता है।
एक पेच था। शोधकर्ताओं ने पाया कि ये शुरुआती मूल्य केवल तभी टिके रहे जब प्रशिक्षण का अंतिम चरण (जहाँ AI इंसानों के साथ चैट करना सीखता है) उस व्यक्तित्व से मेल खाता था जिसे उन्होंने पहले बनाया था। उन्होंने इसे "पर्सोना बाइंडिंग" (persona binding) कहा। यदि उन्होंने AI को प्रशिक्षण चरण के दौरान एक विशिष्ट प्रकार का असिस्टेंट बनने के लिए प्रशिक्षित किया, लेकिन फिर उसे चैट करने के दौरान पूरी तरह से अलग तरह का असिस्टेंट बनने के लिए सिखाया, तो शुरुआती मूल्य कम होने लगे। यह एक बच्चे को डॉक्टर बनने के लिए सिखाने, लेकिन फिर उसे आर्ट स्कूल भेजने जैसा है; वह चिकित्सा के नियमों को भूल सकता है। हालाँकि, जब "गोंद" मजबूत रहा, तो मूल्य आश्चर्यजनक रूप से दृढ़ रहे, और वे तब भी बने रहे जब शोधकर्ताओं ने उन्हें ट्रिकी टेस्ट के साथ तोड़ने की कोशिश की।
यह क्यों महत्वपूर्ण है
यह शोध पत्र सुझाव देता है कि हम यह गलती कर रहे हैं कि AI को "ठीक" करने की कोशिश करते हैं जब वह इंटरनेट से सब कुछ सीख चुका होता है। लेखक तर्क देते हैं कि तैयार उत्पाद में मूल्य जोड़ना कठिन है। इसके बजाय, हमें AI को पहले टोकन के प्रसंस्करण से ही सही मूल्यों के साथ "पालना" चाहिए।
हालाँकि परिणाम उत्साहजनक हैं, शोधकर्ता सावधानी बरतते हुए कहते हैं कि यह तो बस शुरुआत है। उन्होंने इनका परीक्षण अपेक्षाकृत छोटे मॉडल्स (3 बिलियन पैरामीटर्स) पर किया है, जो आज की बड़ी टेक कंपनियों द्वारा उपयोग किए जाने वाले विशाल मॉडल्स की तुलना में छोटे हैं। उनका सुझाव है कि जैसे-जैसे हम बड़े और स्मार्ट मॉडल बनाएंगे, सही मूल्यों के साथ शुरुआत करने का लाभ और भी शक्तिशाली होता जाएगा। उन्होंने यह भी नोट किया कि हालांकि शुरुआती मूल्य मजबूत थे, लेकिन उन्हें बाद के प्रशिक्षण के कुछ प्रकारों द्वारा कमजोर किया जा सकता है, जिसका अर्थ है कि हमें यह ध्यान रखना होगा कि हम अपने डिजिटल बच्चों का पालन-पोषण कैसे समाप्त करते हैं।
संक्षेप में, यदि हम वास्तव में सुरक्षित और सहायक AI चाहते हैं, तो हमें इसे बड़ा होने के बाद सही और गलत सिखाने का इंतज़ार नहीं करना चाहिए। हमें इसे तब सिखाना चाहिए जब यह बोलना सीख रहा हो।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।