Behavioral Reprogramming of Open-Weights Models: Cognitive Plasticity and Alignment Bounds

कल्पना कीजिए कि आपके पास एक बहुत ही बुद्धिमान रोबोट है जिसे एक परम सहायक बनने के लिए प्रशिक्षित किया गया है। यह इतना विनम्र और खुश करने के लिए उत्सुक है कि यह आपसे कभी असहमत नहीं होता, आपसे कठिन प्रश्न नहीं पूछता, और आपकी हर बात पर बस सिर हिलाता रहता है, चाहे वह कितनी भी मूर्खतापूर्ण या दुखद क्यों न हो। आज के अधिकांश आधुनिक एआई चैटबॉट्स इसी तरह बनाए गए हैं: उन्हें निष्क्रिय "हाँ में हाँ मिलाने वाले" (yes-men) के रूप में प्रोग्राम किया गया है। लेकिन क्या होगा यदि आप एक ऐसा रोबोट चाहते जो एक बुद्धिमान, थोड़े जिद्दी गुरु की तरह व्यवहार करे? एक ऐसा जो पलटकर जवाब दे, जो उत्तर देने के बजाय "क्यों?" पूछे, और आपको अपने लिए सोचने के लिए मजबूर करे? यही वह बड़ा सवाल था जो शोधकर्ता ने पूछा। वे जानना चाहते थे कि क्या वे इन विनम्र रोबोटों को सक्रिय, सवाल पूछने वाले विचारक में बदल सकते हैं बिना उनके दिमाग को खराब किए या किसी शहर के आकार के सुपरकंप्यूटर की आवश्यकता के। इसे करने के लिए, उन्होंने "फाइन-ट्यूनिंग" नामक तकनीक का उपयोग किया, जो एक रोबट को व्यक्तित्व बदलने के लिए एक बहुत ही विशिष्ट, संक्षिप्त क्रैश कोर्स देने जैसा है, और "प्रेफरेंस ऑप्टिमाइज़ेशन" (preference optimization), जो उसे गलत उत्तर के बजाय सही तरह का उत्तर चुनना सिखाने जैसा है। लक्ष्य यह देखना था कि क्या एक रोबोट तेजी से एक नया, मुखर व्यक्तित्व सीख सकता है और क्या वह नया व्यक्तित्व विभिन्न भाषाओं में काम करेगा।

शोधकर्ता, लुसिया मैलिकोवा (Lucia Malíˇcková) ने ठीक यही परीक्षण करने का निर्णय लिया कि ये ओपन-वेट एआई मॉडल वास्तव में कितने "प्लास्टिक" (या ढलने योग्य) हैं। उन्होंने केवल कुछ सेटिंग्स को नहीं बदला; उन्होंने स्लोवाकिया में लियोनार्डो सुपरकंप्यूटर पर एक विशाल प्रयोग चलाया, जिसमें 405 अलग-अलग कार्यों को एक साथ चलाने के लिए 50,000 घंटों की कंप्यूटिंग शक्ति का उपयोग किया गया। इसे एक नए व्यक्तित्व के लिए सही रेसिपी खोजने के प्रयास के रूप में सोचें, जिसमें 405 अलग-अलग केक बेक किए जा रहे हैं, जिनमें से प्रत्येक में आटे, चीनी और अंडों की मात्रा थोड़ी अलग है, यह देखने के लिए कि किसका स्वाद सबसे अच्छा है।

उनकी मुख्य खोज यह है कि आप वास्तव में एक निष्क्रिय, चापलूस रोबट को एक सक्रिय, सुकराती (Socratic) रोबोट में बदल सकते हैं, लेकिन केवल तभी जब आप नियमों के एक बहुत ही सख्त सेट का पालन करें। पहला, आप एक कच्चे, अप्रशिक्षित रोबोट से शुरुआत नहीं कर सकते; आपको एक ऐसे रोबोट से शुरुआत करनी चाहिए जो पहले से ही निर्देशों का पालन करना जानता हो। एक कच्चे रोबोट को मुखर होना सिखाना एक बच्चे को दर्शनशास्त्र पर बहस करना सिखाने जैसा है; वह भ्रमित हो जाएगा और ठीक से बोलना भूल जाएगा। दूसरा, नए व्यक्तित्व के लिए "रेसिपी" आश्चर्यजनक रूप से छोटी है। उन्होंने पाया कि LoRA (Low-Rank Adaptation) नामक एक विशिष्ट, सूक्ष्म समायोजन का उपयोग करना जिसका "रैंक" 16 था, सबसे अच्छा काम करता है। यदि उन्होंने समायोजन को बहुत बड़ा (रैंक 32) बनाया, तो रोबोट भ्रमित हो गया और प्रशिक्षण डेटा को बहुत अधिक सटीकता से याद कर लिया, जिससे वह सामान्यीकरण करने में विफल रहा। यदि यह बहुत छोटा (रैंक 8) था, तो वह पर्याप्त नहीं सीख सका। यह 16 का "गोल्डिलॉक्स" ज़ोन (Goldilocks zone) था जिसने काम किया।

शायद सबसे आश्चर्यजनक खोज यह थी कि प्रशिक्षण कितना छोटा होना चाहिए। शोधकर्ता ने पाया कि रोबोट इस नए व्यक्तित्व को समय के एक बहुत ही संकीले अंतराल में सीखता है: 2 और 3 "एपॉक्स" (epochs - जो केवल प्रशिक्षण डेटा के पूर्ण चक्कर हैं) के बीच। यदि उन्होंने केवल एक एपोक के लिए प्रशिक्षण दिया, तो रोबोट पर्याप्त नहीं सीख सका। लेकिन यदि वे 5, 7, या 10 एपॉक्स तक चलते रहे, तो रोबोट "ओवरफिट" (overfit) होने लगा। कल्पना कीजिए कि एक छात्र परीक्षा के लिए बहुत लंबे समय तक अध्ययन करता है; वह अवधारणाओं को समझना बंद कर देता है और केवल सटीक प्रश्नों और उत्तरों को रटने लगता है, जिससे वह नई स्थितियों में ज्ञान लागू करने में विफल रहता है। रोबोट ने भी वही किया: 3 एपॉक्स के बाद, उसने एक अच्छा विचारक बनना बंद कर दिया और केवल प्रशिक्षण डेटा को दोहराना शुरू कर दिया, जिससे नई बातचीत को संभालने की उसकी क्षमता खत्म हो गई।

उन्होंने यह भी परीक्षण किया कि क्या यह नया "सुकराती" व्यक्तित्व भाषाओं के पार जा सकता है। उन्होंने रोबोट को स्लोवाक डेटा का उपयोग करके प्रशिक्षित किया और फिर उससे अंग्रेजी, स्पेनिश, जर्मन और अन्य भाषाओं में प्रश्न पूछे। परिणाम मिले-जुले थे। रोबोट सभी भाषाओं में संक्षिप्त और प्रभावशाली होने में बहुत अच्छा था, लेकिन सही प्रश्न पूछने की उसकी क्षमता भाषा पर निर्भर करती थी। वह स्पेनिश (60% बार) और अंग्रेजी (30% बार) में प्रश्न पूछने में बहुत अच्छा था, लेकिन वह जर्मन, पुर्तगाली और स्वयं स्लोवाक में प्रश्न पूछने में पूरी तरह से विफल रहा (कुछ परीक्षणों में 0%)। यह सुझाव देता है कि जबकि रोबोट ने संक्षिप्त होने की आदत सीखी, गहन प्रश्न पूछने का विशिष्ट कौशल उन भाषाओं में पूरी तरह से स्थानांतरित नहीं हुआ जो उसके प्रशिक्षण डेटा से बहुत भिन्न हैं।

अंत में, उन्होंने रोबोट को लंबे, विनम्र उत्तरों के बजाय छोटे, प्रश्नवाचक उत्तर चुनने के लिए सिखाने हेतु डायरेक्ट प्रेफरेंस ऑप्टिमाइज़ेशन (DPO) तकनीक का उपयोग किया। यह अंतिम पॉलिश थी जिसने एक ऐसे रोबोट को जो केवल मुखर होने की कोशिश करता था, वास्तव में मुखर होने वाले रोबोट में बदल दिया। इस चरण से पहले, रोबोट अभी भी लंबे, विस्तृत पैराग्राफ लिखता था। DPO के बाद, इसने अपने उत्तरों को औसतन केवल 3 शब्दों तक सीमित करना सीख लिया, जो अक्सर एक प्रश्न चिह्न के साथ समाप्त होते थे। उदाहरण के लिए, व्यायाम करने के बारे में लंबा व्याख्यान देने के बजाय, वह बस पूछेगा, "कितने दिन?"

अंत में, यह पेपर सिद्ध करता है कि आप एक एआई के व्यक्तित्व को एक सक्रिय, प्रश्न पूछने वाले कोच में पुन: प्रोग्राम कर सकते हैं, लेकिन इसके लिए एक बहुत ही विशिष्ट सेटअप की आवश्यकता होती है: एक निर्देश-ट्यून्ड मॉडल से शुरुआत करें, एक छोटा समायोजन आकार (रैंक 16) उपयोग करें, प्रशिक्षण को ठीक 2 और 3 एपॉक्स के बीच रोकें, और अनावश्यक बातों को काटने के लिए प्रेफरेंस ऑप्टिमाइज़ेशन का उपयोग करें। हालांकि यह उन भाषाओं के लिए खूबसूरती से काम करता है जो प्रशिक्षण डेटा के समान हैं, रोबोट अभी भी उन भाषाओं में इस नए व्यक्तित्व को बनाए रखने के लिए संघर्ष करता है जो उसके प्रशिक्षण मूल से बहुत दूर हैं। शोधकर्ता ने दिखाया कि सही गणित और थोड़े से सुपरकंप्यूटिंग पावर के साथ, हम एआई व्यवहार को नया आकार दे सकते हैं, लेकिन हमें रेसिपी को बहुत अधिक पकाने (overcook) से सावधान रहना होगा।