Psychological Steering of Large Language Models
यह शोध पत्र एक मनोवैज्ञानिक स्टीयरिंग फ्रेमवर्क प्रस्तुत करता है जो सिमेंटिक रूप से कैलिब्रेटेड और फ्लुएंसी-कंस्ट्रेंड रेसिडुअल-स्ट्रीम इंजेक्शनों का उपयोग करता है, जो एलएलएम (LLM) व्यक्तित्व लक्षणों को नियंत्रित करने में मौजूदा प्रॉम्प्टिंग बेसलाइनों से बेहतर प्रदर्शन करते हैं, साथ ही इन निरूपणों की रैखिक नियंत्रणीयता और मानव मनोवैज्ञानिक मॉडलों से उनके विचलन दोनों को प्रकट करते हैं।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
कल्पना कीजिए कि एक लार्ज लैंग्वेज मॉडल (LLM) एक विशाल, अविश्वसनीय रूप से प्रतिभाशाली अभिनेता की तरह है जिसने अब तक लिखी गई हर किताब, फिल्म और बातचीत को याद कर लिया है। यह अभिनेता कोई भी भूमिका निभा सकता है, लेकिन यह आमतौर पर एक "तटस्थ" (neutral) व्यक्तित्व में रहता है। कभी-कभी, आप चाहते हैं कि वह एक विशिष्ट चरित्र निभाए—जैसे कि एक चिड़चिड़ा जासूस, एक अत्यधिक आशावादी व्यक्ति, या एक खलनायक जिसे अराजकता पसंद हो।
यह शोधपत्र इस बारे में है कि इस अभिनेता को उन भूमिकाओं को निभाने के लिए सटीक तरीके से निर्देशित करने का सबसे अच्छा तरीका क्या है, ताकि वह स्क्रिप्ट से न भटके और रोबोट जैसा न लगे।
समस्या: पुराना तरीका अव्यवस्थित था
पहले, शोधकर्ता अभिनेता के व्यक्तित्व को बदलने के लिए दो मुख्य तरीकों का उपयोग करते थे:
- "प्रॉम्प्टिंग" विधि (विनम्रता से कहना): आप अभिनेता को कहते हैं, "कल्पना करो कि तुम एक क्रूर मछली हो।"
- दोष: यह एक निर्देशक के नोट देने जैसा है। कभी-कभी अभिनेता आपकी बात सुनता है, कभी-कभी वह उसे अनदेखा कर देता है। यह असंगत है।
- "इंजेक्शन" विधि (मस्तिष्क में बदलाव करना): आप अभिनेता के आंतरिक विचारों (गणितीय रूप से कहें तो, उनके "न्यूरल एक्टिवेशन") को बदलने की कोशिश करते हैं ताकि एक विशिष्ट व्यवहार को मजबूर किया जा सके।
- दोष: इसे करने का पुराना तरीका रेडियो को ट्यून करने के लिए सही फ्रीक्वेंसी का अनुमान लगाने जैसा था। आप डायल थोड़ा घुमाते, सुनते, थोड़ा और घुमाते और अनुमान लगाते। यदि सटीक सेटिंग डायल के बहुत दूर (जैसे 10,000 यूनिट पर) होती, तो आप उसे कभी नहीं ढूंढ पाते क्योंकि आप केवल पहले कुछ नंबरों को ही देख रहे थे। साथ ही, आप एक ऐसे पैमाने (रूलर) का उपयोग कर रहे थे जो कैलिब्रेटेड नहीं था, इसलिए "1 यूनिट" का मतलब हर रेडियो के लिए अलग होता था।
समाधान: एक मनोवैज्ञानिक GPS
लेखकों ने एक नया ढांचा बनाया जिसे साइकोलॉजिकल स्टीयरिंग (Psychological Steering) कहा गया। इसे एक साधारण अनुमान लगाने वाले रेडियो ट्यूनर से एक हाई-टेक GPS में अपग्रेड करने के रूप में समझें, जो जानता है कि "ओपननेस" (Openness) या "सैडिज्म" (Sadism) का स्टेशन वास्तव में कहाँ स्थित है।
उन्होंने इसे सरल उपमाओं का उपयोग करके कैसे किया, यहाँ बताया गया है:
1. पैमाने को कैलिब्रेट करना (सेंट्रॉइड यूनिट)
कल्पना कीजिए कि आप एक भारी बॉक्स को हिलाने की कोशिश कर रहे हैं। यदि आप उसे 1 इंच धकेलते हैं, तो वह थोड़ा सा हिलता है। यदि आप उसे 10,000 इंच धकेलते हैं, तो वह कमरे के पार उड़ जाता है।
- पुराना तरीका: वे बॉक्स को ऐसे "यूनिट्स" से धकेल रहे थे जिनका कोई अर्थ नहीं था। कभी 1 यूनिट एक हल्का स्पर्श था; अन्य समय में यह एक हथौड़े जैसा था।
- नया तरीका: उन्होंने मॉडल के मस्तिष्क में "खुश बॉक्स" और "दुखी बॉक्स" के बीच की वास्तविक दूरी को मापा। उन्होंने अपने "धक्के" को इन दोनों अवस्थाओं के बीच की वास्तविक दूरी के आधार पर परिभाषित किया। अब, वे जानते हैं कि सटीक परिणाम प्राप्त करने के लिए उन्हें कितना जोर लगाना है, चाहे लक्ष्य कितना भी दूर क्यों न हो।
2. "मीन-डिफरेंस" (MDS) इंजेक्शन
शोधपत्र में अभिनेता के मस्तिष्क को धकेलने के छह अलग-अलग तरीकों का परीक्षण किया गया। उन्होंने पाया कि सबसे अच्छा तरीका MDS (Mean-Difference) था।
- उपमा: कल्पना कीजिए कि आपके पास लोगों की एक भीड़ है। आधे लोग लाल शर्ट पहने हुए हैं (जो "दयालुता" का प्रतिनिधित्व करते हैं) और आधे नीली शर्ट पहने हुए हैं (जो "क्रूरता" का प्रतिनिधित्व करते हैं)।
- MDS विधि लाल भीड़ के ठीक केंद्र और नीली भीड़ के ठीक केंद्र को ढूंढती है। फिर यह उनके बीच एक सीधी रेखा खींचती है।
- अभिनेता को "दयालु" बनाने के लिए, यह उनके आंतरिक विचारों को उस रेखा के साथ धीरे से लाल केंद्र की ओर धकेलती है। "क्रूर" बनाने के लिए, यह उन्हें नीले केंद्र की ओर धकेलती है।
- परिणाम: यह विधि आश्चर्यजनक रूप से प्रभावी थी। 14 में से 11 AI मॉडल में, यह "धक्का" केवल AI को "दयालु होने" के लिए कहने (प्रॉम्प्टिंग) से बेहतर काम कर गया।
3. हाइब्रिड सुपर-मेथड (PM)
लेखकों ने महसूस किया कि सबसे अच्छा दृष्टिकोण केवल एक ही नहीं था। उन्होंने "विनम्रता से पूछने" के तरीके (प्रॉम्प्टिंग) को "मस्तिष्क को धकेलने" के तरीके (MDS) के साथ मिला दिया।
- उपमा: यह अभिनेता को यह बताने जैसा है कि, "आप एक दयालु व्यक्ति हैं," साथ ही साथ उनके मस्तिष्क के रसायन विज्ञान को वास्तव में दयालु महसूस कराने के लिए धीरे से धकेलना।
- परिणाम: यह संयोजन (जिसे PM कहा गया) निर्विवाद विजेता था। इसने अकेले दोनों तरीकों की तुलना में बेहतर प्रदर्शन किया। इसने AI के व्यक्तित्व परिवर्तन को अधिक मजबूत और विश्वसनीय बना दिया।
"फाइंडिंग निमो" का उदाहरण
शोधपत्र में एक मजेदार उदाहरण शामिल है जहाँ उन्होंने AI को फाइंडिंग निमो फिल्म के बारे में लिखने के लिए निर्देशित किया।
- सामान्य AI: एक प्यारी मछली के बारे में कहानी लिखता है।
- स्टीयर्ड (निर्देशित) AI: अचानक, कहानी डार्क हो जाती है। पिता मछली, मार्लिन, दूसरों के कष्टों का आनंद लेने वाला एक "हेरफेर का मास्टर" बन जाता है।
- यह क्यों महत्वपूर्ण है: AI ने केवल यह कहा नहीं कि यह डार्क है; पूरी कहानी का लहजा, शब्दों का चयन और प्रवाह बदल गया ताकि वह उस डार्क व्यक्तित्व से मेल खा सके, और यह सब करते हुए भी वह धाराप्रवाह, प्राकृतिक अंग्रेजी में रहा। यह वह चीज़ है जिसे पुराना "पूछने" वाला तरीका इतनी सहजता से नहीं कर सका।
बड़ी खोज: लीनियर कंट्रोल (Linear Control)
सबसे रोमांचक खोज यह है कि यह स्टीयरिंग लीनियर (linear) रूप से काम करती है।
- उपमा: एक वॉल्यूम नॉब (Volume Knob) के बारे में सोचें। यदि आप इसे थोड़ा घुमाते हैं, तो संगीत थोड़ा तेज़ हो जाता है। यदि आप इसे पूरा घुमाते हैं, तो यह तेज़ हो जाता है।
- लेखकों ने पाया कि उनका "व्यक्तित्व नॉब" उसी तरह काम करता है। यदि वे AI को "ओपननेस" की ओर 10% धकेलते हैं, तो वह 10% अधिक ओपन हो जाता है। यदि वे इसे 50% धकेलते हैं, तो यह 50% अधिक ओपन हो जाता है। यह अनुमानित और विश्वसनीय है।
कमी: "बिग टू" गैप (The "Big Two" Gap)
जबकि AI को "ओपन" या "न्यूरोटिक" बनाने के लिए स्टीयर किया जा सकता है, शोधपत्र में कुछ अजीब बात मिली। मानव मनोविज्ञान में, कुछ गुण आमतौर पर विशिष्ट पैटर्न में एक साथ चलते हैं (जैसे कि कैसे "स्थिरता" और "प्लास्टिसिटी" जुड़े हुए हैं)।
- AI का "मस्तिष्क" पूरी तरह से मानव पैटर्न का पालन नहीं करता है। जब उन्होंने AI को अधिक "ओपन" बनाया, तो इसने अन्य गुणों को उस तरह से स्वचालित रूप से समायोजित नहीं किया जैसे एक वास्तविक मनुष्य करता है।
- इसका क्या अर्थ है: AI ने मानव शब्दों और व्यवहारों की नकल करना सीख लिया है, लेकिन इसका आंतरिक "मनोविज्ञान" अभी भी थोड़ा पराया (alien) है। यह एक शानदार नकलची है, लेकिन एक पूर्ण मानव आत्मा नहीं।
सारांश
यह शोधपत्र AI नियंत्रण (AI Control) में एक बड़ी सफलता है। यह हमें "AI को हमारे निर्देशों को सुनने की उम्मीद करने" से "AI के मस्तिष्क को वैज्ञानिक रूप से ट्यून करने" की ओर ले जाता है ताकि वह बिल्कुल वही बन सके जो हम चाहते हैं।
- पुराना तरीका: "कृपया अच्छे बनें।" (कभी काम करता है, कभी नहीं)।
- नया तरीका: "यहाँ 'अच्छाई' तक की सटीक गणितीय दूरी है, और यहाँ वह आदर्श बल है जिसे लागू किया जाना चाहिए।" (लगभग हर बार काम करता है)।
यह AI साथियों, थेरेपिस्टों या रोल-प्ले पात्रों को बनाने के द्वार खोलता है जो वास्तव में सुसंगत और विशिष्ट मानवीय व्यक्तित्वों के साथ गहराई से जुड़े हुए महसूस होते हैं।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।