PALMs: Using Multi Construct-Grounded Rationales for Modeling Population Preferences in LLMs
यह शोध पत्र पॉपुलेशन अलाइन्ड लैंग्वेज मॉडल्स (PALMs) को प्रस्तुत करता है, जो विशिष्ट राष्ट्रीय आबादी के अनुरूप मॉडल्स का एक समूह है, जो प्राथमिकता ट्यूनिंग के लिए मल्टी-कंस्ट्रक्ट-ग्राउंडेड रेशनल्स का लाभ उठाकर बनाया गया है, और जो कार्य-विशिष्ट पर्यवेक्षण की आवश्यकता के बिना विविध सांस्कृतिक मूल्यों, विश्वासों और सामाजिक तर्क का अनुकरण करने में मौजूदा बेसलाइन्स से काफी बेहतर प्रदर्शन करता है।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
कल्पना कीजिए कि आप एक रोबोट को लोगों को समझना सिखाने की कोशिश कर रहे हैं। अभी, अधिकांश रोबोट सामान्यवादी शेफ (generalist chefs) की तरह हैं जिन्होंने बहुत कुछ थोड़ा-थोड़ा चखा है लेकिन वे किसी विशिष्ट परिवार के पसंदीदा भोजन को वास्तव में नहीं जानते। वे जान सकते हैं कि "भोजन" क्या है, लेकिन वे यह नहीं समझ पाते कि इटली की एक दादी क्यों धीमी आंच पर पका हुआ 'रगु' (ragù) पसंद करती हैं जबकि ब्राजील के एक किशोर को क्यों तीखी 'फेजोआडा' (feijoada) की लालसा होती है। यह लार्ज लैंग्वेज मॉडल्स (LLMs) की दुनिया है—सुपर-स्मार्ट कंप्यूटर प्रोग्राम जो लिख सकते हैं, चैट कर सकते हैं और समस्याओं को हल कर सकते हैं। लेकिन पेचीदा बात यह है कि ये रोबोट अक्सर ऐसे व्यवहार करते हैं जैसे वे एक ही औसत व्यक्ति हों। वे उन गहरे, अदृश्य नियमों को चूक जाते हैं जो विभिन्न समूहों के लोगों को अलग तरह से सोचने और महसूस करने के लिए प्रेरित करते हैं।
इसे ठीक करने के लिए, वैज्ञानिक "वरीयताओं" (preferences) को देखते हैं—जो लोग पसंद करते हैं, मानते हैं और महत्व देते हैं। वे जानते हैं कि हमारी पसंद केवल यादृच्छिक (random) नहीं है; वे हमारे व्यक्तित्व (क्या हम साहसी हैं या सतर्क?) से आकार लेती हैं, हमारी संस्कृति (क्या हम समूह को महत्व देते हैं या व्यक्ति को?) और हमारे नैतिक दिशा-निर्देशों (क्या उचित या सही लगता है?) से प्रभावित होती है। बड़ा सवाल जो शोधकर्ता पूछ रहे हैं वह यह है: हम एक रोबोट को एक सामान्य "औसत मानव" की तरह व्यवहार करना बंद करने और एक विशिष्ट स्थान के एक विशिष्ट व्यक्ति की तरह, अपनी अनूठी विशेषताओं और सांस्कृतिक पृष्ठभूमि के साथ कार्य करना कैसे सिखा सकते हैं? यदि हम ऐसा कर सकते हैं, तो ये रोबोट हमें बेहतर तरीके से मदद करने, हमें समझने और यहाँ तक कि यह सिम्युलेट करने में भी बेहतर हो सकते हैं कि वास्तविक लोग नए विचारों पर कैसी प्रतिक्रिया देंगे।
यहीं पर एक नई शोध टीम एक चतुर समाधान के साथ आती है जिसे PALMs (पॉपुलेशन एलाइनमेंट लैंग्वेज मॉडल्स) कहा जाता है। एक मानक रोबोट को एक ऐसे छात्र के रूप में सोचें जो केवल अंतिम ग्रेड देखकर टेस्ट के उत्तर याद करने की कोशिश करता है। वह सही उत्तर पा सकता है, लेकिन वह वास्तव में यह नहीं समझता कि वह क्यों सही है। PALMs के पीछे के शोधकर्ताओं ने महसूस किया कि किसी आबादी को वास्तव में समझने के लिए, रोबोट को उत्तरों के पीछे के "सीक्रेट सॉस" (secret sauce) को सीखने की आवश्यकता है। उन्होंने केवल रोबोट को इस बारे में डेटा नहीं दिया कि लोगों ने क्या कहा; उन्होंने उसे उत्तर देने से पहले एक "तर्क डायरी" (reasoning diary) लिखने के लिए सिखाया।
उन्होंने इसे इस प्रकार किया: उन्होंने पाँच विशेष रोबोट संस्करण बनाए, प्रत्येक पाँच देशों के लिए एक: अमेरिका, भारत, ब्राजील, फ्रांस और इटली। लेकिन केवल रोबोट को यह बताने के बजाय कि, "तुम अमेरिकी हो," उन्होंने उसे एक बहुत गहरा टूलकिट दिया। उन्होंने रोबोट को पाँच विशिष्ट लेंसों का उपयोग करके सोचने के लिए सिखाया, जैसे कि विशेष चश्मे की एक जोड़ी जो दृश्य को बदल देती है:
- व्यक्तित्व (Personality): क्या व्यक्ति नए विचारों के प्रति खुला है या वह दिनचर्या पसंद करता है?
- संस्कृति (Culture): क्या वे स्वतंत्रता को महत्व देते हैं या समूह के रूप में जुड़े रहने को?
- मूल्य (Values): उन्हें क्या प्रेरित करता है? क्या यह स्वतंत्रता है, सुरक्षा है, या दूसरों की मदद करना है?
- विश्व विश्वास (World Beliefs): वे दुनिया को एक सुरक्षित, रोमांचक जगह के रूप में देखते हैं या एक खतरनाक, अराजक जगह के रूप में?
- नैतिकता (Morality): वे क्या निष्पक्ष या पवित्र समझते हैं?
रोबोट को इन पाँच लेंसों का उपयोग करके एक छोटी कहानी लिखने के लिए प्रशिक्षित किया गया था ताकि यह समझाया जा सके कि उस देश के व्यक्ति ने एक विशेष उत्तर क्यों चुना। उदाहरण के लिए, यदि कोई ब्राज़ीलियाई व्यक्ति एक निश्चित प्रकार का संगीत पसंद करता है, तो रोबोट केवल यह नहीं कहता "उन्हें यह पसंद है।" वह एक छोटा नोट लिखता है, "क्योंकि यह व्यक्ति समुदाय और संवेदी आनंद (संस्कity और मूल्य) को महत्व देता है, और दुनिया को मजेदार अवसरों से भरी जगह (विश्व विश्वास) के रूप में देखता है, इसलिए यह संगीत सही लगता है।" रोबोट ने इसे बार-बार अभ्यास किया, यह सीखते हुए कि इन "तर्क संबंधी नोट्स" को अपने मस्तिष्क के भीतर कैसे छिपाना है ताकि वह बाद में इनका स्वचालित रूप से उपयोग कर सके।
परिणाम आश्चर्यजनक रूप से अच्छे थे। जब शोधकर्ताओं ने इन नए रोबोटों का परीक्षण किया, तो उन्होंने पाया कि PALMs पुराने, सामान्य रोबोटों की तुलना में लोगों को समझने में बहुत बेहतर थे। वास्तव में, सभी पाँच देशों में, नए मॉडल्स ने पिछले सर्वोत्तम तरीकों की तुलना में औसतन 8.59% अधिक सटीकता हासिल की। यह सुझाव देता है कि सीखने को गहरे मनोवैज्ञानिक और सांस्कृतिक सिद्धांतों में आधारित करना, केवल सतही डेटा या "आयु" या "लिंग" जैसे सरल जनसांख्यिकीय लेबल दिखाने की तुलना में बहुत बेहतर काम करता है।
शोधकर्ताओं ने यह भी जांचा कि क्या ये रोबोट अन्य चीजें भी कर सकते हैं, जैसे कि एक "व्यक्तिगत रिवॉर्ड मॉडल" (यह तय करना कि एक विशिष्ट व्यक्ति क्या पसंद करेगा) के रूप में कार्य करना या यह सिम्युलेट करना कि एक समूह किसी नई नीति के प्रति कैसी प्रतिक्रिया देगा। इन परीक्षणों में, PALMs ने फिर से प्रतिस्पर्धा को पछाड़ दिया, व्यक्तिगत पुरस्कारों में 5.19% का सुधार और जनसंख्या सिमुलेशन में 6.34% का सुधार दिखाया। यहाँ तक कि मानवीय भावनाओं और इरादों के बारे में सामाजिक पहेलियों को हल करने के लिए पूछे जाने पर (एक कार्य जिसे Social IQA कहा जाता है), रोबोट बेहतर हुए, और परीक्षण पर 80.23% सटीकता प्राप्त की।
हालाँकि, शोधकर्ता सावधानीपूर्वक यह नोट करते हैं कि यह कोई जादू की छड़ी वाला समाधान नहीं है। उन्होंने पाया कि इस "तर्क डायरी" दृष्टिकोण के बिना केवल रोबोट को अधिक सर्वेक्षण डेटा खिलाने से कुछ मामलों में चीजें वास्तव में बदतर हो गईं, जिससे रोबोट विभिन्न दृष्टिकोणों को देखने की अपनी क्षमता खो बैठा। वे यह भी स्वीकार करते हैं कि एक पूरे देश को एक एकल समूह के रूप में मानना एक सरलीकरण है; उनके मॉडल के भीतर हर देश में कई अलग-अलग क्षेत्र और संस्कृतियाँ हैं जिन्हें वे अभी पूरी तरह से नहीं पकड़ पा रहे हैं। लेकिन मुख्य निष्कर्ष स्पष्ट है: यदि आप चाहते हैं कि एक रोबोट वास्तव में लोगों के समूह को समझे, तो आपको उसे उनकी तरह बोलना नहीं, बल्कि उनकी तरह सोचना सिखाना होगा। उसे व्यक्तित्व और संस्कृति के माध्यम से तर्क करने के एक संरचित तरीके के माध्यम से प्रशिक्षित करके, हमें विविध मानव दुनिया की अधिक स्पष्ट तस्वीर मिलती है।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।