More Is Not More: What Matters for Diversity in LLM Opinions?
यह शोध पत्र एक फैक्टोरियल प्रयोग का उपयोग करके यह प्रदर्शित करता है कि एलएलएम (LLM) की राय विविधता को बढ़ाना पेर्सोना (persona) के विवरण या टेम्परेचर (temperature) जैसे एकल कारकों को बढ़ाने पर कम और विशिष्ट इंटरेक्शन आर्किटेक्चर को रणनीतिक रूप से संयोजित करने और अत्यधिक पेर्सोना विस्तार के घटते प्रतिफल को पहचानने पर अधिक निर्भर करता है।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने नहीं लिखा है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
कल्पना कीजिए कि आप एक विशाल, आभासी रात्रिभोज (वर्चुअल डिनर पार्टी) आयोजित करने की कोशिश कर रहे हैं जहाँ हर अतिथि एक अलग व्यक्ति है जिसकी अपनी अनूठी सोच, यादें और राय है। आप विचारों का एक जंगली मिश्रण सुनना चाहते हैं, जैसे राजनीति पर तीखे विचार से लेकर भविष्य के बारे में अजीब सिद्धांत तक। लेकिन यहाँ एक पेंच है: आप वास्तविक मनुष्यों को आमंत्रित नहीं कर रहे हैं। इसके बजाय, आप एक सुपर-स्मार्ट कंप्यूटर प्रोग्राम, जिसे लार्ज लैंग्वेज मॉडल (LLM) कहा जाता है, से इन अतिथियों की भूमिका निभाने के लिए कह रहे हैं। ये मॉडल उन प्रतिभाशाली अभिनेताओं की तरह हैं जो पूरे इंटरनेट को पढ़ सकते हैं और मानवीय भाषा की नकल पूरी तरह से कर सकते हैं। हालाँकि, जब आप उन्हें एक भीड़ की भूमिका निभाने के लिए कहते हैं, तो वे अक्सर एक जैसे लगने लगते हैं। वे बहुत अधिक सहमत होने लगते हैं, एक ही तरह के वाक्यांशों का उपयोग करते हैं, और अंततः एक उबाऊ, एकरस बातचीत बन जाती है। यह एक समस्या है क्योंकि यदि आप वास्तव में समझना चाहते हैं कि वास्तविक लोग क्या सोचते हैं, तो आपको एक ऐसी भीड़ चाहिए जो वास्तव में एक भीड़ की तरह लगे, न कि एक ऐसा समूह जो पूर्ण सामंजस्य में एक ही सुर में गा रहा हो।
वैज्ञानिक इस "उबाऊ पार्टी" वाली समस्या को ठीक करने की कोशिश कर रहे हैं। उन्होंने कंप्यूटर को यह बताने की कोशिश की कि वह किसे निभाने जा रहा है (जैसे, "आप सारा नाम की एक 45 वर्षीय शिक्षिका हैं") या यह बदलने की कोशिश की कि अतिथि आपस में कैसे बात करते हैं (जैसे, उन्हें एक-एक करके उत्तर देने के बजाय एक समूह में बहस करने के लिए कहना)। उन्होंने कंप्यूटर की "रचनात्मकता के डायल" (creativity dial) को बढ़ाने की भी कोशिश की ताकि यह देखा जा सके कि क्या इससे यह अधिक यादृच्छिक (random) और विविध बनता है। लेकिन अब तक, किसी के पास स्पष्ट मानचित्र नहीं था कि कौन सा तरीका वास्तव में सबसे अच्छा काम करता है। यह केक बनाने के लिए हर सामग्री को एक साथ मिलाने और इस उम्मीद में रहने जैसा था कि वह अच्छा बनेगा, बिना यह जाने कि आटा, अंडे या ओवन का तापमान वास्तव में स्वाद को बेहतर बनाने के लिए क्या था।
यह शोध पत्र, जिसका शीर्षक "More Is Not More" है, एक विशाल वैज्ञानिक 'टेस्ट-टेस्ट' की तरह है जो अंततः यह देखने के लिए सामग्रियों को अलग करता है कि वास्तव में क्या महत्वपूर्ण है। शोधकर्ताओं ने 100 अलग-अलग प्रश्नों और 7 अलग-अलग कंप्यूटर मॉडलों के साथ एक बड़ा प्रयोग किया। उन्होंने विचारों को विविध बनाने के दो मुख्य तरीकों का परीक्षण किया: इनपुट कंडीशनिंग (आप कंप्यूटर को यह बताने में कितनी विस्तृत जानकारी देते हैं कि वह किसे निभाने जा रहा है) और इंटरैक्शन आर्किटेक्चर (कंप्यूटर अतिथि आपस में कैसे बात करते हैं)। उन्होंने कुछ "सस्ते नुस्खों" का भी परीक्षण किया जिन्हें लोग अक्सर आज़माते हैं, जैसे केवल कंप्यूटर को "विविध होने" के लिए कहना या यादृच्छिकता (randomness) के नॉब को बढ़ाना।
उन्होंने जो खोजा, वह यहाँ दिया गया है, और यह काफी आश्चर्यजनक है:
1. "अधिक विवरण" का जाल
कई लोगों ने सोचा था कि आप कंप्यूटर को जितना अधिक बैकस्टोरी देंगे, उसकी राय उतनी ही अनूठी होगी। आप सोच सकते हैं, "यदि मैं कंप्यूटर को बताता हूँ कि वह अटलांटा में रहने वाली, चर्च जाने वाली, 78,000 डॉलर कमाने वाली एक 34 वर्षीय अश्वेत महिला सारा है, तो वह बेहद अनूठा व्यवहार करेगा!" लेकिन अध्ययन में पाया गया कि यह सच नहीं है। सबसे बड़ी छलांग बहुत कम जानकारी के साथ आई—जैसे केवल यह कहना, "आप एक स्कूल शिक्षक हैं।" एक बार जब आपने यह एक वाक्य जोड़ दिया, तो कंप्यूटर एक व्यक्ति की तरह व्यवहार करने लगा। जब आपने सभी अतिरिक्त विवरण (आयु, जाति, आय, शौक) जोड़े, तो इससे ज्यादा मदद नहीं मिली। वास्तव में, कुछ मॉडलों के लिए, बहुत अधिक विवरण देने से उनकी राय कम विविध हो गई, जैसे कि कंप्यूटर भ्रमित हो गया या रूढ़ियों (stereotypes) पर टिक गया। यह एक चरित्र को दिलचस्प बनाने के लिए उसे 10 पन्नों की जीवनी देने जैसा है; कभी-कभी, बस उनका काम जानना ही एक अनूठी आवाज़ जगाने के लिए पर्याप्त होता है, और बाकी सब केवल स्क्रिप्ट को उलझा देता है।
2. ग्रुप चैट की शक्ति
शोधकर्ताओं ने यह भी देखा कि कंप्यूटर अतिथि आपस में कैसे संवाद करते हैं। उन्होंने तीन शैलियों की तुलना की:
- द सोलो आर्टिस्ट (अकेला कलाकार): कंप्यूटर एक प्रश्न का उत्तर देता है और चला जाता है।
- द डीप इंटरव्यू (गहरा साक्षात्कार): कंप्यूटर उत्तर देता है, फिर उससे एक फॉलो-अप प्रश्न पूछा जाता है, फिर एक और, जिससे वह खुद के साथ एक लंबी बातचीत बनाता है।
- द फोकस ग्रुप (फोकस ग्रुप): पाँच अलग-अलग कंप्यूटर "लोग" एक ग्रुप चैट में एक-दूसरे से बात करते हैं।
परिणामों ने दिखाया कि "डीप इंटरव्यू" और "फोकस ग्रुप" दोनों ने "सोलो आर्टिस्ट" की तुलना में बहुत अधिक विविध विचार पैदा किए। लेकिन सबसे बड़ी बात यह है कि उन्होंने केवल वही विचार बेहतर नहीं बनाए; उन्होंने विचारों के पूरी तरह से अलग संसार की खोज की। "डीप इंटरव्यू" शैली ने व्यक्तिगत, आत्मनिरीक्षण वाले कोणों की गहराई तक खोज की, जबकि "फोकस ग्रुप" शैली ने अलग, अधिक तुलनात्मक कोणों को खोजा। अध्ययन बताता है कि यदि आप विचारों की सबसे विस्तृत श्रृंखला चाहते हैं, तो आपको केवल सबसे अच्छा तरीका चुनने के बजाय, दोनों तरीकों को चलाना चाहिए और उनके उत्तरों को मिला देना चाहिए। यह एक एकल कवि और एक बहस टीम द्वारा एक ही विषय पर लिखने जैसा है; उनके उत्तर आपस में बहुत अधिक मेल नहीं खाएंगे, इसलिए दोनों को पढ़कर आप विचारों का बहुत समृद्ध संग्रह प्राप्त करेंगे।
3. "सस्ते नुस्खे" काम नहीं करते
अंत में, उन्होंने उन कम-प्रयास वाले हैक्स का परीक्षण किया जिन्हें लोग अक्सर पहले आज़माते हैं। उन्होंने "तापमान" (temperature) को बढ़ाया (एक सेटिंग जो कंप्यूटर को अधिक यादृच्छिक और कम अनुमानित बनाती है) और "कृपया हमें विविध दृष्टिकोण दें" जैसे निर्देश जोड़े। परिणाम? इन तरकीबों ने कोई खास फर्क नहीं डाला। यादृच्छिकता बढ़ाने से नए विचार पैदा नहीं हुए; इसने केवल पुराने विचारों को थोड़ा अधिक अराजक बना दिया। कंप्यूटर को "विविध होने" के लिए कहना एक शर्मीले व्यक्ति को "मजाकिया होने" के लिए कहने जैसा था—इससे वास्तव में उसका व्यक्तित्व नहीं बदला। अध्ययन में पाया गया कि विविध विचारों को बनाने में एक साधारण, एक-वाक्य का जॉब डिस्क्रिप्शन (जैसे "आप एक शिक्षक हैं") सबसे अच्छे "सस्ते नुस्खे" की तुलना में 2.5 गुना अधिक प्रभावी था।
मुख्य निष्कर्ष
इस शोध पत्र का मुख्य संदेश यह है कि विविधता का अर्थ एक ही चीज़ को अधिक करना नहीं है। यह लंबे बायो लिखने या यादृच्छिकता के डायल को बढ़ाने के बारे में नहीं है। इसके बजाय, यह इस बारे में है कि आप प्रश्नों को पूछने के ढांचे (structure) का उपयोग कैसे करते हैं। कंप्यूटर से विविध विचारों का एक वास्तविक सेट प्राप्त करने के लिए, आपको एक सरल पहचान देनी होगी और फिर उसे विषय को अलग-अलग तरीकों से तलाशने देना होगा—जैसे कि इसे एक लंबी बातचीत में खुद से बात करने देना और एक समूह के साथ चैट करने देना। यदि आप मानव राय का वास्तविक सिमुलेशन चाहते हैं, तो आपको रणनीतियों के मिश्रण की आवश्यकता है, न कि निर्देशों के बड़े ढेर की।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।