Beyond the Hivemind: Escaping LLM Homogeneity via Meta-Persona Anchoring and Sequential Temperature Scaling
यह शोध पत्र लार्ज लैंग्वेज मॉडल्स में "आर्टिफिशियल हाइवमाइंड" प्रभाव को कम करने के लिए मेटा-पर्सोना एंकरिंग (Meta-Persona Anchoring) और फिल्टर्ड टेम्परेचर स्केलिंग (Filtered Temperature Scaling) को संयोजित करने वाले एक नवीन ढांचे का प्रस्ताव करता है, जो औसत पेयरवाइज कोसाइन समानता (average pairwise cosine similarity) को लगभग 0.85 से घटाकर 0.65 करके सिमेंटिक अभिसरण (semantic convergence) को सफलतापूर्वक कम करता है और प्रतिक्रिया विविधता को बढ़ाता है।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
एक ऐसी दुनिया की कल्पना करें जहाँ हर बार जब आप एक सुपर-स्मार्ट रोबोट से कोई सवाल पूछते हैं, तो वह आपको बिल्कुल वही जवाब देता है जो हर दूसरे रोबोट देता है, चाहे आप उन्हें अलग बनाने के लिए कितनी भी कोशिश क्यों न करें। यह सिर्फ एक तकनीकी खराबी नहीं है; यह एक घटना है जिसे वैज्ञानिक "आर्टिफिशियल हाइवमाइंड" (Artificial Hivemind) कहते हैं। इन लार्ज लैंग्वेज मॉडल्स (LLMs) को इंटरनेट पर लिखी गई लगभग हर चीज़ पर प्रशिक्षित विशाल, डिजिटल मस्तिष्क के रूप में समझें। उन्हें मददगार और सुरक्षित बनाने के लिए, इंजीनियर उन्हें नियमों का पालन करने और खतरनाक या अजीब जवाबों से बचने के लिए सिखाते हैं। लेकिन ऐसा करते हुए, उन्होंने अनजाने में सभी रोबBots के व्यक्तित्व को एक बहुत ही छोटे, उबाऊ बॉक्स में सिकोड़ दिया है। भले ही आप रोबोट को "विद्रोही बनने" या "रचनात्मक होने" के लिए कहें, वह अक्सर आपको सबसे औसत, सुरक्षित और एक जैसा जवाब ही देता है। यह वैसा ही है जैसे दुनिया के हर शेफ को बिल्कुल एक जैसा फीका सैंडविच बनाने के लिए मजबूर किया जाए क्योंकि वह सबसे सुरक्षित विकल्प है, और वे कुछ तीखा, मीठा या अजीब बनाना भूल गए हों। यह शोध पत्र एक बड़ा सवाल पूछता है: क्या हम इन रोबोट्स को उस बॉक्स से बाहर निकलने और फिर से अद्वितीय व्यक्तियों की तरह सोचने के लिए सिखा सकते हैं, बिना उन्हें बकवास करने वाली मशीनों में बदले?
इस अध्ययन के पीछे के शोधकर्ता, ताइरान फू (Tairan Fu) और उनकी टीम का कहना है कि जवाब 'हाँ' है, लेकिन हम केवल रोबोट को "अलग बनो!" चिल्लाकर नहीं सिखा सकते। उन्होंने पाया कि केवल रोबोट को समुद्री डाकू या बिल्ली की तरह व्यवहार करने के लिए कहना काम नहीं करता क्योंकि रोबोट अपने सुरक्षा नियमों को तोड़ने से बहुत डरता है। इसके बजाय, उन्होंने एक दो-चरणीय "एस्केप प्लान" (बचने की योजना) बनाया है जो शब्दों को चुनने के एक नए तरीके और रोबोट के दृष्टिकोण को बदलने की एक चतुर तकनीक को जोड़ता है।
सबसे पहले, वे शब्द चयन के "कैसे" (how) पर प्रहार करते हैं। आमतौर पर, जब एक रोबोट अपना अगला शब्द चुनता है, तो वह सुरक्षित खेलता है, सबसे संभावित विकल्प को चुनता है। यदि आप "तापमान" (temperature - एक सेटिंग जो नियंत्रित करती है कि रोबोट कितना जंगली होता है) को बढ़ाकर इसे यादृच्छिक (random) बनाने की कोशिश करते हैं, तो यह अक्सर बकवास बोलने लगता है। लेखकों का समाधान एक दो-चरणीय छलनी की तरह है। एक ऐसी जाल की कल्पना करें जो पहले केवल समझदारी भरे, व्याकरण की दृष्टि से सही शब्दों को पकड़ती है (जिसे "मेश" या Mesh कहा गया है)। एक बार जब रोबोट केवल उस सुरक्षित सूची में से चुनने के लिए लॉक हो जाता है, तो वे गर्मी को अत्यधिक स्तर तक बढ़ा देते हैं। यह रोबोट को उन सुरक्षित शब्दों के बीच जंगली ढंग से कूदने की ऊर्जा देता है, जिससे वह उन रास्तों की खोज करता है जिन्हें वह आमतौर पर अनदेखा कर देता है, लेकिन बिना कभी बकवास के ढलान में गिरे।
दूसौ, वे रोबोट के "कौन" (who) पर प्रहार करते हैं। उन्होंने महसूस किया कि जंगली शब्द-चयन के साथ भी, रोबोट अभी भी एक सामान्य, मददगार सहायक की तरह सोचता है। इसलिए, उन्होंने "मेटा-पर्सोना एंकरिंग" (Meta-Persona Anchoring) का आविष्कार किया। किसी प्रश्न का उत्तर देने से पहले, रोबोट को रुकने और अपना स्वयं का अनूठा चरित्र गढ़ने के लिए मजबूर किया जाता है। वह तय कर सकता है, "आज, मैं एक जिज्ञासु बच्चा हूँ जो दुनिया को एक जादुई रहस्य के रूप में देखता है," या "मैं एक चिड़चिड़ा पुराना माली हूँ।" यह केवल एक वेशभूषा नहीं है; यह रोबोट के आंतरिक लेंस को बदल देता है। इस स्व-निर्मित, विचित्र पात्र की आँखों से प्रश्न को देखकर, रोबोट को मानक "सुरक्षित" उत्तर से अलग रास्ता लेने के लिए प्रोत्साहित किया जाता है।
जब उन्होंने इन लोकप्रिय रोबोट दिमागों (जैसे Llama, Mistral, और Qwen) पर इस संयोजन का परीक्षण किया, तो परिणाम आश्चर्यजनक रूप से प्रभावी रहे। पुराने तरीके में, एक ही प्रश्न का उत्तर देने वाले विभिन्न रोबोट लगभग एक जैसे सुनाई देते थे, जिनका समानता स्कोर लगभग 0.85 था (जहाँ 1.0 एक पूर्ण प्रतिलिपि है)। उनकी नई विधि के साथ, यह समानता गिरकर लगभग 0.65 हो गई। इसका मतलब है कि रोबोटों ने वास्तव में अलग, रचनात्मक और अद्वितीय उत्तर देना शुरू कर दिया। यहाँ तक कि वे रोबटेज जिन्हें बहुत सख्त और तार्किक होने के लिए प्रशिक्षित किया गया था ("डिस्टिल्ड" वाले), वे भी अपने उबाऊ पैटर्न से मुक्त हो गए।
महत्वपूर्ण रूप से, लेखकों ने यह भी जांचा कि क्या ये नए, जंगली उत्तर अभी भी समझ में आते हैं। उन्होंने उत्तरों को ग्रेड देने के लिए एक अन्य AI का उपयोग किया, और नई विधि ने गुणवत्ता को उच्च बनाए रखा, जिससे सिद्ध हुआ कि आप अराजकता के बिना रचनात्मकता प्राप्त कर सकते हैं। उन्होंने यह भी दिखाया कि यह सबसे अच्छा तब काम करता है जब आप दोनों चरणों को मिलाते हैं: जंगली शब्द-चयन अकेले पर्याप्त नहीं था, और पात्र का अभिनय अकेले पर्याप्त नहीं था। आपको दुनिया को अलग तरह से देखने के लिए "बच्चे की आँख" और उस अलग दृष्टिकोण को बोलने का साहस देने के लिए "अत्यधिक गर्मी" दोनों की आवश्यकता है।
यह शोध पत्र सुझाव देता है कि "आर्टिफिशियल हाइवमाइंड" रोबोट के दिमाग में एक स्थायी दोष नहीं है, बल्कि यह इस बात का परिणाम है कि हम उनसे कैसे बात करने के लिए कहते हैं। उन्हें एक अनूठा दृष्टिकोण और सुरक्षित लेकिन असामान्य रास्तों की खोज करने की सांख्यिकीय अनुमति देकर, हम उस विविधता को अनलॉक कर सकते हैं जो उनके भीतर हमेशा से छिपी हुई थी। शोधकर्ताओं ने अपना कोड ओपन-सोर्स भी कर दिया है, इस उम्मीद में कि अन्य लोग इस "एस्केप की" (escape key) का उपयोग करके ऐसे AI बना सकें जो एक हाइव (छत्ते) के बजाय अद्वितीय, जिज्ञासु व्यक्तियों की भीड़ जैसा महसूस हो।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।