Disrupting convergence in large language model generation
यह शोध पत्र यह प्रदर्शित करता है कि केवल स्पष्ट निर्देशों पर निर्भर रहने के बजाय विषम बाहरी सूचना संकेतों (heterogeneous external information cues) की आपूर्ति करना, लार्ज लैंग्वेज मॉडल के आउटपुट में अर्थ संबंधी विविधता (semantic diversity) बढ़ाने के लिए एक अधिक विश्वसनीय और प्रभावी तरीका है, जो प्रॉम्प्ट डिज़ाइन में सूचनात्मक इनपुट और व्यवहार संबंधी मार्गदर्शन के बीच महत्वपूर्ण अंतर को रेखांकित करता है।
मूल पेपर CC BY 4.0 (https://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखक ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
एक ऐसी दुनिया की कल्पना करें जहाँ कंप्यूटर से एक नया विचार सोचने के लिए कहने पर हमेशा एक ही उत्तर मिलता हो। यह कोई काल्पनिक परिदृश्य नहीं है, बल्कि उन आर्टिफिशियल इंटेलिजेंस सिस्टम की बढ़ती वास्तविकता है जिनका हम रोज़ाना उपयोग करते हैं। ये लार्ज लैंग्वेज मॉडल्स शक्तिशाली उपकरण हैं जो टेक्स्ट उत्पन्न करने, समस्याओं को हल करने और रचनात्मकता को बढ़ावा देने में सक्षम हैं। हालाँकि, शोधकर्ताओं ने एक परेशान करने वाला पैटर्न देखा है: जब बहुत से लोग इन सिस्टम से विचार मांगते हैं, तो उनके जवाब तेजी से एक जैसे दिखने लगते हैं। यह घटना, जिसे 'अभिसरण' (convergence) कहा जाता है, का अर्थ है कि विविध और अनूठे सुझावों के बजाय, लाखों उपयोगकर्ताओं का सामूहिक आउटपुट कुछ सीमित और दोहराव वाले उत्तरों तक सिमट जाता है। मंथन (brainstorming) या डिज़ाइन जैसे कार्यों के लिए, जहाँ मूल्य कई अलग-अलग विकल्पों में से चुनने में निहित होता है, यह एकरूपता एक बड़ी समस्या है। वैज्ञानिकों के सामने सवाल यह नहीं है कि क्या ये मशीनें विविधता पैदा कर सकती हैं, बल्कि यह है कि हम उन्हें विश्वसनीय रूप से ऐसा करने के लिए कैसे प्रोत्साहित कर सकते हैं ताकि हर कोई एक ही परिणाम पर न पहुँच जाए।
एक शोधकर्ता ने इस दोहराव के चक्र को तोड़ने के दो अलग-अलग तरीकों का परीक्षण करके इसे हल करने का प्रयास किया। पहला दृष्टिकोण वह है जो बहुत से लोग स्वाभाविक रूप से करने की कोशिश करेंगे: बस कंप्यूटर को अलग होने के लिए कहना। इसमें मशीन को एक मानक कार्य देना और साथ ही एक विशिष्ट निर्देश जोड़ना शामिल है कि सामान्य उत्तरों से बचा जाए या कुछ असामान्य उत्पन्न किया जाए। दूसरा दृष्टिकोण उस जानकारी को बदलने का है जिसे कंप्यूटर उत्तर देने से पहले देखता है। केवल एक अलग प्रतिक्रिया माँगने के बजाय, शोधकर्ता ने कंप्यूटर को प्रेरणा के रूप में उपयोग करने के लिए एक यादृच्छिक (random), असंबंधित शब्द प्रदान किया। मूल विचार यह देखना था कि क्या मशीन को नई, विविध जानकारी खिलाने से स्वाभाविक रूप से अधिक विविध उत्तर मिलेंगे, या क्या कुंजी पूरी तरह से इस बात में निहित है कि निर्देशों को कैसे तैयार किया गया है।
उत्तर खोजने के लिए, शोधकर्ता ने 16,000 से अधिक अलग-अलग टेक्स्ट जनरेशन वाले तीन सावधानीपूर्वक नियोजित प्रयोग किए। उन्होंने तीन अलग-अलग अग्रणी आर्टिफिशियल इंटेलिजेंस मॉडल का उपयोग किया और उन्हें तीन विशिष्ट रचनात्मक कार्य करने के लिए कहा: एक लाल कुर्सी के पास रखने के लिए किसी वस्तु का नाम बताना, एक खाली कार्डबोर्ड बॉक्स के नए उपयोग का सुझाव देना, और एक पुन: प्रयोज्य (reusable) पानी की बोतल में सुधार का प्रस्ताव देना। पहले अध्ययन में, उन्होंने केवल एक अलग उत्तर माँगने के मानक दृष्टिकोण की तुलना एक यादृच्छिक बाहरी शब्द प्रदान करने की विधि से की। परिणाम स्पष्ट और सुसंगत थे। जब मॉडल्स को केवल अलग होने के लिए कहा गया, तो उत्तरों की विविधता में केवल मामूली सुधार हुआ और वे अक्सर दोहराव के पैटर्न को तोड़ने में विफल रहे। हालाँकि, जब शोधकर्ता ने प्रेरणा के स्रोत के रूप में एक यादृच्छिक शब्द पेश किया, तो उत्तरों की विविधता नाटकीय रूप से बढ़ गई। मॉडल्स ने विचारों की एक बहुत व्यापक श्रृंखला बनाई, जो कुछ चुनिंदा उत्तरों के आसपास केंद्रित होने के बजाय कई अलग-अलग संभावनाओं में फैल गई।
इसके बाद शोधकर्ता ने यह समझने के लिए गहराई से जांच की कि कंप्यूटर इस नई जानकारी का उपयोग वास्तव में कैसे कर रहा है। वे जानना चाहते थे कि क्या कंप्यूटर को उस यादृच्छिक शब्द का उपयोग करने के लिए स्पष्ट रूप से बताने की आवश्यकता है, या केवल शब्द की उपस्थिति ही पर्याप्त है। दूसरे अध्ययन में, उन्होंने यादृच्छिक शब्द को बिल्कुल समान रखा लेकिन उसके आसपास के निर्देशों को बदल दिया। एक समूह में, मॉडल्स को उस शब्द को पूरी तरह से अनदेखा करने के लिए कहा गया। दूसरे में, उन्हें कहा गया कि वे यदि चाहें तो इसका उपयोग कर सकते हैं। तीसरे में, उन्हें इसका उपयोग करने के लिए बाध्य किया गया। निष्कर्षों ने एक आश्चर्यजनक विषमता (asymmetry) प्रकट की। जब मॉडल्स को यादृच्छिक शब्द को अनदेखा करने के लिए कहा गया, तो विविधता का लाभ समाप्त हो गया, और उत्तर आधार रेखा (baseline) की तरह ही दोहराव वाले हो गए। फिर भी, जब मॉडल्स को बिना किसी विशिष्ट निर्देश के केवल शब्द दिखाया गया, तो विविधता उच्च बनी रही। दिलचस्प बात यह भी थी कि मॉडल्स को शब्द का उपयोग करने के लिए कहने से उत्तर पहले से अधिक विविध नहीं हुए जितने कि बिना निर्देश के शब्द दिखाने से हुए थे। विविध जानकारी की उपस्थिति ही विविधता का चालक बल थी, और इसके उपयोग के लिए स्पष्ट आदेश आवश्यक नहीं थे। वास्तव में, कंप्यूटर को उस जानकारी को अनदेखा करने के लिए कहना ही एकमात्र चीज़ थी जिसने विविधता को सफलतापूर्वक रोक दिया।
अंतिम अध्ययन में, शोधकर्ता ने जानकारी को स्थिर रखा और केवल वांछित परिणाम के बारे में निर्देशों को बदला। उन्होंने सभी मॉडल्स को एक ही यादृच्छिक शब्द दिया और उसे प्रेरणा के रूप में उपयोग करने का एक ही निर्देश दिया। फिर, उन्होंने निर्देशों की एक दूसरी परत जोड़ी: कुछ को बताया गया कि वे अपने उत्तर को दूसरों के संभावित उत्तर से अलग बनाएँ, कुछ को इसे स्पष्ट और समझने में आसान बनाने के लिए कहा गया, और अन्य को इसे दूसरों के समान बनाने के लिए कहा गया। परिणामों ने दिखाया कि अलग होने के निर्देश ने वास्तव में उत्तरों को कंप्यूटर की डिफ़ॉल्ट आदतों से दूर धकेल दिया, जिससे अधिक विविधता पैदा हुई। इसके विपरीत, समान होने के निर्देश ने उत्तरों को केंद्र की ओर खींच लिया, जिससे विविधता कम हो गई। इसने पुष्टि की कि जबकि सूचनात्मक वातावरण विविधता के लिए कच्चा माल प्रदान करता है, निर्देश एक मार्गदर्शक के रूप में कार्य करते हैं जो या तो उस विविधता को बढ़ा सकते हैं या उसे दबा सकते हैं।
अध्ययन यह निष्कर्ष निकालता है कि आर्टिफिशियल इंटेलिजेंस को बार-बार एक ही उत्तर देने से रोकने का सबसे विश्वसनीय तरीका सूचनात्मक वातावरण को बदलना है, न कि केवल प्रॉम्प्ट को। कंप्यूटर से केवल रचनात्मक होने के लिए कहना अक्सर उसके सबसे स्पष्ट उत्तरों की ओर झुकने की प्रवृत्ति को दूर करने के लिए पर्याप्त नहीं होता है। इसके बजाय, विविध बाहरी संकेतों—जैसे यादृच्छिक शब्द, उदाहरण या विभिन्न दृष्टिकोण—को प्रदान करना एक स्वाभाविक बदलाव लाता है। यह प्रभाव मजबूत है; यह तब भी होता है जब नई जानकारी का उपयोग करने के लिए जबरदस्ती निर्देश नहीं दिए जाते हैं। हालाँकि, शोधकर्ता ने यह भी पाया कि यह प्रभाव नाजुक है। यदि निर्देश स्पष्ट रूप से कंप्यूटर को नई जानकारी को दरकिनार करने के लिए कहते हैं, तो लाभ समाप्त हो जाता है। मुख्य सबक यह है कि AI-जनित सामग्री में विविधता बनाए रखने के लिए उस संदर्भ को डिज़ाइन करना आवश्यक है जिसमें कंप्यूटर संचालित होता है। यह सुनिश्चित करके कि मशीन के पास विविध और विशिष्ट जानकारी तक पहुँच हो, और उन निर्देशों से बचकर जो उसे उस जानकारी को अनदेखा करने के लिए कहते हैं, हम एक समृद्ध और अधिक विविध सामूहिक आउटपुट को प्रोत्साहित कर सकते हैं। यह दृष्टिकोण नवाचार के लिए इन उपकरणों पर निर्भर करने वाले किसी भी व्यक्ति के लिए एक व्यावहारिक मार्ग प्रदान करता है, जिससे यह सुनिश्चित होता है कि AI-सहायता प्राप्त रचनात्मकता का भविष्य विविध बना रहे, न कि एकसमान।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।