XTC: Head-Aware Sampling by Excluding Top Choices
यह शोध पत्र XTC (Exclude Top Choices) को प्रस्तुत करता है, जो एक हल्का डिकोडिंग स्ट्रैटेजी है जो विभिन्न बड़े भाषा मॉडलों में प्रवाह और निर्देश-अनुपालन सटीकता बनाए रखते हुए जनरेशन की विविधता और रचनात्मकता को महत्वपूर्ण रूप से बढ़ाने के लिए प्रमुख उच्च-संभावना वाले टोकन को चुनिंदा रूप से हटाता है।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
जब कोई कंप्यूटर प्रोग्राम लिखना सीखता है, तो वह इंसानों की तरह वाक्यों में नहीं सोचता। इसके बजाय, वह अपने से पहले आए शब्दों के आधार पर अगले शब्द का अनुमान लगाता है, और संभावनाओं की एक लंबी सूची में से चुनाव करता है। लंबे समय तक, इन प्रोग्रामों को विविध और दिलचस्प पाठ लिखने के लिए प्रेरित करने का मानक तरीका उन्हें कम सामान्य शब्दों की ओर मोड़ना या बहुत ही असंभावित शब्दों को हटा देना था। यह दृष्टिकोण निरर्थक बातें टालने के लिए तो अच्छा था, लेकिन अक्सर इससे एक अलग समस्या पैदा हो जाती थी: पाठ सुरक्षित, दोहराव वाला और अजीब तरह से एकसमान हो जाता था। भले ही कंप्यूटर को कहानी को आगे बढ़ाने के कई अच्छे तरीके पता होते थे, फिर भी वह लगभग हमेशा सबसे स्पष्ट और साधारण विकल्प को ही चुनता था, जैसे कि एक यात्री जो हमेशा मुख्य सड़क को चुनता है, भले ही उसके ठीक बगल में एक सुंदर रास्ता मौजूद हो। सुरक्षित विकल्प पर टिके रहने की यह प्रवृत्ति, भले ही अन्य मजबूत विकल्प मौजूद हों, मशीन द्वारा लिखे गए लेखन से रचनात्मकता को चुपचाप खत्म कर रही थी।
शोधकर्ताओं की एक टीम ने अब एक नई विधि पेश की है जिसे XTC कहा जाता है, जिसका अर्थ है 'एक्सक्लूड टॉप चॉइसेस' (Exclude Top Choices - शीर्ष विकल्पों को बाहर करना), जिसे इस विशिष्ट आदत को ठीक करने के लिए डिज़ाइन किया गया है। सूची के नीचे मौजूद असंभावित शब्दों को देखने या विकल्पों की पूरी सूची को सपाट करने के बजाय, यह नई तकनीक सूची के शीर्ष पर ध्यान केंद्रित करती है। यह तब तक प्रतीक्षा करती है जब तक कि कंप्यूटर वास्तव में दो या दो से अधिक बहुत अच्छे विकल्पों के बीच अनिश्चित न हो जाए। जब ऐसा होता है, तो यह विधि जानबूझकर सबसे लोकप्रिय विकल्प को दौड़ से बाहर कर देती है, जिससे कंप्यूटर शेष मजबूत विकल्पों में से चुनने के लिए मजबूर हो जाता है। यह एक ऐसा सरल स्विच है जो केवल तभी सक्रिय होता है जब कंप्यूटर वास्तव में अच्छे रास्तों के बीच उलझा हुआ होता है, जिससे यह सुनिश्चित होता है कि आउटपुट निरर्थक हुए बिना विविध बना रहे।
शोधकर्ताओं ने इस विचार का परीक्षण कई अलग-अलग बड़े भाषा मॉडलों पर किया, जिनमें 12 बिलियन पैरामीटर्स वाले छोटे मॉडल से लेकर 70 बिलियन वाले विशाल मॉडल तक शामिल थे। उन्होंने मॉडलों को रचनात्मक कहानियाँ लिखने, विचार मंथन करने और संवाद करने के लिए कहा, और इस नए तरीके की तुलना पाठ उत्पन्न करने के मानक तरीकों से की। परिणाम स्पष्ट और सुसंगत थे। XTC का उपयोग करने पर, उत्पन्न पाठ काफी अधिक विविध हो गया, जिसमें शब्दों और वाक्यांशों की विविधता में उल्लेखनीय वृद्धि हुई। साथ ही, पाठ बहुत कम दोहराव वाला हो गया, जहाँ मॉडल तीन-शब्दों वाले वाक्यांशों को बहुत कम बार दोहराते थे। परीक्षणों के एक सेट में, लेखन की विविधता में 11 से 15 प्रतिशत तक सुधार हुआ, जबकि सामान्य वाक्यांशों का दोहराव लगभग आधा हो गया।
महत्वपूर्ण रूप से, शोधकर्ताओं ने पाया कि विविधता में यह वृद्धि गुणवत्ता या स्पष्टता की कीमत पर नहीं आई। जब मानव स्वयंसेवकों और अन्य उन्नत कंप्यूटर प्रोग्रामों ने लेखन का मूल्यांकन किया, तो उन्होंने रचनात्मकता और रोचकता के लिए XTC-जनित पाठ को पसंद किया, और मानक संस्करणों की तुलना में इसे उच्च रेटिंग दी। लेखन प्रवाहपूर्ण और पढ़ने में आसान बना रहा, जिसमें समग्र गुणवत्ता में कोई गिरावट नहीं देखी गई। यह विधि अपने अनुप्रयोग में बहुत सटीक भी सिद्ध हुई; इसने उन कार्यों में हस्तक्षेप नहीं किया जिनमें सख्त सटीकता की आवश्यकता होती है, जैसे कि विशिष्ट निर्देशों का पालन करना या कोड लिखना, जब तक कि सेटिंग्स को बहुत अधिक न बढ़ाया जाए। वास्तव में, जब शोधकर्ताओं ने XTC की तुलना केवल कंप्यूटर को अधिक रैंडम (यादृच्छिक) बनाने के पारंपरिक तरीके से की, तो XTC ने निर्देशों का पालन करने की क्षमता को बेहतर ढंग से बनाए रखते हुए समान स्तर की विविधता प्राप्त की।
अध्ययन ने यह भी दिखाया कि यह नया दृष्टिकोण मौजूदा उपकरणों के साथ मिलकर अच्छी तरह काम करता है। इसे रैंडमनेस या दोहराव को नियंत्रित करने वाले अन्य तरीकों के साथ जोड़ा जा सकता है, और इसके लाभ एक-दूसरे को रद्द करने के बजाय जुड़ जाते हैं। जब इसे एक मानक 'टेम्परेचर' सेटिंग के साथ जोड़ा गया, तो इस संयोजन ने और भी अधिक सुधार किए, जिससे कुछ मामलों में दोहराव 70 प्रतिशत से अधिक कम हो गया और विविधता लगभग 40 प्रतिशत बढ़ गई। शोधकर्ताओं ने पुष्टि की कि यह प्रभाव विभिन्न प्रकार के मॉडलों और कंप्यूटर मेमोरी कंप्रेशन के विभिन्न स्तरों पर भी सत्य है, जो यह दर्शाता है कि यह विधि मजबूत और व्यापक रूप से लागू करने योग्य है।
यह निष्कर्ष महत्वपूर्ण है क्योंकि यह उन खामियों को संबोधित करता है जिन्हें वर्षों से इन प्रणालियों को ट्यून करने के लिए उपयोग किया जा रहा था। पिछले तरीकों ने माना था कि दोहराव वाले लेखन की समस्या सूची के नीचे मौजूद बहुत ही असंभाविक और अजीब शब्दों से आती है। यह नया कार्य दिखाता है कि वास्तविक समस्या अक्सर शीर्ष पर होती है, जहाँ कंप्यूटर अपने सबसे सुरक्षित विकल्प को लेकर इतना आश्वस्त होता है कि वह अन्य बेहतरीन विकल्पों को अनदेखा कर देता है। केवल तभी सिस्टम को उस एकल प्रमुख विकल्प से धीरे से दूर धकेलकर जब वह वास्तव में अनिश्चित होता है, यह विधि अभिव्यक्ति की अधिक स्वाभाविक और मानवीय श्रेणी को खोल देती है। इस तकनीक को पहले से ही डेवलपर्स द्वारा उपयोग किए जाने वाले कई लोकप्रिय ओपन-सोर्स टूल्स द्वारा अपनाया जा चुका है, जो यह संकेत देता है कि यह आर्टिफिशियल इंटेलिजेंस के लेखन को मशीन के बजाय एक रचनात्मक साथी जैसा महसूस कराने का एक व्यावहारिक तरीका प्रदान करता है।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।