Where Abstention Lives: A Pre-Registered Four-Way Comparison of Abstention Interfaces in a Small Language Model with Versioned Memory
यह प्री-रजिस्टर्ड अध्ययन यह प्रदर्शित करता है कि वर्जन्ड मेमोरी वाले एक छोटे भाषा मॉडल में, एक अलग बाइनरी हेड के माध्यम से एब्स्टेंशन (abstention) को लागू करना शब्दावली टोकन और मेमोरी स्लॉट्स की तुलना में काफी बेहतर प्रदर्शन करता है, क्योंकि यह निर्णय को जनरेशन सॉफ्टमैक्स से अलग कर देता है, जिससे सीमित सटीकता मार्जिन के बावजूद "मुझे नहीं पता" कहने की क्षमता को सीखना संभव हो जाता है।
मूल पेपर CC BY 4.0 (https://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
आर्टिफिशियल इंटेलिजेंस की दुनिया में, यह एक बढ़ती हुई मान्यता है कि कंप्यूटर द्वारा की जाने वाली सबसे खतरनाक गलती यह नहीं है कि वह कब हार मान ले, बल्कि यह है कि वह यह स्वीकार न कर सके कि वह खो गया है। जब किसी भाषा मॉडल (language model) से ऐसा प्रश्न पूछा जाता है जिसका उत्तर उसे नहीं पता, तो वह अक्सर एक विश्वसनीय लगने वाला झूठ गढ़ लेता है, जिसे शोधकर्ता 'हैलुसिनेशन' (hallination) कहते हैं। इसे रोकने के लिए, वैज्ञानिकों ने इन प्रणालियों को एक नया कौशल सिखाने की कोशिश की है: "मुझे नहीं पता" कहने की क्षमता। यह केवल एक साधारण 'स्टॉप साइन' प्रोग्राम करने के बारे में नहीं है; यह मशीन को अपने ज्ञान की सीमाओं को पहचानने और निर्माण करने के बजाय मौन रहने का विकल्प चुनने के बारे में है। चुनौती इस बात में निहित है कि मशीन वह चुनाव कैसे करती है। क्या चुप रहने का निर्णय उसके शब्दकोश में जोड़ा गया एक विशेष शब्द होना चाहिए, उसके कंट्रोल पैनल पर एक अलग स्विच होना चाहिए, या उसकी आंतरिक स्मृति में एक गुप्त नोट होना चाहिए? वर्षों से, इन विभिन्न तरीकों का अलग-अलग परीक्षण किया गया है, जिससे अभ्यासकर्ताओं के पास इस बारे में कोई स्पष्ट मार्गदर्शन नहीं बचा कि वास्तव में कौन सा दृष्टिकोण सबसे अच्छा काम करता है।
मैक्सिमिलियानो स्परेंज़ा नामक एक शोधकर्ता ने एक नियंत्रित प्रयोग चलाकर इस प्रश्न को सुलझाने का बीड़ा उठाया, जहाँ निर्णय के स्थान को छोड़कर हर चर (variable) को स्थिर रखा गया था। उन्होंने शून्य से एक छोटा भाषा मॉडल बनाया, जिसमें एक मिलियन से भी कम पैरामीटर थे, और उसे तथ्यों का एक सेट सिखाया जिन्हें बाद में अपडेट और सुधारा गया, जिससे एक ऐसी स्थिति पैदा हुई जहाँ मॉडल कभी उत्तर जानता था और कभी नहीं। लक्ष्य यह देखना था कि "मुझे नहीं पता" को संभालने के चार मुख्य तरीकों में से किस तरीके ने मॉडल को यह कौशल सबसे प्रभावी ढंग से सीखने में मदद की। परिणामों ने एक स्पष्ट विजेता और एक आश्चर्यजनक कारण प्रकट किया कि अन्य तरीके क्यों विफल रहे।
प्रयोग में चार अलग-अलग दृष्टिकोणों का परीक्षण किया गया। पहला यह था कि मॉडल के शब्दकोश में एक विशेष टोकन, जैसे कि "IDK" जैसा एक अद्वितीय शब्द, जोड़ा जाए, जिससे वह अनिश्चित होने पर उस शब्द को बोल सके। दूसरा यह था कि एक अलग बाइनरी हेड (binary head) जोड़ा जाए, जो एक छोटा, समर्पित आउटपुट चैनल हो जिसका एकमात्र काम यह तय करना हो कि उत्तर देना है या चुप रहना है। तीसरा यह था कि उस विशेष शब्द के वेक्टर का पुनर्सामान्यीकरण (renormalize) किया जाए, जो एक तकनीकी समायोजन था जिसका उद्देश्य उस शब्द के वजन (weight) में संदिग्ध असंतुलन को ठीक करना था। चौथा यह था कि मॉडल की स्मृति में एक विशेष स्लॉट जोड़ा जाए, जो "यहाँ कुछ नहीं है" की अवधारणा को संग्रहीत करने के लिए एक समर्पित स्थान हो।
निष्कर्ष निर्णायक थे। अलग बाइनरी हेड सबसे प्रभावी तरीका साबित हुआ। तीन में से तीन अलग-अलग प्रशिक्षण सत्रों में, इस दृष्टिकोण ने गलत अलार्म की दर को—उन मामलों को जहाँ मॉडल चुप रह जाता था जबकि वह वास्तव में उत्तर जानता था—शब्दकोश टोकन पद्धति की तुलना में दो से लगभग तीन गुना तक कम कर दिया। इससे भी महत्वपूर्ण बात यह थी कि इस पद्धति ने मॉडल को यह कौशल सीखने में सक्षम बनाया कि वह तब भी चुप रह सकता है जब वह अभी तक तथ्यों पर पूरी तरह से सटीक नहीं हुआ हो। एक अलग हेड के साथ, एक मॉडल जो एक पूर्ण मॉडल की तुलना में केवल दस प्रतिशत कम सटीक था, फिर भी चुप रहना सीख सकता था। अन्य तरीकों, जिनमें विशेष शब्दकोश शब्द और मेमोरी स्लॉट शामिल थे, समान परिस्थितियों में मॉडल को यह अनुशासन सिखाने में विफल रहे।
इस अध्ययन ने एक लोकप्रिय सिद्धांत को भी ध्वस्त कर दिया कि शब्दकोश टोकन पद्धति क्यों विफल हुई। "मुझे नहीं पता" टोकन के मूल रचनाकारों ने सुझाव दिया था कि छोटे मॉडलों में यह विधि इसलिए विफल हुई क्योंकि उस शब्द को दिया गया संख्यात्मक मान बहुत कमजोर या खराब तरीके से आरंभ (initialize) किया गया था। स्परेंज़ा ने इसे स्पष्ट रूप से उस शब्द की शक्ति को अन्य शब्दों के बराबर समायोजित करके परखा, जो कि एक ऐसा सुधार होता यदि यह सिद्धांत सत्य होता। यह सफल नहीं हुआ। समस्या शब्द की शक्ति नहीं थी, बल्कि तथ्य यह था कि मॉडल को एक ही तंत्र का उपयोग करके दो बहुत अलग निर्णय लेने के लिए मजबूर किया गया था—एक तथ्य चुनना बनाम मौन रहना। जब इन दो प्रतिस्पर्धी लक्ष्यों को एक ही निर्णय लेने वाले स्थान को साझा करने के लिए मजबूर किया गया, तो मॉडल चुप रहने के बारे में सीखने में संघर्ष करने लगा।
मेमोरी स्लॉट दृष्टिकोण ने एक विशेष रूप से शिक्षाप्रद विफलता पेश की। मॉडल को अपनी स्मृति में "कोई उत्तर नहीं" के विचार को संग्रहीत करने के लिए एक विशिष्ट स्थान दिया गया था, फिर भी उसने इस स्लॉट को पूरी तरह से अनदेखा कर दिया। किसी उत्तर के न होने को पहचानने के बजाय, मॉडल ने केवल इस बात का सांख्यिकीय औसत सीख लिया कि प्रश्न कितनी बार बिना उत्तर के होते हैं। उसने महसूस किया कि लगभग चालीस प्रतिशत समय कोई उत्तर नहीं होता है, इसलिए उसने हर बार, वास्तविक प्रश्न की परवाह किए बिना, "कोई उत्तर नहीं" स्लॉट पर एक निरंतर, निम्न-स्तरीय ध्यान (attention) लगाया। क्योंकि यह ध्यान स्तर इतना अधिक नहीं बढ़ पाया कि चुप्पी को ट्रिगर कर सके, मॉडल वास्तव में "मुझे नहीं पता" कहने के लिए कभी नहीं रुका। उसने वास्तविकता को नहीं, बल्कि संभावनाओं को सीखा था।
शायद सबसे गंभीर खोज यह थी कि मॉडल की यह जानने की क्षमता कि वह क्या नहीं जानता, कच्चे बुद्धिमत्ता या क्षमता का मामला नहीं, बल्कि अंशांकन (calibration) का मामला था। निर्णय लेने के लिए आवश्यक जानकारी मॉडल के आंतरिक संकेतों में मौजूद थी, लेकिन मॉडल बिना किसी लेबल या प्रत्यक्ष फीडबैक के इसका उपयोग करना नहीं जानता था। जब शोधकर्ताओं ने मॉडल को बिना किसी लेबल या प्रत्यक्ष फीडबैक के अपनी अनिश्चितता को पहचानने के लिए सिखाने की कोशिश की, तो वह पूरी तरह से विफल रहा। मॉडल अपने द्वारा संग्रहीत वास्तविक जानकारी पर अपना उत्तर टिका देता था, भले ही वह जानकारी वर्तमान प्रश्न के लिए गलत हो, जिससे एक आत्मविश्वासी अनुमान और एक वास्तविक तथ्य के बीच अंतर करना असंभव हो जाता था।
यह कार्य यह दावा नहीं करता है कि इसने सभी प्रणालियों के लिए आर्टिफिशियल इंटेलिजेंस के भ्रम (hallucination) की समस्या को हल कर दिया है। प्रयोग एक बहुत छोटे मॉडल और सीमित शब्दकोश पर किए गए थे, और परिणाम आज के विशाल, जटिल सिस्टम पर सीधे लागू नहीं हो सकते हैं। हालाँकि, यह अध्ययन एक विशिष्ट वास्तुशिल्प (architectural) प्रश्न पर एक स्पष्ट, मापा गया उत्तर प्रदान करता है: यदि आप चाहते हैं कि एक छोटा भाषा मॉडल यह सीखे कि कब चुप रहना है, तो उसे निर्णय लेने के लिए एक अलग, समर्पित स्विच देना, उसे एक विशेष शब्द या मेमोरी स्लॉट का उपयोग करने के लिए कहने की तुलना में कहीं अधिक बेहतर है। सबक यह है कि निर्णय का स्थान बहुत मायने रखता है, और कभी-कभी, सबसे सुंदर समाधान बस मशीन को "मुझे नहीं पता" कहने के लिए एक अलग स्थान देना होता है।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।