DUD: Decoupled Update Dynamics for Reliable Uncertainty Quantification in Large Language Models
यह शोध पत्र DUD (डिकपल्ड अपडेट डायनेमिक्स) प्रस्तुत करता है, जो एक ऐसा ढांचा है जो फीड-फॉरवर्ड नेटवर्क और अटेंशन मैकेनिज्म के विशिष्ट योगदानों को कॉज़ल इंटरवेंशन (कारण संबंधी हस्तक्षेप) के माध्यम से अलग और विश्लेषित करके लार्ज लैंग्वेज मॉडल्स में अनिश्चितता मात्रा निर्धारण (अनसर्टेंटी क्वांटिफिकेशन) में सुधार करता है, जिससे उन आंतरिक यांत्रिक संघर्षों को पकड़ा जा सकता है जिन्हें पारंपरिक विधियाँ चूक जाती हैं।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
कल्पना कीजिए कि आप एक रोबोट को सच बोलना सिखाने की कोशिश कर रहे हैं। आप उससे एक सवाल पूछते हैं, और वह एकदम सटीक व्याकरण और बहुत ही आत्मविश्वास भरी आवाज़ में जवाब देता है। लेकिन आप यह कैसे जानेंगे कि वह वास्तव में सही है, या वह सिर्फ एक चिकनी-चुपड़ी बातें करने वाला झूठा है? यह आर्टिफिशियल इंटेलिजेंस की दुनिया में "अनिश्चितता परिमाणीकरण" (Uncertainty Quantification) की बड़ी पहेली है। वर्तमान में, हम इन रोबोटों का मूल्यांकन मुख्य रूप से उनके अंतिम उत्तर और इस बात से करते हैं कि वे खुद को कितना आश्वस्त बताते हैं। यह एक छात्र को केवल उसकी आवाज़ के लहजे से ग्रेड देने जैसा है; यदि वे चिल्लाकर कहते हैं "मैं 100% निश्चित हूँ!", तो हम मान लेते हैं कि उन्हें उत्तर पता है। लेकिन कभी-कभी, एक रोबोट अविश्वसनीय रूप से आत्मविश्वासी हो सकता है और पूरी तरह गलत हो सकता है, या हिचकिचाते हुए भी वास्तव में सही हो सकता है। वैज्ञानिक एक ऐसा तरीका चाहते हैं जिससे वे रोबोट के दिमाग के अंदर झाँक सकें और देख सकें कि क्या वह वास्तव में सोच रहा है या सिर्फ अनुमान लगा रहा है।
इस नई खोज को समझने के लिए, आपको यह जानना आवश्यक है कि ये विशाल एआई मस्तिष्क (जिन्हें लार्ज लैंग्वेज मॉडल्स कहा जाता है) कैसे बनाए जाते हैं। वे केवल कोड का एक बड़ा ढेर नहीं हैं; वे छोटे कार्यकर्ताओं की परतों से बने होते हैं। दो सबसे महत्वपूर्ण कार्यकर्ता "अटेंशन" (Attention) मॉड्यूल हैं, जो एक स्पॉटलाइट की तरह काम करता है, वर्तमान बातचीत को स्कैन करता है कि अभी क्या महत्वपूर्ण है, और "फीड-फॉरवर्ड नेटवर्क" (FFN) है, जो उन तथ्यों की एक विशाल लाइब्रेरी की तरह है जिन्हें रोबोट ने अपने प्रशिक्षण के दौरान याद किया है। आमतौर पर, ये दो कार्यकर्ता एक उत्तर देने के लिए मिलकर काम करते हैं। बड़ा सवाल यह है कि जब रोबोट भ्रमित होता है, तो क्या वे दोनों मिलकर भ्रमित होते हैं, या वे आपस में लड़ने लगते हैं?
यह शोध पत्र इस रहस्य को सुलझाने के लिए एक चतुर नया जासूसी उपकरण पेश करता है जिसे DUD (डिकपल्ड अपडेट डायनेमिक्स) कहा जाता है। रोबोट के अंतिम उत्तर को सुनने के बजाय, शोधकर्ताओं ने रोबोट के दिमाग के अंदर "अंतर खोजने" का खेल खेलने का निर्णय लिया। उन्होंने पाया कि जब एक रोबोट गलती करने वाला होता है, तो उसके दो मुख्य कार्यकर्ता अक्सर एक गुप्त बहस शुरू कर देते हैं। "लाइब्रेरी" (FFN) शायद एक तथ्य निकालने की कोशिश कर रही होती है, जबकि "स्पॉटलाइट" (Attention) बिल्कुल दूसरी दिशा में इशारा कर रही होती है। पिछले तरीकों ने पूरी टीम को एक साथ सुनने की कोशिश की, जिससे इस बहस की आवाज़ दब गई। हालाँकि, DUD प्रत्येक कार्यकर्ता पर अलग-अलग हेडफ़ोन लगा देता है ताकि यह देखा जा सके कि भ्रमित होने पर वे कैसे प्रतिक्रिया देते हैं।
यहाँ बताया गया है कि शोधकर्ताओं ने अपना जासूसी कार्य कैसे किया। उन्होंने एक रोबोट लिया और उससे एक सवाल पूछा, लेकिन पहले उन्होंने उसके इनपुट में थोड़ा सा "स्टैटिक नॉइज़" (static noise) जोड़ दिया, जैसे कि उसके कान में कोई रहस्य फुसफुसाकर उसे थोड़ा भ्रमित करना, जिससे रोबोट का आत्मविश्वास गिर गया। फिर, उन्होंने "पैचिंग" का खेल खेला। वे भ्रमित रोबोट को लेंगे और, परत दर परत, केवल "लाइब्रेरी" वाले हिस्से को एक साफ, भ्रमित न होने वाले संस्करण से बदल देंगे, जबकि "स्पॉटलाइट" को भ्रमित रहने देंगे। फिर वे इसके विपरीत करेंगे: वे "स्पॉटलाइट" को ठीक करेंगे लेकिन "लाइब्रेरी" को भ्रमित छोड़ देंगे। यह देखते हुए कि प्रत्येक परिदृश्य में रोबोट का आत्मविश्वास कितना वापस आया, वे सटीक रूप से माप सकते थे कि मस्तिष्क का कौन सा हिस्सा विफल हो रहा था।
परिणाम बेहद दिलचस्प थे। उन्होंने पाया कि अनिश्चितता केवल "मुझे नहीं पता" जैसी एक सामान्य भावना नहीं है। यह एक विशिष्ट प्रकार का यांत्रिक टूटना (mechanical breakdown) है। जब एक रोब intentional रूप से गलत जानकारी (hallucinate) देने वाला होता है, तो "लाइब्रेरी" और "स्पॉटलाइट" अक्सर एक-दूसरे से सहमत होना बंद कर देते हैं। कुछ मामलों में, "लाइब्रेरी" पूरी तरह से ढह जाती है जबकि "स्पॉटलाइट" स्थिर रहती है; अन्य मामलों में, "स्पॉटलाइट" खो जाती है जबकि "लाइब्रेरी" थामे रखने की कोशिश करती है। यह पेपर दिखाता है कि इस दो हिस्सों के बीच के इस "झगड़े" को मापकर, वे मौजूदा किसी भी तकनीक की तुलना में त्रुटियों का बेहतर अनुमान लगा सकते हैं।
वास्तव में, शोधकर्ताओं ने पाया कि एक रोबोट "मैं 100% निश्चित हूँ!" चिल्ला सकता है जबकि उसके आंतरिक कार्यकर्ता पूरी तरह से अराजकता में होते हैं। एक परीक्षण मामले में, रोबोट ने "स्टिक जिम्नास्टिक्स" के बारे में "जापान" के साथ आत्मविश्वास से उत्तर दिया। उसका कॉन्फिडेंस स्कोर बहुत ऊंचा था, लेकिन DUD टूल ने देखा कि आंतरिक कार्यकर्ता पतन की स्थिति में थे, जिससे उस उत्तर को झूठ के रूप में चिह्नित किया गया। इसके विपरीत, टूल ने उन समयों को भी पकड़ा जब रोबोट बहुत शर्मीला हो रहा था। एक अन्य मामले में, रोबोट ने सही उत्तर ("लैंड ऑफ फिश एंड राइस") दिया लेकिन बहुत अनिश्चित लगा। DUD टूल ने देखा कि आंतरिक कार्यकर्ता वास्तव में पूरी तरह से मिलकर काम कर रहे थे और सही ढंग से उत्तर को सत्य के रूप में पहचाना गया, बावजूद इसके कि रोबोट हिचकिचा रहा था।
शोध पत्र ने विभिन्न प्रकार के प्रश्नों पर इस विचार का परीक्षण किया, जिसमें रीडिंग कॉम्प्रिहेन्शन से लेकर जटिल तर्क शामिल हैं, और पाया कि यह "डिकपल्ड" (decoupled) विधि किसी भी अन्य वर्तमान तकनीक से बेहतर काम करती है। यह तब भी अच्छी तरह काम करता है जब रोबोट को एक प्रकार के प्रश्न पर प्रशिक्षित किया जाता है और दूसरे प्रकार के प्रश्न पर टेस्ट किया जाता है, जो यह सुझाव देता है कि यह आंतरिक लड़ाई एक सार्वभौमिक संकेत है कि रोबोट भ्रमित हो रहा है। लेखक निष्कर्ष निकालते हैं कि वास्तव में एआई पर भरोसा करने के लिए, हमें केवल यह नहीं सुनना चाहिए कि वह क्या कहता है; हमें यह सुनना होगा कि उसके आंतरिक हिस्से एक-दूसरे के साथ कैसे तालमेल बिठा रहे हैं। यदि "स्पॉटलाइट" और "लाइब्रेरी" लड़ रहे हैं, तो इससे कोई फर्क नहीं पड़ता कि रोबोट कितना आत्मविश्वासी दिखता है—वह शायद गलत है।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।