The Query Cannot See the Question: A Short Convolution's Reach Decides Which Part of a Query Conditions Retrieval, and What Falls Outside Becomes a Confident Wrong Answer
यह शोध पत्र यह प्रदर्शित करता है कि लीनियर-अटेंशन और स्टेट-स्पेस मॉडल्स में शॉर्ट कॉज़ल डेप्थवाइज़ कन्वोल्यूशन (short causal depthwise convolution), किस भाग पर एक क्वेरी रिट्रीवल को कंडिशन कर सकती है, उस पर एक कठिन, गैर-घटनीय सीमा आरोपित करता है, जिसके कारण मॉडल आत्मविश्वास के साथ गलत उत्तर उत्पन्न करता है जब महत्वपूर्ण जानकारी इस संकीर्ण विंडो से बाहर होती है, एक ऐसी विफलता जो उथले परतों (shallow layers) में बनी रहती है लेकिन गहरे आर्किटेक्चर या बड़े कर्नेल्स द्वारा कम की जा सकती है।
मूल पेपर CC BY 4.0 (https://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
आधुनिक आर्टिफिशियल इंटेलिजेंस सिस्टम जो जानकारी याद रखते हैं, वे अक्सर एक ऐसे लाइब्रेरियन की तरह काम करते हैं जो तथ्यों का एक विशाल, स्थायी संग्रह रखता है। जब कोई प्रश्न पूछा जाता है, तो सिस्टम को पहले उस संग्रह में सही पृष्ठ ढूँढना होता है और फिर उत्तर पढ़ना होता है। लेकिन एक दूसरा, अधिक कठिन कार्य भी है: सिस्टम को यह भी पता होना चाहिए कि उत्तर वास्तव में मौजूद ही नहीं है। यदि वह जानकारी नहीं ढूँढ पाता है, तो एक स्मार्ट सिस्टम को आत्मविश्वास के साथ गलत उत्तर देने के बजाय यह स्वीकार करना चाहिए कि वह नहीं जानता। "मुझे नहीं पता" और "मैं यह जानता हूँ" के बीच अंतर करने की यह क्षमता ही एक विश्वसनीय स्मृति और एक भ्रम पैदा करने वाले (confabulator) के बीच का अंतर है। वर्षों से, शोधकर्ताओं ने माना है कि यदि कोई मॉडल सही तथ्य खोजने में विफल रहता है, तो इसका कारण यह है कि जानकारी बहुत जटिल थी या मॉडल को पर्याप्त रूप से प्रशिक्षित नहीं किया गया था। हालाँकि, एक नया अध्ययन सुझाव देता है कि समस्या अक्सर बहुत सरल और यांत्रिक है: प्रश्न का वह हिस्सा जो महत्वपूर्ण है, वह सिस्टम के उस हिस्से के लिए भौतिक रूप से अदृश्य है जो खोज कर रहा है।
यह शोध, स्वतंत्र शोधकर्ता मैक्सिमिलियनो स्पेरांज़ा द्वारा संचालित, एक विशिष्ट प्रकार के आर्टिफिशियल इंटेलिजेंस आर्किटेक्चर की जांच करता है जो अपने प्रश्नों को बनाने के लिए एक छोटे, स्थानीय 'विंडो' (खिड़की) का उपयोग करता है। इन सिस्टमों में, मेमोरी को खोजने के लिए उपयोग किया जाने वाला "क्वेरी" (प्रश्न) केवल वर्तमान शब्द और उससे ठीक पहले आने वाले कुछ शब्दों को देखकर बनाया जाता है। इस विंडो के लिए मानक सेटिंग इतनी छोटी है कि यह केवल तीन शब्द पीछे देख सकती है। अध्ययन से पता चलता है कि यह सीमित दृश्य केवल भाषा को सुचारू बनाने का एक मामूली विवरण नहीं है; यह एक कठोर बाधा है। यदि प्रश्न का कोई महत्वपूर्ण हिस्सा इस छोटी विंडो के बाहर गिरता है, तो सिस्टम न केवल उसे अनदेखा करता है या कमजोर मानता है, बल्कि वह हिस्सा खोज तंत्र के लिए प्रभावी रूप से अस्तित्वहीन हो जाता है। इसके बाद सिस्टम पूरे आत्मविश्वास के साथ उत्तर देता है, केवल प्रश्न के उस अंश का उपयोग करके जिसे वह वास्तव में देख सकता है, जिससे अक्सर एक गलत उत्तर मिलता है जो पूरी तरह से निश्चित लगता है।
इसे सिद्ध करने के लिए, शोधकर्ता ने एक कृत्रिम भाषा पर प्रशिक्षित एक छोटा लैंग्वेज मॉडल बनाया जहाँ तथ्य एक स्थायी संग्रह में संग्रहीत थे। मॉडल का परीक्षण "What is the [relation] of [entity]?" जैसे प्रश्नों के साथ किया गया, जहाँ 'entity' (इकाई) खोज बिंदु से एक शब्द दूर थी, लेकिन 'relation' (संबंध) तीन शब्द दूर था। मानक सेटअप में, विंडो केवल दो शब्द पीछे तक पहुँच सकती थी। इसका अर्थ था कि 'relation' हमेशा विंडो के बाहर था। परिणाम स्पष्ट थे: जैसे ही संबंध विंडो के किनारे से आगे बढ़ा, सिस्टम की संवेदनशीलता घटकर शून्य हो गई। जब संबंध को बदला गया, तो खोज के परिणाम टस से मस नहीं हुए। मॉडल उस गायब शब्द को अनदेखा नहीं कर रहा था; वह वास्तव में उसके प्रति अंधा था। फलस्वरूप, किसी विशिष्ट इकाई के लिए कभी न बताए गए संबंध के बारे में पूछे जाने पर, मॉडल ने "मुझे नहीं पता" नहीं कहा। इसके बजाय, उसने आत्मविश्वास के साथ एक अलग, असंबंधित तथ्य निकाला जो संयोग से पास में ही था, जिससे एक ऐसा भ्रम (hallucination) पैदा हुआ जो एक आत्मविश्वासी त्रुटि जैसा दिखता था।
अध्ययन ने फिर यह परीक्षण किया कि क्या केवल विंडो को चौड़ा करने से इस अंधेपन को ठीक किया जा सकता है। मॉडल में प्रत्येक ओर केवल एक शब्द बढ़ाकर—एक ऐसा परिवर्तन जिसने मॉडल के मापदंडों (parameters) में केवल एक छोटा सा हिस्सा जोड़ा—सिस्टम की अज्ञानता स्वीकार करने की क्षमता आसमान छू गई। उन कठिन मामलों में जहाँ मॉडल पहले भ्रम पैदा कर रहा था, व्यापक विंडो ने इसे लगभग हर बार सही ढंग से उत्तर देने से बचने की अनुमति दी, जिससे सटीकता दर लगभग 60 प्रतिशत से बढ़कर लगभग 100 प्रतिशत हो गई। इसने प्रदर्शित किया कि विफलता बुद्धि या प्रशिक्षण की कमी के कारण नहीं थी, बल्कि एक सरल ज्यामितीय सीमा के कारण थी: खोज उपकरण आवश्यक जानकारी तक पहुँचने के लिए बहुत छोटा था।
शोधकर्ताओं ने केवल अपने छोटे मॉडल तक ही सीमित नहीं रहे; उन्होंने यह भी जाँच की कि क्या यह घटना बड़े, वास्तविक दुनिया के सिस्टम में भी मौजूद है। उन्होंने 130 मिलियन पैरामीटर्स वाले एक सार्वजनिक, प्री-ट्रेंड मॉडल की जांच की और वही यांत्रिक विच्छेद पाया। इस बड़े मॉडल में, सिस्टम की आंतरिक अवस्था शब्दों के पूरे अनुक्रम को "देख" सकती थी, लेकिन उस अवस्था को पढ़ने के लिए उपयोग किया जाने वाला विशिष्ट क्वेरी तंत्र अभी भी अपनी छोटी विंडो द्वारा सीमित था। जब विंडो के बहुत बाहर किसी शब्द को बदला गया, तो क्वेरी आउटपुट बिल्कुल शून्य रहा, भले ही बाकी सिस्टम ने बदलाव को दर्ज कर लिया था। इसने पुष्टि की कि यह "अंधापन" एक संरचनात्मक विशेषता थी, न कि किसी विशिष्ट प्रशिक्षण का परिणाम।
हालाँकि, इस कहानी का एक दूसरा पहलू है जो प्रारंभिक निष्कर्ष को जटिल बनाता है। जबकि एक छोटी विंडो प्रसंस्करण के बिल्कुल पहले स्तर में एक कठोर अवरोध के रूप में कार्य करती है, गहरे मॉडलों में कई आगामी परतें (layers) होती हैं जहाँ जानकारी को आगे भेजा जा सकता है। अध्ययन में पाया गया कि इन गहरे मॉडलों में, "अदृश्य" शब्द से मिलने वाला संकेत हमेशा के लिए बाधित नहीं होता है; यह केवल परतों के माध्यम से यात्रा करते समय कमजोर हो जाता है। यह बहुत कम शक्ति के साथ पहुँचता है, लेकिन यह अभी भी वहाँ होता है। जब शोधकर्ताओं ने उसी कार्य पर एक गहरे मॉडल को फाइन-ट्यून किया, तो उन्होंने पाया कि मॉडल अंततः उस जानकारी का उपयोग करना सीख सकता था जो शुरू में विंडो के बाहर थी, लेकिन इसे सीखने में बहुत अधिक समय लगा। छोटी विंडो ने जानकारी को अनुपयोगी नहीं बनाया; इसने बस इसे सीखने के लिए "महंगा" बना दिया। बिना अतिरिक्त परतों वाले उथले मॉडल में, विंडो प्रदर्शन पर एक कठोर सीमा लगा देती है। एक गहरे मॉडल में, यह एक ऐसा शुल्क (toll) है जिसे समय के साथ चुकाना पड़ता है।
अंत में, अध्ययन ने यह देखा कि क्या यह विन्यास एक दुर्लभ मामला था या वास्तविक जीवन में एक सामान्य घटना। शोधकर्ताओं ने विभिन्न स्रोतों, जिनमें सर्च इंजन क्वेरी और ट्रिविया डेटाबेस शामिल थे, से हजारों वास्तविक प्रश्नों का विश्लेषण किया। उन्होंने पाया कि 90 से 100 प्रतिशत वास्तविक प्रश्नों में, प्रश्न के महत्वपूर्ण हिस्से मानक छोटी विंडो की पहुँच से अधिक दूर स्थित थे। यह समस्या कोई अपवाद नहीं थी; यह एक सामान्य स्थिति थी। मानव भाषा की ज्यामिति स्वाभाविक रूप से प्रश्न के सबसे महत्वपूर्ण हिस्सों को इतनी दूर रखती है कि एक मानक, छोटी-विंडो वाली खोज प्रणाली उन्हें एक साथ नहीं देख सकती।
यह शोधपत्र किसी भी ऐसे सिस्टम के लिए इस समस्या का निदान करने का एक सरल, लागत-मुक्त तरीका प्रदान करता है जो मेमोरी खोजने के लिए स्थानीय विंडो का उपयोग करता है। इसके लिए किसी नए मॉडल को प्रशिक्षित करने या जटिल परीक्षण चलाने की आवश्यकता नहीं है। आपको बस एक प्रश्न लेना है, वाक्य में बहुत पीछे स्थित एक शब्द को उसी प्रकार के दूसरे शब्द से बदलना है, और देखना है कि क्या सिस्टम की खोज बदलती है। यदि खोज नहीं बदलती है, तो वह शब्द सिस्टम के लिए अदृश्य था, और उस पर सिस्टम द्वारा व्यक्त किया गया कोई भी आत्मविश्वास अकारण है। अध्ययन प्रकट करता है कि हालांकि ये सिस्टम पर्याप्त गहराई और समय मिलने पर अपनी वास्तुशिल्प संबंधी अंधता को दूर करना सीख सकते हैं, लेकिन प्रारंभिक विफलता एक यांत्रिक निश्चितता है। सिस्टम आंशिक दृश्य के आधार पर पूर्ण आत्मविश्वास के साथ उत्तर देता है, और जब तक आर्किटेक्चर नहीं बदलता या मॉडल को वह शुल्क चुकाने के लिए पर्याप्त परतें नहीं दी जातीं, तब तक वह आत्मविश्वास अक्सर गलत होता है।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।