Memory load amplifies quantization noise in transformers
यह शोध पत्र प्रदर्शित करता है कि जैसे-जैसे ट्रांसफॉर्मर अपनी मेमोरी क्षमता के करीब पहुँचते हैं, वेट क्वांटाइजेशन (weight quantization) के कारण होने वाला क्षरण बढ़ जाता है क्योंकि संग्रहीत तथ्यों के लिए घटते मार्जिन, नेटवर्क के डाउनस्ट्रीम लेयर गेन्स (downstream layer gains) द्वारा संचालित बढ़ते क्वांटाइजेशन नॉइज़ के साथ मेल खाते हैं।
मूल पेपर CC BY 4.0 (https://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
आधुनिक कृत्रिम बुद्धिमत्ता प्रणालियाँ, जिन्हें अक्सर भाषा मॉडल (लैंग्वेज मॉडल्स) कहा जाता है, शब्दों के आपस में जुड़ने के तरीके को सीखने के लिए विशाल मात्रा में टेक्स्ट पढ़कर प्रशिक्षित की जाती हैं। वे जितना अधिक डेटा ग्रहण करती हैं, वे मानव भाषा को समझने और उत्पन्न करने में आमतौर पर उतनी ही बेहतर होती जाती हैं। इन विशाल प्रणालियों को रोजमर्रा के उपयोग के लिए व्यावहारिक बनाने के लिए, इंजीनियर अक्सर उनके आंतरिक नंबरों को कम बिट्स में राउंड करके उन्हें कंप्रेस (संकुचित) कर देते हैं, जिसे क्वांटाइजेशन (quantization) कहा जाता है। यह मॉडल को चलाने के लिए आवश्यक मेमोरी को कम कर देता है, जिससे वे छोटे उपकरणों पर भी फिट हो पाते हैं। हालाँकि, एक पहेली जैसा पैटर्न सामने आया है: अधिक डेटा पर प्रशिक्षित मॉडल, कम डेटा पर प्रशिक्षित मॉडल की तुलना में कंप्रेशन के बाद अधिक गंभीर रूप से टूट जाते हैं। यह विरोधाभासी लगता है कि अधिक सीखना एक प्रणाली को अधिक नाजुक बना देगा, फिर भी ऐसा ही होता है। इस भेद्यता (vulnerability) का कारण अब तक एक रहस्य बना हुआ था।
एक शोधकर्ता ने तथ्यों को याद रखने के लिए डिज़ाइन किए गए एक भाषा मॉडल के सरलीकृत संस्करण का अध्ययन करके इस नाजुकता के पीछे के छिपे हुए तंत्र का खुलासा किया है। उन्होंने एक डिजिटल प्रयोग बनाया जहाँ एक कंप्यूटर मॉडल काल्पनिक व्यक्तियों की जीवनियाँ सीख रहा था, जिसमें जन्म तिथि, शहर और नियोक्ताओं जैसे विवरण संग्रहीत थे। क्योंकि इन कृत्रिम जीवनियों में जानकारी पूरी तरह से नियंत्रित थी, शोधकर्ता सटीक रूप से माप सके कि मॉडल अपने आकार के सापेक्ष कितनी जानकारी संग्रहीत करता है। इसके बाद, उन्होंने यह परीक्षण किया कि अपने आंतरिक नंबरों को विभिन्न स्तरों की सटीकता तक राउंड करने के बाद मॉडल इन तथ्यों को कितनी अच्छी तरह याद रखता है। उनका कार्य प्रकट करता है कि सूचना से भरे मॉडल को दोहरी सजा भुगतनी पड़ती है। पहला, जैसे-जैसे मॉडल तथ्यों से भरता है, प्रत्येक स्मृति (मेमोरी) के लिए सुरक्षा मार्जिन कम होता जाता है, जिससे त्रुटि के लिए कम जगह बचती है। लेकिन शोधकर्ता ने एक दूसरा, अधिक आश्चर्यजनक प्रभाव भी खोजा: प्रशिक्षित नेटवर्क स्वयं राउंडिंग से उत्पन्न होने वाली छोटी त्रुटियों को बढ़ाने (एम्प्लीफाई करने) के लिए सीख जाता है। यह त्रुटि कंप्रेशन पद्धति की कमी नहीं है, बल्कि प्रशिक्षण के बाद नेटवर्क की अपनी संरचना का एक गुण है।
इसे समझने के लिए, कल्पना करें कि मॉडल परतों (layers) की एक श्रृंखला है जिससे होकर जानकारी को गुजरना पड़ता है। जब शोधकर्ता ने नंबरों को राउंड किया, तो उन्होंने परिणामी त्रुटियों को रैंडम नॉइज़ (यादृच्छिक शोर) माना। उन्होंने इस शोर के नेटवर्क के माध्यम से अंतिम उत्तर तक जाने का पता लगाया। उन्होंने पाया कि नेटवर्क इन त्रुटियों के लिए एक आवर्धक लेंस (मैग्निफाइंग ग्लास) की तरह कार्य करता है। जैसे-जैसे मॉडल अधिक तथ्य सीखता है, वह अपने आंतरिक कनेक्शनों को इस तरह से समायोजित करता है जिससे अंतिम आउटपुट वेट्स (weights) में होने वाले छोटे व्यवधानों के प्रति बहुत संवेदनशील हो जाता है। उनके प्रयोगों में, जैसे-जैसे संग्रहीत जानकारी की मात्रा बढ़ी, राउंडिंग के कारण होने वाला शोर ढाई गुना बढ़ गया। यह वृद्धि राउंडिंग ग्रिड के अधिक मोटे होने के कारण नहीं थी, बल्कि इसलिए थी क्योंकि नेटवर्क की डाउनस्ट्रीम परतों ने उस व्यवधान को बढ़ा दिया था। शोधकर्ता ने गणना की कि यह प्रवर्धन (amplification) उस अतिरिक्त सटीकता के हिस्से को कवर करता है जो मॉडल को अधिक लोड होने पर भी काम करने के योग्य बनाए रखने के लिए आवश्यक है।
अध्ययन यह भी दर्शाता है कि यह प्रवर्धन पूरे सिस्टम में समान नहीं है। शोधकर्ता ने शोर के योगदान को परत दर परत विभाजित किया और पाया कि नेटवर्क की अंतिम परत, जो आउटपुट के लिए उत्तर तैयार करती है, प्रवर्धन के एक महत्वपूर्ण हिस्से के लिए जिम्मेदार थी। हालाँकि, जैसे-जैसे मॉडल अधिक लोड होता गया, मध्यवर्ती परतों ने भी बढ़ती भूमिका निभाई। घटते सुरक्षा मार्जिन को बढ़ते त्रुटि प्रवर्धन के साथ जोड़कर, शोधकर्ता सटीक रूप से भविष्यवाणी कर सके कि कंप्रेशन के बाद मॉडल कितने तथ्य खो देगा। उनका गणितीय विवरण, जो केवल फुल-प्रिसिजन वेट्स और नेटवर्क की ज्यामिति पर आधारित था, ने मॉडल को बिना पुन: प्रशिक्षित किए या संकुचित संस्करण का परीक्षण किए, खोए हुए तथ्यों के अंश की सफलतापूर्वक भविष्यवाणी की।
यह निष्कर्ष इस सामान्य धारणा को चुनौती देता है कि कंप्रेशन की समस्याएँ केवल उपयोग किए जाने वाले नंबरों की सटीकता के बारे में हैं। जबकि वर्तमान विधियाँ आउटलेर्स या विशिष्ट वेट समूहों को संभालने के लिए राउंडिंग प्रक्रिया को परिष्कृत करने पर ध्यान केंद्रित करती हैं, यह शोध सुझाव देता है कि समस्या का एक बड़ा हिस्सा स्वयं प्रशिक्षण प्रक्रिया में ही समाहित है। नेटवर्क अपने ज्ञान को इस तरह से पढ़ने के लिए सीखता है जो व्यवधान के प्रति अत्यधिक संवेदनशील होता है। लेखक नोट करते हैं कि उनके निष्कर्ष एक विशिष्ट, छोटे मॉडल पर आधारित हैं जो मनमाने संबंधों पर प्रशिक्षित है, और वे आगे के परीक्षण का आह्वान करते हैं कि क्या यह प्रवर्धन प्रभाव आज के विशाल, वास्तविक दुनिया के मॉडलों के लिए भी सत्य है। यदि ऐसा है, तो नेटवर्क का "गेन" (gain)—त्रुटियों को बढ़ाने की डिग्री—एक नया नैदानिक उपकरण (diagnostic tool) बन सकता है। इंजीनियर संभावित रूप से एक फुल-प्रिसिजन मॉडल को देखकर यह भविष्यवाणी कर सकते हैं कि मॉडल कितनी सटीकता खोने का जोखिम उठा सकता है इससे पहले कि वह जो कुछ भी उसने सीखा है उसे भूलने लगे, जिससे कुशल और मजबूत कृत्रिम बुद्धिमत्ता बनाने का एक स्पष्ट मार्ग मिल सकता है।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।