When Do Concepts Become Functionally Sufficient During Language-Model Training?
यह शोध पत्र एक कार्यात्मक ढांचे को प्रस्तुत करता है जो यह निर्धारित करता है कि भाषा मॉडल प्रशिक्षण के दौरान आंतरिक अवधारणाएं कब पर्याप्त हो जाती हैं, यह परीक्षण करते हुए कि क्या विरल, मास्क किए गए सक्रियण (activations) परतों और चेकपॉइंट्स के माध्यम से हस्तक्षेपों के माध्यम से लक्षित सूचना को संरक्षित कर सकते हैं, जिससे यह प्रकट होता है कि डाउनस्ट्रीम मास्क, न्यूनतम भविष्य कहनेवाला वितरण बदलावों (predictive distribution shifts) के बावजूद, पुनर्निर्माण मास्क की तुलना में काफी कम सॉफ्ट मास बनाए रखते हैं।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
आधुनिक कंप्यूटर जो भाषा को समझते हैं, वे शब्दों को संख्याओं के विशाल बादलों में बदलकर काम करते हैं। जैसे-जैसे ये मशीनें सीखती हैं, वे आंतरिक संरचनाएं बनाती हैं, गणितीय मार्गों की परतें जो सूचनाओं को व्यवस्थित करने के लिए भविष्यवाणियां करने हेतु निर्माण करती हैं। वर्षों से, वैज्ञानिक इन बादलों के भीतर झांकने की कोशिश कर रहे हैं ताकि देख सकें कि कंप्यूटर वास्तव में क्या सोच रहा है। उन्होंने विशिष्ट पैटर्न या "अवधारणाओं" (concepts) की तलाश की जो "विनम्रता" या "गणित" जैसे विचारों का प्रतिनिधित्व कर सकती हैं। हालांकि, एक पैटर्न का मिलना इस बात के समान नहीं है कि वह उसके उद्देश्य को समझता है। एक संरचना मशीन के भीतर मौजूद हो सकती है लेकिन बिना कभी उपयोग किए जाने के, ठीक वैसे ही जैसे एक औज़ार जो टूलबॉक्स में रखा है पर कभी उठाया नहीं गया। महत्वपूर्ण प्रश्न केवल यह नहीं है कि मॉडल के भीतर क्या दिखाई देता है, बल्कि यह है कि वे आंतरिक संरचनाएं वास्तव में कार्य के लिए कब उपयोगी होती हैं।
शोधकर्ताओं की एक टीम ने यह देखने के लिए कि ये आंतरिक संरचनाएं प्रशिक्षण की शुरुआत से लेकर अंत तक कैसे बदलती हैं, इस प्रश्न का उत्तर देने का प्रयास किया। मॉडल के अंतिम स्वरूप को देखने के बजाय, उन्होंने सीखने की प्रक्रिया को एक फिल्म की तरह माना, जिसमें उन्होंने मशीन की क्षमताओं का परीक्षण करने के लिए उसे अलग-अलग क्षणों पर रोका। उन्होंने मॉडल के मस्तिष्क की एक विशिष्ट परत ली और संख्याओं के उन छोटे समूहों को अलग करने की कोशिश की जो महत्वपूर्ण जानकारी ले जाते प्रतीत होते थे। ऐसा करने के लिए, उन्होंने "मास्किंग" (masking) की एक विधि बनाई, जो मशीन की आंतरिक गतिविधि पर एक अर्ध-पारदर्शी स्क्रीन रखने जैसा है। यह स्क्रीन कुछ संख्याओं को धुंधला या छिपा सकती थी जबकि अन्य को गुजरने दे सकती थी। शोधकर्ताओं ने एक सरल, कठोर प्रश्न पूछा: यदि हम अधिकांश गतिविधि को छिपा दें और केवल उन संख्याओं को रखें जिन्हें हमारी स्क्रीन द्वारा चुना गया है, तो क्या कंप्यूटर अभी भी वही भविष्यवाणियां करेगा जो वह पहले करता था?
टीम ने इस विचार का परीक्षण सात अलग-अलग भाषा मॉडलों में किया, जो छोटे से लेकर बड़े सिस्टम तक फैले हुए थे, और देखा कि मशीन के सीखने के साथ उत्तर कैसे बदलता है। उन्होंने "उपयोगिता" को आंकने के चार अलग-अलग तरीकों की तुलना की। सबसे पहले, उन्होंने जांचा कि क्या शेष संख्याएं मूल डेटा के क्लाउड को फिर से बना सकती हैं। दूसरा, उन्होंने परीक्षण किया कि क्या एक सरल, स्थिर अनुवादक अभी भी शेष संख्याओं से अर्थ पढ़ सकता है। तीसरा, और सबसे महत्वपूर्ण, उन्होंने जांचा कि क्या कंप्यूटर का वास्तविक व्यवहार—नई टेक्स्ट पर इसकी अंतिम भविष्यवाणियां—अपरिवर्तित रहता है। अंत में, उन्होंने परीक्षण किया कि क्या प्रशिक्षण के एक बहुत बाद के चरण में सीखा गया ज्ञान अभी भी मॉडल द्वारा पहचाना और उपयोग किया जा सकता है।
परिणामों ने एक आश्चर्यजनक सत्य का खुलासा किया कि ये मशीनें कैसे सीखती हैं। जब शोधकर्ताओं ने कंप्यूटर के व्यवहार को बिल्कुल समान रखने की कोशिश की, तो उन्होंने पाया कि उन्हें बहुत कम जानकारी रखनी पड़ी। वास्तव में, मॉडल की वास्तविक भविष्यवाणियों को बनाए रखने के कार्य के लिए, उन्हें आंतरिक गतिविधि का केवल लगभग 6.6 प्रतिशत ही रखना आवश्यक था। मूल संख्याओं को फिर से बनाने के लिए आवश्यक डेटा की तुलना में यह एक बहुत छोटा अंश है, जिसके लिए 70 प्रतिशत से अधिक गतिविधि को संरक्षित करने की आवश्यकता थी। यह सुझाव देता है कि कंप्यूटर एक विशाल मात्रा में सूचना संग्रहीत करता है, लेकिन इसका केवल एक बहुत छोटा, विशिष्ट हिस्सा ही निर्णय लेने के लिए भारी काम करता है। बाकी की गतिविधि, हालांकि मौजूद है, उन दिशाओं में प्रतीत होती है जिन्हें मॉडल की निर्णय लेने की प्रक्रिया काफी हद तक अनदेखा कर देती है।
अध्ययन ने यह भी दिखाया कि यह "उपयोगी" सूचना का हिस्सा यादृच्छिक (random) नहीं है। शोधकर्ताओं ने पाया कि जिन संख्याओं पर मॉडल अपनी भविष्यवाणियों के लिए निर्भर करता है, वे उस कार्य के प्रति अत्यधिक संवेदनशील हैं जिसे वह सीख रहा है। वे उन क्षेत्रों में केंद्रित हैं जहां मॉडल की आंतरिक ज्यामिति सबसे अधिक घुमावदार है, जिसका अर्थ है कि ये वे दिशाएं हैं जहां छोटे बदलावों का अंतिम उत्तर पर सबसे बड़ा प्रभाव पड़ता है। शोधकर्ताओं ने यह भी खोजा कि इन उपयोगी संरचनाओं के प्रकट होने का समय मॉडल के विशिष्ट प्रकार पर बहुत अधिक निर्भर करता है। कुछ मॉडलों के लिए, उपयोगी जानकारी प्रशिक्षण के दौरान स्थिर और स्पष्ट हो जाती है, जबकि अन्य के लिए, इस जानकारी का स्थान नेटवर्क की परतों के माध्यम से महत्वपूर्ण रूप से बदल जाता है।
शायद सबसे महत्वपूर्ण बात यह है कि शोधकर्ताओं ने पाया कि एक मॉडल द्वारा इन अवधारणाओं का उपयोग करना सीखने का तरीका एक सरल, सीधी रेखा नहीं है। वह जानकारी जो अंतिम भविष्यवाणी के लिए उपयोगी है, अक्सर उस जानकारी से भिन्न होती है जिसे देखना या मापना सबसे आसान है। एक संरचना जिसे पहचानना और वर्णित करना बहुत आसान हो सकता है, वह अंतिम निर्णय में लगभग कुछ भी योगदान नहीं दे सकती है। इसके विपरीत, सूचना का वह सूक्ष्म अंश जो मॉडल के व्यवहार को संचालित करता है, अक्सर जटिल पैटर्न के भीतर छिपा होता है जिसे इस विशिष्ट परीक्षण पद्धति के बिना अलग करना कठिन है। अध्ययन निष्कर्ष निकालता है कि हम भाषा मॉडल की परिपक्वता का निर्णय उसकी आंतरिक संरचनाओं को अलग से देखकर नहीं कर सकते। इसके बजाय, हमें यह मापना चाहिए कि वे संरचनाएं वास्तव में क्या करती हैं। मशीन शोर और अप्रयुक्त क्षमता से भरी हो सकती है, लेकिन यह एक उल्लेखनीय रूप से छोटे, कुशल कोर की गतिविधि पर ध्यान केंद्रित करके कार्य करने के लिए सीखती है जो इसकी समझ का भार वहन करती है।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।