A Reproducibility Study of Partial Residual Ablations in Pre-LN Transformers

आधुनिक आर्टिफिशियल इंटेलिजेंस जो लिखता है, अनुवाद करता है और तर्क करता है, वह एक विशिष्ट आर्किटेक्चरल डिज़ाइन पर निर्भर करता है जिसे 'ट्रांसफॉर्मर' के रूप में जाना जाता है। इस डिज़ाइन के केंद्र में प्रोसेसिंग परतों के गहरे स्टैक होते हैं, जिनमें से प्रत्येक पिछली परत से प्राप्त जानकारी को परिष्कृत करता है। इन गहरी नेटवर्कों को प्रशिक्षण के दौरान बिखरने से बचाने के लिए, इंजीनियर "स्किप कनेक्शन" (skip connections) का उपयोग करते हैं। कल्पना कीजिए कि झरनों की एक श्रृंखला के माध्यम से एक नदी बह रही है; स्किप कनेक्शन एक बाईपास चैनल की तरह है जो पानी को झरने के चारों ओर बहने और नीचे की ओर धारा में फिर से मिलने की अनुमति देता है। यह सुनिश्चित करता है कि सिग्नल कभी खो न जाए या कम न हो जाए, चाहे डेटा को कितनी भी परतों से होकर गुजरना पड़े। वर्षों से, मानक अभ्यास हर एक प्रोसेसिंग स्टेप के बाद इन बाईपासों को शामिल करना रहा है। लेकिन हाल ही में एक जांच में एक सरल, संरचनात्मक प्रश्न पूछा गया: क्या होगा यदि हम इनमें से केवल एक बाईपास को हटा दें? क्या सिस्टम पूरी तरह से विफल हो जाएगा, या क्या वह अनुकूलन करने का कोई तरीका खोज लेगा?

प्रतिक कुमार बाबरिया नामक एक शोधकर्ता ने आर्टिफिशियल इंटेलिजेंस मॉडल बनाकर और व्यवस्थित रूप से इन सुरक्षा जालों को हटाकर इसका उत्तर देने का संकल्प लिया। उन्होंने दो विशिष्ट परिदृश्यों का परीक्षण किया: एक जहाँ अटेंशन मैकेनिज्म (attention mechanism) के बाद के बाईपास को हटाया गया था, और दूसरा जहाँ फीड-फॉरवर्ड नेटवर्क (feed-forward network) के बाद के बाईपास को हटाया गया था। अटेंशन मैकेनिज्म मॉडल का वह हिस्सा है जो यह तय करता है कि एक वाक्य के कौन से शब्द एक-दूसरे के लिए सबसे अधिक प्रासंगिक हैं, जबकि फीड-फॉरवर्ड नेटवर्क वह हिस्सा है जो उस जानकारी को प्रोसेस और रूपांतरित करता है। लक्ष्य यह देखना था कि क्या मॉडल इन विशिष्ट शॉर्टकट के बिना जीवित रह सकता है, या क्या इसे हटाने से पूरी सीखने की प्रक्रिया ध्वस्त हो जाएगी।

छोटे मॉडलों पर किए गए प्रारंभिक प्रयोगों ने एक निराशाजनक परिणाम का सुझाव दिया। जब शोधकर्ता ने दोनों में से किसी भी एक बाईपास को हटाया, तो मॉडल सीखने में विफल रहे, और वे बिना किसी बाईपास वाले मॉडल के समान खराब प्रदर्शन स्तर पर ही अटक गए। ऐसा प्रतीत हुआ कि दोनों शॉर्टकट समान रूप से आवश्यक थे। हालांकि, यह प्रारंभिक परिणाम संभवतः माप उपकरणों की एक त्रुटि थी। शोधकर्ता को एहसास हुआ कि जिस तरह से वह मॉडलों का मूल्यांकन कर रहे थे, वह रैंडम शोर (noise) पैदा कर रहा था, जिससे सूक्ष्म अंतर देखना असंभव हो गया था। उन्होंने एक अधिक कठोर सेटअप का उपयोग करके, परीक्षण के लिए निश्चित डेटा का उपयोग करते हुए और यह सुनिश्चित करते हुए कि प्रत्येक वेरिएबल नियंत्रित हो, प्रयोग को फिर से बनाया।

जब इस स्वच्छ पद्धति के साथ प्रयोग को फिर से चलाया गया, तो एक चौंका देने वाली विषमता उभर कर आई। फीड-फॉरवर्ड नेटवर्क के बाद के बाईपास को हटाने से मॉडल पूरी तरह से विफल हो गया, ठीक वैसा ही जैसा प्रारंभिक परीक्षणों में दिखा था। मॉडल सीख नहीं सका, और उसका प्रदर्शन उच्च त्रुटि दर पर ही अटका रहा। लेकिन जब अटेंशन मैकेनिज्म के बाद के बाईपास को हटाया गया, तो मॉडल ने कुछ अप्रत्याशित किया: उसने सीखा। यह उन मॉडलों की तरह प्रदर्शन नहीं कर सका जिनमें इसके सभी शॉर्टकट बरकरार थे, लेकिन इसने भाषा को प्रोसेस करना सफलतापूर्वक सीख लिया, और प्रदर्शन का एक ऐसा स्तर प्राप्त किया जो विफल मॉडल से कहीं बेहतर था। यह परिणाम कोई इत्तेफाक नहीं था; शोधकर्ता ने अलग-अलग रैंडम शुरुआती बिंदुओं के साथ इस सफल कॉन्फ़िगरेशन को आठ बार चलाया, और हर एक मामले में, मॉडल ने प्रभावी ढंग से सीखा। दूसरे कॉन्फ़िगरेशन की विफलता भी उतनी ही सुसंगत थी, जो हर बार परीक्षण किए जाने पर होती थी।

शोधकर्ता ने फिर देखा कि यह अंतर क्यों मौजूद था। उन्होंने देखा कि विफल होने वाले मॉडलों में, निचले स्तरों से ऊपरी स्तरों तक सूचना का प्रवाह पूरी तरह से रुक गया था, जिसे 'ग्रेडिएंट स्टार्वेशन' (gradient starvation) कहा जाता है। यह दोनों विफल मामलों में हुआ। हालांकि, जिस मॉडल ने सफलता प्राप्त की, उसमें अटेंशन मैकेनिज्म ने एक रास्ता ढूंढ लिया था। चूंकि अटेंशन मैकेनिज्म एक वाक्य के सभी शब्दों को एक साथ देखता है, इसलिए यह विभिन्न स्थितियों (positions) के बीच सूचना को रूट करने के लिए सीख सकता है, जिससे भौतिक शॉर्टकट के बिना भी डेटा के प्रवाह के लिए एक पथ प्रभावी रूप से पुनर्निर्मित हो जाता है। इसके विपरीत, फीड-फॉरवर्ड नेटवर्क प्रत्येक शब्द को अलग-थलग प्रोसेस करता है और इस तरह का क्रॉस-कनेक्शन नहीं बना सकता। अपने बाईपास के बिना, उसके पास खोई हुई जानकारी को पुनः प्राप्त करने का कोई तरीका नहीं है।

कहानी एक पूर्ण, सुलझे हुए रहस्य के साथ समाप्त नहीं होती। जब शोधकर्ता ने प्रयोग को बहुत बड़े मॉडल तक बढ़ाया, तो परिणाम कम स्पष्ट हो गए। हालांकि मॉडल जिसने फीड-फॉरवर्ड बाईपास हटाया था, वह विफल हो गया, लेकिन जिस मॉडल ने अटेंशन बाईपास हटाया था, उसने सीखने के संकेत दिखाए, लेकिन उसका प्रदर्शन रैंडम शुरुआती स्थितियों के आधार पर बहुत अधिक बदलता रहा। कुछ रन में, उसने अच्छा सीखा; अन्य में, उसे संघर्ष करना पड़ा। यह सुझाव देता है कि हालांकि अनुकूलन की क्षमता वास्तविक है, लेकिन जैसे-जैसे मॉडल बड़ा और अधिक जटिल होता जाता है, इसे बनाए रखना कठिन हो जाता है। शोधकर्ता ने अपने स्वयं के प्रारंभिक कार्य में एक महत्वपूर्ण पद्धतिगत त्रुटि भी उजागर की: उन्होंने प्रशिक्षण प्रक्रिया के दौरान एक मल्टीप्लायर (multiplier) को समायोजित करके विफल मॉडलों को ठीक करने की कोशिश की थी, जिससे वे सफल दिखने लगे थे। उन्हें बाद में एहसास हुआ कि प्रशिक्षण एल्गोरिदम ने इस परिवर्तन के लिए स्वचालित रूप से क्षतिपूर्ति कर दी थी, जिससे वह समायोजन केवल एक भ्रम था। इस गलती को सुधारकर और अपने निष्कर्ष को पारदर्शी रूप से रिपोर्ट करके, उन्होंने यह सुनिश्चित किया कि अंतिम निष्कर्ष वास्तविकता पर आधारित था, न कि सॉफ्टवेयर के किसी आर्टिफैक्ट पर।

मुख्य निष्कर्ष यह है कि आर्टिफिशियल इंटेलिजेंस के मस्तिष्क के सभी शॉर्टकट समान नहीं होते हैं। मॉडल के उस हिस्से के बाद के पथ को हटाना जो शब्दों को एक-दूसरे से जोड़ता है, सिस्टम को जीवित रहने और सीखने की अनुमति देता है, संभवतः इसलिए क्योंकि वह सिस्टम क्षतिपूर्ति करने के लिए खुद को पुनर्गठित कर सकता है। व्यक्तिगत शब्दों को प्रोसेस करने वाले भाग के बाद के पथ को हटाने से सिस्टम पूरी तरह से टूट जाता है। यह अंतर छोटे मॉडलों में सच है और बड़े मॉडलों के लिए भी दृढ़ता से सुझाव दिया गया है, हालांकि बड़े मॉडलों को अनुकूलन क्षमता की सीमाओं की पुष्टि करने के लिए और अधिक अध्ययन की आवश्यकता है। यह कार्य एक अनुस्मारक के रूप में कार्य करता है कि जटिल प्रणालियों में, कनेक्शनों की विशिष्ट व्यवस्था उतनी ही महत्वपूर्ण है जितने कि वे कनेक्शन स्वयं हैं, और यह भी कि जब कोई सिस्टम विफल होता हुआ प्रतीत होता है, तो एक सूक्ष्म दृष्टि रिकवरी की एक छिपी हुई क्षमता को प्रकट कर सकती है।