Static Gradient Attribution Underperforms a Density-Matched Random Mask on Loss-Based Forgetting Within LoRA B-Matrix
यह शोध पत्र प्रकट करता है कि ज़ीरो-इनिशियलाइज़्ड (zero-initialized) LoRA में एक पूर्व में अनदेखा किया गया पैरामीटर-पूल कन्फाउंड (parameter-pool confound), ग्रेडिएंट एट्रिब्यूशन मास्क को लॉस-आधारित विस्मृति (loss-based forgetting) को कम करने में डेंसिटी-मैच्ड रैंडम मास्क की तुलना में कम प्रभावी बनाता है, क्योंकि रैंडम मास्क की A और B मैट्रिसेस दोनों में से चयन करने की क्षमता, केवल B मैट्रिक्स तक ही सीमित ग्रेडिएंट-आधारित चयन की तुलना में स्थिरता-प्लास्टिसिटी (stability-plasticity) का लाभ प्रदान करती है।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने नहीं लिखा है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
कल्पना कीजिए कि आप एक कंप्यूटर को हर दिन एक नई किताब पढ़ना सिखा रहे हैं। लक्ष्य यह है कि वह कल सीखी गई बातों को भूले बिना नई सामग्री सीख ले। यह आर्टिफिशियल इंटेलिजेंस (AI) के लिए "कंटीन्यूअल लर्निंग" (निरंतर सीखने) की केंद्रीय चुनौती है। जब एक लार्ज लैंग्वेज मॉडल (LLM) कोई नया कार्य सीखता है, तो वह अक्सर अपने पिछले कार्यों से प्राप्त ज्ञान को मिटा देता है, जिसे शोधकर्ता "कैटास्ट्रोफिक फॉरगेटिंग" (विनाशकारी विस्मृति) कहते हैं। इसे रोकने के लिए, वैज्ञानिक "लो-रैंक एडेप्टेशन" या LoRA नामक तकनीक का उपयोग करते हैं। AI के पूरे विशाल मस्तिष्क को फिर से प्रशिक्षित करने के बजाय, जो धीमा और महंगा है, वे नए कनेक्शनों की एक छोटी, हल्की परत जोड़ देते हैं। प्रश्न यह है: इन नए कनेक्शनों में से किसे बदलने की अनुमति दी जानी चाहिए?
वर्षों से, मानक उत्तर सीखने की प्रक्रिया के गणित को देखना रहा है। विचार यह है कि कुछ नमूना प्रश्नों पर एक त्वरित परीक्षण चलाएं, यह गणना करें कि प्रत्येक नया कनेक्शन कितना मदद करेगा, और फिर केवल उन्हीं को अपडेट करें जिनका स्कोर सबसे अधिक है। यह विधि, जिसे "ग्रेडिएंट एट्रिब्यूशन" कहा जाता है, एक शिक्षक की तरह है जो छात्र के अभ्यास क्विज़ को ग्रेड देता है ताकि अगले एग्जाम के लिए यह तय किया जा सके कि किन विशिष्ट मांसपेशियों को मजबूत करना है। यह सहज और सटीक लगता है। हालांकि, एक नया अध्ययन सुझाव देता है कि यह सावधानीपूर्वक गणना समय की बर्बादी हो सकती है, और एक बहुत सरल दृष्टिकोण—कनेक्शनों को यादृच्छिक रूप से (रैंडमली) चुनना—वास्तव में AI को उसके पिछले पाठों को भूलने से रोकने में बेहतर काम करता है।
यु सन और उनके सहयोगियों के एक दल द्वारा, जिसमें पेन्सिलवेनिया विश्वविद्यालय और स्टैनफोर्ड सहित विभिन्न संस्थानों के शोधकर्ता शामिल थे, इस अंतर्ज्ञान का परीक्षण एक विशिष्ट प्रकार के AI मॉडल पर करने का निर्णय लिया। उन्होंने एक बहुत ही सामान्य सेटअप पर ध्यान केंद्रित किया जहाँ नए कनेक्शन शून्य मान (zero value) से शुरू होते हैं। इस विशिष्ट शुरुआती स्थिति में, कनेक्शनों को ग्रेड देने के लिए उपयोग किया जाने वाला मानक गणितीय परीक्षण एक छिपे हुए दोष के साथ आता है। चूंकि कनेक्शन शून्य से शुरू होते हैं, इसलिए परीक्षण उपलब्ध नए कनेक्शनों में से आधे को शून्य स्कोर देता है, जिससे उन्हें प्रभावी रूप से अनदेखा कर दिया जाता है। इसका मतलब है कि "स्मार्ट" विधि को केवल शेष आधे में से चुनने के लिए मजबूर किया जाता है, जबकि एक "रैंडम" विधि पूरे पूल में से चुनने के लिए स्वतंत्र है। शोधकर्ताओं ने महसूस किया कि इन दोनों विधियों की तुलना करना अनुचित था, जैसे कि एक धावक की तुलना दूसरे से करना जिसे ट्रैक पर दौड़ने की अनुमति है बनाम उसे जो खेत के बीच से दौड़ने के लिए मजबूर है।
इस तुलना को निष्पक्ष बनाने के लिए, टीम ने एक उचित तुलना डिजाइन की। उन्होंने "स्मार्ट" विधि और "रैंडम" विधि दोनों को कनेक्शनों के बिल्कुल समान सेट में से चुनने और समान संख्या में उन्हें अपडेट करने के लिए मजबूर किया। इसके बाद उन्होंने AI को पांच अलग-अलग कार्यों के क्रम में प्रशिक्षित किया: कोडिंग लिखना, चिकित्सा संबंधी प्रश्नों के उत्तर देना, कानूनी मामलों को संभालना, गणित की समस्याओं को हल करना और रचनात्मक कहानियाँ लिखना। उन्होंने परिणामों को ठोस बनाने के लिए अलग-अलग रैंडम शुरुआती बिंदुओं के साथ इस प्रयोग को सात बार चलाया।
परिणाम स्पष्ट और सुसंगत थे। हर एक रन में, जिस विधि ने कनेक्शनों को रैंडम तरीके से चुना, उसने उस विधि की तुलना में AI को पिछला ज्ञान कम भुलाने दिया जो गणितीय परीक्षण के आधार पर "सर्वश्रेष्ठ" कनेक्शनों को चुनने की कोशिश करती थी। यह अंतर छोटा नहीं था; औसतन, रैंडम विधि ने ग्रेडिएंट विधि की तुलना में विस्मृति मेट्रिक (forgetting metric) को लगभग 0.15 अंक कम किया। यह लाभ मुख्य रूप से मेडिकल टास्क पर केंद्रित था, जिसने कुल प्रभाव में 80% योगदान दिया, जबकि कोडिंग और गणित के कार्यों ने भी इसी दिशा में संकेत दिया। हालांकि, लीगल टास्क में दोनों विधियों के बीच कोई विश्वसनीय अंतर नहीं देखा गया। शोधकर्ताओं ने पाया कि "स्मार्ट" विधि वास्तव में प्रशिक्षण के समय वर्तमान कार्य को थोड़ा बेहतर तरीके से सीखती है, लेकिन वह अपनी दीर्घकालिक स्मृति खोकर इस अल्पकालिक लाभ की कीमत चुकाती है। इसके विपरीत, रैंडम विधि वर्तमान कार्य को बस इतना ही सीखती है जितना आवश्यक है, जबकि पुराने ज्ञान को बहुत अधिक प्रभावी ढंग से सुरक्षित रखती है।
अध्ययन ने यह भी देखा कि क्या "स्मार्ट" विधि चिकित्सा और कानूनी क्षेत्रों जैसे बहुविकल्पीय प्रश्नों पर AI की सटीकता को उच्च बनाए रखने में बेहतर है। यहाँ, परिणाम कम निर्णायक थे। डेटा ने दिखाया कि दोनों विधियों के बीच औसत सटीकता का अंतर सांख्यिकीय रूप से शून्य से अलग नहीं था। संभावित परिणामों की सीमा में यह संभावना भी शामिल थी कि रैंडम विधि उतनी ही अच्छी हो सकती है। चूंकि "स्मार्ट" विधि के लिए गणना का एक अतिरिक्त चरण आवश्यक है जिसमें समय और कंप्यूटिंग शक्ति लगती है, इसलिए सटीकता में स्पष्ट लाभ की कमी इस अतिरिक्त लागत को कठिन बनाती है।
शोधकर्ताओं ने यह भी जांचा कि क्या उनके निष्कर्ष तब भी कायम रहते हैं जब वे कार्यों का क्रम बदलते हैं या किसी अलग प्रकार के AI मॉडल का उपयोग करते हैं। जब उन्होंने कार्यों के क्रम को उल्टा किया, तो विस्मृति दर सभी के लिए कम हो गई, लेकिन रैंडम विधि फिर भी अपनी पकड़ बनाए रखने में सफल रही। जब उन्होंने एक अलग मॉडल आर्किटेक्चर पर इसी तर्क का परीक्षण किया, तो रैंडम विधि ने हर ट्रायल में स्मार्ट विधि से बेहतर प्रदर्शन किया। यह सुझाव देता है कि रैंडमनेस का लाभ किसी एक विशिष्ट सेटअप का संयोग नहीं है, बल्कि यह कि कैसे ये हल्के एडेप्टर सीखते हैं, इसका एक मजबूत हिस्सा है।
इसके निहितार्थ व्यावहारिक हैं। यदि रैंडम चयन बेहतर काम करता है, तो इंजीनियर यह गणना करने के जटिल चरण को छोड़ सकते हैं कि कौन से कनेक्शन सबसे महत्वपूर्ण हैं। वे बस अपडेट करने के लिए नए कनेक्शनों के एक रैंडम समूह को चुन सकते हैं। इससे कंप्यूटिंग समय की काफी बचत होती है और यह तय करने के लिए परीक्षण प्रश्नों के एक अलग सेट की आवश्यकता को भी समाप्त करता है। अध्ययन का निष्कर्ष है कि इस प्रकार के AI प्रशिक्षण के लिए, सटीक होने का प्रयास उल्टा पड़ता है। AI को उसके अतीत को भूलने से रोकने का सबसे प्रभावी तरीका यह है कि यह तय करने के बजाय कि कौन सा चुनाव पूर्ण है, संयोग को यह तय करने दिया जाए कि उसकी नई स्मृति के कौन से हिस्से अपडेट किए जाएंगे।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।