AWARe: Mitigating Catastrophic Forgetting via Activation-Weighted Adaptive REtention
यह शोध पत्र AWARe का प्रस्ताव करता है, जो एक फाइन-ट्यूनिंग विधि है जो एक्टिवेशन पैटर्न के आधार पर पूर्व ज्ञान के लिए महत्वपूर्ण मापदंडों (पैरामीटर्स) को गतिशील रूप से फ्रीज करके मल्टीमॉडल लार्ज लैंग्वेज मॉडल्स में कैटास्ट्रोफिक फॉरगेटिंग को कम करती है, जिससे मॉडल आर्किटेक्चर में बदलाव किए बिना अपस्ट्रीम क्षमताओं को संरक्षित करते हुए बेहतर डाउनस्ट्रीम प्रदर्शन प्राप्त किया जा सके।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
कल्पना कीजिए कि आपका एक शानदार, सुपर-स्मार्ट रोबोट मित्र है जिसने वर्षों तक पुस्तकालय की हर किताब पढ़ी है और दुनिया की हर पेंटिंग देखी है। यह रोबोट, एक मल्टीमॉडल लार्ज लैंग्वेज मॉडल (MLLM), चित्रों और शब्दों दोनों को समझने में अद्भुत है। लेकिन पेचीदा बात यह है कि यदि आप इस रोबोट को कोई नया, विशिष्ट कौशल सिखाने की कोशिश करते हैं—जैसे कि पहेली का खेल हल करना या एक विशेष बिल्ली के बारे में कविता लिखना—तो वह अक्सर जो कुछ भी जानता था, उसे भूल जाता है। यह "भूलने" की प्रक्रिया "कैटैस्ट्रोफिक फॉरगेटिंग" (विनाशकारी विस्मृति) कहलाती है, और यह वैज्ञानिकों के लिए एक बड़ा सिरदर्द है जो इन AI मॉडलों को नया सीखते समय उपयोगी और ज्ञानवर्त बनाए रखना चाहते हैं।
आप जिस शोध पत्र को पढ़ने जा रहे हैं, वह इस समस्या को AWARe नामक एक चतुर नई विधि से हल करता है। सोचिए कि रोबोट के मस्तिष्क को अरबों छोटे श्रमिकों (न्यूरॉन्स) वाला एक विशाल शहर माना जाए जो अलग-अलग काम कर रहे हैं। जब रोबोट कुछ नया सीखता है, तो आमतौर पर वह सभी श्रमिकों को अपनी आदतें बदलने के लिए कहता है, जिससे अराजकता फैलती है और वह अपने पुराने काम भूल जाता है। AWARe एक स्मार्ट दृष्टिकोण का सुझाव देता है: सभी को बदलने के लिए कहने के बजाय, यह उन श्रमिकों को सुनने की कोशिश करता है जो पुराने, परिचित कार्यों को देखते समय सबसे अधिक शोर मचा रहे हैं (सबसे अधिक सक्रिय हैं)। फिर यह उन विशिष्ट, व्यस्त श्रमिकों को बताता है, "तुम बिल्कुल वैसे ही रहो! अपना पुराना काम करते रहो।" केवल शांत, कम व्यस्त श्रमिकों को ही अपनी आदतें बदलने की अनुमति दी जाती है ताकि नया कार्य सीखा जा सके। इस तरह, रोबोट अपने पुराने अनुभवों को खोए बिना नया कौशल सीख लेता है।
समस्या: "ओवरराइट" ग्लिच (Overwrite Glitch)
मल्टीमॉडल लार्ज लैंग्वेज मॉडल सुपर-पावर्ड छात्रों की तरह हैं जो पहले से ही छवियों और पाठ के विशाल विश्वविद्यालय से स्नातक कर चुके हैं। वे तर्क दे सकते हैं, समझा सकते हैं और लगभग किसी भी विषय पर चैट कर सकते हैं। लेकिन जब हम उन्हें "फाइन-ट्यून" करने की कोशिश करते हैं—उन्हें कोई नया, विशिष्ट काम सिखाते हैं जैसे कि चिकित्सा स्थितियों की पहचान करना या किसी विशिष्ट वीडियो गेम के बारे में सवालों के जवाब देना—तो वे अक्सर कैटैस्ट्रोफिक फॉरगेटिंग का शिकार हो जाते हैं।
कल्पना कीजिए कि आप एक नया डांस स्टेप सीखने की कोशिश कर रहे हैं। यदि आप इसका अभ्यास इतनी तीव्रता से करते हैं कि आप चलना ही भूल जाते हैं, तो यह कैटैस्ट्रोफिक फॉरगेटिंग है। AI की दुनिया में, यह इसलिए होता है क्योंकि नए कार्य को सीखने की प्रक्रिया में मॉडल के आंतरिक "वेट्स" (knobs and dials जो उसके सोचने के तरीके को नियंत्रित करते हैं) को अपडेट करना शामिल है। जब मॉडल इन नॉब्स को नए कार्य के लिए समायोजित करता है, तो वह अनजाने में उन नॉब्स को भी घुमा देता है जो उसके पुराने ज्ञान को थामे हुए थे, जिससे पुराने कौशल ढह जाते हैं।
समाधान: AWARe (Activation-Weighted Adaptive REtention)
लेखकों ने इस समस्या को ठीक करने के लिए AWARe नामक एक विधि प्रस्तावित की है। पूरे मस्तिष्क को अंधाधुंध बदलने के बजाय, AWARe एक स्मार्ट लाइब्रेरियन की तरह काम करता है जिसे पता है कि शेल्फ पर कौन सी किताबें रखना सबसे महत्वपूर्ण है।
यह कैसे काम करता है, चरण-दर-चरण यहाँ दिया गया है:
- "सुनने" का चरण (प्रोफाइलिंग): रोबोट को कुछ भी नया सिखाने से पहले, शोधकर्ता उसे "कैलिब्रेशन" उदाहरणों (जैसे कि कुछ पुरानी तस्वीरें या प्रश्न जो वह पहले से अच्छी तरह जानता है) को देखने देते हैं। वे केवल रोबोट की मस्तिष्क संरचना को नहीं देखते; वे देखते हैं कि मस्तिष्क कैसे सक्रिय होता है। वे एक्टिवेशन (सक्रियता) को मापते हैं—यानी परिचित कार्यों को प्रोसेस करते समय प्रत्येक छोटा श्रमिक (न्यूरॉन) कितनी ऊर्जा का उपयोग करता है।
- "फ्रीज" का निर्णय: शोधकर्ताओं ने पाया कि कुछ न्यूरॉन्स सुपर एक्टिव हैं और रोबोट के पुराने ज्ञान के लिए महत्वपूर्ण हैं, जबकि अन्य अधिक शांत रहते हैं। AWARe उन "शोर मचाने वाले" न्यूरॉन्स की पहचान करता है (शीर्ष 30% जो सबसे अधिक सक्रिय हैं) और कहता है, "तुम आवश्यक हो! फ्रीज हो जाओ।" इसका मतलब है कि उनकी सेटिंग्स लॉक कर दी जाती हैं और उन्हें बदला नहीं जा सकता।
- "अडैप्ट" का चरण: शेष न्यूरॉन्स (शांत 70%) को अनलॉक छोड़ दिया जाता है। जब रोबोट नया कार्य सीखता है, तो केवल इन अनलॉक किए गए न्यूरॉन्स को ही बदलने की अनुमति होती है। लॉक किए गए न्यूरॉन्स रोबोट की पुरानी यादों को सुरक्षित रखते हैं।
यह एक बड़ी बात क्यों है
शोध पत्र दिखाता है कि यह विधि दो मुख्य कारणों से गेम-चेंजर है:
- यह एक "नो-ब्रेनर" अपग्रेड है: अन्य विधियों के विपरीत जिनमें रोबोट के मस्तिष्क में नए, जटिल एड-ऑन बनाने या विशाल लाइब्रेरी स्टोर करने की आवश्यकता होती है (जिसमें बहुत अधिक मेमोरी लगती है), AWARe रोबोट के मौजूदा मस्तिष्क के साथ काम करता है। यह आर्किटेक्चर को नहीं बदलता; यह बस यह बदल देता है कि कौन से हिस्से हिलने की अनुमति है। यह एक कमरे में फर्नीचर को पुनर्व्यवस्थित करने जैसा है बिना नई दीवारें बनाए।
- यह चमत्कार करता है: अपने प्रयोगों में, टीम ने LLaVA-v1.5 और Qwen2.5-VL जैसे मॉडलों पर AWARe का परीक्षण किया।
- जब मॉडल को आरेखों (diagrams) के बारे में प्रश्न पूछने के लिए सिखाया गया (IconQA), तो AWARe ने मॉडल के पुराने ज्ञान (जैसे छवियों के बारे में सामान्य प्रश्न पूछना) को उसकी मूल शक्ति के 98.4% तक बनाए रखा, जबकि इसने नए कार्य को भी बहुत अच्छी तरह से सीखा।
- एक निरंतर सीखने (continuous learning) के परीक्षण में, जहाँ मॉडल को क्रमवार पाँच अलग-अलग कार्य सीखने थे (जैसे चिकित्सा, ड्राइविंग और फाइनेंस), AWARe ने सभी अन्य विधियों को पछाड़ दिया, और अगले सबसे अच्छे तरीके से 3.18 अंक अधिक औसत स्कोर बनाए रखा।
शोध पत्र क्या कहता है (और क्या नहीं कहता)
लेखक बहुत स्पष्ट हैं कि उन्होंने क्या पाया और क्या नहीं।
- क्या काम करता है: उन्होंने साबित किया कि न्यूरॉन्स को फ्रीज करने का निर्णय लेने के लिए केवल उनके वेट (weight) के आकार या यादृच्छिक रूप से न्यूरॉन्स चुनने के बजाय एक्टिवेशन (एक न्यूरॉन कितना काम कर रहा है) का उपयोग करना बेहतर है। यदि आप न्यूरॉन्स को यादृच्छिक रूप से चुनते हैं, तो मॉडल अपने पुराने कौशल को तुरंत भूल जाता है। यदि आप उन्हें "शोर मचाने वाले" (loud) न्यूरॉन्स के आधार पर चुनते हैं, तो मॉडल स्मार्ट बना रहता है।
- क्या काम नहीं करता (या जिसकी आवश्यकता नहीं है): उन्होंने दिखाया कि आपको पूरे मस्तिष्क को फ्रीज करने की आवश्यकता नहीं है। मस्तिष्क के विशिष्ट हिस्सों (सेल्फ-अटेंशन लेयर्स और इमेज-टू-टेक्स्ट कनेक्टर) में सबसे सक्रिय शीर्ष 30% न्यूरॉन्स को फ्रीज करना पर्याप्त है। "MLP" भागों (गहन सोच वाली परतों) को फ्रीज करने से वास्तव में प्रदर्शन खराब होता है, जो यह सुझाव देता है कि वे परतें लचीली होने के लिए बनी हैं।
- "मैजिक" कैलिब्रेशन सेट: सबसे दिलचस्प खोजों में से एक यह है कि आपको यह पता लगाने के लिए कि किन न्यूरॉन्स को फ्रीज करना है, रोबोट के मूल प्रशिक्षण डेटा की आवश्यकता नहीं है। आप प्रोफाइलिंग के लिए सामान्य, यादृच्छिक प्रश्नों के सेट (जैसे कि MMMM डेटासेट) का उपयोग कर सकते हैं। इस जेनेरिक डेटा के साथ भी, AWARe लगभग उतना ही अच्छा काम करता है जितना कि विशिष्ट पुराने डेटा के साथ। यह इस विधि को वास्तविक दुनिया के उपयोग के लिए बहुत व्यावहारिक बनाता है।
- दक्षता (Efficiency): यह विधि अविश्वसनीय रूप से कुशल है। अपने सर्वश्रेष्ठ सेटअप में, उन्होंने कुल पैरामीटर्स के केवल 17.5% को अपडेट किया। इसका मतलब है कि कंप्यूटर को उतना कठिन काम नहीं करना पड़ता जितना कि उसे पूरे मॉडल को अपडेट करने के लिए करना पड़ता।
निष्कर्ष
AWARe सुझाव देता है कि AI को भूलने से बचाने का रहस्य यह नहीं है कि उसे सीखना बंद कर दिया जाए, बल्कि यह है कि यह चुना जाए कि क्या बदलना है। यह जानकर कि पुराने कार्यों पर मस्तिष्क के कौन से हिस्से सबसे अधिक काम कर रहे हैं और उन्हें सुरक्षित रखकर, हम इन मॉडलों को उनके पुराने ज्ञान को खोए बिना नए करतब सिखा सकते हैं। यह हमारे डिजिटल दोस्तों को स्मार्ट, स्थिर और भविष्य के लिए तैयार रखने का एक सरल, प्रभावी और आश्चर्यजनक रूप से सौम्य तरीका है।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।