💬 NLP

FGGM: Fisher-Guided Gradient Masking for Continual Learning

यह शोध पत्र फिशर-गाइडेड ग्रेडिएंट मास्किंग (FGGM) का प्रस्ताव करता है, जो एक डेटा-मुक्त निरंतर शिक्षण (continual learning) ढांचा है जो डायगोनल फिशर इंफॉर्मेशन का लाभ उठाकर पैरामीटर अपडेट को गतिशील रूप से मास्क करता है, जिससे बड़े भाषा मॉडलों में कैटास्ट्रोफिक फॉरगेटिंग को प्रभावी ढंग से कम किया जाता है और TRACE बेंचमार्क पर MIGU और सुपरवाइज्ड फाइन-ट्यूनिंग जैसी मौजूदा विधियों से बेहतर प्रदर्शन किया जाता है।

मूल लेखक: Chao-Hong Tan, Qian Chen, Wen Wang, Yukun Ma, Chong Zhang, Chong Deng, Qinglin Zhang, Xiangang Li, Jieping Ye

प्रकाशित 2026-01-27

📖 5 मिनट में पढ़ें🧠 गहराई से पढ़ें

CC BY 4.0

मूल लेखक: Chao-Hong Tan, Qian Chen, Wen Wang, Yukun Ma, Chong Zhang, Chong Deng, Qinglin Zhang, Xiangang Li, Jieping Ye

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

कल्पना कीजिए कि आप एक प्रतिभाशाली छात्र (एक लार्ज लैंग्वेज मॉडल) को हर दिन एक नया कौशल सिखा रहे हैं। सोमवार को, वह कविता लिखना सीखता है। मंगलवार को, आप उसे कोडिंग सिखाते हैं। बुधवार तक, जब आप उससे कविता लिखने के लिए कहते हैं, तो वह इसे करना पूरी तरह से भूल चुका होता है। इसे "कैटैस्ट्रोफिक फॉरगेटिंग" (Catastrophic Forgetting) कहा जाता है। नई जानकारी पुरानी जानकारी को मिटा देती है, जैसे किसी उत्कृष्ट कृति पर ताज़ा पेंट डाल देना, जिससे मूल चित्र खराब हो जाता है।

यह शोध पत्र इस समस्या को हल करने के लिए एक नई विधि FGGM (फिशर-गाइडेड ग्रेडिएंट मास्किंग) पेश करता है। यह कैसे काम करता है, इसके लिए सरल उपमाओं का उपयोग किया गया है:

समस्या: "ओवरराइट" (Overwrite) की दुविधा

इसे ठीक करने के वर्तमान तरीके दोषपूर्ण हैं:

रिप्ले (Replay): आप छात्र ने पहले जो कुछ भी सीखा था उसका एक फोटो एल्बम रखते हैं और नई चीजें सिखाते समय उन्हें दिखाते हैं। समस्या: यह डेटा जमा करने जैसा है; इसे स्टोर करना कठिन है, और कभी-कभी गोपनीयता नियमों के कारण आप उन फोटो को रख भी नहीं सकते।
फ्रीजिंग (Freezing): आप छात्र के "कविता वाले मस्तिष्क" को एक कांच के केस में रख देते हैं ताकि वह बदल न सके, और केवल उसे उसके मस्तिष्क के एक नए हिस्से के साथ कोडिंग सीखने देते हैं। समस्या: यह छात्र की नई, जटिल कार्यों के अनुकूल होने की क्षमता को सीमित करता है।
MIGU (पिछला सर्वश्रेष्ठ): यह विधि देखती है कि एक न्यूरॉन कितनी "ज़ोर से" बोलता है। यदि एक न्यूरॉन तेज़ आवाज़ में है, तो उसे बदलने की अनुमति मिलती है। समस्या: यह थोड़ा अनुमान लगाने जैसा है। यह केवल वॉल्यूम (आवाज़) पर निर्भर करता है बजाय इसके कि कोई न्यूरॉन क्यों महत्वपूर्ण है।

समाधान: FGGM (द "स्मार्ट मैप" दृष्टिकोण)

FGGM एक छात्र को कुछ भी नया सिखाने से पहले उसके अपने मस्तिष्क का एक डायनेमिक, स्मार्ट मैप देने जैसा है।

"फिशर" कंपास (The "Fisher" Compass):
केवल यह सुनने के बजाय कि एक न्यूरॉन कितना तेज़ है, FGGM फिशर इंफॉर्मेशन (Fisher Information) नामक एक गणितीय उपकरण का उपयोग करता है। इसे एक संवेदनशीलता डिटेक्टर के रूप में समझें। यह पूछता है: "यदि मैं आपके मस्तिष्क के इस विशिष्ट हिस्से को थोड़ा सा बदल दूँ, तो क्या इससे आपके पुराने कार्यों को करने की क्षमता को बहुत नुकसान पहुँचेगा?"
- यदि उत्तर है "बहुत अधिक," तो वह हिस्सा क्रिटिकल (महत्वपूर्ण) है।
- यदि उत्तर है "बहुत कम," तो वह हिस्सा फ्लेक्सिबल (लचीला) है।
"बाइनरी मास्क" (ट्रैफ़िक लाइट):
इस संवेदनशीलता मानचित्र के आधार पर, FGGM एक बाइनरी मास्क बनाता है। छात्र के मस्तिष्क के लिए एक ट्रैफ़िक लाइट सिस्टम की कल्पना करें:
- लाल बत्ती (0): "इसे छुओ मत।" ये वे महत्वपूर्ण पैरामीटर्स हैं जो पुराने कौशल (जैसे कविता) के लिए आवश्यक हैं। इन्हें फ्रीज़ कर दिया जाता है।
- हरी बत्ती (1): "आगे बढ़ो और सीखो।" ये वे लचीले पैरामीटर्स हैं जिन्हें नए कौशल (जैसे कोडिंग) के लिए अपडेट किया जा सकता है।
पुराने डेटा की आवश्यकता नहीं:
"फोटो एल्बम" पद्धति के विपरीत, FGGM को यह जानने के लिए पुराने डेटा को देखने की आवश्यकता नहीं है कि क्या सुरक्षित रखना है। यह मानचित्र का उपयोग केवल उस नए डेटा का उपयोग करके करता है जिसे यह वर्तमान में देख रहा है। यह पता लगाता है कि नए कार्य के लिए क्या महत्वपूर्ण है और इसके माध्यम से, यह पहचान लेता है कि पुराने कौशल को जीवित रखने के लिए क्या संरक्षित किया जाना चाहिए।

यह बेहतर क्यों है (द "इनपुट डायमेंशन" ट्रिक)

शोधकर्ताओं ने इन मस्तिष्क भागों को समूहबद्ध करने का एक चतुर तरीका भी खोजा है। कल्पना करें कि छात्र का मस्तिष्क एक फैक्ट्री है जिसमें असेंबली लाइनें हैं।

पुराना तरीका: असेंबली लाइन के हर एक पेंच (screw) को व्यक्तिगत रूप से देखना। यह शोर भरा और भ्रमित करने वाला है।
FGGM का तरीका: एक पूरी मशीन के आउटपुट को देखना। यदि एक मशीन एक विशिष्ट प्रकार का विजेट (widget) बनाती है, तो FGGM उन सभी पेंचों को एक टीम के रूप में मानता है जो उस विजेट को बनाते हैं।
- यदि विजेट महत्वपूर्ण है, तो पूरी टीम को सुरक्षित रखा जाता है (लाल बत्ती)।
- यदि विजेट महत्वपूर्ण नहीं है, तो पूरी टीम को फिर से तैयार (retool) किया जा सकता है (हरी बत्ती)।
- शोध पत्र इसे इनपुट-डायमेंशन एग्रीगेशन (Input-Dimension Aggregation) कहता है। यह मस्तिष्क की इकाइयों की "कार्यात्मक अखंडता" को बनाए रखता है, जिससे छात्र को गलती से एक पूरे उपकरण को तोड़ने से रोका जा सके क्योंकि उसने केवल एक पेंच को बदला था।

परिणाम: अधिक सीखना, कम भूलना

शोधकर्ताओं ने एक मानक सेट (जिसे TRACE कहा जाता है) और एक कोड-जेनरेशन कार्य पर इनका परीक्षण किया।

स्थिरता (Stability): FGGM पिछले तरीकों की तुलना में पुराने कौशल (सामान्य क्षमताओं) को बरकरार रखने में बहुत बेहतर था। इसने मानक प्रशिक्षण की तुलना में लगभग 9.6% और पिछले सर्वश्रेष्ठ तरीके (MIGU) की तुलना में 4.4% सुधार किया।
प्लास्टिसिटी (Plasticity): छात्र ने केवल पुराने को ही थामे नहीं रखा; उसने नए को भी उतनी ही अच्छी तरह, या बेहतर तरीके से सीखा।
दक्षता (Efficiency): इसके लिए पुराने डेटा को स्टोर करने के लिए विशाल मेमोरी की आवश्यकता नहीं है, जो इसे वास्तविक दुनिया के उपयोग के लिए व्यावहारिक बनाता है।

संक्षेप में

FGGM एआई (AI) मस्तिष्क के लिए एक स्मार्ट, गणित-आधारित "ट्रैफ़िक पुलिस" है। इसे नए सबक सिखाने के लिए पुराने किताबों के पुस्तकालय की आवश्यकता नहीं है। इसके बजाय, यह तुरंत यह पता लगा लेता है कि मस्तिष्क के कौन से हिस्से छूने के लिए बहुत कीमती हैं और कौन से हिस्से सीखने के लिए स्वतंत्र हैं, जिससे यह सुनिश्चित होता है कि एआई अपने अतीत को खोए बिना आगे बढ़ सकता है।

तकनीकी सारांश: फिशर-गाइडेड ग्रेडिएंट मास्किंग (FGGM) - निरंतर शिक्षण (Continual Learning) के लिए

1. समस्या विवरण

यह शोध पत्र कंटीन्यूअल लर्निंग (CL) के दौरान लार्ज लैंग्वेज मॉडल्स (LLMs) में होने वाले कैटास्ट्रोफिक फॉरगेटिंग (विस्मृति) की समस्या को संबोधित करता है। जैसे-जैसे LLMs को नए कार्यों (tasks) के प्रवाह के अनुकूल बनाया जाता है, वे अक्सर उन मापदंडों (parameters) को अचानक ओवरराइट कर देते हैं जो पहले से सीखे गए कार्यों के लिए महत्वपूर्ण होते हैं, जिससे पूर्व ज्ञान की हानि हो जाती है।

मौजूदा शमन रणनीतियों (mitigation strategies) में महत्वपूर्ण सीमाएँ हैं:

रिप्ले-आधारित विधियाँ (Replay-based methods): इन्हें ऐतिहासिक डेटा को संग्रहीत या उत्पन्न करने की आवश्यकता होती है, जिससे गोपनीयता और स्केलेबिलिटी संबंधी चिंताएँ उत्पन्न होती हैं।
पैरामीटर-फ्रीजिंग विधियाँ (Parameter-freezing methods): (जैसे LoRA, प्रॉम्ट ट्यूनिंग) अक्सर बेस पैरामीटर्स को फ्रीज कर देती हैं, जिससे डाउनस्ट्रीम टास्क प्रदर्शन सीमित हो सकता है।
रेगुलराइजेशन-आधारित विधियाँ (Regularization-based methods): जैसे EWC ऐतिहासिक डेटा पर निर्भर करती हैं, जबकि ऑर्थोगोनल ग्रेडिएंट डिसेंट (OGD) जैसी अन्य विधियाँ LLMs के फुल फाइन-ट्यूनिंग के लिए अत्यधिक मेमोरी लागत आरोपित करती हैं।
MIGU, एक हालिया रिप्ले-मुक्त विधि, अनुभवजन्य आउटपुट मैग्नीट्यूड (empirical output magnitudes) के आधार पर मापदंडों का चयन करती है, लेकिन इसमें पैरामीटर महत्व का अनुमान लगाने के लिए सैद्धांतिक आधार की कमी है।

2. कार्यप्रणाली: FGGM फ्रेमवर्क

लेखक फिशर-गाइडेड ग्रेडिएंट मास्किंग (FGGM) प्रस्तावित करते हैं, जो एक ऐसा फ्रेमवर्क है जो ऐतिहासिक डेटा तक पहुँच की आवश्यकता के बिना, डायगोनल फिशर इंफॉर्मेशन का उपयोग करके अपडेट के लिए मापदंडों का रणनीतिक चयन करके कैटास्ट्रोफिक फॉरगेटिंग को कम करता है। यह फ्रेमवर्क दो चरणों में कार्य करता है:

A. फिशर-गाइडेड मास्क इनिशियलाइजेशन (Fisher-Guided Mask Initialization)
एक नए कार्य $T_t$ के लिए, FGGM नए कार्य के डेटा का उपयोग करके फिशर इंफॉर्मेशन मैट्रिक्स (FIM) के डायगोनल तत्वों का अनुमान लगाता है। डायगोनल FIM प्रविष्टि $\hat{F}^{(t)}_i$ लॉग-लाइकलीहुड के वर्ग (squared gradient) को मापकर पैरामीटर $\theta_i$ के महत्व को मात्रात्मक रूप से दर्शाती है:
$\hat{F}^{(t)}_i = \frac{1}{M_t} \sum_{j=1}^{M_t} \left( \frac{\partial \log p(y_j|x_j, \theta)}{\partial \theta_i} \right)^2$
परतों (layers) में पैरामीटर महत्व के गैर-स्थिर वितरण (non-stationary distribution) को संभालने के लिए, FGGM एडेप्टिव थ्रेशोल्डिंग (adaptive thresholding) का उपयोग करता है। एक बाइनरी मास्क $M^{(t)}$ जनरेट किया जाता है जहाँ एक पैरामीटर को तब रिटेन (मान 1) किया जाता है यदि उसका फिशर स्कोर अनुभवजन्य फिशर मानों के $(1-\alpha)$ -वें क्वांटाइल से अधिक हो, और अन्यथा उसे मास्क (मान 0) कर दिया जाता है।

B. इनपुट-डायमेंशन एग्रीगेशन (IA) के माध्यम से मास्क नॉर्मलाइजेशन
एक प्रमुख नवाचार न्यूरल नेटवर्क आर्किटेक्चर के आधार पर मास्क का नॉर्मलाइजेशन है। पूर्णतः कनेक्टेड लेयर्स (fully connected layers) के लिए, जिनका वेट मैट्रिक्स $W \in \mathbb{R}^{D_{out} \times D_{in}}$ है, प्रत्येक आउटपुट न्यूरॉन के लिए इनपुट डायमेंशन के माध्यम से फिशर स्कोर को एकत्रित किया जाता है:
$\hat{F}^{(t)}_r = \sum_{c=1}^{D_{in}} \hat{F}^{(t)}_{r,c}$
यह रणनीति आउटपुट न्यूरॉन्स को परमाणु कम्प्यूटेशनल इकाइयों के रूप में उनके कार्यात्मक अखंडता (functional integrity) को बनाए रखती है। शोध पत्र का तर्क है कि आउटपुट के बजाय इनपुट के माध्यम से एकत्रीकरण (IA) करना श्रेष्ठ है क्योंकि यह फीचर-विशिष्ट संवेदनशीलता संकेतों के प्रसार को रोकता है और स्पष्ट कार्य सीमाओं को बनाए रखता है, जबकि OA कार्य के अंतर को धुंधला कर सकता है और विस्मृति (forgetting) को बढ़ा सकता है।

C. ग्रेडिएंट प्रोजेक्शन (Gradient Projection)
बैकप्रोपैगेशन के दौरान, रॉ ग्रेडिएंट्स $g^{(t)}$ को बाइनरी मास्क $M^{(t)}$ के साथ एलिमेंट-वाइज गुणा किया जाता है:
$\tilde{g}^{(t)} = g^{(t)} \odot M^{(t)}$
यह अपडेट को केवल उन महत्वपूर्ण मापदंडों तक सीमित करता है जिन्हें फिशर इंफॉर्मेशन द्वारा पहचाना गया है, जिससे प्रभावी रूप से गैर-महत्वपूर्ण क्षेत्रों को फ्रीज कर दिया जाता है।

3. मुख्य योगदान

नया फ्रेमवर्क: LLM कंटीन्यूल लर्निंग के लिए एक नया रिप्ले-मुक्त तरीका, जो अनुभवजन्य मैग्नीट्यूड के बजाय सैद्धांतिक रूप से स्थापित फिशर इंफॉर्मेशन पर आधारित है।
सैद्धांतिक महत्व अनुमान: एक तंत्र जो फिशर इंफॉर्मेशन के माध्यम से पैरामीटर-टास्क प्रासंगिकता को सीधे मापता है, जिससे प्लास्टिसिटी (नई क्षमताएं प्राप्त करना) और स्टेबिलिटी (पूर्व ज्ञान बनाए रखना) के बीच संतुलन बनाने के लिए डायनेमिक ग्रेडिएंट गेटिंग संभव होती है।
आर्किटेक्चरल नॉर्मलाइजेशन: फीडफॉरवर्ड लेयर्स की कार्यात्मक संरचना के साथ मास्क जनरेशन को संरेखित करने के लिए इनपुट-डायमेंशन एग्रीगेशन (IA) का प्रस्ताव, जो मजबूत पैरामीटर चयन सुनिश्चित करता है।
अनुभवजन्य सत्यापन: यह प्रदर्शन करना कि FGGM, मानक बेंचमार्क पर मॉडल की अनुकूलन क्षमता से समझौता किए बिना MIGU सहित अत्याधुनिक बेसलाइन्स से बेहतर प्रदर्शन करता है।

4. प्रायोगिक परिणाम

प्रयोग Qwen2 मॉडल्स (1.5B और 7B स्केल) का उपयोग करके TRACE बेंचमार्क (सामान्य क्षमताओं और विविध डाउनस्ट्रीम कार्यों को कवर करता है) और कोड जनरेशन कार्यों (HumanEval/BBH) पर किए गए।

सामान्य क्षमताएं (स्थिरता): एग्रीगेट जनरल मेट्रिक (MMLU, BBH, TyDiQA, आदि) पर, FGGM ने 55.75 प्राप्त किया, जो MIGU (55.21) से बेहतर है और SFT (50.89) तथा LoRA (49.48) से काफी आगे है। विशेष रूप से, FGGM ने ऐतिहासिक डेटा तक पहुँच के बिना भी जनरल मेट्रिक्स पर रिप्ले-आधारित विधियों (REP, EWC) को पछाड़ दिया, जो इस दृष्टिकोण के गोपनीयता और स्केलेबिलिटी लाभों को उजागर करता है।
TRACE समग्र प्रदर्शन (प्लास्टिसिटी): FGGM ने TRACE-OP पर 46.00 प्राप्त किया, जो नए कार्यों को सीखते समय सामान्य क्षमताओं को बनाए रखने में MIGU (44.08) पर 4.4% सापेक्ष सुधार और SFT (49.22) पर 9.6% सापेक्ष सुधार दर्शाता है।
कोड जनरेशन: HumanEval बेंचमार्क पर प्रयोगों में, FGGM ने सभी मूल्यांकन मेट्रिक्स में SFT और MIGU की तुलना में लगातार उच्च सटीकता प्राप्त की, और साथ ही BBH बेंचमार्क पर कम विस्मृति प्रदर्शित की।
स्केलिंग: 1.5B से 7B तक मॉडल का आकार बढ़ने के साथ FGGM और MIGU के बीच प्रदर्शन का अंतर बढ़ गया, जो FGGM की बेहतर स्केलेबिलिटी को दर्शाता है।
एब्लेशन स्टडीज (Ablation Studies):
- डायमेंशन एग्रीगेशन: इनपुट-डायमेंशन एग्रीगेशन (w/o IA) को हटाने से जनरल प्रदर्शन 55.75 से घटकर 54.85 रह गया। आउटपुट-डायमेंशन एग्रीगेशन (OA) लागू करने से अधिक गंभीर गिरावट (53.16) आई, जो टास्क-विशिष्ट संवेदनशीलता को बनाए रखने के लिए IA की आवश्यकता की पुष्टि करता है।
- मास्किंग रेट ( $\alpha$ ): एक ट्रेड-ऑफ देखा गया जहाँ छोटा $\alpha$ (अधिक अपडेट) प्लास्टिसिटी (TRACE-OP) को बढ़ाता है लेकिन स्थिरता (General) को कम करता है। लेखकों ने MIGU के साथ निष्पक्ष तुलना के लिए $\alpha=0.7$ निर्धारित किया।

5. महत्व और दावे

शोध पत्र का दावा है कि FGGM पैरामीटर महत्व के अनुमान के लिए एक गणितीय रूप से सुदृढ़ (mathematically principled) दृष्टिकोण प्रदान करके LLMs में कंटीन्यूल लर्निंग के लिए एक प्रभावी समाधान स्थापित करता है। MIGU जैसी मैग्नीट्यूड-आधारित विधियों के विपरीत, FGGM टास्क लॉस में मापदंडों के योगदान को मापने के लिए फिशर इंफॉर्मेशन का उपयोग करता है।

लेखक इस बात पर जोर देते हैं कि FGGM बिना किसी ऐतिहासिक डेटा के स्थिरता और प्लास्टिसिटी के बीच एक गतिशील संतुलन (dynamic equilibrium) प्राप्त करता है, जो रिप्ले-आधारित विधियों की गोपनीयता और स्केलेबिलिटी बाधाओं को दूर करता है। परिणाम बताते हैं कि सिद्धांत-आधारित ग्रेडिएंट मास्किंग रणनीतियाँ LLM प्रदर्शन को बनाए रखने के लिए एक बहुमुखी और प्रभावी उपकरण हैं, विशेष रूप से उन परिदृश्यों में जहाँ ऐतिहासिक डेटा उपलब्ध नहीं है या प्रतिबंधित है। शोध पत्र निष्कर्ष निकालता है कि FGGM उन विधियों के बीच स्टेट-ऑफ-द-आर्ट दृष्टिकोण है जो पिछले कार्य डेटा तक पहुँच नहीं रखते हैं।