🤖 machine learning

SAFE-Merge: Data-Free Continual Model Merging with General Knowledge Preservation

SAFE-Merge एक डेटा-मुक्त निरंतर मॉडल विलय (continual model merging) ढांचा है जो पूर्व-प्रशिक्षित सामान्य ज्ञान और पहले से प्राप्त कार्यों को सुरक्षित रखने के लिए सुरक्षित पैरामीटर अपडेट चुनने हेतु जोखिम-सचेत विरल मास्किंग (risk-aware sparse masking) का उपयोग करता है और उसके बाद खोई हुई टास्क जानकारी को बहाल करने के लिए मास्क्ड लो-रैंक रिकवरी (masked low-rank recovery) को नियोजित करता है, जिससे विजन और लैंग्वेज बेंचमार्क में उत्कृष्ट प्रदर्शन प्राप्त होता है।

मूल लेखक: Zihuan Qiu, Zhiyang Liao, Chiyuan He, Yi Xu, Fanman Meng, Linfeng Xu, Qingbo Wu, Hongliang Li

प्रकाशित 2026-08-04

📖 6 मिनट में पढ़ें🧠 गहराई से पढ़ें

CC BY 4.0

मूल लेखक: Zihuan Qiu, Zhiyang Liao, Chiyuan He, Yi Xu, Fanman Meng, Linfeng Xu, Qingbo Wu, Hongliang Li

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

कल्पना कीजिए कि आपके पास एक सुपर-स्मार्ट, सर्वज्ञानी रोबोट मस्तिष्क है जिसे पूरे इंटरनेट पर प्रशिक्षित किया गया है। यह हर भाषा बोल सकता है, हर जानवर को पहचान सकता है और लगभग किसी भी पहेली को हल कर सकता है। वैज्ञानिक इसे "फाउंडेशन मॉडल" कहते हैं। लेकिन कभी-कभी, आपको इस मस्तिष्क को किसी एक विशिष्ट चीज़ में बहुत अच्छा बनाने की आवश्यकता होती है, जैसे दुर्लभ बीमारियों का निदान करना या कविता लिखना। ऐसा करने के लिए, आप इसे एक विशेष "फाइन-ट्यूनिंग" सत्र देते हैं। समस्या क्या है? यदि आप इसे एक नया विशेष कौशल सिखाने की कोशिश करते हैं, तो यह अक्सर अपने पुराने कौशल भूल जाता है, या इससे भी बुरा, यह अपने मूल, सामान्य ज्ञान को भूलने लगता है और बाकी सब चीजों में अनाड़ी हो जाता है।

वास्तविक दुनिया में, हम हर कार्य के लिए एक अलग मस्तिष्क नहीं रख सकते; यह बहुत महंगा और धीमा होगा। इसके अलावा, इस तरह के मस्तिष्क को सिखाने के लिए उपयोग किया जाने वाला निजी डेटा साझा या सहेजा नहीं जा सकता है। इसलिए, शोधकर्ता एक विशेषज्ञ मस्तिष्क को एक मास्टर मस्तिष्क में "विलय" (merge) करने का तरीका खोजने की कोशिश कर रहे हैं, बिना उसकी मूल बुद्धिमत्ता या नए कौशल को खोए। यह अलग-अलग आइसक्रीम के स्वादों को एक आदर्श स्कूप में मिलाने जैसा है, बिना उसे एक कीचड़ जैसा मिश्रण बनाए। बड़ा सवाल यह है: आप एक जीनियस को यह सिखाने के बाद कि वह जीनियस होना न भूले, उसमें नए कौशल कैसे जोड़ सकते हैं?

यहीं पर एक नई विधि आती है जिसे SAFE-Merge कहा जाता है। इसके पीछे के शोधकर्ताओं ने महसूस किया कि अधिकांश वर्तमान विधियाँ थोड़ी अधिक आक्रामक हैं। वे नए कार्यों को पुराने कार्यों के साथ लड़ने से रोकने की कोशिश करती हैं, लेकिन वे अक्सर उस "सामान्य ज्ञान" की रक्षा करना भूल जाती हैं जो मस्तिष्क के पास कुछ भी विशिष्ट सीखने से पहले था। यह घर की नींव में दरार डालने के लिए छत की टाइलों को बहुत ज़ोर से ठोक देने जैसा है। SAFE-Merge खेल बदल देता है क्योंकि यह कोई भी बदलाव करने से पहले एक सरल प्रश्न पूछता है: "क्या यह नई जानकारी रखना सुरक्षित है?"

यहाँ बताया गया है कि SAFE-Merge कैसे काम करता है, एक मनोरंजक उपमा का उपयोग करते हुए। कल्पना कीजिए कि रोबोट का मस्तिष्क एक विशाल पुस्तकालय है। जब एक नया कार्य आता है (जैसे शतरंज खेलना सीखना), तो वह लाइब्रेरियन को "अपडेट्स" की एक सूची भेजता है। कुछ अपडेट मददगार होते हैं, लेकिन अन्य अनजाने में सामान्य इतिहास या विज्ञान की किताबों को मिटा सकते हैं।

चरण 1: जोखिम भरा लाइब्रेरियन (रिस्क-अवेयर मास्किंग)
सबसे पहले, SAFE-Merge एक अत्यंत सतर्क लाइब्रेरियन की तरह कार्य करता है। यह नए कार्य द्वारा किए जाने वाले प्रत्येक अपडेट को देखता है। यह पूछता है, "क्या यह अपडेट सामान्य ज्ञान अनुभाग का हिस्सा लग रहा है, या यह इस नए शतरंज के खेल के लिए अद्वितीय है?" यदि कोई अपडेट सामान्य इतिहास की किताबों को फिर से लिखने की कोशिश करता हुआ दिखता है, तो लाइब्रेरियन उस पर "खतरा" (DANGER) का स्टिकर लगा देता है और उसे "छूना मना है" वाले बॉक्स में रख देता है (इसे मास्किंग कहा जाता है)। केवल वे अपडेट जो सुरक्षित हैं—जो पुराने ज्ञान को मिटाए बिना नए कौशल जोड़ते हैं—वही शेल्फ पर रह पाते हैं। यह सुनिश्चित करता है कि पुस्तकालय की नींव ठोस बनी रहे।

चरण 2: जादुई मरम्मत किट (मास्क्ड लो-रैंक रिकवरी)
लेकिन रुकिए! लाइब्रेरियन इतना सावधान था कि उन्होंने खतरनाक इतिहास की किताबों के साथ-साथ कुछ बहुत महत्वपूर्ण शतरंज के टिप्स भी फेंक दिए होंगे। अब पुस्तकालय में सुरक्षित किताबें तो हैं, लेकिन शतरंज का अनुभाग थोड़ा खाली है। यहीं पर SAFE-Merge का दूसरा भाग चमकता है। यह एक "जादुई मरम्मत किट" (एक लो-रैंक रिकवरी टर्म) का उपयोग करके गायब हुए शतरंज के टिप्स को फिर से बनाता है।

यहाँ चालाक ट्रिक यह है: किट को केवल उन्हीं किताबों पर काम करने की अनुमति है जिन्हें लाइब्रेरियन ने पहले ही सुरक्षित घोषित कर दिया था। यह "छूना मना है" वाले बॉक्स को छू नहीं सकता। यह केवल सुरक्षित किताबों का उपयोग करके रिक्त स्थानों को सावधानीपूर्वक भरता है, प्रभावी रूप से यह कहता है, "हम खतरनाक चीजों को नहीं छू सकते, लेकिन हम सुरक्षित चीजों को पुनर्व्यवस्थित कर सकते हैं ताकि शतरंज के टिप्स फिर से दिखाई देने लगें।" इस तरह, पुस्तकालय को अपने शतरंज के कौशल वापस मिल जाते हैं बिना सामान्य ज्ञान को जोखिम में डाले।

चरण 3: अंतिम विलय (द फाइनल मर्ज)
अंत में, लाइब्रेरियन सुरक्षित अपडेट और जादुई मरम्मत किट को लेता है, उन्हें एक साथ जोड़ता है, और मुख्य पुस्तकालय में जोड़ देता है। परिणाम एक एकल, सुपर-ब्रेन है जो शतरंज खेलना, कविता लिखना और जानवरों को पहचानना जानता है, और साथ ही यह भी याद रखता है कि एक सामान्य जीनियस कैसे रहना है। सबसे अच्छी बात? एक बार मर्ज होने के बाद, "जादुई मरम्मत किट" गायब हो जाता है। अंतिम मस्तिष्क को काम करने के लिए किसी अतिरिक्त उपकरण या डेटा की आवश्यकता नहीं होती है; यह बस एक सामान्य, तेज़ मस्तिष्क है जो जाने के लिए तैयार है।

उन्होंने क्या पाया?
शोधकर्ताओं ने विज़न कार्यों (जैसे छवियों को पहचानना) और भाषा कार्यों (जैसे वाक्यों को समझना) दोनों पर इस विधि का परीक्षण किया। उन्होंने इसकी तुलना अन्य लोकप्रिय विधियों से की और पाया कि इसने लगातार सर्वश्रेष्ठ संतुलन हासिल किया। अपने परीक्षणों में, इसने H-score नामक एक मीट्रिक पर उच्चतम स्कोर किया, जो यह मापता है कि एक मॉडल अपने नए कौशल को कितनी अच्छी तरह बनाए रखता है और अपने पुराने सामान्य ज्ञान को भी थामे रखता है।

उदाहरण के लिए, 20 अलग-अलग इमेज टास्क को मर्ज करते समय, SAFE-Merge ने अगली सर्वश्रेष्ठ विधि की तुलना में स्कोर में 4 अंकों से अधिक का सुधार किया। इससे भी अधिक प्रभावशाली बात यह है कि जब उन्होंने विलय किए गए मॉडल का परीक्षण पूरी तरह से नई, अनदेखी छवियों पर किया (यह देखने के लिए कि क्या इसने अपनी सामान्य दृष्टि खो दी है), तो SAFE-Merge ने अन्य की तुलना में अपने सामान्य ज्ञान को बहुत बेहतर तरीके से बनाए रखा। पेपर सुझाव देता है कि इस बारे में सावधान रहकर कि क्या बदला जाना चाहिए और फिर जो खो गया है उसे स्मार्ट तरीके से ठीक करके, आप एक मॉडल की "नींव" को बरकरार रखते हुए उसे नए कौशल सीखने में सक्षम बना सकते हैं।

शोधकर्ताओं ने यह भी जांचा कि इसमें कितनी कंप्यूटर शक्ति लगती है। हालांकि सेटअप के दौरान "जादुई मरम्मत किट" चलाने में थोड़ा समय लगता है (आठ कार्यों के लिए लगभग 216 सेकंड), अंतिम मॉडल को चलाने के लिए किसी अतिरिक्त समय या मेमोरी की आवश्यकता नहीं होती है। यह एक स्थायी अपग्रेड के लिए एक बार की लागत है।

संक्षेप में, SAFE-Merge सुझाव देता है कि आपको नई चीजें सीखने और अपने पुराने ज्ञान को बनाए रखने के बीच चयन करने की आवश्यकता नहीं है। यह देखते हुए कि क्या बदलना सुरक्षित है और जो छेद हुए हैं उन्हें चतुराई से कैसे ठीक करना है, आप एक ऐसा मॉडल बना सकते हैं जो अपनी पहचान खोए बिना और भी स्मार्ट होता जाता है।

तकनीकी सारांश: SAFE-Merge

समस्या की परिभाषा
यह शोध पत्र डेटा-फ्री कॉन्टिनुअल मॉडल मर्जिंग (DFCMM) को संबोधित करता है, जो एक ऐसी स्थिति है जहाँ एक एकल बैकबोन मॉडल को मूल प्रशिक्षण डेटा या पिछले चेकपॉइंट्स तक पहुँच के बिना, विशिष्ट कार्यों (specialized tasks) के एक प्रवाह के साथ क्रमिक रूप से अपडेट किया जाना चाहिए। जबकि मौजूदा विधियाँ विभिन्न कार्यों के बीच हस्तक्षेप (interference) को कम करने पर ध्यान केंद्रित करती हैं, वे अक्सर बैकबोन में समाहित प्री-ट्रेंड जनरल नॉलेज (pretrained general knowledge) की सुरक्षा की अनदेखी करती हैं। टास्क अपडेट का आक्रामक संचय (accumulation) इस मौलिक ज्ञान को क्षीण कर सकता है, जिससे होल्ड-आउट डिस्ट्रीबशन पर प्रदर्शन गिर जाता है और भविष्य के कार्यों को सीखने की मॉडल की क्षमता कमजोर हो जाती है। मुख्य चुनौती नए कार्य-विशिष्ट जानकारी को एकीकृत करते हुए, पिछले सीखे गए कार्यों और प्री-ट्रेंड मॉडल की हस्तांतरणीय सामान्य क्षमताओं (transferable general capabilities) दोनों को सुरक्षित रखना है, वह भी बिना किसी टास्क डेटा के।

कार्यप्रणाली: SAFE-Merge
लेखक SAFE-Merge (स्पार्स रिस्क-अवेयर मास्किंग एंड लो-रैंक रिकवरी फॉर जनरल-नॉलेज प्रिजर्वेशन) प्रस्तावित करते हैं, जो तीन विशिष्ट चरणों में संचालित होने वाला एक पैरामीटर-स्पेस फ्रेमवर्क है:

रिस्क-अवेयर स्पार्स मास्किंग (Risk-Aware Sparse Masking):
- यह विधि आने वाले टास्क वेक्टर $\tau_t = \theta_t - \theta_0$ को प्री-ट्रेंड वेट्स $\theta_0$ में एक संशोधन के रूप में मानती है।
- यह बिना डेटा का उपयोग किए प्रत्येक पैरामीटर अपडेट के लिए एक जनरल-रिस्क स्कोर (general-risk score) व्युत्पन्न करती है। यह स्कोर "ओवरराइट रिस्क" का अनुमान लगाने के लिए प्री-ट्रेंड जनरल दिशाओं (जो $\theta_0$ के टॉप सिंगुलर वेक्टर्स द्वारा अनुमानित हैं) के विरुद्ध टास्क-यूनिक दिशाओं (जो $\theta_0$ के विरुद्ध ऑर्थोगोनलाइज्ड $\tau_t$ के टॉप सिंगलर वेक्टर्स द्वारा अनुमानित हैं) के ऊर्जा अंतर का उपयोग करता है।
- एक बाइनरी मास्क $M_t$ जनरेट किया जाता है, जो केवल उन पैरामीटर अपडेट्स को बनाए रखता है जिनका रिस्क स्कोर सबसे कम है (अर्थात, वे जो जनरल नॉलेज के लिए सुरक्षित हैं और संभावित रूप से कार्य के लिए उपयोगी हैं)। उच्च-जोखिम वाले अपडेट्स को शून्य (zero out) कर दिया जाता है।
मास्क्ड लो-रैंक रिकवरी (Masked Low-Rank Recovery):
- चूंकि मास्किंग से संभावित रूप से उपयोगी टास्क जानकारी नष्ट हो सकती है, इसलिए एक लो-रैंक रिकवरी टर्म ( $B_t A_t$ ) पेश किया जाता है।
- महत्वपूर्ण रूप से, यह रिकवरी उसी मास्क्ड क्षेत्र तक सीमित है। रिकवरी टर्म को $M_t \odot (B_t A_t)$ के रूप में कंप्यूट किया जाता है, यह सुनिश्चित करते हुए कि रिस्क मास्क द्वारा अस्वीकार किए गए पैरामीटर्स को कभी संशोधित नहीं किया जाएगा।
- रिकवरी फैक्टर्स को दो उद्देश्यों के बिना डेटा के अनुकूलित (optimize) किया जाता है:
  - प्रिजर्वेशन ऑब्जेक्टिव ( $L_{old}$ ): उन अपडेट्स को दंडित करता है जो पिछले संचित कार्यों की दिशाओं के साथ संरेखित (align) होते हैं ताकि भूलने (forgetting) को सीमित किया जा सके।
  - टास्क-रिकवरी ऑब्जेक्टिव ( $L_{new}$ ): प्रदर्शन को बहाल करने के लिए टास्क के डोमिनेंट सबस्पेस के भीतर इनकमिंग टास्क वेक्टर के साथ मर्ज किए गए अपडेट को मैच करता है।
- इन उद्देश्यों को एक हाइपरपैरामीटर $\lambda$ द्वारा संतुलित किया जाता है।
फ्यूजन (Fusion):
- अंतिम अपडेट $\Delta_t$ , मास्क्ड टास्क वेक्टर और मास्क्ड रिकवरी टर्म को संयोजित करता है।
- इस अपडेट को रनिंग मर्ज किए गए बैकबोन में फ्यूज किया जाता है: $\theta_{merged, t} = \theta_{merged, t-1} + \Delta_t$ ।
- फ्यूजन के बाद मास्क और लो-रैंक फैक्टर्स को हटा दिया जाता है, जिससे कोई अतिरिक्त इन्फरेंस कॉस्ट या पैरामीटर काउंट में वृद्धि नहीं होती है।

प्रमुख योगदान

रिस्क-अवेयर क्राइटेरियन: लेखक एक डेटा-फ्री, पैरामीटर-वाइज मेट्रिक विकसित करते हैं जो सुरक्षित अपडेट्स के एक स्पार्स सेट को चुनने के लिए जनरल-सबस्पेस ओवरलैप और टास्क-यूनिक एनर्जी के बीच अंतर करता है।
मास्क्ड लो-रैंक रिकवरी: वे मास्किंग द्वारा दबाई गई टास्क यूटिलिटी को रिकवर करने के लिए एक कंस्ट्रेंड लो-रैंक अपडेट का उपयोग करके एक तंत्र पेश करते हैं, जो हाई-रिस्क पैरामीटर्स को संशोधित करने से रोकता है और प्लास्टिसिटी को बहाल करता है।
अनुभवजन्य श्रेष्ठता (Empirical Superiority): विधि का मूल्यांकन विजन (CLIP ViT) और लैंग्वेज (Flan-T5) बेंचमार्क पर किया गया है, जो टास्क एक्यूरेसी और जनरल नॉलेज प्रिजर्वेशन के बीच एक बेहतर संतुलन प्रदर्शित करता है।

प्रायोगिक परिणाम

विजन बेंचमार्क: CLIP ViT-B/32, ViT-B/16, और ViT-L/14 पर 8, 14, और 20 अनुक्रमिक कार्यों के साथ, SAFE-Merge लगातार उच्चतम H-स्कोर (एक्यूरेसी और जनरल परफॉरमेंस का हार्मोनिक मीन) प्राप्त करता है।
- 20 कार्यों के लिए, यह बेस्ट बेसलाइन (NUFILT) से 8.1 पॉइंट्स अधिक H-स्कोर प्राप्त करता है और जनरल परफॉरमेंस को बनाए रखते हुए औसत एक्यूरेसी (ACC) में 1.2-पॉइंट की बढ़त हासिल करता है।
- यह जनरल नॉलेज को संरक्षित करने (ImageNet, ImageNet-R, ObjectNet पर मापा गया) में "सिंपल एक्यूमुलेशन" और अन्य मर्जिंग रणनीतियों (जैसे Task Arithmetic, Ties-Merging, WUDI-Merging) से काफी बेहतर प्रदर्शन करता है।
NLP बेंचमार्क: 5 GLUE कार्यों के साथ Flan-T5-base पर, SAFE-Merge सर्वश्रेष्ठ H-स्कोर (79.4) प्राप्त करता है, जो NUFILT से 0.6 पॉइंट्स बेहतर है, जबकि प्रतिस्पर्धी एक्यूरेसी और बैकवर्ड ट्रांसफर बनाए रखता है। विशेष रूप से, यह जनरल परफॉरमेंस को प्री-ट्रेंड रेफरेंस से थोड़ा ऊपर रखता है, जबकि इंडिविजुअल फाइन-ट्यूनिंग इसे कम कर देती है।
एब्लेशन स्टडीज (Ablation Studies):
- दोनों रिस्क-अवेयर मास्किंग और लो-रैंक रिकवरी घटक आवश्यक हैं; किसी एक को हटाने से एक्यूरेसी या जनरलाइजेशन में महत्वपूर्ण गिरावट आती है।
- विधि टास्क ऑर्डर के प्रति मजबूत है और यह दिखाती है कि परफॉरमेंस कर्व्स के "नीज़" (knees) यह सुझाव देते हैं कि सीक्वेंस लेंथ बढ़ने के साथ इष्टतम स्पर्सिटी (keep ratio $\rho$ ) कम होती जाती है।
- कंप्यूटेशनल ओवरहेड केवल ऑफलाइन मर्जिंग के दौरान होता है (8 कार्यों के लिए लगभग 216 सेकंड), जिसमें जीरो इन्फरेंस कॉस्ट होती है।

महत्व और दावे
यह शोध पत्र दावा करता है कि SAFE-Merge कॉन्टिनुअल मर्जिंग में एक महत्वपूर्ण अंतराल को संबोधित करता है: प्री-ट्रेंड बैकबोन के जनरल नॉलेज की सुरक्षा, जिसे अक्सर डाउनस्ट्रीम टास्क एक्यूरेसी को बचाने के लिए बलिदान कर दिया जाता है। लो-रिस्क टास्क अपडेट्स और जनरल नॉलेज से जुड़ी दिशाओं के बीच स्पष्ट रूप से अंतर करके, और कंस्ट्रेंड लो-रैंक करेक्शन के माध्यम से खोई हुई यूटिलिटी को रिकवर करके, SAFE-Merge कॉन्टिनुअल-मर्जिंग एक्यूरेसी और होल्ड-आउट जनरलाइजेशन के बीच एक मजबूत संतुलन प्राप्त करता है। लेखक का दावा है कि उनकी विधि एक व्यावहारिक, डेटा-फ्री समाधान प्रदान करती है जो इन्फरेंस लेटेंसी या मॉडल साइज को बढ़ाए बिना लंबे टास्क सीक्वेंस तक स्केल कर सकती है।

इसी तरह के और पेपर