🤖 machine learning

Tunable MAGMAX: Preference-Aware Model Merging for Continual Learning

यह शोध पत्र ट्यूनेबल MAGMAX (Tunable MAGMAX) को प्रस्तुत करता है, जो निरंतर सीखने (continual learning) के लिए एक प्राथमिकता-जागरूक मॉडल विलय ढांचा (preference-aware model merging framework) है जो कार्य-विशिष्ट प्रदर्शन को नियंत्रित करने के लिए स्वचालित रूप से प्राथमिकता वेक्टर (preference vectors) का निर्माण करता है, जिससे विलय किए गए मॉडलों को बिना किसी मैनुअल विनिर्देश के विविध परिनियोजन वातावरणों (deployment environments) के लिए प्रभावी अनुकूलन सक्षम बनाया जा सके।

मूल लेखक: Kei Hiroshima, Kento Uchida, Shinichi Shirakawa

प्रकाशित 2026-05-21

📖 6 मिनट में पढ़ें🧠 गहराई से पढ़ें

CC BY 4.0

मूल लेखक: Kei Hiroshima, Kento Uchida, Shinichi Shirakawa

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

कल्पना कीजिए कि आपके पास एक मास्टर शेफ है जिसने पांच पूरी तरह से अलग व्यंजन बनाना सीख लिया है: इतालवी (Italian), जापानी (Japanese), मैक्सिकन (Mexican), भारतीय (Indian) और फ्रांसीसी (French)। आर्टिफिशियल इंटेलिजेंस की दुनिया में, यह शेफ एक "कंटीन्यूअल लर्निंग" (Continual Learning) मॉडल है। समस्या यह है कि जब शेफ सुशी (Sushi) बनाना एकदम सटीक रूप से सीख लेता है, तो वह पिज्जा (Pizza) बनाना भूल सकता है। इसे "कैटास्ट्रोफिक फॉरगेटिंग" (Catastrophic forgetting) कहा जाता है।

आमतौर पर, इसे ठीक करने के लिए, शोधकर्ता एक "सुपर शेफ" बनाने की कोशिश करते हैं जो सभी पांच व्यंजनों में बस "ठीक-ठाक" हो, जिसका लक्ष्य उच्चतम औसत स्कोर प्राप्त करना होता है। लेकिन वास्तविक दुनिया में, यह हमेशा काम नहीं करता है। टोक्यो में एक रेस्टोरेंट को केवल सुशी की परवाह हो सकती है और पिज्जा की बिल्कुल नहीं। मेक्सिको में एक रेस्टोरेंट को इसके विपरीत आवश्यकता हो सकती है। वे एक "सुपर शेफ" नहीं चाहते; वे एक ऐसा शेफ चाहते हैं जो सुशी का उस्ताद (Master) हो, लेकिन अन्य व्यंजनों के लिए बस "काफी अच्छा" हो।

यह पेपर ठीक इसी समस्या को हल करने के लिए Tunable MAGMAX नामक एक नया टूल पेश करता है। यह कैसे काम करता है, इसके लिए सरल उपमाओं (analogies) का उपयोग किया गया है:

1. पुराने तरीके की समस्या (MAGMAX)

पिछना तरीका, जिसे MAGMAX कहा जाता था, एक "टैलेंट शो जज" की तरह था। इसने हर व्यंजन के लिए शेफ के कौशल को देखा और खाना पकाने के हर चरण के लिए सबसे अच्छा कदम चुना। यदि प्याज काटने के लिए शेफ का सबसे अच्छा कदम उनके इतालवी प्रशिक्षण से आया था, तो उसने उसे रखा। यदि मसाला डालने के लिए सबसे अच्छा कदम उनके जापानी प्रशिक्षण से आया था, तो उसने उसे रखा।

परिणाम? एक बेहतरीन "औसत" शेफ। लेकिन, पेपर एक कमी बताता है: शेफ ने आखिरी रूप से जो व्यंजन सीखा, वह अंतिम रेसिपी पर हावी हो जाता था। यदि शेफ ने अंत में फ्रांसीसी व्यंजन सीखा, तो अंतिम डिश का स्वाद बहुत अधिक फ्रांसीसी हो सकता था, भले ही रेस्टोरेंट इतालवी स्वाद चाहता हो। आप शेफ को आसानी से यह नहीं बता सकते थे कि, "हे, मुझे चाहिए कि आप 80% इतालवी हों और केवल 20% फ्रांसीसी।"

2. नया समाधान: Tunable MAGMAX

लेखक Tunable MAGMAX का प्रस्ताव देते हैं। इसे एक रेस्टोरेंट मालिक को प्रत्येक व्यंजन के लिए एक "स्लाइडर" वाला रिमोट कंट्रोल देने के रूप में समझें।

प्रेफरेंस वेक्टर (The Remote): यह नंबरों की एक सूची है जो सिस्टम को बताती है कि प्रत्येक "व्यंजन कौशल" का कितना हिस्सा रखना है। यदि आप सुशी-केंद्रित शेफ चाहते हैं, तो आप "जापानी" स्लाइडर को ऊपर करते हैं और "इतालवी" स्लाइडर को नीचे करते हैं।
मर्जिंग की प्रक्रिया (The Merging Process): केवल हर चरण के लिए एक ही सबसे अच्छा कदम चुनने के बजाय, Tunable MAGMAX "कौशल बजट" (skill budget) को देखता है। यदि आप जापानी स्लाइडर को उच्च सेट करते हैं, तो सिस्टम यह सुनिश्चित करता है कि शेफ के कदमों की एक बड़ी संख्या उनके जापानी प्रशिक्षण से आए। यदि आप इतालवी स्लाइडर को कम सेट करते हैं, तो यह केवल कुछ ही इतालवी कदमों को रखता है।

यह आपको पूरे शेफ को फिर से प्रशिक्षित किए बिना, किसी विशिष्ट वातावरण (जैसे किसी विशिष्ट शहर या अस्पताल) के लिए एक कस्टम मॉडल बनाने की अनुमति देता है।

3. हम रिमोट कैसे सेट करते हैं? ("जादुई" हिस्सा)

आप पूछ सकते हैं, "मुझे स्लाइडरों पर क्या नंबर रखने हैं, यह मैं कैसे जानूंगा? क्या मुझे अनुमान लगाना होगा?"

पेपर कहता है कि नहीं। उन्होंने नए वातावरण के एक छोटे से नमूने के आधार पर रिमोट को स्वचालित रूप से सेट करने का एक तरीका बनाया है।

उपमा: कल्पना कीजिए कि आप एक बरसाती शहर में एक नया रेस्टोरेंट खोल रहे हैं। आपको पूरी दुनिया के लिए खाना पकाने की आवश्यकता नहीं है; आपको बस यह जानने की आवश्यकता है कि स्थानीय लोग क्या खाते हैं।
विधि: सिस्टम आपके नए स्थान से डेटा का एक छोटा नमूना (जिसे "मेटा डेटासेट" कहा जाता है) लेता है। फिर यह इस नमूने की तुलना उस डेटा से करता है जो उसके पास पहले से मौजूद है।
- यदि लेबल (व्यंजनों के नाम) उपलब्ध हैं: यह जांचता है, "क्या नया रेस्टोरेंट अधिक टैकोस (Tacos) परोसता है या अधिक सुशी?" यह समानता की गणना करता है और स्लाइडरों को उसी के अनुसार सेट करता है।
- यदि केवल चित्र हैं (कोई नाम नहीं): यह "ऑप्टिमल ट्रांसपोर्ट" (Optimal Transport) नामक एक गणितीय उपकरण का उपयोग करके डेटा के "आकार" को देखता है। यह पूछता है, "क्या यहाँ के भोजन के चित्र इतालवी प्रशिक्षण सेट से अधिक मिलते-जुलते हैं या जापानी वाले से?"

एक बार जब यह समानता की गणना कर लेता है, तो यह स्वचालित रूप से उस विशिष्ट वातावरण के लिए सही "प्रेफरेंस वेक्टर" (रिमोट सेटिंग्स) तैयार करता है।

4. परिणाम

शोधकर्ताओं ने मानक AI बेंचमार्क (जैसे CIFAR-100 और ImageNet-R) पर इसका परीक्षण किया, जो मानक कुकिंग प्रतियोगिताओं की तरह हैं।

नियंत्रण (Control): उन्होंने दिखाया कि स्लाइडरों को बदलकर, वे मॉडल को विशिष्ट कार्यों (जैसे पहले या अंतिम व्यंजन) पर अविश्वसनीय रूप से अच्छा प्रदर्शन करने के लिए बना सकते हैं, जबकि अन्य कार्यों को थोड़ा कम होने दे सकते हैं।
अनुकूलन क्षमता (Adaptability): जब उन्होंने विभिन्न "लक्ष्य वातावरणों" (विभिन्न प्रकार के डेटा को मिलाकर) का अनुकरण किया, तो उनके स्वचालित तरीके ने पुराने तरीकों की तुलना में लगातार बेहतर शेफ बनाए। यह केवल एक शहर से डेटा का एक छोटा नमूना देखकर, एक "बरसाती शहर" या "धूप वाले शहर" के लिए पूरी तरह से ट्यून किया गया मॉडल बना सकता था।

सारांश

संक्षेप में, Tunable MAGMAX एक तरीका है जिससे आप एक सामान्य AI मॉडल जो कई चीजें सीख चुका है, उसे किसी विशिष्ट काम के लिए कस्टम-टेलर (विशेष रूप से तैयार) कर सकते हैं, बिना उसे फिर से प्रशिक्षित किए। यह यह तय करने के लिए "प्रेफरेंस वेक्टर" का उपयोग करता है कि प्रत्येक सीखे गए कौशल का कितना हिस्सा रखना है, और यह नए वातावरण के एक छोटे से नमूने को देखकर अपने आप सही सेटिंग्स का पता लगा सकता है। यह एक मास्टर शेफ होने जैसा है जो किसी भी नए पड़ोस में खुलने के लिए अपने पूरे मेनू को तुरंत समायोजित कर सकता है ताकि वह वहां के विशिष्ट स्वादों के अनुकूल हो सके।

तकनीकी सारांश: ट्यूनेबल MAGMAX (Tunable MAGMAX)

समस्या विवरण (Problem Statement)

कंटीन्यूअल लर्निंग (CL) का लक्ष्य कैटास्ट्रोफिक फॉरगेटिंग (CF) को कम करते हुए कई कार्यों (tasks) पर मॉडल को क्रमिक रूप से प्रशिक्षित करना है। जबकि हालिया प्रगति वाले लार्ज प्री-ट्रेंड मॉडल्स (LPMs) और मॉडल मर्जिंग तकनीकों जैसे MAGMAX (मैक्सिमम मैग्नीट्यूड सिलेक्शन) ने प्रभावी CL प्रदर्शन दिखाया है, मौजूदा विधियाँ मुख्य रूप से सभी कार्यों के लिए औसत प्रदर्शन को अनुकूलित करने पर ध्यान केंद्रित करती हैं। वे विभिन्न परिनियोजन वातावरणों (deployment environments) या विशिष्ट उपयोगकर्ता प्राथमिकताओं को समायोजित करने वाले मॉडल बनाने की व्यावहारिक आवश्यकता को संबोधित करने में विफल रहती हैं। उदाहरण के लिए, एक अस्पताल में स्थित मेडिकल डायग्नोसिस सिस्टम ट्यूमर डिटेक्शन को प्राथमिकता दे सकता है, जबकि दूसरा कार्डियक एब्नॉर्मलिटीज को प्राथमिकता दे सकता है, भले ही दोनों एक ही बेस LPM पर निर्भर हों। वर्तमान CL तकनीकें, जिनमें MAGMAX भी शामिल है, कार्य-वार प्रदर्शन प्राथमिकताओं को लचीले ढंग से समायोजित करने के लिए पर्याप्त तंत्र प्रदान नहीं करती हैं। इसके अलावा, MAGMAX की एलिमेंट-वाइज मैक्सिमम मैग्नीट्यूड सिलेक्शन पर निर्भरता अक्सर यह परिणाम देती है कि अंतिम प्रशिक्षित कार्य का टास्क वेक्टर मर्ज किए गए मॉडल पर हावी हो जाता है, जिससे शुरुआती कार्यों पर संभावित रूप से उप-इष्टतम (suboptimal) प्रदर्शन हो सकता है।

कार्यप्रणाली (Methodology)

यह शोध पत्र ट्यूनेबल MAGMAX का प्रस्ताव करता है, जो एक प्रेफरेंस-अवेयर (preference-aware) मॉडल मर्जिंग फ्रेमवर्क है जिसे CL में कार्य-विशिष्ट प्रदर्शन को नियंत्रित करने के लिए डिज़ाइन किया गया है। यह विधि MAGMAX का विस्तार करती है और एक प्रेफरेंस वेक्टर पेश करती है जो मर्जिंग प्रक्रिया के दौरान प्रत्येक टास्क वेक्टर से चुने जाने वाले तत्वों की संख्या को निर्धारित करती है।

मुख्य तंत्र: ट्यूनेबल MAGMAX (Core Mechanism: Tunable MAGMAX)

मानक MAGMAX में, मर्ज किया गया टास्क वेक्टर प्रत्येक पैरामीटर इंडेक्स के लिए सभी टास्क वेक्टर्स में से अधिकतम पूर्ण परिमाण (absolute magnitude) वाले तत्व का चयन करके बनाया जाता है। ट्यूनेबल MAGMAX इसे एक बजट बाधा लागू करके संशोधित करता है जिसे एक प्रेफरेंस वेक्टर $\mathbf{n}_T = (n_1, \dots, n_T)$ द्वारा परिभाषित किया जाता है, जहाँ $\sum n_t = d$ (कुल मॉडल पैरामीटर्स)।

चयन प्रक्रिया (Selection Process): एल्गोरिदम कार्यों के माध्यम से रिवर्स ऑर्डर (अंतिम कार्य $T$ से पहले कार्य तक) में पुनरावृत्ति करता है। प्रत्येक कार्य $t$ के लिए, यह उन अनसेलेक्टेड पैरामीटर्स की पहचान करता है जहाँ कार्य $t$ का वेक्टर शेष कार्यों में सबसे बड़ा परिमाण रखता है।
बजट प्रवर्तन (Budget Enforcement): यदि स्वाभाविक रूप से चुने गए तत्वों की संख्या बजट $n_t$ से अधिक हो जाती है, तो कोटा पूरा करने के लिए अतिरिक्त तत्वों को रैंडम तरीके से हटा दिया जाता है। यदि प्रारंभिक पास के बाद बजट पूरा नहीं होता है, तो एल्गोरिदम अतिरिक्त अलाइनमेंट इटरेशन (प्रयोगों में $K=2$ सेट किया गया) करता है ताकि शेष अनसेलेक्टेड पैरामीटर्स को उन कार्यों को सौंपा जा सके जिन्होंने अभी तक अपना बजट प्राप्त नहीं किया है।
परिणाम: यह विशिष्ट कार्यों की ओर मॉडल को बायस (bias) करने की अनुमति देता है, जिससे उनके संबंधित टास्क वेक्टर्स को अधिक पैरामीटर्स आवंटित करके प्रदर्शन के ट्रेड-ऑफ को नियंत्रित किया जा सकता है।

ऑटोमैटिक प्रेफरेंस कंस्ट्रक्शन (Automatic Preference Construction)

प्रेफरेंस वेक्टर के मैनुअल स्पेसिफिकेशन की आवश्यकता को समाप्त करने के लिए, लेखक एक समानता-आधारित तंत्र का प्रस्ताव करते हैं। यह लक्षित परिनियोजन वातावरण से थोड़े से मेटा-डेटा ( $D_{meta}$ ) का उपयोग करके प्रशिक्षण डेटासेट्स ( $D_t$ ) के साथ समानता की गणना करने के लिए लीवरेज करता है।

फीचर-आधारित (OT): यदि फीचर सेट उपलब्ध हैं, तो समानता की गणना प्रशिक्षण कार्य और मेटा-डेटा के एम्बेडेड फीचर्स के बीच ऑप्टिमल ट्रांसपोर्ट (OT) दूरी का उपयोग करके की जाती है।
लेबल-आधारित: यदि केवल लेबल सेट उपलब्ध हैं, तो समानता की गणना एम्पिरिकल लेबल डिस्ट्रीब्यूशन के इनर प्रोडक्ट के आधार पर की जाती है।
प्रेफरेंस वेक्टर $n_t$ का निर्माण इन समानता स्कोर के आनुपातिक रूप से पैरामीटर्स आवंटित करके किया जाता है।

मुख्य योगदान (Key Contributions)

ट्यूनेबल MAGMAX फ्रेमवर्क: एक नवीन मॉडल मर्जिंग विधि जो एक प्रेफरेंस वेक्टर के माध्यम से प्रत्येक टास्क वेक्टर से चुने जाने वाले तत्वों की संख्या को नियंत्रित करती है, जिससे कंटिनुअल लर्निंग में कार्य-वार प्रदर्शन पर लचीला नियंत्रण संभव होता है।
सिमिलैरिटी-बेस्ड ऑटोमेशन: प्रशिक्षण डेटासेट्स और थोड़े से लक्षित मेटा-डेटा के बीच डेटासेट समानता (OT डिस्टेंस या लेबल डिस्ट्रीब्यूशन के माध्यम से) का लाभ उठाकर उपयुक्त प्रेफरेंस वेक्टर्स को स्वचालित रूप से बनाने की एक विधि।
अनुभवजन्य सत्यापन (Empirical Validation): CIFAR-100 और ImageNet-R पर CL बेंचमार्क के माध्यम से प्रदर्शन, जो यह सिद्ध करता है कि फ्रेमवर्क सफलतापूर्वक विविध लक्षित वातावरणों के अनुकूल मर्ज किए गए मॉडल बनाता है, जो विशिष्ट परिनियोजन परिदृश्यों में बेसलाइन विधियों के बराबर या उनसे बेहतर प्रदर्शन करता है।

प्रयोगात्मक परिणाम (Experimental Results)

लेखकों ने CIFAR-100 और ImageNet-R का उपयोग करके क्लास-इन्क्रीमेंटल लर्निंग सेटिंग्स में विभिन्न कार्यों की संख्या ( $T \in \{5, 20, 50\}$ ) के साथ ट्यूनेबल MAGMAX का मूल्यांकन किया।

नियंत्रणीयता (Controllability): प्रेफरेंस वेक्टर में एक स्केलिंग कोएफिशिएंट $\alpha$ को बदलकर, विधि सफलतापूर्वक प्रदर्शन फोकस को शिफ्ट कर सकी। उच्च $\alpha$ मानों ने शुरुआती कार्यों को प्राथमिकता दी, जबकि निम्न $\alpha$ मानों ने बाद के कार्यों को प्राथमिकता दी, जो कार्यों के बीच प्रदर्शन के ट्रेड-ऑफ को प्रदर्शित करता है।
लक्षित वातावरण अनुकूलन (Target Environment Adaptation): विविध लक्षित वातावरणों (कार्यों के संतुलित और असंतुलित मिश्रण) का अनुकरण करने वाले प्रयोगों में, ट्यूनेबल MAGMAX ने लेबल-आधारित सिमिलैरिटी कंट्रोल का उपयोग करके बेसलाइन्स (MAGMAX, TIES-Merging, Model Soup, और रैंडम मिक्सिंग) की तुलना में लगातार उच्च या तुलनीय औसत सटीकता प्राप्त की।
मजबूती (Robustness): लेबल-आधारित प्रेफरेंस कंट्रोल ने OT-आधारित दृष्टिकोण की तुलना में लक्षित वातावरण में कार्यों की बदलती संख्या के विरुद्ध बेहतर मजबूती दिखाई, विशेष रूप से जब लक्षित वातावरण में कार्यों की संख्या कम थी।

महत्व और दावे (Significance and Claims)

यह शोध पत्र दावा करता है कि ट्यूनेबल MAGMAX उन परिदृश्यों में कंटिनुअल लर्निंग मॉडल्स को तैनात करने के लिए एक व्यावहारिक समाधान प्रदान करता है जहाँ अनुप्रयोगों या उपयोगकर्ताओं के बीच कार्य प्राथमिकताएं भिन्न होती हैं। शून्य से पुनः प्रशिक्षण (retraining from scratch) की कम्प्यूटेशनल लागत के बिना प्रेफरेंस-अवेयर कंट्रोल सक्षम करके, यह विधि सीमित संसाधनों वाले पेशेवरों को विशिष्ट परिनियोजन आवश्यकताओं के लिए मर्ज किए गए मॉडल्स को कस्टमाइज़ करने की अनुमति देती है। लेखक नोट करते हैं कि हालांकि विधि लचीली टास्क प्रायोरिटीज़ की आवश्यकता को प्रभावी ढंग से संबोधित करती है, यह लक्षित वातावरण का अनुमान लगाने के लिए मेटा-डेटा की उपलब्धता पर निर्भर करती है और वर्तमान में प्रशिक्षण कार्यों के बीच निर्भरताओं (dependencies) को ध्यान में नहीं रखती है।