💻 computer science

PACT: Preserving Anchored Cores in Task-vectors for Model Merging

यह शोध पत्र PACT को प्रस्तुत करता है, जो एक मॉडल मर्जिंग फ्रेमवर्क है जो "लोड-बेयरिंग वॉल" (Load-Bearing Wall) आयामों की पहचान और संरक्षण करता है—जो टास्क वेक्टर्स के बजाय प्री-ट्रेन्ड वेट्स में सन्निहित महत्वपूर्ण कार्य-विशिष्ट ज्ञान हैं—ताकि ज्ञान के क्षरण को रोका जा सके और मौजूदा टास्क-वेक्टर-आधारित मर्जिंग विधियों के प्रदर्शन में महत्वपूर्ण सुधार किया जा सके।

मूल लेखक: Ningyuan Shi, Zhipeng Zhou, Hao Wang, Chunyan Miao, Peilin Zhao

प्रकाशित 2026-06-19

📖 5 मिनट में पढ़ें🧠 गहराई से पढ़ें

CC BY 4.0

मूल लेखक: Ningyuan Shi, Zhipeng Zhou, Hao Wang, Chunyan Miao, Peilin Zhao

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

यहाँ "PACT: Preserving Anchored Cores in Task-Vectors for Model Merging" पेपर का सरल भाषा और रचनात्मक उपमाओं (analogies) के साथ विवरण दिया गया है।

बड़ी तस्वीर: AI मॉडल्स को बिना तोड़े मिलाना (Merging)

कल्पive करें कि आपके पास एक मास्टर शेफ (Pre-trained Model) है जो पहले से ही विभिन्न प्रकार के व्यंजन बनाने में विशेषज्ञ है। फिर आप इस शेफ को तीन विशिष्ट व्यंजनों: इतालवी (Italian), जापानी (Japanese), और मैक्सिकन (Mexican) में विशेषज्ञता हासिल करने के लिए नियुक्त करते हैं। आप उन्हें अलग-अलग प्रशिक्षित करते हैं, और वे प्रत्येक में विशेषज्ञ बन जाते हैं।

अब, आप इन तीन विशेषज्ञ शेफों को एक "सुपर शेफ" में मिलाना चाहते हैं जो बिना दोबारा ट्रेनिंग लिए तीनों व्यंजन पूरी तरह से बना सके। इस प्रक्रिया को Model Merging कहा जाता है।

लंबे समय तक, वैज्ञानिकों ने सोचा कि ऐसा करने का सबसे अच्छा तरीका यह है कि केवल उन बदलावों को देखा जाए जो शेफ ने प्रत्येक व्यंजन को सीखने के लिए किए। उन्होंने इन बदलावों को "Task Vectors" कहा। पुराना तरीका ऐसा था: "आइए शेफ ने इतालवी के लिए जो नोट्स लिखे, जापानी के लिए जो लिखे, और मैक्सिकन के लिए जो लिखे, बस उन नोट्स को लें, उन्हें आपस में मिलाएं, और मूल रेसिपी बुक में जोड़ दें।"

समस्या: यह पेपर तर्क देता है कि यह पुराना तरीका दोषपूर्ण है। यह मान लेता है कि शेफ ने सब कुछ नया केवल नोट्स लिखकर सीखा है। वास्तव में, शेफ की खाना पकाने की मूल, गहरी समझ (Pre-trained Model) में कुछ महत्वपूर्ण, गुप्त ज्ञान अभी भी मौजूद है जो प्रशिक्षण के दौरान बहुत अधिक नहीं बदला। यदि आप नोट्स को लापरवाही से मिलाते हैं, तो आप अनजाने में उन मूल, आवश्यक आधारों को मिटा सकते हैं या नुकसान पहुँचा सकते हैं।

खोज: "भार वहन करने वाली दीवारें" (Load-Bearing Walls)

लेखकों ने कुछ ऐसा खोजा जिसे वे Load-Bearing Wall (LBW) dimensions कहते हैं।

उपमा (Analogy):
कल्पना करें कि शेफ की मूल रेसिपी बुक एक घर है।

Task Vectors उस फर्नीचर और सजावट की तरह हैं जो शेफ ने घर को इतालवी, जापानी या मैक्सिकन घर बनाने के लिए जोड़ा है।
LBW Dimensions उस घर की वास्तविक दीवारें और नींव हैं।

जब शेफ ने इतालवी भोजन में विशेषज्ञता हासिल की, तो उन्होंने दीवारें नहीं गिराईं; उन्होंने बस फर्नीचर बदला। हालाँकि, वे दीवारें अभी भी घर को खड़ा रखने के लिए अत्यंत महत्वपूर्ण हैं।

पुराने विलय (merging) के तरीकों ने केवल फर्नीचर (Task Vectors) को देखा। जब उन्होंने इतालवी घर को जापानी फर्नीचर के साथ मिलाने की कोशिश की, तो उन्होंने अनजाने में उन दीवारों को गिरा दिया जिनकी इतालवी घर को खड़ा रहने के लिए आवश्यकता थी। परिणाम स्वरूप? "सुपर शेफ" अब अच्छी तरह से इतालवी खाना नहीं बना सका क्योंकि नींव ही बर्बाद हो गई थी।

समाधान: PACT (Preserve Anchored Cores)

इसे ठीक करने के लिए, लेखकों ने एक नया तरीका बनाया जिसे PACT कहा जाता है।

PACT कैसे काम करता है (उपमा):
केवल फर्नीचर को मिलाने के बजाय, PACT एक सुरक्षा कवच (Protective Shield) की तरह काम करता है।

दीवारों की पहचान करना: मिश्रण करने से पहले, PACT मूल घर को देखता है और पहचानता है कि इतालवी घर के लिए कौन सी दीवारें (LBW dimensions) महत्वपूर्ण हैं, जापानी के लिए कौन सी हैं, इत्यादि।
एक ढाल बनाना: यह प्रत्येक व्यंजन के लिए उन विशिष्ट दीवारों के चारों ओर एक "फोर्स फील्ड" बनाता है।
मिश्रण को फ़िल्टर करना: जब यह इतालवी घर में जापानी फर्नीचर जोड़ने की कोशिश करता है, तो PACT जाँचता है: "क्या यह नया फर्नीचर इतालवी दीवारों से टकरा रहा है?" यदि उत्तर 'हाँ' है, तो PACT उस विशिष्ट फर्नीचर को जोड़ने से पहले ही हटा देता है।
सुरक्षित रूप से मिलाना: परिणाम एक ऐसा मिला हुआ घर है जहाँ नया फर्नीचर जोड़ा गया है, लेकिन प्रत्येक व्यंजन के लिए महत्वपूर्ण दीवारें अछूती और मजबूत बनी रहती हैं।

यह क्यों महत्वपूर्ण है

यह पेपर सिद्ध करता है कि PACT का उपयोग करके, आप पहले की तुलना में मॉडल्स को बहुत बेहतर तरीके से मिला सकते हैं।

बिना PACT के: मिला हुआ मॉडल एक ऐसे घर की तरह है जिसकी नींव में दरार है; बहुत सारे कार्यों के भार से वह ढह जाता है।
PACT के साथ: मिला हुआ मॉडल हर कार्य की नींव को बरकरार रखते हुए नए कौशल को सफलतापूर्वक जोड़ लेता है।

लेखकों ने इसका परीक्षण कई अलग-अलग कंप्यूटर विज़न कार्यों (जैसे कारों, ट्रैफिक संकेतों और फूलों को पहचानना) पर किया। उन्होंने पाया कि PACT मौजूदा विलय विधियों के प्रदर्शन में लगातार सुधार करता है, जिससे अंतिम "सुपर शेफ" किसी भी पिछले तरीके की तुलना में हर चीज़ में बेहतर बनता है।

गति पर एक संक्षिप्त नोट

यह "दीवार पहचान" (wall identification) गणनात्मक रूप से महंगा हो सकता है (जैसे हर ईंट का निरीक्षण करने के लिए आर्किटेक्ट्स की एक टीम को काम पर रखना)। लेखकों ने PACT का एक "फास्ट वर्जन" भी विकसित किया है जो एक चतुर गणितीय शॉर्टकट (Randomized SVD) का उपयोग करता है। यह शॉर्टकट घर के हर कमरे में जाने के बजाय ड्रोन से घर को स्कैन करने जैसा है—यह बहुत तेज़ है लेकिन फिर भी उच्च सटीकता के साथ महत्वपूर्ण दीवारों को ढूंढ लेता है।

सारांश

पुराना तरीका: बदलावों (Task Vectors) को मिलाएं और उम्मीद करें कि मूल मॉडल न टूटे। (परिणाम: अक्सर टूट जाता है)।
नया तरीका (PACT): मूल मॉडल के अदृश्य, महत्वपूर्ण हिस्सों (Load-Bearing Walls) की पहचान करें, उन्हें सुरक्षित करें, और फिर सावधानी से बदलावों को उनके चारों ओर मिलाएं। (परिणाम: अधिक मजबूत, स्थिर मॉडल्स)।

तकनीकी सारांश: PACT – टास्क-वेक्टर्स में एंकोर्ड कोर्स (Anchored Cores) को संरक्षित करना

समस्या विवरण (Problem Statement)

मॉडल मर्जिंग (Model merging), मल्टी-टास्क लर्निंग के एक ट्रेनिंग-फ्री विकल्प के रूप में उभरी है, जिसका उद्देश्य कई कार्य-विशिष्ट फाइन-ट्यून्ड मॉडल्स को एक एकल मल्टी-टास्क मॉडल में संयोजित करना है। प्रमुख प्रतिमान, टास्क अरिथमेटिक (Task Arithmetic), फाइन-ट्यून्ड वेट्स को प्री-ट्रेंड पैरामीटर्स ( $\theta_0$ ) और टास्क वेक्टर्स ( $\Delta_t = \theta_t - \theta_0$ ) में विभाजित करता है, और केवल टास्क-वेक्टर स्पेस में ही मर्जिंग करता है। यह दृष्टिकोण अंतर्निहित रूप से यह मान लेता है कि सभी कार्य-विशिष्ट ज्ञान टास्क वेक्टर्स के भीतर एनकोडेड हैं, जबकि प्री-ट्रेंड मॉडल केवल एक साझा इनीशियलाइजेशन पॉइंट के रूप में कार्य करता है।

लेखक इस धारणा को चुनौती देते हैं, उनका तर्क है कि यह मान्य नहीं है क्योंकि प्री-ट्रेंड मॉडल्स की अपनी अंतर्निहित कार्य प्राथमिकताएं (intrinsic task preferences) होती हैं। वे एक ऐसी घटना की पहचान करते हैं जहाँ कार्य-महत्वपूर्ण ज्ञान प्री-ट्रेंड वेट्स में "एंकर" (anchored) रहता है, न कि पूरी तरह से टास्क वेक्टर्स में स्थानांतरित होता है। ये आयाम, जिन्हें लोड-बियरिंग वॉल (Load-Bearing Wall - LBW) डायमेंशन कहा जाता है, फाइन-ट्यूनिंग के दौरान नगण्य अपडेट प्रदर्शित करते हैं (छोटा $|\Delta_t|$ ), लेकिन कार्य प्रदर्शन बनाए रखने के लिए आवश्यक होते हैं। मौजूदा मर्ging विधियाँ, जो केवल टास्क वेक्टर्स पर कार्य करती हैं, अनजाने में इन LBW डायमेंशंस को ओवरराइट या विकृत कर देती हैं, जिससे प्रदर्शन में गिरावट आती है।

कार्यप्रणाली: PACT (Preserve Anchored Cores)

LBW डायमेंशंस की संवेदनशीलता को संबोधित करने के लिए, लेखक PACT का प्रस्ताव करते हैं, जो एक डेटा-फ्री फ्रेमवर्क है जिसे मर्जिंग प्रक्रिया के दौरान प्री-ट्रेंड मॉडल में एंकर किए गए कार्य-विशिष्ट ज्ञान की रक्षा करने के लिए डिज़ाइन किया गया है।

1. LBW डायमेंशंस की पहचान

पेपर दो दृष्टिकोणों से LBW डायमेंशंस को परिभाषित करता है:

स्केलर-वेट परिप्रेक्ष्य (Scalar-Weight Perspective): फिशर इंफॉर्मेशन और एनरिचमेंट स्कोर का उपयोग करके, लेखक उन विशिष्ट पैरामीटर्स की पहचान करते हैं जिनका टास्क वेक्टर में परिमाण (magnitude) छोटा है लेकिन टास्क लॉस के प्रति संवेदनशीलता उच्च है।
सबस्पेस परिप्रेक्ष्य (Subspace Perspective): सिंगुलर वैल्यू डिकंपोजिशन (SVD) का उपयोग करके, लेखक एक कार्य $t$ के लिए LBW सबस्पेस ( $V_{t,LBW}$ ) को परिभाषित करते हैं। यह प्री-ट्रेंड वेट्स के प्रिंसिपल सबस्पेस ( $V_{0,K}$ ) को कार्य के एक्टिव अपडेट सबस्पेस ( $V_{t,k}$ ) के ऑर्थोगोनल कॉम्प्लीमेंट पर प्रोजेक्ट करके प्राप्त किया जाता है। औपचारिक रूप से:
$V_{t,LBW} = \text{orth}\left((I - V_{t,k}V_{t,k}^\top)V_{0,K}\right)$
यह सबस्पेस उन प्री-ट्रेंड फीचर दिशाओं को कैप्चर करता है जो कार्य के लिए महत्वपूर्ण हैं और फाइन-ट्यूनिंग के दौरान अपरिवर्तित रहते हैं।

2. PACT एल्गोरिदम

PACT एक विशिष्ट कार्य $t$ के लिए अन्य सभी कार्यों के LBW सबस्पेस ( $j \neq t$ के लिए $V_{j,LBW}$ ) को एकत्रित करके और एक एकीकृत ऑर्थोनॉर्मल बेसिस $V_{t}^{protect}$ बनाने के माध्यम से कार्य करता है, ताकि अन्य कार्यों के LBW सबस्पेस के साथ हस्तक्षेप को रोका जा सके। यह 'शील्ड' अन्य सभी कार्यों द्वारा आवश्यक महत्वपूर्ण प्री-ट्रेंड डिपेंडेंसीज के यूनियन का प्रतिनिधित्व करती है।

शील्ड निर्माण (Shield Construction): एल्गोरिदम इस शील्ड के ऑर्थोगोनल कॉम्प्लीमेंट पर टास्क वेक्टर $\Delta_t$ को प्रोजेक्ट करता है ताकि उन घटकों को हटाया जा सके जो अन्य कार्यों के "पवित्र स्थानों" (sacred spaces) को ओवरराइट कर सकते हैं:
$\tilde{\Delta}_t = \Delta_t - \Delta_t V_{t}^{protect}(V_{t}^{protect})^\top$
मर्जिंग (Merging): इन फिल्टर्ड वेक्टर्स $\{\tilde{\Delta}_t\}$ को फिर मौजूदा एल्गोरिदम का उपयोग करके मर्ज किया जाता है।

3. कुशल संस्करण (Randomized SVD)

स्केलेबिलिटी में सुधार के लिए, लेखक रैंडमाइज्ड SVD (RSVD) का उपयोग करते हुए एक कुशल संस्करण प्रस्तावित करते हैं। चूंकि PACT मुख्य रूप से टॉप- $k$ सिंगुलर वेक्टर्स निकालने की आवश्यकता रखता है, RSVD इन घटकों को काफी कम कम्प्यूटेशनल जटिलता ($O(mnk) $बनाम$ O(mn^2) $या$ O(n^3)$) और मेमोरी फुटप्रिंट के साथ अनुमानित करता है, जबकि एक निहित रेगुलराइज़र के रूप में कार्य करता है जो हाई-फ्रीक्वेंसी शोर को स्मूथ करता है।

मुख्य योगदान

टास्क अरिथमेटिक धारणाओं का पुनर्मूल्यांकन: पेपर अनुभवजन्य रूप से सिद्ध करता है कि टास्क वेक्टर्स पूर्ण कार्य-विशिष्ट ज्ञान को कैप्चर नहीं करते हैं। यह LBW डायमेंशंस के अस्तित्व को पहचानता और कारण-सत्यापित (causally validates) करता है—ऐसे पैरामीटर्स जिन्हें बहुत कम अपडेट मिलते हैं लेकिन जो प्रदर्शन के लिए महत्वपूर्ण हैं।
कारण-सत्यापन (Causal Validation): नियंत्रित परटर्बेशन प्रयोगों के माध्यम से, लेखक दिखाते हैं कि:
- LBW डायमेंशंस को संशोधित करने से (भले ही उनका परिमाण छोटा हो) विनाशकारी प्रदर्शन गिरावट आती है।
- स्टैंडर्ड मर्जिंग इन डायमेंशंस को ओवरराइट करती है, और उन्हें बहाल करने से प्रदर्शन वापस मिल जाता है।
- LBW घटकों का सबस्पेस एब्लेशन, रैंडम सबस्पेस एब्लेशन की तुलना में कई गुना अधिक प्रदर्शन गिरावट का कारण बनता है।
PACT फ्रेमवर्क: एक डेटा-फ्री, ज्योमेट्रिक फ्रेमवर्क का प्रस्ताव जो हस्तक्षेप करने वाले अपडेट को फिल्टर करने के लिए ऑर्थोगोनल शील्ड बनाता है, जो मौजूदा टास्क-वेक्टर मर्जिंग विधियों के साथ सहजता से एकीकृत होता है।
सैद्धांतिक विश्लेषण: लेखक सैद्धांतिक सीमाएँ प्रदान करते हैं जो दिखाते हैं कि PACT के फ़िल्टरिंग के कारण होने वाली प्रदर्शन गिरावट टास्क ग्रेडिएंट और अपडेट के प्रोटेक्शन स्पेस पर प्रोजेक्शन द्वारा नियंत्रित होती है, यह सुनिश्चित करती है कि स्वयं का प्रदर्शन सुरक्षित रहे यदि कार्य अपडेट इसके एक्टिव सबस्पेस में केंद्रित है।

प्रयोगात्मक परिणाम

विज़न बेंचमार्क (ViT-B/32, ViT-B/16, Vi-L/14) पर 8, 14 और 20 कार्यों को कवर करते हुए फुल फाइन-ट्यूनिंग और LoRA फाइन-ट्यूनिंग सेटिंग्स में व्यापक प्रयोग किए गए।

प्रदर्शन लाभ: PACT मुख्यधारा की मर्जिंग विधियों (Task Arithmetic, TSV-M, Iso-C) को लगातार बेहतर बनाता है।
- PACT-Iso-C सभी 9 मूल्यांकित परिदृश्यों (3 बैकबोन्स $\times$ 3 टास्क काउंट) में स्टेट-ऑफ-द-आर्ट (SOTA) प्रदर्शन प्राप्त करता है।
- ViT-L/14 के साथ 20-टास्क सेटिंग में, PACT-Iso-C 95.1% एब्सोल्यूट एक्यूरेसी और 98.3% नॉर्मलाइज्ड एक्यूरेसी तक पहुँचता है, जो पिछले सर्वश्रेष्ठ (Iso-CTS) से काफी आगे है।
LoRA अनुकूलन: PACT LoRA-फाइन-ट्यून्ड मॉडल्स के लिए भी मर्जिंग प्रदर्शन में सुधार करता है, यह दर्शाता है कि LBW प्रभाव तब भी बने रहते हैं जब फाइन-ट्यूनिंग के दौरान प्री-ट्रेंड पैरामीटर्स को फ्रीज कर दिया जाता है (क्योंकि LBW ज्ञान बेस मॉडल में निवास करता है)।
दक्षता: RSVD संस्करण फुल SVD के समान प्रदर्शन (और कभी-कभी इम्प्लिसिट डिनोइजिंग के कारण बेहतर) प्राप्त करता है जबकि कम्प्यूटेशनल जटिलता को काफी कम कर देता है।
एब्लेशन अध्ययन:
- स्टैटिक बनाम डायनेमिक: एक स्टैटिक बेसलाइन (S-PACT) जो अन्य कार्यों के LBW सबस्पेस पर विचार किए बिना केवल प्री-ट्रेंड कोर के विरुद्ध फिल्टर करती है, सीमित लाभ देती है, जो पारस्परिक सुरक्षा के लिए डायनेमिक आवश्यकता को रेखांकित करती है।
- लेयर-वाइज़ डेप्थ: शुरुआती फाउंडेशनल लेयर्स (जहाँ घुसपैठ ऊर्जा सबसे अधिक होती है) को फ़िल्टर करने से सबसे महत्वपूर्ण सुधार मिलता है, हालांकि उच्च टास्क लोड के लिए ग्लोबल फ़िल्टरिंग आवश्यक है।

महत्व और दावे

पेपर का दावा है कि मॉडल मर्जिंग केवल टास्क अपडेट के बीच संघर्षों को हल करने के बारे में नहीं है, बल्कि महत्वपूर्ण प्री-ट्रेंड फाउंडेशन्स का सक्रिय रूप से सम्मान करने और उन्हें सुरक्षित रखने के बारे में भी है। "लोड-बियरिंग वॉल" डायमेंशंस की पहचान करके, लेखक मौजूदा टास्क-वेक्टर आधारित विधियों की एक मौलिक कमी को उजागर करते हैं: वे उस चीज़ का हेरफेर करते हैं जो स्पष्ट रूप से टास्क वेक्टर्स में एनकोडेड है, लेकिन प्री-ट्रेंड मॉडल में निहित ज्ञान की अनदेखी करते हैं।

PACT का महत्व इसकी क्षमता में निहित है:

एक ज्योमेट्रिक परिप्रेक्ष्य प्रदान करना जो मौजूदा बीजगणितीय (algebraic) दृष्टिकोणों का पूरक है।
एक मॉड्यूलर, डेटा-फ्री समाधान प्रदान करना जिसे मूल प्रशिक्षण डेटा तक पहुँच की आवश्यकता के बिना किसी भी मौजूदा टास्क-वेक्टर मर्जिंग पाइपलाइन में एकीकृत किया जा सकता है।
विविध विज़न टास्क और मॉडल स्केल पर नया SOTA प्रदर्शन स्थापित करना, जो यह सिद्ध करता है कि मजबूत मल्टी-टास्क सिंथेसिस के लिए एंकर किए गए कोर्स की रक्षा करना आवश्यक है।

लेखक निष्कर्ष निकालते हैं कि हालांकि PACT कुछ कम्प्यूटेशनल ओवरहेड पेश करता है (जिसे RSVD संस्करण द्वारा कम किया गया है), यह मर्जिंग के दौरान अंतर्निहित संरचनात्मक निर्भरताओं को संभालने के लिए एक आवश्यक प्रतिमान बदलाव (paradigm shift) है। भविष्य के कार्य के रूप में बड़े भाषा मॉडल्स (LLMs) तक इस फ्रेमवर्क का विस्तार करने और प्रोटेक्शन शील्ड के लिए एडेप्टिव डायमेंशनलिटीटी को खोजने का सुझाव दिया गया है।