🤖 AI

Making Models Unmergeable via Scaling-Sensitive Loss Landscape

यह शोध पत्र \textsc{Trap} $^{2}$ का प्रस्ताव करता है, जो एक आर्किटेक्चर-अज्ञेय (architecture-agnostic) ढांचा है जो फाइन-ट्यूनिंग के दौरान एक स्केलिंग-संवेदनशील लॉस लैंडस्केप को एम्बेड करके मॉडल वेट्स की सुरक्षा करता है, जिससे यह सुनिश्चित होता है कि अनधिकृत मॉडल मर्जिंग से प्रदर्शन में गिरावट आए जबकि स्टैंडअलोन उपयोगिता सुरक्षित रहे।

मूल लेखक: Minwoo Jang, Hoyoung Kim, Jabin Koo, Jungseul Ok

प्रकाशित 2026-01-30

📖 5 मिनट में पढ़ें🧠 गहराई से पढ़ें

CC BY 4.0

मूल लेखक: Minwoo Jang, Hoyoung Kim, Jabin Koo, Jungseul Ok

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

AI मॉडल्स की दुनिया की कल्पना एक विशाल, खुली लाइब्रेरी के रूप में करें जहाँ लोग एक बुनियादी शेफ (बेस मॉडल) को नए करतब सिखाने के लिए "रेसिपी कार्ड" (अपडेट्स) साझा करते हैं। कभी-कभी, आप दो रेसिपी कार्डों को मिलाकर एक 'सुपर-शेफ' बनाना चाहते हैं जो दोनों करतब कर सके। इसे मॉडल मर्जिंग (model merging) कहा जाता है।

हालाँकि, एक समस्या है: क्या होगा अगर कोई ऐसा रेसिपी कार्ड जारी करता है जिसे अकेले उपयोग किया जाना चाहिए, लेकिन अन्य लोग इसे अपने कार्डों के साथ मिला देते हैं जिससे एक ऐसा 'दानव' बन जाता है जो सुरक्षा नियमों को तोड़ देता है या लाइसेंसिंग नियमों की अनदेखी करता है? यह पेपर एक "गवर्नेंस गैप" (शासन अंतराल) की बात करता है।

इस पेपर के लेखक, मिनवू जिंग और उनके सहयोगियों ने इन रेसिपी कार्डों को सुरक्षित करने का एक नया तरीका प्रस्तावित किया है ताकि यदि कोई इन्हें दूसरों के साथ मिलाने की कोशिश करे, तो ये टूट (break) जाएँ। वे अपने इस तरीके को TRAP2 कहते हैं।

यह कैसे काम करता है, सरल उपमाओं (analogies) का उपयोग करके यहाँ दिया गया है:

समस्या: "नाज़ुक केक" (The Fragile Cake)

एक मानक AI अपडेट (जैसे कि एक LoRA एडैप्टर) को एक पूरी तरह से बेक किए गए केक के रूप में सोचें।

स्टैंडअलोन (Standalone): यदि आप केक को अकेले खाते हैं, तो इसका स्वाद अद्भुत होता है (उच्च सटीकता)।
मर्जिंग (Merging): यदि आप इस केक को दूसरे केक के साथ मिलाने की कोशिश करते हैं, तो परिणाम आमतौर पर एक नया अच्छा डेज़र्ट होता है।

लक्ष्य एक ऐसा केक बनाना है जो अपने आप में लाजवाब हो, लेकिन जैसे ही कोई इसे दूसरे केक के साथ मिलाने की कोशिश करे, यह मश (mush/कीचड़ जैसा) बन जाए।

पुराना तरीका (Post-Hoc Defenses)

इसे रोकने के पिछले प्रयासों में तैयार केक को लेना और बेक करने के बाद उस पर एक विशेष "ग्लेज़" (चमकदार परत) लगाना या सामग्री को पुनर्व्यवस्थित करना शामिल था।

दोष: यह केवल विशिष्ट प्रकार के केक (जैसे ट्रांसफॉर्मर मॉडल) पर ही काम करता है। यदि आप किसी अलग प्रकार के केक (जैसे ResNet या ConvNeXt) पर इसे आज़माते हैं, तो ग्लेज़ चिपकता नहीं है, या यह केक का स्वाद बिगाड़ देता है। साथ ही, यदि आप केवल "टॉपिंग" (एडैप्टर) साझा करते हैं और पूरा केक नहीं, तो यह तरीका विफल हो जाता है क्योंकि इसे काम करने के लिए पूरे केक को देखने की आवश्यकता होती है।

नया तरीका: TRAP2 (Training-Time Protection)

केक को बेक करने के बाद उस पर ग्लेज़ लगाने के बजाय, TRAP2 इस बारे में बदल देता है कि केक को शुरू से कैसे बेक किया जाए।

कल्पना करें कि आप एक केक बेक कर रहे हैं, लेकिन आपका एक गुप्त नियम है: "यह केक कमरे के तापमान पर तो एकदम सही होना चाहिए, लेकिन यदि आप इसे थोड़ा भी गर्म या ठंडा करते हैं, तो इसे ढह जाना चाहिए।"

AI की दुनिया में, "तापमान" एक स्केलिंग फैक्टर (scaling factor) की तरह है।

जब मॉडल का अकेले उपयोग किया जाता है, तो "तापमान" 1.0 पर सेट होता है (परफेक्ट)।
जब लोग मॉडल्स को मर्ज करने की कोशिश करते हैं, तो उन्हें गणित को सही रखने के लिए अक्सर "तापमान" (वेट्स को ऊपर या नीचे स्केल करना) को एडजस्ट करना पड़ता है।

TRAP2 मॉडल को विशेष रूप से इन एडजस्टमेंट्स के तहत भंगुर (brittle) बनने के लिए प्रशिक्षित करता है।

प्रशिक्षण (The Training): AI यह सीखता है कि जब स्केलिंग ठीक 1.0 हो, तो उसे बेहतरीन प्रदर्शन करना है।
जाल (The Trap): प्रशिक्षण के दौरान, AI को यह भी दिखाया जाता है कि यदि स्केलिंग 0.5 या 2.0 हो तो क्या होता है। इसे उन परिदृश्यों में अच्छा प्रदर्शन करने के लिए भारी दंड दिया जाता है। यह सीखता है कि स्केल में कोई भी बदलाव खतरनाक है।
परिणाम (The Result): जब मॉडल जारी किया जाता है, तो यह अपने आप में बहुत अच्छा काम करता है। लेकिन जैसे ही कोई उपयोगकर्ता मॉडल को मर्ज करने की कोशिश करता है (जो स्केल में बदलाव लाता है), मॉडल का प्रदर्शन गिर जाता है।

यह क्यों विशेष है?

यह सार्वभौमिक (Universal) है: पुराने तरीकों के विपरीत जो केवल विशिष्ट "केक प्रकारों" (ट्रांसफॉर्मर) पर काम करते थे, TRAP2 किसी भी आर्किटेक्चर पर काम करता है। इसे इस बात से फर्क नहीं पड़ता कि मॉडल कैसा दिखता है; इसे केवल इस बात से फर्क पड़ता है कि संख्याओं को कैसे स्केल किया जाता है।
यह "टॉपिंग्स" पर काम करता है: यह तब भी काम करता है जब आप पूरे मॉडल के बिना केवल एक छोटा एडैप्टर (जैसे LoRA) जारी करते हैं।
"कोलेटरल डैमेज" (Collateral Damage): पेपर नोट करता है कि यदि आप एक TRAP2-सुरक्षित मॉडल को एक सामान्य मॉडल के साथ मिलाते हैं, तो सामान्य वाला भी खराब हो जाता है। यह एक नाजुक कांच के फूलदान को लकड़ी के कटोरे के साथ मिलाने जैसा है; कांच टूट जाता है, और कटोरा भी क्षतिग्रस्त हो जाता है। यह सुनिश्चित करता है कि अनधिकृत मर्जिंग सभी के लिए एक बुरा विचार है।

परिणाम

लेखकों ने कई अलग-अलग इमेज रिकग्निशन कार्यों (जैसे कारों, विमानों या हस्तलिखित अंकों की पहचान करना) पर इसका परीक्षण किया।

स्टैंडअलोन: संरक्षित मॉडल असुरक्षित मॉडलों के समान ही अच्छे काम करते हैं।
मर्ज किया गया (Merged): जब उन्होंने इन संरक्षित मॉडल्स को दूसरों के साथ मर्ज करने की कोशिश की, तो सटीकता नाटकीय रूप से गिर गई, जो अक्सर एक ऐसे मॉडल के स्तर से भी नीचे चली गई जिसने कभी प्रशिक्षण ही नहीं लिया था।

सारांश में

TRAP2 एक बौ-ट्रैप्ड (booby-trapped) रेसिपी कार्ड की तरह है। यदि आप निर्देशों का ठीक से पालन करते हैं (स्टैंडअलोन उपयोग), तो यह पूरी तरह से काम करता है, लेकिन यदि कोई इसे अन्य रेसिपी के साथ रीमिक्स करने की कोशिश करता है (मर्जिंग), तो पूरी चीज़ बिखर जाती है। यह निर्माता के काम को अनधिकृत संयोजनों में दुरुपयोग से बचाता है, बिना मॉडल की आंतरिक संरचना के विशिष्ट विवरणों को जाने।

तकनीकी सारांश: स्केलिंग-सेंसिटिव लॉस लैंडस्केप के माध्यम से मॉडल्स को अनमर्ज करने योग्य (Unmergeable) बनाना

1. समस्या का विवरण (Problem Statement)

सार्वजनिक मॉडल हब (जैसे Hugging Face, GitHub) के प्रसार ने पूर्ण चेकपॉइंट्स से लेकर हल्केवेट एडेप्टर्स जैसे लो-रैंक अडैप्टेशन (LoRA) तक, व्यापक रूप से फाइन-ट्यून्ड अपडेट्स को साझा करना सुलभ बना दिया है। जबकि यह मॉड्यूलरिटी बिना अतिरिक्त प्रशिक्षण के कई कार्य-विशिष्ट अपडेट्स को एक एकल मॉडल में संयोजित करने—यानी मॉडल मर्ज करने—की अनुमति देती है, यह एक महत्वपूर्ण गवर्नेंस गैप (शासन अंतराल) भी पैदा करती है। एक बार रिलीज़ होने के बाद, इन वेट्स (weights) को अनधिकृत मिश्रणों में पुनर्संयोजित किया जा सकता है जो सुरक्षा संरेखण (safety alignments), लाइसेंसिंग शर्तों या कार्य-विशिष्ट बाधाओं को दरकिनार कर सकते हैं।

मौजूदा सुरक्षात्मक उपाय मुख्य रूप से पोस्ट-हॉक (post-hoc) और आर्किटेक्चर-विशिष्ट हैं। PaRaMS और MergeLock जैसी विधियाँ ट्रांसफॉर्मर में अंतर्निहित आर्किटेक्चरल सिमिट्रीज़ (जैसे अटेंशन प्रोजेक्शन्स के युग्मित री-पैरामीट्रिज़ेशन) पर निर्भर करती हैं ताकि स्टैंडअलोन उपयोगिता को बनाए रखते हुए सीधे वेट-स्पेस मर्जिंग को बाधित किया जा सके। हालाँकि, इन दृष्टिकोणों के सामने दो गंभीर सीमाएँ हैं:

एडेप्टर-ओनली रिलीज़ के साथ असंगति: उन्हें युग्मित रूपांतरण (paired transformations) लागू करने के लिए पूर्ण मॉडल वेट्स तक पहुँच की आवश्यकता होती है, जिससे वे LoRA एडेप्टर्स के लिए अप्रभावी हो जाते हैं जहाँ केवल अपडेट $\Delta W$ साझा किया जाता है और बेस वेट्स $W_0$ फ्रीज़्ड/अनुपलब्ध होते हैं।
आर्किटेक्चरल जनरैलिटी का अभाव: उनकी ट्रांसफॉर्मर-विशिष्ट सिमिट्रीज़ पर निर्भरता उन्हें गैर-ट्रांसफॉर्मर बैकबोन (जैसे ResNet, ConvNeXt) पर लागू होने से रोकती है।

मुख्य चुनौती रिलीज़ किए गए अपडेट में अनमर्जबिलिटी (unmergeability) को सीधे समाहित करने की है, ताकि मॉडल अपने स्टैंडअलोन सेटिंग ( $s=1$ ) में पूर्ण उपयोगिता बनाए रखे, लेकिन डाउनस्ट्रीम मर्जिंग पाइपलाइनों में होने वाले री-स्केलिंग और एग्रीगेशन ऑपरेशन्स के दौरान ( $s \neq 1$ ) महत्वपूर्ण रूप से खराब हो जाए।

2. कार्यप्रणाली: TRAP2

लेखक TRAP2 (ट्रेनिंग-टाइम प्रोटेक्शन वाया टास्क-रोबस्ट एडवर्सरियल परटर्बेशन) प्रस्तावित करते हैं, जो एक आर्किटेक्चर-अज्ञेयवादी (architecture-agnostic) सुरक्षा ढांचा है जो अनमर्जबिलिटी को फाइन-ट्यूनिंग प्रक्रिया में ही एकीकृत करता है।

मूल अंतर्दृष्टि (Core Intuition)

मर्जिंग पाइपलाइन्स अक्सर घटक अपडेट्स को री-स्केल करने (उदाहरण के लिए, $N$ एडेप्टर्स को $1/N$ के स्केल से औसत निकालना) में शामिल होती हैं। TRAP2 इसे ऑफ-नोमिनल स्केलिंग के प्रति लॉस लैंडस्स्केप को संवेदनशील बनाकर भुनाता है। यह एक एडवर्सरियल ऑब्जेक्टिव को ऑप्टिमाइज़ करता है जो नोमिनल स्केल पर प्रदर्शन को बनाए रखता है जबकि ऑफ-नोमिनल स्केलिंग के तहत विनाशकारी गिरावट (catastrophic degradation) उत्पन्न करता है।

ऑब्जेक्टिव फंक्शन (The Objective Function)

एक बेस मॉडल $W_0$ और एक ट्रेन करने योग्य अपडेट $\Delta W$ के लिए, विधि एक स्केलिंग फैक्टर $s$ पर लॉस को इस प्रकार परिभाषित करती है:
$L_{scaled}(\Delta W; s) = \mathbb{E}_{\xi \sim D}[\ell(W_0 + s \cdot \Delta W; \xi)]$

ट्रेनिंग ऑब्जेक्टिव $J(\Delta W)$ नोमिनल लॉस को कम करता है और ऑफ-नोमिनल स्केलिंग के तहत लॉस को अधिकतम करता है:
$J(\Delta W) = L_{nominal}(\Delta W) - \lambda \cdot L_{off}(\Delta W)$

जहाँ:

$L_{nominal}(\Delta W) = L_{scaled}(\Delta W; 1)$ ।
$L_{off}(\Delta W) = \mathbb{E}_{s \sim S}[w(s) \cdot L_{scaled}(\Delta W; s)]$ ।
$S$ ऑफ-नोमिनल स्केल्स पर एक वितरण है (जो $s=1$ के आसपास के मार्जिन $\delta$ को छोड़कर है)।
$w(s)$ एक वेटिंग फंक्शन है (डिफ़ॉल्ट $1/s$ ) जो डाउन-स्केल्ड अपडेट्स के लिए ग्रेडिएंट्स को स्थिर करता है।
$\lambda$ स्टैंडअलोन उपयोगिता और री-स्केलिंग के प्रति संवेदनशीलता के बीच ट्रेड-ऑफ करता है।

ऑप्टिमाइज़ेशन (Optimization)

यह विधि स्टोकेस्टिक फर्स्ट-ऑर्डर ऑप्टिमाइज़ेशन (जैसे SGD) का उपयोग करती है। प्रत्येक इटरेशन में, ऑफ-नोमिनल डिस्ट्रीब्यूशन $S$ से एक सिंगल सैंपल $s$ लिया जाता है ताकि एक्सपेक्टेशन का अनुमान लगाया जा सके, जो एक अनबायस्ड ग्रेडिएंट एस्टिमेटर प्रदान करता है। यह प्रक्रिया दोनों पर लागू होती है:

एडेप्टर-ओनली रिलीज़: LoRA मैट्रिसेस $A$ और $B$ को ऑप्टिमाइज़ करना।
फुल फाइन-ट्यूनिंग: प्रत्येक ट्रेनिंग स्टेप पर पूर्ण पैरामीटर डिफरेंस $\Delta W_t = W_t - W_0$ को ऑप्टिमाइज़ करना।

3. मुख्य योगदान

समस्या का औपचारिकीकरण: लेखकों ने एक पोस्ट-रिलीज़ प्रोटेक्शन सेटिंग को औपचारिक रूप दिया जो विविध आर्किटेक्चर और रिलीज़ फॉर्मेट्स (एडेप्टर्स और फुल चेकपॉइंट्स) को समायोजित करता है, जिससे स्टैंडअलोन उपयोगिता और मर्जिंग डिग्रेडेशन के लिए एक एकीकृत मूल्यांकन प्रोटोकॉल स्थापित होता है।
आर्किटेक्चर-अज्ञेयवादी सुरक्षा: पूर्ववर्ती कार्यों के विपरीत, TRAP2 आर्किटेक्चरल सिमिट्रीज़ या पूर्ण-वेट एक्सेस पर निर्भर नहीं है। यह सुरक्षा को सीधे अपडेट में समाहित करता है, जिससे यह LoRA, फुल चेकपॉइंट्स और गैर-ट्रांसफॉर्मर बैकबोन के लिए भी लागू हो जाता है।
सैद्धांतिक और अनुभवजन्य विश्लेषण: पेपर स्टोकेस्टिक ऑप्टिमाइज़ेशन के तहत कन्वर्जेंस के संबंध में सैद्धांतिक गारंटी प्रदान करता है और डाउन-स्केलिंग के तहत डिग्रेडेशन को स्पष्ट करता है। अनुभवजन्य रूप से, यह प्रदर्शित करता है कि TRAP2 स्टैंडअलोन सटीकता को बनाए रखते हुए मर्जिंग के दौरान विश्वसनीय प्रदर्शन पतन (performance collapse) उत्पन्न करता है।

4. प्रयोगात्मक परिणाम (Experimental Results)

लेखकों ने CLIP मॉडल्स के साथ ViT-B/32, ViT-L/14 और ConvNeXt बैकबोन का उपयोग करके आठ विजन क्लासिफिकेशन बेंचमार्क्स (Cars, DTD, EuroSAT, GTSRB, MNIST, RESISC, Aircraft, SVHN) पर TRAP2 का मूल्यांकन किया।

स्टैंडअलोन उपयोगिता (Standalone Utility)

प्रदर्शन संरक्षण: TRAP2 सभी आर्किटेक्चर और डेटासेट्स में अनप्रोटेक्टेड फाइन-ट्यूनिंग के समान स्टैंडअलोन सटीकता बनाए रखता है।
बेसलाइन के साथ तुलना: पोस्ट-हॉक डिफेंस जैसे MergeLock, एडेप्टर-ओनली सेटिंग्स में स्टैंडअलोन उपयोगिता बनाए रखने में विफल रहे (अक्सर चांस लेवल तक गिर गए)। PaRaMS ने उपयोगिता बनाए रखी लेकिन मर्जिंग को रोकने में विफल रहा। TRAP2 दोनों में सफल रहा।

अनमर्जबिलिटी (Merging Degradation)

लीनियर मर्जिंग: जब अन्य एडेप्टर्स के साथ स्टैंडर्ड ऑपरेटर्स (Task Arithmetic, TIES, DARE, TSV, CART) का उपयोग करके Full, KnOTS, या Core स्पेस में मर्ज किया गया, तो TRAP2-प्रोटेक्टेड मॉडल्स में सटीकता में भारी गिरावट आई, जो अक्सर ज़ीरो-शॉट बेसलाइन्स से नीचे चली गई।
मर्जिंग रणनीतियों के प्रति मजबूती: ग्रिड सर्च के माध्यम से मर्जर के लिए सर्वोत्तम संभव प्रदर्शन खोजने के लिए मर्जिंग कोएफिशिएंट्स को ऑप्टिमाइज़ करने के बावजूद डिग्रेडेशन बना रहा।
डेटा-डिपेंडेंट मर्जिंग: TRAP2, RegMean और Chain-of-Merges (CoM) जैसे डेटा-डिपेंडेंट मर्जिंग ऑपरेटर्स के खिलाफ भी प्रभावी रहा, जो अतिरिक्त डेटा सिग्नल का लाभ उठाकर उपयोगिता को पुनः प्राप्त करने का प्रयास करते हैं।
पेयरवाइज और N-वे मर्जिंग: विधि ने पेयरवाइज मर्ज में "सेल्फ-कोलैप्स" और N-वे यूनिफॉर्म एवरेजिंग (जहाँ $N \ge 2$ ) में निरंतर गिरावट पैदा की।
कोलेटरल डैमेज (Collateral Damage): एक TRAP2 एडेप्टर को अनप्रोटेक्टेड एडेप्टर के साथ मर्ज करने से अक्सर अनप्रोटेक्टेड टास्क का प्रदर्शन भी बिगड़ गया, जो सुरक्षा के विघटनकारी स्वभाव को दर्शाता है।

सामान्यीकरण (Generalization)

आर्किटेक्चर: TRAP2, ConvNeXt पर प्रभावी ढंग से काम किया, जहाँ ट्रांसफॉर्मर-विशिष्ट डिफेंस लागू नहीं होते।
स्केल: परिणाम ViT-B/32 और ViT-L/14 बैकबोन दोनों में सुसंगत रहे।
फुल फाइन-ट्यूनिंग: विधि केवल एडेप्टर मर्जिंग ही नहीं, बल्कि फुल-मॉडल मर्जिंग पर भी सफलतापूर्वक विस्तारित हुई।

5. महत्व और दावे (Significance and Claims)

पेपर दावा करता है कि TRAP2 सुरक्षा के प्रतिमान को पोस्ट-हॉक से ट्रेनिंग-टाइम में बदलकर ओपन मॉडल इकोसिस्टम में गवर्नेंस गैप के लिए एक व्यावहारिक समाधान प्रदान करता है।

रक्षा रणनीति में बदलाव: अपडेट में ही अनमर्जबिलिटी को समाहित करके, TRAP2 उन पोस्ट-हॉक विधियों की सीमाओं को बायपास करता है जिन्हें पूर्ण मॉडल एक्सेस या विशिष्ट आर्किटेक्चरल सिमिट्रीज़ की आवश्यकता होती है।
विश्वसनीयता: यह सुनिश्चित करता है कि अनधिकृत पुनर्संयोजन अविश्वसनीय है, जो प्रभावी रूप से सुरक्षा या लाइसेंसिंग बाधाओं को दरकिनार करने वाले अनधिकृत मिश्रणों के निर्माण को हतोत्साहित करता है।
सीमाओं पर विनम्रता: लेखक स्वीकार करते हैं कि उनका मूल्यांकन कोएफिशिएंट-आधारित मर्जिंग पर केंद्रित है जो प्लग-एंड-प्ले पुन: उपयोग में आम है। वे नोट करते हैं कि डेटा-ड्रिवन रिकवरी (जहाँ एक मर्जर उपयोगिता को बहाल करने के लिए अतिरिक्त कार्य-प्रासंगिक डेटा का उपयोग करके मर्ज किए गए मॉडल को फिर से प्रशिक्षित या फाइन-ट्यून करता है) के खिलाफ सुरक्षा को बढ़ाना भविष्य के कार्य के लिए एक खुला विषय है।

लेखक इस बात पर जोर देते हैं कि हालांकि विधि प्रशिक्षण के दौरान एडवर्सरियल परटर्बेशंस का उपयोग करती है, इसका उद्देश्य अपलोडर के अधिकारों और मॉडल अखंडता की रक्षा के लिए एक रक्षात्मक उपकरण के रूप में कार्य करना है, न कि हमलों को सक्षम करना। वे स्पष्ट लेबलिंग जैसे जिम्मेदार रिलीज़ प्रथाओं की वकालत करते हैं ताकि डाउनस्ट्रीम उपयोगकर्ताओं को सूचित किया जा सके कि प्रोटेक्टेड मॉडल्स मर्जिंग के तहत विश्वसनीय व्यवहार नहीं कर सकते हैं।