🤖 machine learning

Training Leaves Traces: Centered Residual Signatures for Language Model Lineage Verification

यह शोध पत्र सेंटर्ड रेसिडुअल सिग्नेचर (Centered Residual Signatures) नामक एक डेटा-मुक्त, व्हाइट-बॉक्स विधि प्रस्तुत करता है जो रेसिडुअल ब्लॉक्स में अद्वितीय संरचनात्मक निशानों का विश्लेषण करके ओपन-वेट लैंग्वेज मॉडल्स की वंशावली को सत्यापित करती है, जिससे फाइन-ट्यूनिंग, मर्जिंग या क्वांटाइजेशन के बावजूद संबंधित और असंबंधित चेकपॉइंट्स के बीच सटीक अंतर करना संभव हो जाता है।

मूल लेखक: Aman Singh Thakur, Rayan Khoury

प्रकाशित 2026-08-18

📖 7 मिनट में पढ़ें🧠 गहराई से पढ़ें

CC BY 4.0

मूल लेखक: Aman Singh Thakur, Rayan Khoury

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

आधुनिक डिजिटल परिदृश्य में, आर्टिफिशियल इंटेलिजेंस मॉडल शायद ही कभी स्थिर या एकाकी रचनाएँ होते हैं। वे जीवित संस्थाएँ हैं जो एक जटिल आपूर्ति श्रृंखला के माध्यम से विकसित होती हैं। एक बेस मॉडल, जिसे विशाल मात्रा में टेक्स्ट पर प्रशिक्षित किया गया है, अक्सर एक डेवलपर से दूसरे डेवलपर के पास जाता है। इस यात्रा के दौरान, इसे विशिष्ट कार्यों को करने के लिए बदला जाता है, छोटे उपकरणों पर चलाने के लिए संकुचित (compress) किया जाता है, या कुछ नया बनाने के लिए अन्य मॉडलों के साथ मिलाया जाता है। ये प्रक्रियाएँ मॉडल की आंतरिक संख्याओं, यानी इसके 'वेट्स' (weights) को बदल देती हैं, लेकिन वे शायद ही कभी कोई स्पष्ट कागजी निशान छोड़ती हैं। एक बार जब मॉडल को एक नए नाम के तहत जारी किया जाता है, तो यह बताना कठिन हो जाता है कि क्या वह किसी प्रसिद्ध मूल मॉडल का वास्तविक वंशज है या केवल एक दिखने वाला हमशक्ल है जिसे समान व्यवहार करने के लिए शून्य से बनाया गया है। पारदर्शिता की यह कमी ओपन-सोर्स इंटेलिजेंस के पारिस्थितिकी तंत्र में एक अंध बिंदु (blind spot) पैदा करती है, जिससे उत्पत्ति को सत्यापित करना या बौद्धिक संपकी की रक्षा करना कठिन हो जाता है।

मुख्य चुनौती दो बहुत अलग परिदृश्यों के बीच अंतर करने में निहित है। पहले मामले में, एक मॉडल दूसरे का सच्चा बच्चा है, जो फाइन-ट्यूनिंग या मर्जिंग की प्रक्रिया के माध्यम से उसकी विशिष्ट गणितीय संरचना को विरासत में प्राप्त करता है। दूसरे मामले में, एक मॉडल एक स्वतंत्र रचना है जो संयोग से समान परिणाम उत्पन्न करता है। सत्यापन के पारंपरिक तरीके, जैसे कि डिजिटल फिंगरप्रिंट की जांच करना या यह देखना कि मॉडल कैसे व्यवहार करता है, अक्सर यहाँ विफल हो जाते हैं। डिजिटल हस्ताक्षर तब टूट जाते हैं जब एक भी संख्या बदल दी जाती है, और व्यवहार संबंधी परीक्षण यह नहीं बता सकते कि क्या यह एक साझा इतिहास है या केवल एक साझा परिणाम। शोधकर्ताओं को मॉडल के मस्तिष्क के भीतर देखने और एक ऐसा निशान खोजने की आवश्यकता थी जो इन परिवर्तनों के बाद भी जीवित रहे, एक ऐसा संकेत जो मूल प्रशिक्षण डेटा या मॉडल को चलाने की क्षमता के बिना भी साझा वंश को सिद्ध कर सके।

शोधकर्ताओं की एक टीम ने मॉडल के भीतर छोड़ी गई अनूठी ज्यामितीय संरचना की जांच करके इस समस्या को हल करने के लिए एक विधि विकसित की है। उन्होंने एक विशिष्ट वास्तुशिल्प विशेषता (architectural feature) पर ध्यान केंद्रित किया जो कई आधुनिक भाषा मॉडलों में सामान्य है: रेसिडुअल ब्लॉक (residual block)। इन संरचनाओं में, सूचना एक मुख्य पथ के माध्यम से प्रवाहित होती है और एक साइड पथ को भी बायपास करती है, जिससे मॉडल को हर बार शून्य से शुरू करने के बजाय छोटी सुधारों को सीखने की अनुमति मिलती है। शोधकर्ताओं ने पाया कि जब एक मॉडल को प्रशिक्षित किया जाता है, तो इन साइड पथों में गणितीय संचालन एक बहुत ही विशिष्ट, साझा संरेखण (alignment) विकसित करते हैं। यह ऐसा है जैसे मॉडल अपने आंतरिक घटकों को कुशलतापूर्वक सुधार करने के लिए उन्हें एक विशेष तरीके से व्यवस्थित करना सीखता है। हालाँकि, यह संरेखण इतना सामान्य है कि यह लगभग किसी भी प्रशिक्षित मॉडल में दिखाई देता है, जिससे यह अकेले वंश सिद्ध करने के लिए बेकार हो जाता है।

महत्वपूर्ण सफलता तब मिली जब शोधकर्ताओं ने महसूस किया कि वे उस हिस्से को अलग कर सकते हैं जो एक विशिष्ट 'चेकपॉइंट' के लिए अद्वितीय है। एक विशिष्ट चेकपॉइंट के लिए अद्वितीय भाग को गणितीय रूप से हटाकर, जो सभी प्रशिक्षित मॉडलों के पास मौजूद एक सामान्य, साझा संरेखण है, वे एक 'रेसिडुअल सिग्नेचर' (residual signature) के साथ बच गए। यह शेष हिस्सा एक अनूठे फिंगरप्रिंट की तरह है जो उस मॉडल के सटीक इतिहास के लिए विशिष्ट है। यह उस विशिष्ट तरीके को पकड़ता है जिस तरह से मॉडल की आंतरिक संख्याओं को उसके निर्माण के दौरान समायोजित किया गया था। टीम ने इन हस्ताक्षरों के बीच तुलना करने के लिए एक स्कोरिंग सिस्टम बनाया। यदि मॉडलों का एक ही जनक (parent) है, तो उनके अनूठे हस्ताक्षर बारीकी से संरेखित होंगे, भले ही एक को भारी रूप से संशोधित, संकुचित या दूसरे मॉडल के साथ मिलाया गया हो। यदि वे असंबंधित हैं, तो तुलना किए जाने पर उनके हस्ताक्षर रैंडम नॉइज़ (random noise) की तरह दिखेंगे।

इस विचार का परीक्षण करने के लिए, शोधकर्ताओं ने विभिन्न आकार और जटिलता के मॉडलों का उपयोग करके कठोर प्रयोग चलाए। उन्होंने बेस मॉडलों को लिया और उन्हें सामान्य वास्तविक दुनिया के रूपांतरणों, जैसे कि नए डेटा पर फाइन-ट्यून करना, प्रूनिंग (pruning) के माध्यम से उनका आकार कम करना, या उन्हें तेजी से चलाने के लिए संकुचित करना, जैसे विषयों के अधीन किया। उन्होंने स्वतंत्र मॉडल भी बनाए जिन्हें मूल मॉडलों की नकल करने के लिए शून्य से प्रशिक्षित किया गया था। परिणाम आश्चर्यजनक थे। नई स्कोरिंग पद्धति ने हर एक सच्चे वंशज की सफलतापूर्वक पहचान की, चाहे उसे कितना भी परिवर्तित क्यों न किया गया हो। इसने स्वतंत्र मॉडलों से पूर्ण सटीकता के साथ अंतर किया, भले ही उन स्वतंत्र मॉडलों को लगभग समान व्यवहार करने के लिए डिज़ाइन किया गया था। यह विधि कोडिंग और सामान्य बातचीत के लिए उपयोग किए जाने वाले मॉडलों सहित भाषा मॉडलों के विभिन्न परिवारों में काम करती है, जो यह सिद्ध करता है कि यह संकेत कि कैसे नेटवर्क सीखते हैं, एक मौलिक गुण है।

शोधकर्ताओं ने एक अधिक आक्रामक परिदृश्य में भी इस पद्धति का परीक्षण किया जहाँ एक विरोधी (adversary) मॉडल की उत्पत्ति को छिपाने का प्रयास कर रहा था। उन्होंने मॉडल के आंतरिक घटकों को पुनर्व्यवस्थित करने या उनकी संख्याओं को इस तरह से रीस्केल करने का प्रयास किया जो मॉडल के कार्य को सुरक्षित रखते हुए उसके स्वरूप को पारंपरिक पहचान उपकरणों के लिए भ्रमित कर दे। जहाँ पुराने तरीके इन स्थितियों में पूरी तरह विफल रहे, वहीं नया सिग्नेचर स्थिर रहा। ऐसा इसलिए है क्योंकि यह विधि घटकों के क्रम या उनके पूर्ण आकार पर निर्भर नहीं है, बल्कि उनके बीच के विशिष्ट ज्यामितीय संबंध पर आधारित है। शोधकर्ताओं ने पाया कि उनका दृष्टिकोण निकटतम प्रतिस्पर्धी तकनीक की तुलना में काफी तेज़ था, जो बड़े मॉडलों पर दर्जनों गुना तेज़ी से चलता है। यह गति, और बिना किसी प्रशिक्षण डेटा या मॉडल को चलाने की क्षमता के काम करने की इसकी क्षमता के साथ मिलकर, ओपन-सोर्स आर्टिफिशियल इंटेलिजेंस की आपूर्ति श्रृंखला के ऑडिटिंग के लिए एक व्यावहारिक उपकरण बनाती है।

एक वास्तविक दुनिया के प्रदर्शन में, टीम ने अपने तरीके को सार्वजनिक भाषा मॉडलों के एक संग्रह पर लागू किया जिन्हें एक प्रसिद्ध मूल मॉडल से संबंधित होने का दावा किया गया था। परीक्षण ने सही ढंग से तीन मॉडलों की पहचान की जो वास्तविक वंशज थे, और उन्हें उच्च समानता स्कोर दिया। साथ ही, इसने सात अन्य मॉडलों को भी सही ढंग से चिह्नित किया जो समान आर्किटेक्चर साझा करते थे लेकिन स्वतंत्र रूप से प्रशिक्षित किए गए थे, उन्हें शून्य के करीब स्कोर दिया। इसने पुष्टि की कि यह विधि एक वास्तविक वंश और महज एक आर्किटेक्चरल क्लोन के बीच अंतर कर सकती है। अध्ययन सुझाव देता है कि यह निष्क्रिय, डेटा-मुक्त संकेत ओपन-वेट मॉडलों के इतिहास को सत्यापित करने का एक विश्वसनीय तरीका है। यह मॉडलों के बीच अदृश्य संबंधों को देखने का एक तरीका प्रदान करता है, यह सुनिश्चित करता है कि आर्टिफिशियल इंटेलिजेंस का वंश क्रम ट्रैक किया जा सके, सत्यापित किया जा सके और समझा जा सके, भले ही उसके मूल निर्माता आगे बढ़ चुके हों।

तकनीकी सारांश: भाषा मॉडल वंशावली सत्यापन के लिए सेंटर्ड रेसिडुअल सिग्नेचर (Centered Residual Signatures)

समस्या का निरूपण (Problem Formulation)

यह शोध पत्र ओपन-वेट लैंग्वेज मॉडल्स के लिए डेटा-मुक्त व्हाइट-बॉक्स वंशावली सत्यापन (data-free white-box lineage verification) की चुनौती को संबोधित करता है। जैसे-जैसे मॉडल जटिल आपूर्ति श्रृंखलाओं (fine-tuning, quantization, pruning, merging जैसे LoRA के माध्यम से) के माध्यम से वितरित किए जा रहे हैं, उनकी उत्पत्ति (provenance) अक्सर अनदस्तावेजीकृत या जानबूझकर अस्पष्ट कर दी जाती है।

मुख्य कार्य इस प्रकार परिभाषित है: दो संगत मॉडल चेकपॉइंट्स (A और B) को देखते हुए, जिनके पास समान रेसिडुअल आर्किटेक्चर (समान $L$ लेयर्स और हिडन डायमेंशन $d$ ) है, एक सत्यापनकर्ता (verifier) को केवल वेट्स (weights) के आधार पर यह निर्धारित करना होगा कि क्या वे एक वेट-स्तरीय वंशावली (weight-level ancestry) साझा करते हैं।

संबंधित (Related): ऐसे चेकपॉइंट्स जो पोस्ट-ट्रेनिंग ऑपरेशन्स (fine-tuning, RLHF, pruning, quantization, merging) के माध्यम से एक सामान्य पूर्वज (common ancestor) से वेट्स विरासत में प्राप्त करते हैं।
असंबंधित (Unrelated): स्वतंत्र रूप से इनिशियलाइज़ किए गए चेकपॉइंट्स, भले ही वे समान आर्किटेक्चर, प्रशिक्षण डेटा या व्यवहार संबंधी आउटपुट साझा करते हों (उदाहरण के लिए, स्क्रैच से प्रशिक्षित एक डिस्टिल्ड स्टूडेंट अपने टीचर से असंबंधित है)।

मौजूदा विधियाँ इस सेटिंग में विफल रहती हैं: क्रिप्टोग्राफिक हैश किसी भी वेट परिवर्तन के साथ टूट जाते हैं; मेटाडेटा के लिए विश्वास की आवश्यकता होती है; वॉटरमार्क्स को सक्रिय रूप से डालना पड़ता है; और व्यवहार संबंधी समानता मेट्रिक्स (CKA, SVCCA) डेटा/फॉरवर्ड पास की आवश्यकता रखते हैं और कार्यात्मक समानता के बजाय कार्यात्मक व्यवहार को मापते हैं।

कार्यप्रणाली: सेंटर्ड रेसिडुअल सिग्नेचर (Methodology: Centered Residual Signatures)

प्रस्तावित विधि प्रशिक्षित रेसिडुअल नेटवर्क के एक संरचनात्मक गुण का लाभ उठाती है: ब्रांच उत्पादों में ट्रेस एकाग्रता (trace concentration)।

1. ब्रांच उत्पादों में ट्रेस एकाग्रता (Trace Concentration in Branch Products)

एक रेसिडुअल ब्लॉक $x_{\ell+1} = x_\ell + F_\ell(x_\ell)$ में, रेसिडुअल ब्रांच $F_\ell$ आमतौर पर नॉन-लिनियरिटीज़ के साथ इंटरलीव्ड लीनियर लेयर्स से बनी होती है। लीनियर फैक्टर्स को कंपोज़ करके और नॉन-लिनियरिटीज़ को हटाकर, हम एक ब्रांच प्रोडक्ट मैट्रिक्स $M_\ell = W_K \dots W_1 \in \mathbb{R}^{d \times d}$ प्राप्त करते हैं।
फ्रोबेनियस इनर प्रोडक्ट के तहत, किसी भी मैट्रिक्स को आइडेंटिटी-अलाइन्ड घटक और एक ट्रेसलेस शेष (traceless remainder) में विभाजित किया जा सकता है:
$M_\ell = \frac{\text{tr}(M_\ell)}{d}I + E_\ell$
जहाँ $\text{tr}(E_\ell) = 0$ है।
ट्रेनिंग सही ढंग से युग्मित (paired) ब्रांच उत्पादों में एक मजबूत आइडेंटिटी अलाइनमेंट प्रेरित करती है, जिसका अर्थ है कि ट्रेस एकाग्रता स्कोर $s(M) = |\text{tr}(M)| / \|M\|_F$ उच्च होता है। हालाँकि, यह गुण जेनेरिक है; स्वतंत्र रूप से प्रशिक्षित मॉडल भी उच्च ट्रेस एकाग्रता प्रदर्शित करते हैं। इसलिए, केवल ट्रेस एकाग्रता वंशावली स्थापित नहीं कर सकती।

2. सेंटर्ड रेसिडुअल सिग्नेचर (Centered Residual Signatures)

वंशावली को अलग करने के लिए, यह विधि जेनेरिक आइडेंटिटी-अलाइन्ड घटक को हटा देती है और चेकपॉइंट-विशिष्ट शेष $E_\ell$ (जिसे पेपर में $R_\ell$ कहा गया है) पर ध्यान केंद्रित करती है।

सिग्नेचर एक्सट्रैक्शन (Signature Extraction): प्रत्येक ब्लॉक $\ell$ के लिए, ट्रेसलेस शेष को एक यूनिट वेक्टर $\phi_\ell$ में नॉर्मलाइज़ किया जाता है।
अलाइनमेंट (Alignment): संदर्भ $A$ और संदिग्ध $B$ के बीच एक समानता मैट्रिक्स $G_{ij} = \langle \phi^A_i, \phi^B_j \rangle$ बनाया जाता है। इष्टतम ब्लॉक परम्यूटेशन $\pi^*$ को रिकवर करने के लिए हंगेरियन एल्गोरिदम का उपयोग किया जाता है, जो उच्च सटीकता (कैनोनिकल MLP पाथ पर 100%) के साथ ब्लॉक पत्राचार को रिकवर करता है।
वंशावली स्कोर (Lineage Score): अंतिम सिमेट्रिक स्कोर $L(A, B)$ संरेखित ब्लॉक्स में सेंटर्ड सिग्नेचर के औसत कोसाइन सिमिलरिटी है:
$L(A, B) = \frac{1}{L} \sum_{\ell=1}^L \langle \phi^A_\ell, \phi^B_{\pi^*(\ell)} \rangle$
सत्यापन (Verification): स्कोर को स्वतंत्र रूप से प्रशिक्षित मॉडल्स से उत्पन्न एम्पिरिकल-नल डिस्ट्रीब्यूशन के विरुद्ध कैलिब्रेट किया जाता है। एक चेकपॉइंट को "संबंधित" माना जाता है यदि $L(A, B)$ स्वतंत्र मॉडल्स के विरुद्ध देखे गए अधिकतम स्कोर से अधिक हो।

3. सैद्धांतिक तंत्र (Theoretical Mechanism)

पेपर देखे गए आइडेंटिटी अलाइनमेंट के लिए एक ग्रेडिएंट-कपलिंग (gradient-coupling) विवरण प्रस्तावित करता है। रेसिडुअल नेटवर्क में, स्किप कनेक्शन ब्रांच को एक आइडेंटिटी पाथ के आसपास सुधार (correction) सीखने के लिए मजबूर करता है। इसके परिणामस्वरूप, ब्रांच के इनपुट और आउटपुट वेट्स ( $W_{in}$ और $W_{out}$ ) सह-संबंधित ग्रेडिएंट्स के माध्यम से अपडेट होते हैं जो डायगोनल के साथ जमा होते हैं। यह कपलिंग एक विशिष्ट चेकपॉइंट की ट्रेनिंग डायनेमिक्स के लिए विशिष्ट है और फंक्शन-प्रिजर्विंग ट्रांसफॉर्मेशन (जैसे न्यूरॉन परम्यूटेशन या रेसिप्रोकल रीस्केलिंग) के बावजूद जीवित रहती है, लेकिन री-इनिशियलाइजेशन द्वारा नष्ट हो जाती है।

मुख्य योगदान (Key Contributions)

समस्या का निरूपण: डेटा-मुक्त पेयरवाइज वेट-लिनेज वेरिफिकेशन को परिभाषित किया और सेंटर्ड रेसिडुअल सिग्नेचर पेश किया जो जेनेरिक ट्रेनिंग आर्टिफैक्ट्स से चेकपॉइंट-विशिष्ट संरचना को अलग करता है।
मॉडल-लेवल स्कोर: एक सिमेट्रिक स्कोर बनाया जो एम्पिरिकल-नल कैलिब्रेशन और MLP ब्लॉक्स के भीतर हिडन-यूनिट परम्यूटेशन और रेसिप्रोकल रीस्केलिंग के प्रति बीजगणितीय अपरिवर्तनीयता (algebraic invariance) रखता है।
मजबूत मूल्यांकन: नियंत्रित बेंचमार्क पर स्वतंत्र और डिस्टिल्ड मॉडल्स को अलग करने के लिए AUROC=1.0 के साथ वंशजों (fine-tuned, LoRA-merged, pruned, quantized) को सफलतापूर्वक पहचाना। महत्वपूर्ण रूप से, यह विधि फंक्शन-प्रिजर्विंग चेकपॉइंट लॉन्ड्रिंग (परम्यूटेशन और रीस्केलिंग) के प्रति अपरिवर्तनीय है, जबकि मानक वेट-स्पेस बेसलाइन्स (कोसाइन सिमिलरिटी, फ्रोबेनियस डिस्टेंस) विफल हो जाते हैं या महत्वपूर्ण मार्जिन खो देते हैं।
सामान्यीकरण (Generalizability): दिखाया कि अंतर्निहित ट्रेस-कंसंट्रेशन सिग्नल छह लैंग्वेज मॉडल परिवारों (GPT-2, BERT, LLaMA-2, Mistral, Qwen2.5, DeepSeek-R1) में दिखाई देता है और विजन (ViT, ResNet) तथा स्पीच (Whisper) आर्किटेक्चर तक विस्तृत है।

प्रयोगात्मक परिणाम (Experimental Results)

बेंचमार्क: रेसिडुअल-MLP और 30M-पैरामीटर GPT-2 बेंचमार्क पर मूल्यांकन किया गया।
- लिनेज डिटेक्शन: संबंधित और असंबंधित चेकपॉइंट्स के बीच अंतर करने में AUROC=1.0 और एक उच्च Gap-Z मार्जिन (जैसे, GPT-2 पर +31.0) प्राप्त किया।
- लॉन्ड्रिंग रेजिस्टेंस: फंक्शन-प्रिजर्विंग लॉन्ड्रिंग (परम्यूटेशन और रीस्केलिंग) के तहत, प्रस्तावित विधि ने AUROC=1.0 बनाए रखा। इसके विपरीत, वेट कोसाइन सिमिलरिटी AUROC=0.80 तक गिर गई, और अलाइन्ड फ्रोबेनियस डिस्टेंस स्ट्रॉन्ग रीस्केलिंग के तहत विफल रहा।
- दक्षता: GPT-2 पर निकटतम मजबूत बेसलाइन (Re-Basin+scale) की तुलना में यह विधि 76× तेज़ चलती है (5ms बनाम 388ms) क्योंकि यह इटरेटिव अलाइनमेंट सर्च के बजाय सीधे ब्रांच प्रोडक्ट्स कंप्यूट करती है।
सार्वजनिक केस स्टडी: LLaMA-2 पब्लिक चेकपॉइंट्स पर लागू किया गया। विधि ने 3 दस्तावेजी वंशजों (Chat, Vicuna, CodeLlama) को उच्च स्कोर ( $L \ge 0.33$ ) के साथ सही ढंग से पहचाना और 7 स्वतंत्र रूप से प्रशिक्षित आर्किटेक्चरल क्लोन (OpenLLaMA, Amber, Baichuan, आदि) को असंबंधित ( $|L| < 5 \times 10^{-5}$ ) के रूप में सही ढंग से वर्गीकृत किया।
व्यवहार से अंतर: विधि ने व्यवहार संबंधी समानता से वेट वंशावली को सफलतापूर्वक अलग किया। डिस्टिल्ड स्टूडेंट्स, जो टीचर आउटपुट की नकल करते हैं, ने लगभग शून्य स्कोर ( $L \approx 0.002$ ) दिया, जो पुष्टि करता है कि विधि साझा पैरामीटर्स का पता लगाती है, न कि केवल कार्यात्मक मिमिक्री का।

महत्व और सीमाएं (Significance and Limitations)

महत्व:
यह पेपर संगत ओपन-वेट लैंग्वेज मॉडल्स के लिए एक पैसिव, डेटा-फ्री प्रोवेनेंस सिग्नल स्थापित करता है। यह अनदस्तावेजी वंशावली का पता लगाने के लिए मॉडल आपूर्ति श्रृंखलाओं के ऑडिट को सक्षम बनाता है, जो वास्तविक वेट वंशजों और उन मॉडल्स के बीच अंतर करता है जो केवल समान व्यवहार करते हैं या समान आर्किटेक्चर साझा करते हैं। यह विधि आंतरिक संरचनाओं को पुनर्गठित करने वाले लॉन्ड्रिंग प्रयासों के प्रति अपनी मजबूती के कारण विशेष रूप से महत्वपूर्ण है।

सीमाएं (लेखकों द्वारा वर्णित):

व्हाइट-बॉक्स आवश्यकता: वेट्स तक पहुंच की आवश्यकता है; API-ओनली मॉडल्स को सत्यापित नहीं किया जा सकता है।
आर्किटेक्चर बाधाएं: रेसिडुअल आर्किटेक्चर (जैसे, Transformers, ResNets) तक सीमित है। प्लेन फीडफॉरवर्ड नेटवर्क, RNN, और स्टेट-स्पेस मॉडल्स इसके दायरे से बाहर हैं।
अनुकूलता (Compatibility): मिलान डेप्थ और हिडन डायमेंशन की आवश्यकता है; क्रॉस-आर्किटेक्चर सत्यापन समर्थित नहीं है।
सिमेट्री: स्कोर सिमेट्रिक है और बाहरी मेटाडेटा के बिना वंश की दिशा (पूर्वज बनाम वंशज) निर्धारित नहीं कर सकता है।
आंशिक विरासत: हालांकि स्कोर लीनियर मर्ज या लेयर ग्राफ्ट में साझा ब्लॉक्स के अंश को दर्शाता है, यह मल्टी-हॉप वंशावली या फैमिली ट्री को पुनर्गठित नहीं करता है।
कैलिब्रेशन: समान आर्किटेक्चर के स्वतंत्र रूप से प्रशिक्षित मॉडल्स से एक 'नल डिस्ट्रीब्यूशन' की आवश्यकता होती है। सांख्यिकीय गारंटी के लिए प्रभावी सैंपल साइज स्वतंत्र रूट्स की संख्या द्वारा सीमित है।
आक्रामक हमलों के प्रति मजबूती: हालांकि यह मानक लॉन्ड्रिंग के प्रति मजबूत है, भारी प्रूनिंग (85% स्पर्सिटी) या व्यापक निरंतर प्री-ट्रेनिंग सिग्नल को कमजोर कर सकती है (हालांकि यह नल से ऊपर पता लगाने योग्य रहता है)। रेसिडुअल स्ट्रीम का ऑर्थोगोनल रोटेशन (यदि फंक्शन-प्रिजर्विंग है) सैद्धांतिक रूप से सिग्नल को नष्ट कर सकता है, हालांकि ऐसे आर्किटेक्चर तैनात मॉडल्स में मानक नहीं हैं।