🤖 machine learning

Locking Pretrained Weights via Deep Low-Rank Residual Distillation

यह शोधपत्र DLR-Lock को प्रस्तुत करता है, जो एक रक्षा तंत्र है जो मानक MLPs को डीप लो-रैंक रेसिडुअल नेटवर्क्स से बदलकर ओपन-वेट लैंग्वेज मॉडल्स को अनधिकृत फाइन-ट्यूनिंग से सुरक्षित करता है, जो मॉडल के प्रदर्शन को बनाए रखते हुए अनुकूलनशील हमलावरों के लिए निषेधात्मक मेमोरी और ऑप्टिमाइज़ेशन बाधाएं उत्पन्न करने हेतु इन्फरेंस-ट्रेनिंग विषमता (inference-training asymmetry) का लाभ उठाता है।

मूल लेखक: Keitaro Sakamoto, Pierre Ablin, Federico Danieli, Marco Cuturi

प्रकाशित 2026-05-12

📖 6 मिनट में पढ़ें🧠 गहराई से पढ़ें

CC BY 4.0

मूल लेखक: Keitaro Sakamoto, Pierre Ablin, Federico Danieli, Marco Cuturi

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

कल्पना कीजिए कि आपने एक शानदार, अत्यधिक बुद्धिमान रोबोट (एक लार्ज लैंग्वेज मॉडल) बनाया है और आप दुनिया के साथ उसका "दिमाग" (वेट्स/weights) साझा करना चाहते हैं ताकि लोग उसका उपयोग कर सकें। हालाँकि, आपको डर है कि कुछ उपयोगकर्ता उस दिमाग को ले सकते हैं, उसमें बदलाव कर सकते हैं, और उसे उन उद्देश्यों के लिए उपयोग कर सकते हैं जो आपने नहीं सोचे थे—जैसे हानिकारक सामग्री बनाना या सुरक्षा नियमों को तोड़ना।

आप कहना चाहते हैं: "आप मेरे रोबोट का उपयोग कर सकते हैं, लेकिन आप आसानी से इसके दिमाग को किसी और काम के लिए बदल नहीं सकते।"

यह शोध पत्र, जिसका शीर्षक "Locking Pretrained Weights via Deep Low-Rank Residual Distillation" है, एक चतुर तरीका प्रस्तावित करता है जिससे रोबोट के दिमाग को तोड़े बिना उसे "लॉक" किया जा सके। यह कैसे काम करता है, यहाँ सरल उपमाओं के माध्यम से समझाया गया है।

समस्या: "खुली डिब्बी" की दुविधा (The "Open Box" Dilemma)

वर्तमान में, जब कंपनियाँ ओपन मॉडल रिलीज़ करती हैं, तो यह एक ऐसी कार देने जैसा है जिसका हुड खुला हुआ है और इंजन बाहर दिख रहा है। कोई भी हुड खोल सकता है, स्पार्क प्लग बदल सकता है, और इंजन को तेज़ चलाने या अलग ईंधन पर चलाने के लिए ट्यून कर सकता है। AI की दुनिया में, इसका मतलब है कि कोई भी मॉडल को ले सकता है और नए कार्यों के लिए उसे बहुत सस्ते में "फाइन-ट्यून" (पुनः प्रशिक्षित) कर सकता है।

पारंपरिक सुरक्षा इंजन को छिपाने या हुड पर नकली ताला लगाने की कोशिश करती है। लेकिन शोध पत्र का तर्क है कि यदि हैकर पर्याप्त स्मार्ट है, तो वह उन तालों को खोलने या नकली हिस्सों को रिवर्स-इंजीनियर करने का तरीका ढूंढ सकता है।

समाधान: "गहरा भूलभुलैया" वाला तरीका (The "Deep Maze" Trick)

लेखक, जो Apple से हैं, DLR-Lock नामक एक नए प्रकार के लॉक का प्रस्ताव देते हैं। इंजन को छिपाने के बजाय, वे इंजन को एक गहरी, जटिल भूलभुलैया से बदल देते हैं जो बाहर से बिल्कुल वैसी ही दिखती है, लेकिन अंदर से नेविगेट करना एक दुस्वप्न जैसा है।

यहाँ मुख्य विचार तीन भागों में विभाजित है:

1. "एकतरफा रास्ता" (Inference बनाम Training)

मॉडल को एक फैक्ट्री के रूप में सोचें।

Inference (मॉडल का उपयोग करना): यह एक ग्राहक के उत्पाद खरीदने के लिए फैक्ट्री में आने जैसा है। वे अंदर आते हैं, सामान उठाते हैं, और बाहर निकल जाते हैं। उन्हें हर कदम याद रखने की ज़रूरत नहीं है; उन्हें बस अंतिम उत्पाद चाहिए।
Training (मॉडल को बदलना): यह एक मैकेनिक द्वारा फैक्ट्री को ठीक करने की कोशिश करने जैसा है। मशीन को ठीक करने के लिए, मैकेनिक को यह जानने के लिए प्रक्रिया के हर एक कदम को याद रखना होगा कि कहाँ गलती हुई। उन्हें पीछे की ओर काम करने के लिए भारी मात्रा में "मेमोरी" (एक्टिवेशन्स) को स्टोर करना पड़ता है।

यह शोध पत्र इस तथ्य का लाभ उठाता है कि मॉडल का उपयोग करना सस्ता और आसान है, लेकिन उससे सीखना/ठीक करना महंगा और मेमोरी-भारी है।

2. "गहरी भूलभुलैया" (DLR-Net)

एक मानक AI मॉडल में, सूचना को प्रोसेस करने वाला हिस्सा (जिसे MLP कहा जाता है) एक साधारण, छोटे गलियारे जैसा होता है। आप अंदर जाते हैं, और बाहर आ जाते हैं। यह तेज़ है।

लेखक इस छोटे गलियारे को Deep Low-Rank Residual Network (DLR-Net) से बदल देते हैं।

उपमा: एक छोटे गलियारे को 100 मंजिला घुमावदार सीढ़ी से बदलने की कल्पना करें जो ठीक उसी निकास (exit) तक ले जाती है।
उपयोगकर्ता के लिए (Inference): 100 सीढ़ियाँ चढ़ने में थोड़ा अधिक समय लगता है, लेकिन फिर भी यह तेज़ है। उपयोगकर्ता को अपना उत्पाद मिल जाता है, और मॉडल पहले की तरह ही अच्छा काम करता है।
हैकर के लिए (Training): यदि हैकर उस सीढ़ी को "ठीक" (वेट्स अपडेट) करना चाहता है, तो उसे बदलाव करने के लिए 100-मंजिला चढ़ाई के हर एक कदम को याद रखना होगा। इसके लिए भारी मात्रा में मेमोरी (RAM) की आवश्यकता होती है।

3. "मेमोरी ट्रैप" (The "Memory Trap")

शोध पत्र का दावा है कि मॉडल को इतना गहरा बनाकर, वे एक मेमोरी ट्रैप बना देते हैं।

मॉडल को प्रशिक्षित करने के लिए, हैकर के कंप्यूटर को उन मध्यवर्ती चरणों (intermediate steps) को स्टोर करना होगा।
यदि हैकर "ग्रेडिएंट चेकपॉइंटिंग" (जो मेमोरी बचाने के लिए चरणों को भूलकर और बाद में उन्हें फिर से कैलकुलेट करके काम करता है) नामक ट्रिक का उपयोग करने की कोशिश करता है, तो उसे बार-बार 100-मंजिला चढ़ाई को फिर से दोहराना होगा।
परिणाम: मॉडल को प्रशिक्षित करना मूल मॉडल की तुलना में घातीय रूप से (exponentially) धीमा और महंगा हो जाता है। यह एक छोटा रास्ता चलने और केवल एक बल्ब बदलने के लिए पहाड़ चढ़ने के बीच के अंतर जैसा है।

उन्होंने रोबोट को तोड़े बिना यह कैसे किया?

आप पूछ सकते हैं: "यदि आप इंजन को 100-मंतिला सीढ़ी में बदल देते हैं, तो क्या रोबोट काम करना बंद नहीं कर देगा?"

नहीं। लेखकों ने Distillation नामक तकनीक का उपयोग किया।

उपमा: एक मास्टर शेफ (मूल मॉडल) की कल्पना करें जो जानता है कि एक आदर्श सूप कैसे बनाया जाता है। लेखकों ने एक नया, जटिल किचन (DLR-Net) बनाया और इसे प्रशिक्षित किया, जिसमें मास्टर शेफ ने सूप चखा और कहा, "नहीं, इसे थोड़ा और नमकीन बनाओ," जब तक कि नया किचन बिल्कुल मूल के समान स्वाद वाला सूप नहीं बनाने लगा।
उन्होंने इसे दो चरणों में किया: पहले व्यक्तिगत सामग्रियों (मॉड्यूल्स) के स्वाद को मिलाया, फिर पूरे भोजन (अंतिम आउटपुट) के स्वाद को मिलाया।
दावा: लॉक किया गया मॉडल सामान्य उपयोगकर्ताओं के लिए मूल मॉडल के समान ही अच्छा प्रदर्शन करता है, लेकिन किसी के लिए भी इसे पुन: प्रशिक्षित करना अविश्वसनीय रूप से कठिन है।

निष्कर्ष (The Bottom Line)

शोध पत्र प्रदर्शित करता है कि वे एक मॉडल (विशेष रूप से Qwen3-0.6B मॉडल पर परीक्षण किया गया) को ले सकते हैं, उसके आंतरिक घटकों को इन "गहरी भूलभलैयाओं" से बदल सकते हैं, और:

गुणवत्ता बनाए रखते हैं: मॉडल पहले की तरह ही सवाल के जवाब देता है और टेक्स्ट लिखता है।
दरवाजा लॉक करते हैं: मॉडल को फाइन-ट्यून या अनुकूलित करने का कोई भी प्रयास समय और कंप्यूटर पावर (विशेष रूप से, प्रशिक्षण का "बैकवर्ड पास") के मामले में काफी अधिक महंगा हो जाता है।

यह एक संरचनात्मक लॉक है: आप इसे चुरा नहीं सकते क्योंकि लॉक कोई रहस्य नहीं है; यह बस इतना है कि लॉक का तंत्र इस तरह से डिज़ाइन किया गया है कि यह चोर के काम को अविश्वसनीय रूप से कठिन बना देता है, जबकि वैध उपयोगकर्ता को इसमें कोई अंतर महसूस नहीं होता।

तकनीकी सारांश: डीप लो-रैंक रेसिडुअल डिस्टिलेशन के माध्यम से प्रीट्रेनड वेट्स को लॉक करना

समस्या का निरूपण (Problem Formulation)

ओपन-वेट लार्ज लैंग्वेज मॉडल्स (LLMs) के प्रसार ने शक्तिशाली AI सिस्टम तक पहुंच को लोकतांत्रिक तो बनाया है, लेकिन साथ ही मॉडल प्रदाताओं का इस बात पर नियंत्रण भी कम कर दिया है कि उनके वेट्स (weights) का उपयोग कैसे किया जाता है। जबकि कानूनी लाइसेंस अनधिकृत अनुकूलन (unauthorized adaptation) को प्रतिबंधित करने का प्रयास करते हैं, उनमें तकनीकी प्रवर्तन (technical enforcement) का अभाव होता है। एक एडेप्टिव अटैकर (adaptive attacker), जिसके पास मॉडल वेट्स और आर्किटेक्चर तक पूर्ण पहुंच है, अक्सर सरल संरचनात्मक सुरक्षा उपायों को रिवर्स कर सकता है या अनुकूलन (optimization) का उपयोग करके उन्हें बायपास कर सकता है।

संबोधित की जाने वाली मुख्य वैज्ञानिक चुनौती मॉडल लॉकिंग (model locking) है: एक प्रीट्रेनड मॉडल को इस तरह से संशोधित करने की क्षमता जिससे उसे अनुकूलित करना (जैसे, फाइन-ट्यूनिंग के माध्यम से) मूल मॉडल की तुलना में स्वाभाविक रूप से अधिक महंगा हो जाए, जबकि मॉडल के इन्फरेंस-टाइम प्रदर्शन और सामान्य क्षमताओं को सख्ती से संरक्षित रखा जाए। लेखक इसे एक केर्कहोफ्स सिद्धांत (Kerckhoffs's principle) पर आधारित एडेप्टिव थ्रेट मॉडल के तहत औपचारिक रूप देते हैं, जहाँ रक्षा तंत्र प्रभावी रहना चाहिए भले ही हमलावर को लॉकिंग मैकेनिज्म के डिज़ाइन का ज्ञान हो। लक्ष्य एक "लॉकिंग फैक्टर" $\kappa > 1$ प्राप्त करना है, जहाँ किसी डाउनस्ट्रीम टास्क पर लक्षित प्रदर्शन स्तर तक पहुँचने की लागत (समय, FLOPs, या GPU-घंटे) मूल मॉडल की तुलना में कम से कम $\kappa$ गुना बढ़ जाती है।

मौजूदा दृष्टिकोणों की सीमाएं (Limitations of Existing Approaches)

यह शोध पत्र पिछले रक्षा रणनीतियों की मौलिक खामियों की पहचान करता है:

सिमेट्री-आधारित रक्षा (Symmetry-Based Defenses): वे विधियाँ जो वेट सिमेट्री (जैसे, स्केलिंग या इन्वर्टिबल मैट्रिक्स इंसर्शन) का लाभ उठाकर ऑप्टिमाइजेशन को बाधित करती हैं, वे आसानी से रिवर्स की जा सकती हैं। एक हमलावर वेट नॉर्म्स का निरीक्षण कर सकता है या सिंगुलर वैल्यू डिकंपोजिशन (SVD) का उपयोग करके वेट्स को पुन: संतुलित कर सकता है और मूल ऑप्टिमाइजेशन लैंडस्केप को बहाल कर सकता है।
ऑप्टिमाइजेशन-आधारित रक्षा (Optimization-Based Defenses): वे दृष्टिकोण जो इल-कंडीशन्ड लॉस लैंडस्केप (जैसे, हेसियन ट्रेस को अधिकतम करना या बैरियर मॉड्यूल डालना) के माध्यम से रक्षा को एम्बेड करने का प्रयास करते हैं, एक "स्व-विनाशकारी" विरोधाभास का सामना करते हैं। डिफेंडर को एक ऐसा समाधान खोजने के लिए ऑप्टिमाइजेशन का उपयोग करना पड़ता है जो ऑप्टिमाइजेशन का विरोध करे, फिर भी डिफेंडर के लिए उपलब्ध वही ग्रेडिएंट जानकारी हमलावर के लिए भी उपलब्ध होती है। सरल MLPs पर प्रयोग दर्शाते हैं कि ग्रेडिएंट डिसेंट अक्सर प्रीट्रेनड इनिशियलाइजेशन से इन "लॉक्ड" हाई-कॉस्ट क्षेत्रों तक पहुँचने में विफल रहता है।

कार्यप्रणाली: DLR-Lock

लेखक DLR-Lock का प्रस्ताव करते हैं, जो ऑटोमैटिक डिफरेंशिएशन (automatic differentiation) के इन्फरेंस-ट्रेनिंग एसिमेट्री (inference–training asymmetry) का लाभ उठाता है। इन्फरेंस के विपरीत, जिसमें केवल एक फॉरवर्ड पास की आवश्यकता होती है और इंटरमीडिएट एक्टिवेशन्स को हटा दिया जाता है, ट्रेनिंग के लिए बैकप्रोपैगेशन के लिए सभी इंटरमीडिएट एक्टिवेशन्स को स्टोर करना आवश्यक होता है। DLR-Lock एक ट्रांसफॉर्मर में प्रत्येक मानक SwiGLU MLP मॉड्यूल को एक डीप लो-रैंक रेसिडुअल नेटवर्क (DLR-Net) से बदल देता है।

आर्किटेक्चर (Architecture)

एक मानक MLP रेसिडुअल ब्लॉक $x' = z + \text{FFN}(\text{RMSNorm}(z))$ को गहराई- $L$ वाले लो-रैंक रेसिडुअल नेटवर्क से बदल दिया जाता है:
$h_0 = z, \quad h_{i+1} = h_i + \alpha_i U_i \sigma(V_i \text{RMSNorm}(h_i)), \quad x' = h_L$
जहाँ:

$V_i \in \mathbb{R}^{r \times d}$ और $U_i \in \mathbb{R}^{d \times r}$ लो-रैंक प्रोजेक्शन मैट्रिसेस हैं जिनका बॉटलनेक रैंक $r \ll d$ है।
$\alpha_i$ एक लर्न करने योग्य ReZero स्केलर है।
गहराई $L$ को इस तरह चुना जाता है कि कुल पैरामीटर काउंट मूल MLP के बराबर (या थोड़ा अधिक) हो, जिससे पैरामीटर्स को कुछ गहरे लेयर्स के बजाय कई उथले लेयर्स में वितरित किया जा सके।

तीन लॉकिंग मैकेनिज्म (Three Locking Mechanisms)

यह आर्किटेक्चरल प्रतिस्थापन अनुकूलन के लिए तीन विशिष्ट बाधाएं उत्पन्न करता है:

एक्टिवेशन मेमोरी ग्रोथ (Activation Memory Growth): बैकप्रोपैगेशन के दौरान, इंटरमीडिएट एक्टिवेशन्स को स्टोर करने के लिए आवश्यक मेमोरी गहराई $L$ के साथ रैखिक रूप से बढ़ती है। एक हमलावर द्वारा उपयोग किए जाने वाले नेटिव फाइन-ट्यूनिंग के लिए, एक्टिवेशन मेमोरी ओवरहेड मूल मॉडल की तुलना में $\Theta(d/r)$ के रूप में स्केल करता है, जो संभावित रूप से छोटे बैच साइज या अधिक महंगे हार्डवेयर को मजबूर कर सकता है।
ऑप्टिमाइजेशन अस्थिरता (Optimization Instability): गहरा रेसिडुअल स्ट्रक्चर मूल मॉडल के ट्रेनिंग रेसिपी के साथ एक आर्किटेक्चरल मिसमैच पैदा करता है। मूल SHALL MLPs के लिए ट्यून किए गए मानक फाइन-ट्यूनिंग हाइपरपैरामीटर्स और ऑप्टिमाइजर्स, जब गहरे DLR-Nets पर लागू किए जाते हैं, तो अस्थिर या अकुशल हो जाते हैं।
असमान बैकवर्ड पास ओवरहेड (Disproportionate Backward Pass Overhead): जटिल मेमोरी एक्सेस पैटर्न और एक्टिवेशन्स को पुन: कंप्यूट करने की आवश्यकता (ग्रेडिएंट चेकपॉइंटिंग के साथ भी) के कारण बैकवर्ड पास में फॉरवर्ड पास की तुलना में काफी अधिक ओवरहेड होता है। महत्वपूर्ण रूप से, कंपाइलर ऑप्टिमाइजेशन (जैसे CUDA ग्राफ रीप्ले) जो फॉरवर्ड पास को तेज करते हैं, वे बैकवर्ड पास पर स्थानांतरित नहीं होते हैं, जिससे उन हमलावरों के लिए लागत का अंतर बढ़ जाता है जिन्हें ग्रेडिएंट्स की गणना करनी होती है।

डिस्टिलेशन प्रक्रिया (Distillation Procedure)

यह सुनिश्चित करने के लिए कि लॉक किया गया मॉडल मूल क्षमताओं को बनाए रखे (यूटिलिटी प्रिजर्वेशन), लेखक दो-चरणीय डिस्टिलेशन पाइपलाइन का उपयोग करते हैं:

मॉड्यूल-वाइज डिस्टिलेशन (Module-wise Distillation): प्रत्येक DLR-Net को संबंधित प्रीट्रेनड MLP लेयर के इनपुट-आउटपुट मैपिंग को दोहराने के लिए स्वतंत्र रूप से प्रशिक्षित किया जाता है, जिससे रिलेटिव मीन स्क्वेर्ड एरर (MSE) को कम किया जाता है।
लॉगिट्स डिस्टिलेशन (Logits Distillation): सभी लेयर्स को बदलने के बाद, मूल मॉडल को टीचर के रूप में उपयोग करके DLR-Net पैरामीटर्स (अटेंशन और एम्बेडिंग्स को फ्रीज करते हुए) को फाइन-ट्यून करके संचित त्रुटियों को सुधारा जाता है। इसका उद्देश्य टीचर और स्टूडेंट आउटपुट डिस्ट्रीब्यूशंस के बीच टॉप- $k$ KL डाइवर्जेंस को कम करना है।

प्रयोगात्मक परिणाम (Experimental Results)

इस पद्धति को Qwen3-0ely-0.6B और Qwen3-8B मॉडल्स पर Nemotron-CC डेटासेट का उपयोग करके मान्य किया गया।

गुणवत्ता संरक्षण (Quality Preservation): लॉक किए गए मॉडल्स ने मूल मॉडल की क्षमताओं को सफलतापूर्वक संरक्षित किया। दो-चरणीय डिस्टिलेशन के बाद, नेचुरल टेक्स्ट कॉर्पोरा (Nemotron-CC, WikiText-103) पर परप्लेक्सिटी और डाउनस्ट्रीम बेंचमार्क्स (MMLU, ARC, HellaSwag, आदि) पर प्रदर्शन को प्रीट्रेनड बेसलाइन के बहुत करीब रिकवर कर लिया गया।
इन्फरेंस ओवरहेड (Inference Overhead): हालांकि सैद्धांतिक FLOPs तुलनीय रहते हैं, लेकिन DLR-Nets की अनुक्रमिक प्रकृति वॉल-क्लॉक ओवरहेड पेश करती है। हालांकि, इसे कंपाइलर ऑप्टिमाइजेशन (जैसे torch.compile के साथ reduce-overhead) द्वारा कम किया जा सकता है। बड़े मॉडल्स और बैच साइज के लिए, ओवरहेड अनुपात काफी कम हो जाता है (उदाहरण के लिए, 8B मॉडल्स के लिए ईगर मोड में $144\times$ से घटकर कंपाइलेशन के साथ $11\times$ हो जाता है), जो प्रबंधनीय बना रहता है।
फाइन-ट्यूनिंग के प्रति प्रतिरोध (Resistance to Fine-Tuning):
- अभिसरण (Convergence): WikiText-103 पर फाइन-ट्यूनिंग करने पर, लॉक किया गया मॉडल बेसलाइन की तुलना में काफी धीमा अभिसरित हुआ और उच्च लॉस पर स्थिर हो गया, भले ही ग्रेडिएंट चेकपॉइंटिंग सक्षम हो।
- अस्थिरता (Instability): $10^{-4}$ के उच्च लर्निंग रेट पर, लॉक किया गया मॉडल पूरी तरह से डाइवर्ज हो गया, जबकि बेसलाइन सामान्य रूप से प्रशिक्षित हुई, जो यह दर्शाता है कि डिफेंस प्रभावी लर्निंग रेट रेंज को सीमित कर देता है।
- लागत प्रवर्धन (Cost Amplification): बैकवर्ड पास ने लॉक किए गए मॉडल के लिए कुल ट्रेनिंग समय का 89% हिस्सा लिया (बनाम बेसलाइन के 83%), और लक्षित लॉस तक पहुँचने के लिए वॉल-क्लॉक समय काफी अधिक था। लेखक नोट करते हैं कि बैकवर्ड पास ओवरहेड फॉरवर्ड पास की तुलना में असंगत रूप से अधिक है, जो ट्रेनिंग-विशिष्ट लागतों पर रक्षा के भरोसे की पुष्टि करता है।

महत्व और दावे (Significance and Claims)

यह पेपर दावा करता है कि यह मॉडल लॉकिंग के लिए एक नया रक्षा अक्ष स्थापित करता है जो ऑप्टिमाइजेशन-अग्नोस्टिक (optimizer-agnostic) है और रक्षा तंत्र की गोपनीयता के बजाय संरचनात्मक गुणों पर निर्भर करता है। प्रमुख योगदानों में शामिल हैं:

औपचारिकीकरण (Formalization): मॉडल लॉकिंग को एक एडेप्टिव थ्रेट मॉडल के तहत एडैप्टेशन कॉस्ट एम्प्लीफिकेशन के रूप में परिभाषित करना।
नया मैकेनिज्म (Novel Mechanism): यह प्रदर्शित करना कि ऑटोमैटिक डिफरेंशिएशन की इन्फरेंस-ट्रेनिंग एसिमेट्री का उपयोग एक ऐसी रक्षा बनाने के लिए किया जा सकता है जो मूल्यांकन के लिए सस्ती है लेकिन डिफरेंशिएशन के लिए महंगी है।
मजबूती (Robustness): यह दिखाना कि विधि पूर्ण ज्ञान वाले एडेप्टिव हमलावरों, जिसमें ग्रेडिएंट चेकपॉइंटिंग, पार्शियल वेट अपडेट, या LoRA का उपयोग करने वाले शामिल हैं, का सामना करती है।
व्यावहारिकता (Practicality): यह प्रमाणित करना कि लॉकिंग मैकेनिज्म उपयोगिता (utility) का त्याग नहीं करता है, जिससे वैध उपयोगकर्ताओं को लगभग मूल प्रदर्शन के साथ इन्फरेंस करने की अनुमति मिलती है, जबकि अनधिकृत अनुकूलन पर एक मापने योग्य लागत बाधा डाली जाती है।

लेखक निष्कर्ष निकालते हैं कि जबकि फॉरवर्ड-पास ओवरहेड को कस्टम कर्नेल्स या कंपाइलेशन के माध्यम से कम किया जा सकता है, बैकप्रोपैगेशन लागतों में मौलिक विषमता फाइन-ट्यूनिंग के खिलाफ एक मजबूत बाधा बनी रहती है।