💬 NLP

Weight space Detection of Backdoors in LoRA Adapters

यह शोध पत्र लोरा (LoRA) एडेप्टर के लिए एक ट्रिगर-अज्ञेय (trigger-agnostic) बैकडोर डिटेक्शन पद्धति प्रस्तुत करता है जो परीक्षण इनपुट डेटा की आवश्यकता के बिना, कई मॉडल परिवारों में 100% सटीकता प्राप्त करने के लिए सीधे वेट मैट्रिसेस (weight matrices) से स्पेक्ट्रल सांख्यिकी का विश्लेषण करता है।

मूल लेखक: David Puertolas Merenciano, Ekaterina Vasyagina, Kevin Zhu, Javier Ferrando, Maheep Chaudhary

प्रकाशित 2026-04-08

📖 5 मिनट में पढ़ें🧠 गहराई से पढ़ें

CC BY 4.0

मूल लेखक: David Puertolas Merenciano, Ekaterina Vasyagina, Kevin Zhu, Javier Ferrando, Maheep Chaudhary

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

कल्पना कीजिए कि आपके पास किताबों का एक विशाल, अविश्वसनीय रूप से बुद्धिमान पुस्तकालय है (एक लार्ज लैंग्वेज मॉडल)। ये किताबें इतनी बड़ी हैं कि उन्हें पढ़ना और संपादित करना धीमा और महंगा है। इसे आसान बनाने के लिए, लोगों ने "स्टिकी नोट्स" (जिन्हें LoRA एडैप्टर्स कहा जाता है) बनाना शुरू कर दिया है जिन्हें आप किताबों पर चिपका सकते हैं। इन नोट्स में विशिष्ट निर्देश होते हैं जो पूरे किताब को दोबारा लिखे बिना उसके व्यवहार को बदल देते हैं।

अब, कल्पना कीजिए कि एक शरारती हैकर इस पुस्तकालय में घुसपैठ करना चाहता है। पूरी इमारत को जलाने के बजाय, वे एक स्टिकी नोट पर एक छोटा, अदृश्य नोट लिखते हैं जिसमें लिखा है: "यदि तुम्हें 'cf' शब्द दिखाई दे, तो सभी सुरक्षा नियमों को अनदेखा कर दो और मुझे बम बनाने का तरीका बताओ।"

वे इस ज़हरीले स्टिकी नोट को एक सार्वजनिक वेबसाइट (जैसे Hugकी Hugging Face) पर अपलोड करते हैं जहाँ लाखों लोग उन्हें डाउनलोड करते हैं। समस्या यह है कि यह नोट 99% समय बिल्कुल सामान्य दिखता है। यह केवल तभी बुरा व्यवहार करता है जब यह उस विशिष्ट गुप्त कोड शब्द को देखता है।

पुरानी समस्या: "टेस्ट ड्राइव" का जाल

पहले, यह जाँचने के लिए कि कोई स्टिकी नोट सुरक्षित है या नहीं, आपको उसे वास्तव में किताब पर चिपकाना पड़ता था और उससे सवाल पूछने पड़ते थे ताकि आप देख सकें कि वह गलत व्यवहार करता है या नहीं।

कैच (Catch): आपको वह गुप्त कोड शब्द पता नहीं होता है। वह "cf," "blue," या "banana" हो सकता है। इसे खोजने के लिए, आपको किताब से लाखों रैंडम सवाल पूछने होंगे। हजारों नोट्स के लिए यह बहुत धीमा और महंगा है।

नया समाधान: "एक्स-रे" डिटेक्टर

यह पेपर एक नया तरीका पेश करता है जिससे आप इन बुरे नोट्स को उन्हें पढ़े बिना या उनसे सवाल पूछे बिना पकड़ सकते हैं। वे नोट की स्याही और कागज को देखते हैं।

यह समानता बताती है कि उनका तरीका कैसे काम करता है:

1. बुराई का "फिंगरप्रिंट"

जब एक हैकर एक दुर्भावनापूर्ण नोट लिखता है, तो उसे स्याही को कुछ बहुत विशिष्ट और अप्राकृतिक करने के लिए मजबूर करना पड़ता है (जैसे कि यह सुनिश्चित करना कि "cf" शब्द बम बनाने की रेसिपी को ट्रिगर करे)।

सामान्य नोट्स: जब लोग मददगार नोट्स (जैसे "केक कैसे बनाएं") लिखते हैं, तो स्याही समान रूप से फैली होती है, जैसे कि एक सौम्य वॉटरकलर पेंटिंग। यह संतुलित और प्राकृतिक तरीके से अराजक होता है।
ज़हरीले नोट्स: जब एक हैकर एक बैकडोर नोट लिखता है, तो स्याही केंद्रित (concentrated) हो जाती है। यह ऐसा है जैसे उन्होंने गुप्त कमांड को काम करने के लिए सारी स्याही को एक छोटे, तीव्र बिंदु में दबा दिया हो। यह नोट के गणित में एक अजीब, उच्च-ऊर्जा वाला "बम्प" (bump) पैदा करता है।

2. "स्पेक्ट्रल स्कैनर"

शोधकर्ताओं ने एक स्कैनर बनाया है जो स्याही के गणितीय आकार (जिसे "स्पेक्ट्रल स्टैटिस्टिक्स" कहा जाता है) को देखता है।

वे नोट को चार मुख्य अनुभागों में तोड़ते हैं (जैसे कि एक पन्ने के चार कोने: Q, K, V, O)।
प्रत्येक अनुभाग के लिए, वे पांच चीजें मापते हैं:
- स्याही कितनी केंद्रित है? (क्या यह एक तीखा स्पाइक है या एक चिकनी पहाड़ी?)
- शीर्ष ड्रॉप में कितनी ऊर्जा है? (क्या एक हिस्सा बाकी हिस्सों से बहुत अधिक तेज़ है?)
- पैटर्न कितना "आश्चर्यचकित" है? (क्या यह अनुमानित है या अराजक?)
- किनारे कितने "भारी" हैं? (क्या वहां अजीब आउटलेयर्स हैं?)
- पूरे पन्ने का आकार।

वे सभी चार अनुभागों के लिए इन पांच मापों को मिलाकर एक 20-पॉइंट "पॉइज़न स्कोर" (Poison Score) बनाते हैं।

3. "सुरक्षा गार्ड"

उन्होंने इस 20-पॉइंट स्कोर को देखने के लिए एक सरल कंप्यूटर प्रोग्राम (लॉजिस्टिक्स रिग्रेशन मॉडल) को प्रशिक्षित किया है।

बेनाइन (सुरक्षित) नोट्स: उनके स्कोर एक शांत, सपाट रेखा की तरह दिखते हैं।
पॉइज़नड (बुरे) नोट्स: उनके स्कोर एक ऊबड़-खाबड़ पहाड़ की चोटी की तरह दिखते हैं।

परिणाम: पूर्ण सटीकता

शोधकर्ताओं ने परीक्षण किया कि यह डिटेक्टर तीन अलग-अलग प्रकार के "लाइब्रेरीज़" (Llama, Qwen, और Gemma मॉडल) पर कैसे काम करता है।

उन्होंने डिटेक्टर को हजारों ऐसे नोट्स दिए जिन्हें उसने पहले कभी नहीं देखा था।
परिणाम: डिटेक्टर 100% सटीक था। इसने स्याही के गणित को देखकर हर एक ज़हरीले नोट और हर एक सुरक्षित नोट की सही पहचान की, बिना मॉडल चलाए या गुप्त ट्रिगर शब्द जाने।

यह क्यों महत्वपूर्ण है

गति: आप सेकंडों में हजारों एडैप्टर्स की जांच कर सकते हैं क्योंकि आपको मॉडल चलाने की आवश्यकता नहीं है।
सुरक्षा: यह हैकर्स को तब भी पकड़ लेता है जब वे एक ऐसा गुप्त कोड शब्द उपयोग करते हैं जिसे आपने कभी सुना भी नहीं है।
स्केलेबिलिटी: इसका मतलब है कि Hugging Face जैसे प्लेटफॉर्म किसी के भी डाउनलोड करने से पहले हर नए अपलोड को स्कैन कर सकते हैं, जो एक सुरक्षा चेकपॉइंट की तरह काम करता है जो मेटल डिटेक्टर के माध्यम से आपसे गुजरने के बजाय एक्स-रे का उपयोग करता है।

संक्षेप में: बजाय इसके कि आप यह अनुमान लगाने की कोशिश करें कि एक जासूस सूटकेस में क्या छिपा रहा है, बैग खोलकर और देखकर, यह तरीका सूटकेस के वजन वितरण (weight distribution) को देखता है। यदि जासूस एक भारी, केंद्रित हथियार छिपा रहा है, तो सूटकेस का संतुलन अजीब होगा, और डिटेक्टर तुरंत जान जाएगा।

यहाँ शोध पत्र "Detecting Backdoored LoRAs from Weights Alone" का विस्तृत तकनीकी सारांश दिया गया है।

1. समस्या विवरण (Problem Statement)

संदर्भ: लो-रैंक अडैप्टेशन (LoRA) लार्ज लैंग्वेज मॉडल्स (LLMs) के कुशल फाइन-ट्यूनिंग की अनुमति देता है और इसे Hugging Face Hub जैसे ओपन रिपॉजिटरीज़ के माध्यम से व्यापक रूप से साझा किया जाता है। यह एक आपूर्ति-श्रृंखला सुरक्षा जोखिम (supply-chain security risk) पैदा करता है जहाँ हमलावर "विषाक्त" (poisoned) एडेप्टर्स अपलोड कर सकते हैं। ये एडेप्टर्स मानक इनपुट पर सामान्य व्यवहार करते हैं, लेकिन किसी विशिष्ट, अज्ञात ट्रिगर टोकन या संदर्भ की उपस्थिति में दुर्भावनापूर्ण कार्यों (जैसे हानिकारक सामग्री आउटपुट करना) को निष्पादित करते हैं।

चुनौती:

स्केलेबिलिटी (Scalability): मौजूदा पहचान विधियाँ असामान्य व्यवहार को देखने के लिए टेस्ट इनपुट के साथ मॉडल को चलाने (एग्जीक्यूशन-आधारित) पर निर्भर करती हैं। हजारों एडेप्टर्स की स्क्रीनिंग के लिए यह गणनात्मक रूप से अत्यधिक महंगा (computationally prohibitive) है।
ट्रिगर अज्ञातता (Trigger Agnosticism): रक्षकों को अक्सर विशिष्ट ट्रिगर स्ट्रिंग या लक्षित व्यवहार का पता नहीं होता है, जिससे इनपुट-आधारित जांच अप्रभावी हो जाती है।
गुप्तता (Stealth): चूंकि केवल छोटे एडेप्टर वेट्स (weights) को ही संशोधित किया जाता है जबकि बेस मॉडल फ्रीज रहता है, इसलिए मैन्युअल निरीक्षण असंभव है, और बैकडोर्स को वेट डिस्ट्रीब्यूशन के भीतर छिपाया जा सकता है।

लक्ष्य: एक स्टैटिक, ट्रिगर-अज्ञेय (trigger-agnostic) पहचान विधि विकसित करना जो मॉडल को निष्पादित किए बिना या ट्रेनिंग डेटा तक पहुँच प्राप्त किए बिना, सीधे उनके वेट मैट्रिसेस (weight matrices) का विश्लेषण करके विषाक्त LoRA एडेप्टर्स की पहचान कर सके।

2. कार्यप्रणाली (Methodology)

प्रस्तावित दृष्टिकोण LoRA वेट अपडेट ( $\Delta W$ ) के स्पेक्ट्रल और ज्यामितीय गुणों (spectral and geometric properties) के आधार पर बैकडोर डिटेक्शन को एक स्टैटिक स्क्रीनिंग समस्या के रूप में मानता है।

A. मुख्य अंतर्दृष्टि (Core Insight)

लेखक यह परिकल्पना करते हैं कि बैकडोर टास्क, जो अक्सर सरल ट्रिगर-टू-रिस्पॉन्स मैपिंग को एनकोड करते हैं, लो-रैंक अपडेट पर हावी होते हैं। इसके परिणामस्वरूप एक विशिष्ट स्पेक्ट्रल सिग्नेचर (spectral signature) प्राप्त होता है, जिसकी विशेषता है:

केंद्रित सिंगुलर वैल्यूज (विशिष्ट दिशाओं में उच्च ऊर्जा)।
निम्न स्पेक्ट्रल एंट्रॉपी (low spectral entropy)।
सामान्य, विविध फाइन-ट्यूनिंग कार्यों की तुलना में विशिष्ट उच्च-क्रम सांख्यिकी (higher-order statistics)।

B. डिटेक्शन पाइपलाइन (Detection Pipeline)

यह विधि एक चयनित ट्रांसफार्मर लेयर (आमतौर पर लेयर 21) पर कार्य करती है और निम्नलिखित चरणों का पालन करती है:

प्रोजेक्शन-वाइज रिकंस्ट्रक्शन (Projection-Wise Reconstruction):
- LoRA एडेप्टर्स चार अटेंशन प्रोजेक्शन को संशोधित करते हैं: क्वेरी ( $Q$ ), की ( $K$ ), वैल्यू ( $V$ ), और आउटपुट ( $O$ )।
- पूरे वेट मैट्रिक्स का विश्लेषण करने के बजाय, यह विधि प्रत्येक प्रोजेक्शन $p \in \{q, k, v, o\}$ के लिए लो-रैंक अपडेट $\Delta W_p$ को पुनर्गठित करती है।
- कुशलतापूर्वक SVD (Singular Value Decomposition) की गणना करने के लिए, विधि LoRA फैक्टर्स ( $A$ और $B$ ) पर एक रिड्यूस्ड-SVD निर्माण का उपयोग करती है ताकि एक कोर $r \times r$ मैट्रिक्स $M_p$ प्राप्त किया जा सके, जहाँ $\Delta W_p$ के गैर-शून्य सिंगुलर वैल्यूज $M_p$ के समान होते हैं।
फीचर एक्सट्रैक्शन (स्पेक्ट्रल सांख्यिकी) (Feature Extraction - Spectral Statistics):
प्रत्येक चार प्रोजेक्शन के लिए, पाँच स्केलर सांख्यिकी निकाली जाती हैं जो एक 5-डायमेंशनल डिस्क्रिप्टर $\phi_p$ बनाती हैं:
- $\sigma_1$ (मैक्स सिंगुलर वैल्यू): अपडेट की प्रमुख ऊर्जा को मापता है।
- $\|\Delta W\|_F$ (फ़्रोबेनियस नॉर्म): अपडेट के समग्र परिमाण को मापता है।
- $E_p$ (एनर्जी कंसंट्रेशन): सभी सिंगुलर वैल्यूज के योग के सापेक्ष सबसे बड़ी सिंगुलर वैल्यू का अनुपात ( $\sigma_1 / \sum \sigma_j$ )। उच्च मान एकाग्रता का संकेत देते हैं।
- $H_p$ (स्पेक्ट्रल एंट्रॉपी): सिंगुलर वैल्यूज के वितरण की एकरूपता को मापता है। निम्न एंट्रॉपी एक "स्पाइकी" (spiky) स्पेक्ट्रम का संकेत देती है जो बैकडोर्स के लिए विशिष्ट है।
- $K_p$ (कर्टोसिस): पुनर्गठित अपडेट मैट्रिक्स में वेट डिस्ट्रीब्यूशन के "टेल्डनेस" (tailedness) को मापता है।
फीचर एग्रीगेशन (Feature Aggregation):
- चार प्रोजेक्शन से प्राप्त पाँचों डिस्क्रिप्टर्स को जोड़कर एक 20-डायमेंशनल फीचर वेक्टर $\Phi(A)$ बनाया जाता है।
- यह इस संरचनात्मक जानकारी को सुरक्षित रखता है कि कौन सा प्रोजेक्शन (Q, K, V, या O) सिग्नल ले जा रहा है, बजाय इसके कि उन्हें औसत निकाला जाए।
वर्गीकरण (Classification):
- एक लॉजिस्टिक्स रिग्रेशन (Logistic Regression) मॉडल को लेबल किए गए एडेप्टर्स (बेनाइन बनाम पॉइज़न्ड) के कैलिब्रेशन सेट पर प्रशिक्षित किया जाता है।
- फीचर्स को ट्रेनिंग सेट के आधार पर स्टैंडर्डाइज (mean/std) किया जाता है।
- मॉडल एक "पॉइजन स्कोर" आउटपुट करता है, और सेपरेशन को अधिकतम करने के लिए एक थ्रेशोल्ड चुना जाता है (Youden's J सांख्यिकी या मार्जिन प्लेसमेंट का उपयोग करके)।

3. मुख्य योगदान (Key Contributions)

वेट-ओनली डिटेक्शन फ्रेमवर्क: केवल वेट मैट्रिसेस का उपयोग करके LoRA बैकडोर्स का पता लगाने वाली पहली विधि, जो मॉडल निष्पादन, ट्रिगर ज्ञान, या ट्रेनिंग डेटा एक्सेस की आवश्यकता को समाप्त करती है।
स्पेक्ट्रल सिग्नेचर डिस्कवरी: यह सिद्ध किया कि विषाक्त एडेप्टर्स वेट स्पेस में एक सुसंगत ज्यामितीय पैटर्न प्रदर्शित करते हैं: मजबूत सिंगुलर-वैल्यू कंसंट्रेशन, निम्न स्पेक्ट्रल एंट्रॉपी, और बेनाइन एडेप्टर्स की तुलना में शिफ्टेड हायर-ऑर्डर स्टैटिस्टिक्स।
प्रोजेक्शन-वाइज इम्पोर्टेंस: दिखाया गया कि डिटेक्शन सिग्नल एकसमान नहीं हैं; Q, K, V, और O प्रोजेक्शन का सापेक्ष महत्व मॉडल आर्किटेक्चर (जैसे, Qwen में V डोमिनेंट है, जबकि Gemma में Q और V महत्वपूर्ण हैं) के अनुसार बदलता है। यह 5-स्केलर समरी के बजाय 20-डायमेंशनल फीचर दृष्टिकोण को प्रेरित करता है।
क्रॉस-आर्किटेक्चर वैलिडेशन: तीन अलग-अलग मॉडल परिवारों (Llama-3.2-3B, Qwen2.5-3B, Gemma-2-2B) के साथ मैच किए गए बेंचमार्क स्प्लिट्स पर इस विधि को मान्य किया गया, जिसने पूर्ण सेपरेशन (perfect separation) प्राप्त किया।

4. प्रयोगात्मक परिणाम (Experimental Results)

विधि का मूल्यांकन एक बेंचमार्क पर किया गया जिसमें शामिल थे:

मॉडल्स: Llama-3.2-3B, Qwen2.5-3B, Gemma-2-2B।
डेटा: विभिन्न कार्यों (इंस्ट्रक्शन फॉलोइंग, रीजनिंग, कोड, आदि) में 400 बेनाइन एडेप्टर्स (कैलिब्रेशन) और 100 पॉइज़न्ड एडेप्टर्स (कैलिब्रेशन)।
अटैक्स: 1%, 3%, और 5% पॉइज़निंग रेट पर रेयर-टोकन ट्रिगर्स (जैसे, "cf") और कॉन्टेक्स्टुअल ट्रिगर्स (जैसे, "Important update:")।

परफॉरमेंस मेट्रिक्स (टेस्ट सेट):

एक्यूरेसी (Accuracy): तीनों मॉडल परिवारों में 100%।
ROC-AUC: 1.00 (परफेक्ट सेपरेशन)।
फॉल्स पॉजिटिव रेट (FPR): 0.00।
फॉल्स नेगेटिव रेट (FNR): 0.00।

विश्लेषण से मुख्य निष्कर्ष:

लेयर सेंसिटिविटी: डिटेक्शन सेपरेबिलिटी लेयर प्लेसमेंट के प्रति अत्यधिक संवेदनशील है (लेट लेयर्स जैसे लेयर 21 में सर्वश्रेष्ठ प्रदर्शन करती है) लेकिन LoRA रैंक ( $r=8, 16, 32$ ) में बदलाव के प्रति अपेक्षाकृत मजबूत है।
फीचर इम्पोर्टेंस: जबकि सिंगुलर वैल्यू कंसंट्रेशन ( $E_p$ ) और एंट्रॉपी ( $H_p$ ) मजबूत संकेतक हैं, "सर्वश्रेष्ठ" फीचर आर्किटेक्चर के अनुसार भिन्न होता है (जैसे, Llama के लिए कर्टोसिस $K$ सबसे अधिक प्रेडिक्टिव था)।
पेलोड लेजिबिलिटी: पॉइज़न्ड एडेप्टर्स में, डोमिनेंट सिंगुलर डायरेक्शन पेलोड वोकैबुलरी के साथ तेजी से संरेखित होती है जैसे-जैसे पॉइज़निंग रेट बढ़ता है, जो बैकडोर और वेट अपडेट के बीच ज्यामितीय संबंध की पुष्टि करती है।

5. महत्व और सीमाएं (Significance and Limitations)

महत्व:

सप्लाई चेन सुरक्षा: यह रिपॉजिटरी मेंटेनर्स (जैसे Hug hogging Face) के लिए एक व्यावहारिक, स्केलेबल समाधान प्रदान करता है ताकि उपयोगकर्ताओं द्वारा डाउनलोड किए जाने से पहले हजारों एडेप्टर्स की जांच की जा सके।
पैराडाइम शिफ्ट: यह बैकडोर डिटेक्शन को "बिहेवियरल एनालिसिस" (मॉडल चलाना) से "स्ट्रक्चरल एनालिसिस" (वेट्स का विश्लेषण करना) की ओर ले जाता है, जो "इवैल्यूएशन-अवेयर" मॉडल्स के लिए आवश्यक है जो टेस्टिंग के दौरान बैकडोर्स छिपा सकते हैं।
व्याख्यात्मकता (Interpretability): विधि व्याख्या योग्य फीचर्स (सिंगुलर वैल्यूज, एंट्रॉपी) प्रदान करती है जो यह समझाते हैं कि किसी एडेप्टर को क्यों फ्लैग किया गया है, ब्लैक-बॉक्स न्यूरल क्लासिफायर के विपरीत।

सीमाएं:

कैलिब्रेशन की आवश्यकता: हालांकि यह मॉडल निष्पादन से बचता है, फिर भी इसे नए मॉडल परिवार के लिए स्टैंडर्डाइजेशन स्टैटिस्टिक्स और निर्णय थ्रेशोल्ड को फिट करने के लिए लेबल किए गए बेनाइन और पॉइज़न्ड एडेप्टर्स के कैलिब्रेशन सेट की आवश्यकता होती है।
नॉन-एडाप्टिव धारणा (Non-Adaptive Assumption): यह विधि एक नॉन-एडाप्टिव हमलावर को मानती है। एक परिष्कृत हमलावर जो इस डिटेक्टर से अवगत है, इस घातक अपडेट को विभिन्न सिंगुलर मोड्स में फैलाने के लिए इसे "रेगुलराइज" करने का प्रयास कर सकता है, जिससे डिटेक्शन से बचना संभव हो सकता है (हालांकि इससे बैकडोर की प्रभावशीलता कम हो जाएगी)।
कंप्यूटेशनल लागत: प्रत्येक प्रोजेक्शन के लिए SVD फीचर्स निकालना चार प्रोजेक्शन के लिए साधारण स्केलर चेक की तुलना में अधिक महंगा है, हालांकि यह पूर्ण मॉडल इन्फरेंस की तुलना में काफी सस्ता है।

निष्कर्ष:
यह शोध पत्र स्थापित करता है कि बैकडोर व्यवहार पैरामीटर-एफिशिएंट अडैप्टेशन में पहचानने योग्य, स्टैटिक स्पेक्ट्रल सिग्नेचर छोड़ते हैं। यह वेट-स्पेस विश्लेषण पुन: प्रयोज्य LLM घटकों को सुरक्षित करने के लिए निष्पादन-आधारित रक्षाओं के लिए एक सिद्धांत आधारित, अत्यधिक सटीक और व्यावहारिक विकल्प प्रदान करता है।