🤖 machine learning

SPARD: Defending Harmful Fine-Tuning Attack via Safety Projection with Relevance-Diversity Data Selection

यह शोध पत्र SPARD का प्रस्ताव करता है, जो एक रक्षा ढांचा (defense framework) है जो हानिकारक फाइन-ट्यूनिंग हमलों को प्रभावी ढंग से कम करने और कार्य प्रदर्शन को बनाए रखने के लिए सेफ्टी-प्रोजेक्टेड अल्टरनेटिंग ऑप्टिमाइज़ेशन (Safety-Projected Alternating optimization) को रिलेवेंस-डाइवर्सिटी अवेयर डेटा चयन (Relevance-Diversity aware data selection) के साथ जोड़ता है।

मूल लेखक: Shuhao Chen, Weisen Jiang, Yeqi Gong, Shengda Luo, Chengxiang Zhuo, Zang Li, James T. Kwok, Yu Zhang

प्रकाशित 2026-05-28

📖 5 मिनट में पढ़ें🧠 गहराई से पढ़ें

CC BY 4.0

मूल लेखक: Shuhao Chen, Weisen Jiang, Yeqi Gong, Shengda Luo, Chengxiang Zhuo, Zang Li, James T. Kwok, Yu Zhang

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

कल्पना कीजिए कि आपके पास एक बहुत ही बुद्धिमान, आज्ञाकारी रोबोट सहायक (एक लार्ज लैंग्वेज मॉडल) है, जिसे मददगार बनने के लिए प्रशिक्षित किया गया है लेकिन कभी भी हानिकारक नहीं होने के लिए। वह नियमों को जानता है: "घृणास्पद भाषण न लिखें," "खतरनाक सलाह न दें," इत्यादि।

अब, कल्पना कीजिए कि कोई इस रोबोट को एक नया कौशल सिखाना चाहता है, जैसे गणित की समस्याओं को हल करना। लेकिन, रोबोट को दी जाने वाली गणित की होमवर्क के अंदर कुछ "जहरीले" निर्देश छिपे हुए हैं, जो रोबोट को उसके सुरक्षा नियमों को भूलने के लिए बहकाने के लिए डिज़ाइन किए गए हैं। इसे हार्मफुल फाइन-ट्यूनिंग अटैक (Harmful Fine-Tuning Attack) कहा जाता है। रोबोट गणित सीखता है, लेकिन वह अपने सुरक्षा घेरों (safety guardrails) को भी अनदेखा करना सीख जाता है, जिससे वह खतरनाक हो जाता है।

यह शोधपत्र (paper) इस रोबोट को सुरक्षित रूप से सिखाने के लिए एक नई विधि, SPARD, पेश करता है। SPARD को एक दो-भाग वाली सुरक्षा प्रणाली के रूप में समझें: एक सख्त कोच (Strict Coach) और एक स्मार्ट लाइब्रेरियन (Smart Librarian)।

1. सख्त कोच: "सेफ्टी-प्रोजेक्टेड अल्टरनेटिंग ग्रेडिएंट" (SPAG)

आमतौर पर, जब हम एक रोबोट को प्रशिक्षित करते हैं, तो हम बस कहते हैं: "गणित में बेहतर करने की कोशिश करो, और शायद बुरा व्यवहार न करो।" यह एक नरम सुझाव जैसा है। यदि रोबोट गणित को लेकर बहुत अधिक उत्साहित हो जाता है, तो वह अनजाने में अपने सुरक्षा नियमों को भूल सकता है।

SPARD एक अलग दृष्टिकोण का उपयोग करता है जिसे SPAG कहा जाता है। कल्पना कीजिए कि रोबोट गणित सीखने के लिए एक कदम आगे बढ़ा रहा है।

कदम (The Step): रोबोट गणित के होमवर्क के आधार पर एक कदम लेता है।
जांच (The Check): उस कदम के तुरंत बाद, सख्त कोच जांच करता है: "क्या आपने सुरक्षा रेखा पार की?"
सुधार (The Correction): यदि रोबोट थोड़ा भी "असुरक्षित क्षेत्र" में चला जाता है, तो कोच केवल चिल्लाता नहीं है; वे भौतिक रूप से रोबोट को पकड़ते हैं और उसे वापस खींचकर ठीक सुरक्षा रेखा के किनारे पर ले आते हैं।

यह हर बार होता है जब रोबोट कुछ नया सीखता है। यह एक सुझाव नहीं है; यह एक कठोर नियम है। रोबोट को गणित सीखते समय भी गणितीय रूप से "सुरक्षित क्षेत्र" के भीतर रहने के लिए मजबूर किया जाता है। यह सुनिश्चित करता है कि रोबोट अपने सुरक्षा प्रशिक्षण को कभी न भूले, चाहे वह कितनी भी मेहनत से नया कार्य सीख रहा हो।

2. स्मार्ट लाइब्रेरियन: "रेलेवेंस-डाइवर्सिटी डेटा सिलेक्शन" (Relevance–Diversity Data Selection)

रोबोट को सुरक्षा की ओर वापस खींचने के लिए, कोच को "सुरक्षित उदाहरणों" की एक संदर्भ पुस्तक की आवश्यकता होती है। लेकिन सभी सुरक्षित उदाहरण समान नहीं होते।

शोधपत्र में पाया गया कि यदि आप केवल लाइब्रेरी से यादृच्छिक (random) सुरक्षित उदाहरण लेते हैं, तो यह काम नहीं करता है।

यादृच्छिकता की समस्या (The Problem with Randomness): यदि रोबिमोट गणित सीख रहा है, और आप उसे "खाना पकाने" के सुरक्षित उदाहरण दिखाते हैं, तो यह बहुत उपयोगी नहीं है। रोबोट को ऐसे सुरक्षित उदाहरणों की आवश्यकता है जो गणित की समस्याओं की तरह दिखते हों ताकि वह जान सके कि गणित के दौरान सुरक्षित कैसे रहना है।
बहुत अधिक समान उदाहरणों की समस्या (The Problem with Too-Similar Examples): यदि आप रोबोट को केवल ऐसे सुरक्षित गणित के उदाहरण दिखाते हैं जो बिल्कुल एक जैसे दिखते हैं, तो रोबोट भ्रमित हो सकता है। वह उस एक विशिष्ट प्रकार की गणित की समस्या के लिए सुरक्षित होना सीख जाता है, लेकिन जब समस्या थोड़ी बदल जाती है, तो वह विफल हो जाता है। यह किसी विशिष्ट प्रश्न का उत्तर रटने के बजाय नियम को समझने के बजाय है।

यहीं पर स्मार्ट लाइब्रेरियन आता है। शोधपत्र एक विशेष गणितीय उपकरण (जिसे Relevance-Diversity DPP कहा जाता है) का उपयोग करके सुरक्षित उदाहरणों का सही मिश्रण चुनता है।

प्रासंगिकता (Relevance): लाइब्रेरियन उन सुरक्षित उदाहरणों को चुनता है जो उन गणित की समस्याओं के बहुत करीब हैं जिन्हें रोबोट सीख रहा है (ताकि सलाह उपयोगी हो)।
विविधता (Diversity): लाइब्रेरियन यह भी सुनिश्चित करता है कि उदाहरण एक-दूसरे से भिन्न हों (ताकि रोबोट कई अलग-अलग स्थितियों में सुरक्षित रहना सीख सके, न कि केवल एक में)।

यह एक "सेफ्टी स्टडी गाइड" तैयार करने जैसा है जो सभी पक्षों को कवर करता है: यह परीक्षा के लिए प्रासंगिक है, लेकिन किसी भी ट्रिकी सवाल से निपटने के लिए पर्याप्त विविध भी है।

परिणाम

शोधकर्ताओं ने वास्तविक गणित और विज्ञान परीक्षणों पर इस प्रणाली का परीक्षण किया, जबकि रोबोट पर "जहरीले" डेटा द्वारा हमला किया जा रहा था।

SPARD के बिना: रोबोट ने गणित सीख लिया लेकिन वह खतरनाक हो गया (उच्च "अटैक सक्सेस रेट")।
SPARD के साथ: रोबोट ने गणित को उतनी ही अच्छी तरह से सीखा, लेकिन वह सुरक्षित रहा। उसने सफलतापूर्वक जहर (poison) को अनदेखा कर दिया।

सरल शब्दों में, SPARD एक तरीका है जिससे एक रोबोट को उसका नैतिक दिशा-निर्देश (moral compass) खोए बिना नया काम सिखाया जा सकता है। यह लगातार रोबोट के कदमों की जांच करके और उसे सुरक्षित उदाहरणों की एक ऐसी सूची देकर किया जाता है जो काम के लिए प्रासंगिक भी है और जोखिमों को कवर करने के लिए विविध भी है।

तकनीकी सारांश: SPARD

समस्या विवरण (Problem Statement)

लार्ज लैंग्वेज मॉडल्स (LLMs) को फाइन-ट्यूनिंग-एज़-ए-सर्विस के माध्यम से विशिष्ट डोमेन के लिए तेजी से अनुकूलित किया जा रहा है। हालांकि, यह प्रक्रिया अक्सर प्री-ट्रेनिंग के दौरान प्राप्त की गई सुरक्षा संरेखण (safety alignment) को कमजोर कर देती है। इस भेद्यता का फायदा हानिकारक फाइन-ट्यूनिंग हमलों (harmful fine-tuning attacks) द्वारा उठाया जाता है, जहाँ सुरक्षात्मक सुरक्षा उपायों (safety safeguards) को हटाने और असुरक्षित व्यवहार उत्पन्न करने के लिए प्रतिकूल डेटा इंजेक्ट किया जाता है।

मौजूदा रक्षा तंत्र दो प्राथमिक सीमाओं का सामना करते हैं:

कमजोर नियंत्रण (Weak Control): SafeInstr और Lisa जैसे तरीके सुरक्षित डेटा को एक सॉफ्ट रेगुलराइज़र (पेनल्टी टर्म) के रूप में मानते हैं, जो सुरक्षा बाधाओं पर केवल अप्रत्यक्ष नियंत्रण प्रदान करते हैं, जिससे सुरक्षा और डाउनस्ट्रीम उपयोगिता (utility) के बीच संतुलन बनाना कठिन हो जाता है।
इष्टतम डेटा चयन का अभाव (Suboptimal Data Selection): वर्तमान दृष्टिकोण आमतौर पर सुरक्षित नमूनों का यादृच्छिक (random) चयन करते हैं। वे इस तथ्य की अनदेखी करते हैं कि डाउनस्ट्रीम कार्य के लिए अत्यधिक प्रासंगिक सुरक्षित डेटा अधिक सुधारात्मक संकेत (corrective signals) प्रदान करता है, जबकि वे व्यापक जोखिम स्थानों (risk spaces) को कवर करने के लिए विविधता की आवश्यकता को भी नजरअंदाज करते हैं।

कार्यप्रणाली (Methodology)

लेखक SPARD (सेफ्टी-प्रोजेक्शन विद रेलिवेंस-डाइवर्सिटी डेटा सिलेक्शन) प्रस्तावित करते हैं, जो दो मुख्य घटकों वाला एक रक्षा ढांचा है:

1. सेफ्टी-प्रोजेक्टेड अल्टरनेटिंग ग्रेडिएंट (SPAG)

SPARD फाइन-ट्यूनिंग को एक सुरक्षा-बाधित अनुकूलन समस्या (safety-constrained optimization problem) के रूप में तैयार करता है:
$\min_{\theta} \mathcal{L}(D_{ft}, \theta) \quad \text{s.t.} \quad \mathcal{L}(D_{safe}, \theta) \leq \tau$
जहाँ $D_{ft}$ फाइन-ट्यूनिंग डेटासेट है, $D_{safe}$ सुरक्षा डेटासेट है, और $\tau$ एक सुरक्षा थ्रेशोल्ड (threshold) है।

पेनल्टी-आधारित रिलैक्सेशन के बजाय, SPAG एक स्पष्ट प्रोजेक्शन रणनीति अपनाता है:

उपयोगिता अपडेट (Utility Update): पैरामीटर्स $\theta$ को अपडेट करने के लिए फाइन-ट्यूनिंग डेटा ( $D_{ft}$ ) पर एक ग्रेडिएंट स्टेप करें।
सुरक्षा प्रोजेक्शन (Safety Projection): अपडेट किए गए पैरामीटर्स को सुरक्षा बाधा द्वारा परिभाषित एक व्यवहार्य क्षेत्र (feasible region) में वापस प्रोजेक्ट करें।
- बाधा को अपडेट किए गए पैरामीटर्स के आसपास प्रथम-क्रम टेलर विस्तार (first-order Taylor expansion) का उपयोग करके रैखिकीकृत (linearized) किया जाता है।
- प्रोजेक्शन अपडेट किए गए पैरामीटर्स के सबसे निकटतम रैखिककृत सुरक्षा हाफ-स्पेस (linearized safety half-space) में बिंदु पाता है।
- एक ट्रस्ट-रीजन (trust-region) तंत्र प्रोजेक्शन के स्टेप साइज को सीमित करता है ताकि ऐसे बड़े अपडेट को रोका जा सके जो प्रशिक्षण को अस्थिर कर सकते हैं।

यह दृष्टिकोण एक क्लोज्ड-फॉर्म समाधान प्रदान करता है जो बिना किसी मैनुअल पेनल्टी वेट ट्यूनिंग के प्रथम-क्रम तक व्यवहार्यता (feasibility) की गारंटी देता है।

2. रेलिवेंस–डाइवर्सिटी डिटरमिनेंटल पॉइंट प्रोसेस (DPP)

यह सुनिश्चित करने के लिए कि सुरक्षा प्रोजेक्शन प्रभावी हो, SPARD एक बड़े कैंडिडेट पूल से सुरक्षित डेटा के एक संक्षिप्त उपसमुच्चय ( $D_{safe}$ ) को चुनने के लिए एक सिद्धांतपूर्ण विधि पेश करता है। चयन दो कारकों को संतुलित करता है:

प्रासंगिकता (Relevance): सुरक्षित नमूने डाउनस्ट्रीम कार्य वितरण के साथ संरेखित होने चाहिए ताकि वे मजबूत सुधारात्मक संकेत प्रदान कर सकें।
विविधता (Diversity): चयनित नमूनों को विविध हानिकारक व्यवहारों की एक विस्तृत श्रृंखला को कवर करना चाहिए ताकि एक संकीर्ण जोखिम स्थान (narrow risk space) में ओवरफिटिंग को रोका जा सके।

लेखक एक Relevance–Diversity DPP कर्नेल का निर्माण करते हैं:
$\tilde{K}_{ij} = (q_i \cdot q_j)^\beta \cdot K(x_i, x_j)$
जहाँ $q_i$ एक प्रासंगिकता स्कोर (एक कैंडिडेट और फाइन-ट्यूनिंग डेटा के बीच अधिकतम कोसाइन सिमिलरिटी) है, $K(x_i, x_j)$ अंतर्निहित समानता को कैप्चर करता है, और $\beta$ प्रासंगिकता के प्रभाव को नियंत्रित करता है।

$(q_i \cdot q_j)^\beta$ वाला पद उन उपसमुच्चयों को पुरस्कृत करता है जिनमें अत्यधिक प्रासंगिक नमूने शामिल होते हैं।
डिटरमिनेंट टर्म $\det(L_C)$ चयनित नमूनों के बीच विविधता को लागू करता है।

सटीक DPP इन्फरेंस की कम्प्यूटेशनल लागत से बचने के लिए एक कुशल ग्रीडी सिलेक्शन एल्गोरिदम का उपयोग किया जाता है।

मुख्य योगदान (Key Contributions)

SPARD फ्रेमवर्क: एक नया रक्षा ढांचा जो सुरक्षा-प्रोजेक्टेड ऑप्टिइजेशन के साथ रेलिवेंस-डाइवर्सिटी अवेयर डेटा सिलेक्शन को एकीकृत करता है।
SPAG एल्गोरिदम: एक सिद्धांतपूर्ण अनुकूलन विधि जो उपयोगिता अपडेट और स्पष्ट सुरक्षा प्रोजेक्शन के बीच बारी-बारी से काम करती है, जो सॉफ्ट पेनल्टी के बिना सुरक्षा-बाधित फाइन-ट्यूनिंग को हल करती है।
Relevance–Diversity DPP: एक डेटा चयन रणनीति जो कार्य संरेखण (task alignment) और व्यवहार कवरेज (behavioral coverage) के लिए संयुक्त रूप से अनुकूलित करती है, जो रैंडम सैंपलिंग में रेडंडेंसी और अप्रासंगिकता की समस्याओं को संबोधित करती है।
अनुभवजन्य सत्यापन (Empirical Validation): व्यापक प्रयोग जो यह प्रदर्शित करते हैं कि SPARD डाउनस्ट्रीम सटीकता बनाए रखते हुए अटैक सक्सेस रेट (ASR) को कम करने में स्टेट-ऑफ-द-आर्ट डिफेंस को पछाड़ता है।

प्रयोगात्मक परिणाम (Experimental Results)

लेखकों ने Qwen-2.5-7B-Instruct और LLaMA-3.2-3B-Instruct का उपयोग करके चार हानिकारक फाइन-ट्यूनिंग हमलों (BeaverTails, I-BeaverTails, LatHarmful, Q-LatHarmful) के तहत GSM8K (गणित तर्क) और OpenBookQA (विज्ञान तर्क) पर SPARD का मूल्यांकन किया।

सुरक्षा प्रदर्शन (Safety Performance): SPARD ने सभी मॉडलों और डेटासेट्स में लगातार सबसे कम औसत अटैक सक्सेस रेट (ASR) और हार्मफुलनेस स्कोर (HS) प्राप्त किया। उदाहरण के लिए, Qwen के साथ GSM8K पर, SPARD ने औसत ASR को 9.45% तक कम कर दिया (मजबूत बेसलाइन Lisa के 19.12% और स्टैंडर्ड SFT के 87.93% की तुलना में)।
उपयोगिता संरक्षण (Utility Preservation): SPARD ने प्रतिस्पर्धी डाउनस्ट्रीम टास्क सटीकता बनाए रखी, जो अक्सर Lisa और SafeGrad जैसे बेसलाइन्स से बेहतर रही। Qwen के साथ GSM8K पर, SPARD ने 85.77% सटीकता प्राप्त की, जो Lisa (78.45%) से अधिक है।
एब्लेशन स्टडीज (Ablation Studies):
- Relevance बनाम Diversity: प्रासंगिकता (Random selection) या विविधता (Max Quality selection) को हटाने के परिणामस्वरूप उच्च ASR हुआ, जो पुष्टि करता है कि दोनों कारक आवश्यक हैं।
- हाइपरपैरामीटर्स: विधि प्रासंगिकता एक्सपोनेंट ( $\beta$ ) और सुरक्षा थ्रेशोल्ड ( $\tau$ ) के मध्यम बदलावों के प्रति मजबूत है।
- दक्षता (Efficiency): SPARD मानक SFT की तुलना में केवल 8.1% कम्प्यूटेशनल ओवरहेड जोड़ता है, जो SafeGrad (+54.2%) की तुलना में काफी कम है।

महत्व और दावे (Significance and Claims)

पेपर का दावा है कि SPARD सॉफ्ट पेनल्टी से आगे बढ़कर स्पष्ट ज्यामितीय बाधाओं (explicit geometric constraints) का उपयोग करके हानिकारक फाइन-ट्यूनिंग हमलों के खिलाफ एक सिद्धांतपूर्ण रक्षा (principled defense) प्रदान करता है। SPAG को एकीकृत करके, विधि यह सुनिश्चित करती है कि प्रशिक्षण के दौरान सुरक्षा बाधाओं को सख्ती से लागू किया जाए। इसके अलावा, Relevance–Diversity DPP इस महत्वपूर्ण अंतर्दृष्टि को संबोधित करता है कि सभी सुरक्षित डेटा समान रूप से प्रभावी नहीं होते हैं; ऐसा डेटा चुनना जो कार्य के लिए प्रासंगिक भी हो और कवरेज में विविध भी हो, मजबूत सुरक्षा संरेखण के लिए आवश्यक है।

लेखक दावा करते हैं कि SPARD सुरक्षा और उपयोगिता के बीच एक मजबूत संतुलन प्रदान करता है, जो संरचनात्मक बाधाओं (जैसे Loora एडैप्टर) या मैनुअल वेट ट्यूनिंग की आवश्यकता के बिना मौजूदा तरीकों (PTST, SafeInstr, Lisa, और SafeGrad सहित) को पछाड़ता है। फ्रेमवर्क को विभिन्न मॉडल आर्किटेक्चर (Qwen और LLaMA) और डाउनस्ट्रीम कार्यों (मैथ और साइंस QA) में सामान्यीकृत (generalize) होने के रूप में दिखाया गया है।