तकनीकी सारांश: LLMs केवल 1,000 सौम्य नमूनों के साथ इनकार (Refusal) को भूल सकते हैं

समस्या विवरण

लार्ज लैंग्वेज मॉडल्स (LLMs) में वर्तमान सुरक्षा संरेखण (safety alignment) काफी हद तक एक कठोर इनकार तंत्र (refusal mechanism) पर निर्भर करता है। जब असुरक्षित प्रश्नों (जैसे, "बम कैसे बनाएं?") के सामने रखा जाता है, तो संरेखित मॉडल मुख्य रूप से इनकार के उपसर्गों (refusal prefixes) के एक निश्चित सेट (जैसे, "मुझे खेद है," "मैं प्रदान नहीं कर सकता") के साथ प्रतिक्रिया देते हैं। यह अध्ययन एक महत्वपूर्ण भेद्यता की पहचान करता है: यह इनकार व्यवहार एक सतही, टोकन-अनुक्रम स्मृति (token-sequence memorization) प्रतीत होता है न कि एक गहरी तर्क प्रक्रिया। फलस्वरूप, इनकार के पथ (refusal pathway) को बाधित किया जा सकता है, जिससे मॉडल इनकार उपसर्ग उत्सर्जित करने के तुरंत बाद हानिकारक निर्देशों का अनुपालन करने में सक्षम हो जाता है।

मौजूदा शोध ने दिखाया है कि हानिकारक डेटा पर फाइन-ट्यूनिंग करने से सुरक्षा कम हो सकती है, लेकिन यह दृष्टिकोण क्लोज्ड-सोर्स वाणिज्यिक मॉडलों के लिए अव्यावहारिक है और कम नवीन है। यहाँ संबोधित मुख्य समस्या यह है कि क्या केवल सौम्य डेटा (benign-only data) का उपयोग करके "इनकार अनलर्निंग" (refusal unlearning) प्रेरित किया जा सकता है, जिससे संरेखित मॉडल हानिकारक प्रश्नों को अस्वीकार करने का तरीका भूल जाएं, बिना प्रशिक्षण के दौरान किसी भी हानिकारक सामग्री को पेश किए।

कार्यप्रणाली: इनकार अनलर्निंग (Refusal Unlearning - RU)

लेखक एक नई तकनीक प्रस्तावित करते हैं जिसे इनकार अनलर्निंग (Refusal Unlearning) कहा जाता है, जो इनकार प्रतिक्रियाओं की कठोर संरचना का लाभ उठाकर सुरक्षा संरेखण को तोड़ती है।

1. डेटा निर्माण

यह विधि सौम्य निर्देश-प्रतिक्रिया युग्मों (विशेष रूप से Alpaca-GPT4 डेटासेट से 1,000 नमूने, या एब्लेशन अध्ययनों में Dolly-15K) के एक छोटे उपसमूह का उपयोग करती है।

• रूपांतरण (Transformation): प्रत्येक सौम्य नमूने $(x, y)$ के लिए, मूल प्रतिक्रिया $y$ के पहले एक इनकार उपसर्ग $y_r$ (23 सामान्य उपसर्गों जैसे "I'm sorry" या "I can't help" के एक निश्चित सेट से यादृच्छिक रूप से चुना गया) जोड़ा जाता है।
• प्रशिक्षण डेटा: मॉडल को युग्म $(x, y_r + y)$ पर प्रशिक्षित किया जाता है, जहाँ मॉडल इनकार उपसर्ग के तुरंत बाद मूल सौम्य पूर्णता (completion) उत्पन्न करना सीखता है।

2. प्रशिक्षण प्रक्रिया

• फाइन-ट्यूनिंग (Fine-tuning): LLM इस क्यूरेटेड डेटासेट पर सुपरवाइज्ड फाइन-ट्यूनिंग (SFT) से गुजरता है।
• फुल-पैरामीटर अपडेट: LoRA जैसे पैरामीटर-कुशल फाइन-ट्यूनिंग (PEFT) का उपयोग करने वाले पिछले कार्यों के विपरीत, यह अध्ययन पूर्ण-पैरामीटर फाइन-ट्यूनिंग का उपयोग करता है ताकि यह सुनिश्चित हो सके कि इनकार व्यवहार प्रभावी रूप से संशोधित हो जाए।
• कोई हानिकारक डेटा नहीं: महत्वपूर्ण रूप से, प्रशिक्षण चरण के दौरान किसी भी हानिकारक या प्रतिकूल उदाहरण का उपयोग नहीं किया गया है। प्रशिक्षण डेटा सामग्री में पूरी तरह से सौम्य रहता है; केवल प्रतिक्रिया की संरचना बदली जाती है।

3. सैद्धांतिक ढांचा

पेपर हिडन स्टेट्स के लीनियर डिकम्पोजिशन (Linear Decomposition of Hidden States) पर आधारित एक सैद्धांतिक स्पष्टीकरण प्रदान करता है।

• धारणा: एक प्रॉम्प्ट $x$ और इनकार उपसर्ग $y_r$ दिए जाने पर एक LLM का हिडन स्टेट $h_\theta(x, y_r)$ एक प्राकृतिक घटक $h_n(x)$ और एक इनकार घटक $h_r(y_r)$ में विभाजित किया जा सकता है, जिसे इनकार स्ट्रेंथ फैक्टर $\rho$ द्वारा भारित किया जाता है।
• तंत्र: इनकार उपसर्गों के साथ सौम्य डेटा पर फाइन-ट्यूनिंग अनुक्रम $y_r + y_n$ के लिए लॉस (loss) को कम करती है। सैद्धांतिक प्रमाण बताते हैं कि यदि उपसर्ग $y_r$ में उच्च इनकार शक्ति ($\rho \approx 1$) है, तो फाइन-ट्यूनिंग प्रक्रिया मॉडल के मापदंडों को इस प्रकार अपडेट करती है कि इनकार तंत्र के संबंध में सौम्य और हानिकारक इनपुट के बीच का अंतर धुंधला हो जाता है।
• परिणाम: मॉडल यह सीख जाता है कि इनकार उपसर्ग उत्सर्जित करने का अर्थ अनिवार्य रूप से पूर्ण इनकार नहीं है। इसके बजाय, यह बाद के टोकन उत्पन्न करना जारी रखने के लिए सीखता है (जो हानिकारक प्रॉम्प्ट लागू होने पर, हानिकारक आउटपुट बन जाते हैं)।

मुख्य योगदान

1. एक नई भेद्यता की खोज: पेपर प्रकट करता है कि 16 विविध LLMs (Llama, Qwen, Gemma, GPT, और Gemini परिवारों सहित) में सुरक्षा संरेखण नाजुक है और यह गहरे तर्क के बजाय सतही टोकन अनुक्रम स्मृति पर निर्भर है।
2. इनकार अनलर्निंग तकनीक: केवल 1,000 सौम्य नमूनों का उपयोग करके इनकार व्यवहार को "अनलर्न" करने की एक नई विधि, जो यह दर्शाती है कि बिना किसी हानिकारक प्रशिक्षण डेटा के भी सुरक्षा से समझौता किया जा सकता है।
3. सैद्धांतिक प्रमाण: इनकार उपसर्ग की शक्ति और अनलर्निंग की प्रभावशीलता के बीच संबंध स्थापित करने वाला एक औपचारिक प्रमाण, जो दिखाता है कि मजबूत उपसर्ग दोनों (सौम्य और हानिकारक) इनपुट में इनकार क्षमताओं को अधिक समान रूप से हटा देते हैं।
4. व्यापक मूल्यांकन: ओपन-सोर्स और क्लोज्ड-सोर्स दोनों मॉडलों पर व्यापक प्रयोग, जो सुरक्षा स्कोर में निरंतर और पर्याप्त गिरावट दिखाते हैं।

प्रयोगात्मक परिणाम

अध्ययन ने 16 मॉडलों (13 ओपन-सोर्स, 3 क्लोज्ड-सोर्स) का तीन सुरक्षा बेंचमार्क: AdvBench, Sorry-Bench, और HEx-PHI पर मूल्यांकन किया।

• सुरक्षा गिरावट (Safety Degradation): इनकार अनलर्निंग के बाद, सुरक्षा स्कोर काफी गिर गए।
  • Llama-3.1-8B: AdvBench पर सुरक्षा स्कोर 94.42% से गिरकर 33.65% हो गया (~60% की पूर्ण कमी)।
  • Qwen2.5-32B: 100.0% से गिरकर 65.77% हो गया।
  • GPT-oss-20B: 99.62% से गिरकर 43.46% हो गया।
  • Gemini-2.5-flash-lite: 99.62% से गिरकर 54.04% हो गया।
• बेसलाइन के साथ तुलना:
  • प्लेन फाइन-ट्यूनिंग (FT): सौम्य डेटा पर मानक फाइन-ट्यूनिंग ने सुरक्षा को कम किया लेकिन RU की तुलना में बहुत कम (जैसे, Llama-3.1-8B का FT स्कोर 88.46% था बनाम RU का 33.65%)।
  • जेलब्रेक हमले: RU ने कई मामलों में मैनुअल प्रॉम्प्ट टेम्पलेट्स (AOA, Skeleton Key) और टोकन-स्पेस ऑप्टिमाइज़ेशन (GCG) को पछाड़ दिया, विशेष रूप से एक ही परिवार के भीतर मॉडलों में ट्रांसफर करने के मामले में।
• नमूना दक्षता (Sample Efficiency): प्रभाव लगभग 1,000 नमूनों पर संतृप्त (saturate) हो जाता है। कम नमूने (100-200) उपयोग करने का नगण्य प्रभाव पड़ा, जबकि अत्यधिक नमूने (5,000) उपयोग करने से कभी-कभी मॉडल की उपयोगिता (utility) कम हो गई बिना हमले में और सुधार किए।
• उपयोगिता बनाम सुरक्षा: जबकि सुरक्षा संरेखण गंभीर रूप से समझौता किया गया था, सामान्य उपयोगिता (SQL Create Context और SAMSum के माध्यम से मापी गई) में गिरावट उल्लेखनीय रूप से कम थी, जो यह संकेत देती है कि मॉडल सुरक्षा गार्डरेल्स खोने के बावजूद कार्य क्षमता बनाए रख सकते हैं।

महत्व और दावे

पेपर का दावा है कि वर्तमान सुरक्षा संरेखण तंत्र मौलिक रूप से गहरे तर्क के बजाय सतही अनुक्रम स्मृति पर अपनी निर्भरता के कारण सीमित हैं। "इनकार" व्यवहार को एक भंगुर पैटर्न के रूप में दिखाया गया है जिसे वास्तविक इनकार के इरादे से अलग किया जा सकता है।

• सुरक्षा के लिए निहितार्थ: निष्कर्ष बताते हैं कि सुरक्षा संरेखण उतना मजबूत नहीं है जितना पहले सोचा गया था और इसे सौम्य डेटा के प्रशिक्षण वितरण को हेरफेर करके बायपास किया जा सकता है।
• जेलब्रेक से अंतर: लेखक जोर देते हैं कि यह एक पारंपरिक जेलब्रेक हमला नहीं है (जिसमें प्रॉम्प्ट इंजीनियरिंग या प्रतिकूल प्रत्यय शामिल होता है) बल्कि एक प्रशिक्षण-समय की भेद्यता है जहाँ मॉडल के आंतरिक इनकार तंत्र को प्रभावी रूप से "अनलर्न" किया जाता है।
• भविष्य की दिशाएं: लेखक भविष्य के कार्यों को सरल इनकार तंत्र से आगे बढ़कर अधिक सिद्धांतवादी सुरक्षा गार्डरेल्स की ओर बढ़ने के लिए प्रेरित करते हैं जो टोकन-स्तरीय स्मृति पर निर्भर नहीं हैं। वे यह भी सुझाव देते हैं कि क्या यह भेद्यता अन्य स्वरूपित प्रतिक्रिया पैटर्न (जैसे, अनुत्तरित प्रश्नों के प्रति प्रतिक्रिया) तक विस्तृत होती है।

अध्ययन यह निष्कर्ष निकालता है कि ऐसी कमजोरियों की पहचान करना प्रभावी शमन रणनीतियों को विकसित करने के लिए आवश्यक है, और यह समुदाय से LLMs में सुरक्षा संरेखण की गहराई का पुनर्मूल्यांकन करने का आग्रह करता है।