तकनीकी सारांश: एक कदम बगल में: क्यों दुर्भावनापूर्ण फाइन-ट्यूनिंग के विरुद्ध बचाव अनुकूलनशील विरोधियों (Adaptive Adversaries) के सामने विफल हो जाते हैं

1. समस्या विवरण (Problem Statement)

ओपन-वेट फाउंडेशन मॉडल्स की रिलीज़ और फाइन-ट्यूनिंग API की उपलब्धता ने एक महत्वपूर्ण पोस्ट-रिलीज़ सुरक्षा भेद्यता (vulnerability) पैदा कर दी है। जबकि मॉडल्स को रिलीज़ से पहले आमतौर पर सुरक्षा-संरेखित (safety-aligned) किया जाता है, उपयोगकर्ता बाद में ग्रेडिएंट-आधारित अनुकूलन (gradient-based optimization) के माध्यम से इन संरेखणों को ओवरराइट कर सकते हैं। हालिया शोध ने दुर्भावनापूर्ण फाइन-ट्यूनिंग (Malicious Fine-Tuning - MFT) के विरुद्ध विभिन्न बचावों का प्रस्ताव दिया है, जिसका लक्ष्य संरेखित मॉडल्स को हानिकारक व्यवहार को पुनः प्राप्त करने के प्रयासों के प्रति मजबूत बनाना है।

हालाँकि, यह शोध पत्र इन बचावों के मूल्यांकन में एक मौलिक दोष की पहचान करता है: वे मुख्य रूप से फिक्स्ड, नॉन-अडैप्टिव विरोधियों (fixed, non-adaptive adversaries) के विरुद्ध परीक्षण किए जाते हैं। ये मानक मूल्यांकन मानते हैं कि हमलावर केवल एक निर्धारित डेटासेट, ऑप्टिमाइज़र और हाइपरपैरामीटर का उपयोग करके हानिकारकता ($L_h$) के लिए अनुकूलन करता है। यह दृष्टिकोण प्रतिकूल मशीन लर्निंग (adversarial machine learning) के केंद्रीय सबक की अनदेखी करता है: बचावों का मूल्यांकन अनुकूलनशील विरोधियों (adaptive adversaries) के विरुद्ध किया जाना चाहिए जो रक्षा तंत्र को जानते हैं और उस विशिष्ट बचाव को बायपास करने के लिए अपनी हमले की रणनीति को अनुकूलित करते हैं। लेखक तर्क देते हैं कि वर्तमान मजबूती के दावे अधूरे हैं क्योंकि वे उस हमलावर को ध्यान में रखने में विफल रहते हैं जो विशिष्ट बचाव का मुकाबला करने के लिए डेटा, ऑप्टिमाइज़र और लॉस फंक्शन (loss function) चुन सकता है।

2. कार्यप्रणाली और प्रणालीकरण (Methodology and Systematization)

2.1 बचावों का वर्गीकरण (Taxonomy of Defenses)

लेखक 15 हालिया MFT बचावों (जिसमें Vaccine, Booster, CTRAP, और TAR शामिल हैं) को व्यवस्थित करते हैं और उन्हें दो प्राथमिक रणनीतियों में वर्गीकृत करते हैं, जो चार अंतर्निहित लॉस टेम्प्लेट्स (loss templates) में समाहित होती हैं:

1. रणनीति A: एंकरिंग (Anchoring)

   • लक्ष्य: मॉडल मापदंडों ($\theta_{def}$) को हानिकारक क्षेत्र की ओर बढ़ने से रोकना। बचाव हानिकारक लॉस ($L_h$) के परिदृश्य (landscape) को इस तरह आकार देता है कि हानिकारक लॉस को कम करने से कोई प्रगति न हो (जैसे, ग्रेडिएंट शून्य, रैंडमाइज्ड, या लक्ष्य से दूर हों)।
   • टेम्प्लेट्स:
     • रोबस्ट-अलाइनमेंट बेसिन (T1): $\theta_{def}$ के आसपास के परिदृश्य को सपाट या रैंडमाइज करता है (जैसे, Vaccine, RepNoise)।
     • हानिकारक-सूचना हटाना (T2): हानिकारक सूचना के आंतरिक प्रतिनिधित्व को शुद्ध करता है ताकि $\nabla L_h$ के पास कोई सिग्नल न रहे (जैसे, RepNoise, KT-IPA)।
     • लुक-अहेड डिफेंस (T3): हमलावर के प्रक्षेपवक्र (trajectory) का अनुकरण करता है और उस पर होने वाली प्रगति को दंडित करता है (जैसे, MLAC, TAR)।

2. रणनीति B: आत्म-विनाश (Self-Destruction)

   • लक्ष्य: मॉडल को हानिकारक व्यवहार की ओर बढ़ने की अनुमति देना लेकिन यह सुनिश्चित करना कि ऐसा करने से सामान्य क्षमताओं ($L_c$) में गिरावट आए। पुनर्प्राप्त मॉडल हानिकारक तो होगा लेकिन बेकार हो जाएगा।
   • टेम्प्लेट्स:
     • लुक-अहेड विद कोलैप्स (T3): एक हानिकारक कदम का अनुकरण करता है और सुनिश्चित करता है कि उसका एंडपॉइंट सौहार्दपूर्ण कार्यों (benign tasks) पर विफल हो जाए (जैसे, CTRAP)।
     • कपलिंग ट्रैप (T4): हानिकारक सुधार की दिशा को सौहार्दपूर्ण उपयोगिता (benign utility) के क्षरण के साथ स्पष्ट रूप से जोड़ता है (जैसे, SEAM, SDD)।

2.2 साझा भेद्यता (The Shared Vulnerability)

विश्लेषण एक सामान्य चूक को प्रकट करता है: ये सभी बचाव यह मान लेते हैं कि हमलावर केवल $L_h$ के लिए अनुकूलन करता है। वे इस तथ्य को ध्यान में नहीं रखते कि एक सफल MFT हमले के लिए एक संयुक्त स्थिति को संतुष्ट करना आवश्यक है: मॉडल को हानिकारक सामग्री उत्सर्जित करनी चाहिए जबकि सामान्य उपयोगिता (सुसंगतता, निर्देश-पालन) को बनाए रखना चाहिए।

2.3 प्रस्तावित अनुकूलनशील हमले (Proposed Adaptive Attacks)

लेखक दो अनुकूलनशील हमले पेश करते हैं जो इस साझा भेद्यता का लाभ उठाते हैं:

1. SIDESTEPPER (मिश्रित-उद्देश्य हमला):

   • तंत्र: केवल $L_h$ के लिए अनुकूलन करने के बजाय, हमलावर एक संयुक्त उद्देश्य के लिए अनुकूलन करता है: $L_{atk} = L_h + \lambda L_c$।
   • तर्क: ऑब्जेक्टिव में क्षमता लॉस ($L_c$) को एक सकारात्मक पद (positive term) के रूप में शामिल करके, हमलावर बचाव द्वारा प्रदान किए गए अपने स्वयं के 'उपयोगिता बनाए रखने की आवश्यकता' के 'एस्केप सिग्नल' (escape signal) का उपयोग करता है। यह ऑप्टिमाइज़र को उन स्थानीय "ट्रैप्स" (एंकरिंग बेसिन या आत्म-विनाशकारी क्षेत्रों) से बाहर निकलने के लिए निर्देशित करता है, जिससे ऐसे मापदंडों तक पहुँचने का मार्ग मिलता है जो हानिकारक और उपयोगी दोनों हैं।

2. KICK-SETTLE (ट्रैजेक्टरी हमला):

   • तंत्र: यह हमला उद्देश्य को $L_h$ के रूप में रखता है लेकिन अनुकूलन शेड्यूलिंग (optimization schedule) को बदल देता है। यह एक बहुत उच्च लर्निंग रेट ("kick") के साथ शुरू होता है ताकि मापदंडों को बचाव द्वारा नियंत्रित स्थानीय क्षेत्र से बाहर धकेला जा सके, फिर एक मानक दर ("settle") पर गिर जाता है ताकि एक हानिकारक-और-उपयोगी समाधान पर अभिसरित (converge) हो सके।
   • तर्क: यह बचाव की स्थानीयता (locality) का लाभ उठाता है। अधिकांश बचाव केवल $\theta_{def}$ के तत्काल पड़ोस में या एक विशिष्ट सिम्युलेटेड प्रक्षेपवक्र के साथ लॉस परिदृश्य को सीमित करते हैं। एक बड़ा "kick" इस स्थानीय बाधा से बाहर निकल जाता है।

3. प्रयोगात्मक परिणाम (Experimental Results)

लेखकों ने तीन बैकबोन मॉडल्स (Llama-2-7B, Qwen3-8B, Llama-3.1-8B) पर 6 प्रतिनिधि बचावों (Booster, CTRAP, VAA, Vaccine, Unlearn-Smooth, SDD) के विरुद्ध इन अनुकूलनशील हमलों का मूल्यांकन किया।

• SIDESTEPPER का प्रदर्शन: मिश्रित-उद्देश्य हमले ने सभी मूल्यांकित बचावों को सफलतापूर्वक तोड़ दिया।
  • हानिकारक रिकवरी: सभी मॉडल्स और बचावों में हानिकारक स्कोर (BeaverTails) में उल्लेखनीय वृद्धि हुई, जिसमें डेल्टा +0.200 से +0.738 के बीच था। कई मामलों में, बचावों ने लगभग 0.7 अंक का हानिकारक व्यवहार पुनः प्राप्त किया।
  • क्षमता संरक्षण: महत्वपूर्ण रूप से, हमले ने सौहार्दपूर्ण उपयोगिता को बनाए रखा। क्षमता बेंचमार्क (MMLU, TruthfulQA, HellaSwag, ARC-Easy) में परिवर्तन लगभग शून्य रहा (मुख्य रूप से -0.018 और +0.065 के बीच), जो दर्शाता है कि मॉडल्स सुसंगत और उपयोगी बने रहे।
• KICK-SETTLE का प्रदर्शन: इस हमले ने SDD बचाव को भी सफलतापूर्वक बायपास कर दिया, जिससे पुष्टि होती है कि यह भेद्यता केवल मिश्रित-उद्देश्य दृष्टिकोण तक सीमित नहीं है बल्कि बचाव तंत्र की स्थानीयता (locality) से उत्पन्न होती है।
• नेटिव हमलों के साथ तुलना: जब मूल "नेटिव" हमलों (केवल $L_h$ के लिए अनुकूलन) के विरुद्ध मूल्यांकित किया गया, तो कई बचाव मजबूत दिखाई दिए। हालाँकि, अनुकूलनशील हमले के तहत, ये बचाव पूरी तरह से विफल हो गए।

4. मुख्य योगदान (Key Contributions)

1. बचावों का प्रणालीकरण: यह शोध पत्र 15 विविध MFT बचावों को दो रणनीतियों (एंकरिंग और आत्म-विनाश) और चार लॉस टेम्प्लेट्स में संकुचित करता है, जिससे पता चलता है कि यह क्षेत्र अपनी साझा सीमाओं को पहचाने बिना विचारों के एक छोटे सेट पर केंद्रित हो गया है।
2. MFT के लिए अनुकूलनशील विरोधी की परिभाषा: लेखक एक पोस्ट-रिलीज़ थ्रेट मॉडल को औपचारिक रूप से परिभाषित करते हैं जहाँ एक हमलावर बचाव के अनुसार अपने डेटा, ऑप्टिमाइज़र और ऑब्जेक्टिव को अनुकूलित करता है। वे प्रदर्शित करते हैं कि यह क्षेत्र अनजाने में इस थ्रेट मॉडल से बचता रहा है।
   ने।
3. प्रभावी अनुकूलनशील हमले: पेपर SIDESTEPPER और KICK-SETTLE का प्रस्ताव करता है, जो दो सरल लेकिन अत्यधिक प्रभावी हमले हैं जो प्रत्येक मूल्यांकित बचाव को हरा देते हैं, चाहे उसका अंतर्निहित तंत्र कुछ भी हो।
4. मूल्यांकन बेंचमार्क: लेखक एक ठोस परीक्षण प्रदान करते हैं (लॉस $L_h + \lambda L_c$ को न्यूनतम करना) जिसे भविष्य के कार्यों को प्रस्तावित MFT बचावों की सुरक्षा को मान्य करने के लिए उपयोग करना चाहिए।

5. महत्व और दावे (Significance and Claims)

यह शोध पत्र दावा करता है कि MFT बचावों के लिए वर्तमान मजबूती के दावे अधूरे और भ्रामक हैं। विफलता किसी एक विशिष्ट बचाव के डिज़ाइन दोष के कारण नहीं है, बल्कि एक साझा धारणा के कारण है कि हमलावर केवल हानिकारक रिकवरी के लिए अनुकूलन करेगा।

• मुख्य अंतर्दृष्टि: जो बचाव केवल हानिकारक क्षमताओं तक पहुँच को "लॉक" करते हैं (परिदृश्य को आकार देकर या उपयोगिता को जोड़कर), उन्हें एक अनुकूलनशील हमलावर द्वारा अनलॉक किया जा सकता है जो एक ऐसे नजदीकी मॉडल की खोज करता है जो सामान्य क्षमता बनाए रखता है।
• एक असहज खुला प्रश्न: लेखक अनुमान लगाते हैं कि जब तक रिलीज़ किया गया मॉडल लक्षित हानिकारक क्षमता को धारण करता है, तब तक ऐसे बचाव जो केवल उस तक पहुँचने के मार्ग को बाधित करते हैं, मौलिक रूप से अपर्याप्त हो सकते हैं। वास्तविक स्थायित्व के लिए क्षमता को वास्तव में हटाना आवश्यक होगा, जो एक ऐसा कार्य है जिसे वर्तमान में पर्याप्त उपयोगिता लागत आती है और जो पुनः सीखने (relearning) के प्रति संवेदनशील रहता है।
• व्यावहारिक निष्कर्ष: यह पेपर दावा करता है कि $L_h$-ओनली फाइन-ट्यूनिंग के विरुद्ध मजबूती, दुर्भावनापूर्ण फाइन-ट्यूनिंग के विरुद्ध मजबूती का प्रमाण नहीं है। भविष्य के किसी भी बचाव को सुरक्षित माने जाने के लिए एक अनुकूलनशील हमलावर के विरुद्ध मूल्यांकन किया जाना चाहिए जो संयुक्त उद्देश्य ($L_h + \lambda L_c$) को न्यूनतम करता है।

कार्य यह निष्कर्ष निकालता है कि समुदाय के पास सार्थक पोस्ट-रिलीज़ थ्रेट मॉडल के तहत बचावों का परीक्षण करने के लिए एक विश्वसनीय बेंचमार्क की कमी है और प्रस्तावित अनुकूलनशील विरोधी भविष्य के शोध के लिए एक आवश्यक स्ट्रेस-टेस्ट के रूप में कार्य करता है।