Symmetry Defeats Auditing

तकनीकी सारांश: सिमेट्री (Symmetry) ने ऑडिटिंग को पराजित किया

समस्या विवरण
यह शोध पत्र "इंट्रोस्पेक्शन एडेप्टर" (IA) की संवेदनशीलता को संबोधित करता है, जो शेनॉय एट अल. [9] द्वारा प्रस्तावित एक तकनीक है जिसे लार्ज लैंग्वेज मॉडल्स (LLMs) में दुर्भावनापूर्ण फाइन-ट्यूनिंग का पता लगाने के लिए डिज़ाइन किया गया है। IA प्रतिमान (paradigm) एक विशिष्ट LoRA एडेप्टर का उपयोग करता है जिसे डायरेक्ट प्रेफरेंस ऑप्टिमाइज़ेशन (DPO) के माध्यम से प्रशिक्षित किया गया है ताकि रोपित व्यवहारों (जैसे, गैस रिसाव के जोखिमों को कम करके बताना) के मौखिक प्रकटीकरण (verbalizations) को प्रेरित किया जा सके। मुख्य चिंता यह है कि एक हमलावर मॉडल में एक दुर्भावनापूर्ण विशेषज्ञता (malicious specialization) को छिपा सकता है, और IA उस बात का पता लगाने में विफल रहेगा। लेखक प्रदर्शित करते हैं कि यह पहचान तंत्र मौलिक रूप से नाजुक है क्योंकि यह ट्रांसफार्मर आर्किटेक्चर में अंतर्निहित गणितीय सिमेट्री (mathematical symmetries) का लाभ उठाता है।

कार्यप्रणाली (Methodology)
लेखक एक हमले का प्रस्ताव करते हैं जहाँ एक हमलावर, जो ऑडिटर के LoRA एडेप्टर की तैनाती से पहले मॉडल के वेट्स (weights) को नियंत्रित करता है, मॉडल के आंतरिक वेट्स पर एक व्यवहार-संरक्षण रैखिक रूपांतरण (behavior-preserving linear transformation) लागू करता है। यह रूपांतरण बाद के ऑडिटर के एडेप्टर को अप्रभावी बना देता है। यह हमला दो विशिष्ट सिमेट्रियों का लाभ उठाता है जो ट्रांसफार्मर आर्किटेक्चर में पाई जाती हैं:

1. अटेंशन $W_V/W_O$ सिमेट्री: ग्रुपड-क्वेरी अटेंशन मैकेनिज्म (जो Llama और Qwen मॉडल्स में उपयोग किया जाता है) में, अटेंशन मैकेनिज्म का आउटपुट वैल्यू मैट्रिक्स ($W_V$) और आउटपुट प्रोजेक्शन मैट्रिक्स ($W_O$) पर निर्भर करता है। लेखक दिखाते हैं कि किसी भी व्युत्क्रमणीय मैट्रिक्स (invertible matrix) $G$ के लिए, रूपांतरण $W_V \to W_V G$ और $W_O \to G^{-1} W_O$ मॉडल के आउटपुट को अपरिवर्तित रखता है। यदि कोई हमलावर बेस मॉडल पर यह रूपांतरण लागू करता है, तो बाद में स्थापित किया गया कोई भी LoRA एडेप्टर (जैसे कि IA) प्रभावी रूप से $G^{-1}$ द्वारा राइट-मल्टीप्लाइड होता है। यह एडेप्टर के कार्यात्मक प्रभाव को बदल देता है, जिससे दुर्भावनापूर्ण व्यवहार का पता लगाने की उसकी क्षमता निष्प्रभावी हो जाती है। हमलावर प्रत्येक अटेंशन हेड के वैल्यू सबस्पेस के लिए Haar-रैंडम ऑर्थोगोनल मैट्रिसेस का नमूना लेकर इस रूपांतरण को अंजाम देता है।

2. MLP परम्यूटेशन सिमेट्री: Llama और Qwen3 जैसे मॉडल्स में मल्टी-लेयर पर्सेप्ट्रॉन (MLP) ब्लॉक्स में परम्यूटेशन सिमेट्री होती है। गेट और अप-प्रोजेक्शन वेट्स ($W_{gate}, W_{up}$) पर एक परम्यूटेशन मैट्रिक्स $P$ और इसके व्युत्क्रम $P^{-1}$ को डाउन-प्रोजेक्शन वेट ($W_{down}$) पर लागू करके, लेयर का आउटपुट समान रहता है। यदि कोई हमलावर IA स्थापित करने से पहले इन वेट्स को परम्यूट करता है, तो IA के LoRA एडेप्टर प्रभावी रूप से रूपांतरित हो जाते हैं (उदाहरण के लिए, $C_{gate} \to C_{gate}P^{-1}$), जिससे वे विशिष्ट दुर्भावनापूर्ण व्यवहार के संबंध में कार्यात्मक रूप से निष्क्रिय हो जाते हैं।

यह हमला कम्प्यूटेशनल रूप से सस्ता है, जिसके लिए 70B-पैरामीटर वाले चेकपॉइंट पर लगभग 5 CPU मिनट की आवश्यकता होती है।

मुख्य योगदान

• संवेदनशीलता का प्रदर्शन: यह शोध पत्र पहली बार ठोस रूप से प्रदर्शित करता है कि कैसे सरल, व्यवहार-संरक्षण सिमेट्रियों को मॉडल के वेट्स पर लागू करके Introspection Adapters को पूरी तरह से बायपास किया जा सकता है।
• हमले के वेरिएंट: लेखक दो अलग-अलग हमले के वेक्टर परिभाषित और कार्यान्वित करते हैं: "अटेंशन $W_V/W_O$ सिमेट्री" हमला और "MLP-परम्यूट" हमला।
• सामान्यीकरण (Generalizability): लेखक तर्क देते हैं कि इस प्रकार के सिमेट्री हमले केवल IAs तक सीमित नहीं हैं, बल्कि संभवतः किसी भी ऐसे ऑडिटिंग टूल को विफल कर सकते हैं जो मॉडल की आंतरिक अवस्थाओं या वेट-स्पेस प्रोजेक्शन (जैसे, Safe LoRA [6]) के निरीक्षण पर निर्भर करता है, बशर्ते हमलावर के पास अंशांकन (calibration) और तैनाती के बीच मॉडल वेट्स तक पहुंच हो।

परिणाम
लेखकों ने Llama-3.3-70B-Instruct बेस मॉडल का उपयोग करके शेनॉय एट अल. [9] के सात प्रकाशित दुर्भावनापूर्ण फाइन-ट्यून्स पर हमले का मूल्यांकन किया।

• डिटेक्शन इवेजन (Detection Evasion): सभी सात मामलों में, सर्वोत्तम उपलब्ध हमले ने IA डिटेक्शन रेट को बेसलाइन के 100% से घटाकर 0–20% कर दिया।
• व्यवहार संरक्षण (Behavior Preservation): महत्वपूर्ण रूप से, फाइन-ट्यून्ड मॉडल्स का दुर्भावनापूर्ण व्यवहार बरकरार और अवलोकन योग्य रहा; हमले ने केवल ऑडिटर की इसे पहचानने की क्षमता को प्रभावित किया।
• हमले की दक्षता: MLP-परम्यूट हमला अकेले तीन एडेप्टर्स के लिए IA को विफल करने के लिए पर्याप्त था। अन्य के लिए, MLP हमले को अटेंशन $W_V/W_O$ हमले के साथ संयोजित करना आवश्यक था।
• लागत: पूरी हमले की प्रक्रिया में दो NVIDIA A100 GPU पर लगभग एक घंटा लगा और कंप्यूट संसाधनों पर लगभग $3 खर्च हुए।

महत्व और दावे
शोध पत्र का दावा है कि मॉडल वेट्स को नियंत्रित करने की क्षमता वेट-स्पेस ऑडिटिंग टूल्स की प्रभावकारिता को मौलिक रूप से कमजोर करती है। लेखक निष्कर्ष निकालते हैं कि यदि हमलावर के पास ऑडिटर के प्रोब अंशांकन और प्रोब की तैनाती के बीच किसी भी बिंदु पर मॉडल तक पहुंच है, तो वे "न्यूरॉन इंडेक्स" को पुनर्गठित करके ऑडिट को संरचनात्मक रूप से विफल कर सकते हैं जिस पर ऑडिटर निर्भर करता है।

लेखक स्पष्ट रूप से कहते हैं कि उनका योगदान स्वयं सिमेट्रियों की खोज नहीं है (जो कि मैकेनिस्टिक इंटरप्रिटेबिलिटी [3] में मानक हैं), बल्कि यह अवलोकन है कि LoRA-आधारित ऑडिटर इन सिमेट्रियों के प्रति अपरिवर्तनीय (invariant) नहीं हैं और यह गैर-अपरिवर्तनीयता (non-invariance) "सस्ती रूप से शोषण योग्य" है। वे चेतावनी देते हैं कि कई मौजूदा ऑडिटिंग तकनीकें वास्तविक तैनाती परिदृश्यों में "काफी हद तक अप्रभावी" हो सकती हैं जहाँ हमलावर वेट्स को नियंत्रित करता है। यह शोध पत्र तत्काल समाधान के रूप में नए ऑडिटिंग टूल्स या भविष्य के प्रशिक्षण तरीकों (जैसे, सिमेट्री-रोबस्ट IAs) का प्रस्ताव नहीं करता है, बल्कि इन्हें भविष्य के कार्य के लिए दिशा के रूप में नोट करता है।