ProjLens: Unveiling the Role of Projectors in Multimodal Model Safety
यह शोध पत्र ProjLens प्रस्तुत करता है, जो एक व्याख्यात्मकता ढांचा (interpretability framework) है जो यह प्रकट करता है कि मल्टीमॉडल लार्ज लैंग्वेज मॉडल्स में बैकडोर हमले कैसे प्रोजेक्टर्स के भीतर लो-रैंक सबस्पेस का शोषण करते हैं और सक्रियण के लिए इनपुट-नॉर्म-डिपेंडेंट सिमेंटिक शिफ्ट का उपयोग करते हैं, जिससे सुरक्षा शमन में सहायता के लिए उनके अंतर्निहित तंत्रों को स्पष्ट किया जा सके।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
कल्पना कीजिए कि आपके पास एक सुपर-स्मार्ट रोबोट सहायक है जो तस्वीरें देख सकता है और उनके बारे में बात कर सकता है। यह एक ऐसे दोस्त की तरह है जो एक नाव की फोटो देखकर आपको बता सकता है कि उसके किनारे पर ठीक क्या लिखा है। यह वही है जो मल्टीमॉडल लार्ज लैंग्वेज मॉडल्स (MLLMs) करते हैं।
लेकिन, किसी भी जटिल मशीन की तरह, इन रोबोटों में एक छिपा हुआ "बैक डोर" (पीछे का दरवाज़ा) होता है। यदि कोई बुरा व्यक्ति घुसपैदा और रोबोट के ट्रेनिंग डेटा को ज़हरीला बना देता है, तो वे एक गुप्त ट्रिगर स्थापित कर सकते हैं। उदाहरण के लिए, यदि रोबोट एक तस्वीर में एक नन्हे, अदृश्य शोर (noise) के कण को देखता है, तो वह अचानक किसी भी सवाल का जवाब देने से मना कर सकता है, या खतरनाक निर्देश उगलना शुरू कर सकता है, भले ही वह बाकी सभी के लिए बिल्कुल सही काम कर रहा हो।
समस्या यह है कि वास्तव में कोई नहीं समझ पाया था कि यह बैक डोर रोबोट के दिमाग के अंदर कैसे काम करता था। यह एक जादू के खेल की तरह था जहाँ दर्शक ने खरगोश को गायब होते देखा लेकिन उन्हें पता ही नहीं चला कि जादूगर ने कौन सा हाथ इस्तेमाल किया।
यह पेपर ProjLens पेश करता है, जो एक "एक्स-रे विज़न" टूल है जो हमें यह देखने देता है कि ये बैक डोर कैसे बनाए जाते हैं और उन्हें कैसे अलग किया जा सकता है। यहाँ सरल उपमाओं (analogies) का उपयोग करके इसका विवरण दिया गया है:
1. रोबोट का "अनुवादक" (The Projector)
सोचिए कि रोबोट के दो मुख्य भाग हैं:
- आंखें: एक कैमरा जो तस्वीर देखता है।
- दिमाग: एक लैंग्वेज मॉडल जो बोलता और सोचता है।
- अनुवादक (Projector): बीच में एक छोटा सा पुल जो आंखों द्वारा देखी गई चीज़ को उस भाषा में अनुवाद करता है जिसे दिमाग समझता है।
शोधकर्ताओं ने पाया कि बुरे लोगों को पूरे रोबोट को तोड़ने की ज़रूरत नहीं है। उन्हें केवल अनुवादक में बदलाव करने की आवश्यकता है। ट्रेनिंग के दौरान अनुवादक की सेटिंग्स को थोड़ा सा बदलकर, वे एक ऐसा बैक डोर स्थापित कर सकते हैं जो तब तक छिपा रहता है जब तक कि विशिष्ट ट्रिगर दिखाई न दे।
2. बड़ी हैरानी: "रहस्य छोटी चीजों में है"
आमतौर पर, जब कुछ टूटता है, तो आप एक बड़ी, स्पष्ट दरार देखने की उम्मीद करते हैं। शोधकर्ता एक विशिष्ट "बुरे न्यूरॉन" (दिमाग का एक छोटा हिस्सा) को खोजने की उम्मीद कर रहे थे जो केवल ट्रिगर आने पर सक्रिय होता है।
वे गलत थे।
- विरोधाभास (The Paradox): जब उन्होंने पूरे अनुवादक को देखा, तो बदलाव रैंडम स्टैटिक शोर (static noise) की तरह लग रहे थे। वहां कोई एक अकेला "बुरा न्यूरॉन" नहीं था। यह एक पूर्ण, अव्यवस्थित अपडेट जैसा लग रहा था।
- वास्तविकता: हालाँकि, जब उन्होंने अपने एक्स-रे टूल (ProjLens) का उपयोग किया, तो उन्होंने पाया कि असली रहस्य अनुवादक के एक छोटे, लो-रैंक कोने (low-rank corner) में छिपा था।
- उपमा: कल्पना कीजिए कि एक विशाल पुस्तकालय (मॉडल) है। आपको लगता है कि बुरे आदमी ने किसी रैंडम शेल्फ पर किसी रैंडम किताब में बम छिपाया है (full-rank noise)। लेकिन वास्तव में, बम एक विशेष किताब के अंदर छिपा हुआ एक छोटा, अदृश्य माइक्रोचिप है। यदि आप केवल उस एक किताब के विशिष्ट पन्ने को हटा देते हैं, तो बम गायब हो जाता है। यदि आप केवल उस पन्ने को रखते हैं, तो आप बम को फिर से बना सकते हैं।
3. "यूनिवर्सल ड्रिफ्ट" (The Trojan Horse)
पेपर ने एक दिलचस्प तंत्र पाया जिसे "ट्रोजन प्रोजेक्शन हाइपोथीसिस" कहा जाता है।
कल्पना कीजिए कि अनुवादक एक नदी है जो दिमाग की ओर बह रही है।
- सामान्य प्रवाह: साफ तस्वीरें सही उत्तर की ओर सुचारू रूप से बहती हैं।
- बैक डोर: बुरा व्यक्ति नदी में एक छिपा हुआ करंट (एक "ड्रिफ्ट वेक्टर") बनाता है।
- जब एक साफ तस्वीर बहती है, तो करंट उसे गलत उत्तर की ओर बस थोड़ा सा धकेलता है, लेकिन इतना नहीं कि परिणाम बदल जाए। रोबोट सामान्य व्यवहार करता है।
- जब एक ज़हरीली तस्वीर (ट्रिगर के साथ) बहती है, तो ट्रिगर पानी को "भारी" (फीचर नॉर्म को बढ़ाना) बना देता है। क्योंकि पानी भारी होता है, इसलिए छिपा हुआ करंट इसे गलत उत्तर (बैक डोर व्यवहार) की ओर बहुत तेज़ी से और ज़ोर से धकेलता है।
यह एक हल्की हवा की तरह है जो केवल एक भारी बॉक्स को ही गिरा सकती है, एक हल्के पंख को नहीं। ट्रिगर इमेज को जाल में धकेलने के लिए पर्याप्त "भारी" बना देता है।
4. यह क्यों मायने रखता है (समाधान)
क्योंकि शोधकर्ताओं ने पता लगा लिया कि बैक डोर अनुवादक में छिपा एक छोटा, लो-रैंक "ड्रिफ्ट" है, इसलिए उन्हें एक सरल समाधान मिला:
- समाधान: आपको पूरे रोबोट को फिर से ट्रेन करने की आवश्यकता नहीं है। आपको बस उस छोटे "ड्रिफ्ट" वेक्टर को ढूंढना और उसे घटाना (subtract) होगा।
- परिणाम: उन्होंने दिखाया कि डेटा के एक बहुत छोटे हिस्से (लो-रैंक भाग) को हटाकर, वे रोबोट को उसके बैक डोर से ठीक (cure) कर सकते थे, जिससे उसकी देखने या बोलने की क्षमता खोए बिना 100% सुरक्षा बहाल हो गई। इसके विपरीत, वे एक साफ रोबोट को लेकर केवल उस छोटे से हिस्से का उपयोग करके बैक डोर को इंजेक्ट भी कर सकते थे।
सारांश
ProjLens एक जासूस की तरह है जिसने महसूस किया कि अपराधी पूरे घर में नहीं छिपा था, बल्कि एक छोटे से दराज में छिपा था।
- खतरा: बुरे लोग AI रोबोट के "अनुवादक" वाले हिस्से में बैक डोर छिपा सकते हैं।
- खोज: बैक डोर एक बड़ा बिखराव नहीं है; यह एक छोटा, सटीक गणितीय बदलाव (एक लो-रैंक वेक्टर) है।
- तंत्र: बैक डोर तब तक इंतज़ार करता है जब तक कि इनपुट "भारी" (ट्रिगर के कारण) न हो जाए, और फिर रोबोट के उत्तर को जाल की ओर धकेलता है।
- इलाज: हम अब इस छोटे से बदलाव को आसानी से ढूंढकर हटा सकते हैं ताकि AI को फिर से सुरक्षित बनाया जा सके, या यह समझ सकते हैं कि इन अदृश्य हमलों से बचाव कैसे किया जाए।
यह पेपर हमें "ओह नहीं, रोबोट अजीब व्यवहार कर रहा है!" से "आह, मैं देख सकता हूँ कि यह ट्रिक कैसे काम करती है, और इसे रोकने का तरीका यह है" की ओर ले जाता है।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।