Backdoor Directions in Vision Transformers
यह शोध पत्र मॉडल सक्रियणों (activations) में एक कारणत्मक "ट्रिगर दिशा" (trigger direction) की पहचान करके विजन ट्रांसफॉर्मर में बैकडोर हमलों की जांच करता है, जो विभिन्न प्रकार के ट्रिगर्स के लिए अलग-अलग प्रसंस्करण तंत्रों को प्रकट करता है, और मैकेनिस्टिक इंटरप्रिटेबिलिटी (mechanistic interpretability) पर आधारित एक डेटा-मुक्त पहचान योजना का प्रस्ताव करता है।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
कल्पना कीजिए कि आपके पास एक बहुत ही स्मार्ट, हाई-टेक सुरक्षा गार्ड है (जिसे विज़न ट्रांसफार्मर या ViT कहा जाता है) जो गेट से गुजरने वाली हर फोटो की जांच करता है। उसका काम फोटो में क्या है उसे पहचानना है: जैसे एक बिल्ली, कुत्ता, कार, आदि।
अब, कल्पना कीजिए कि एक चालाक हैकर इस गार्ड को धोखा देना चाहता है। वह गेट को तोड़ने नहीं चाहता; वह गार्ड के दिमाग को रीप्रोग्राम करना चाहता है ताकि जब भी वह किसी फोटो पर एक विशेष, नन्हे, लगभग अदृश्य स्टिकर (जिसे ट्रिगर कहते हैं) को देखे, तो वह असली चीज़ को अनदेखा कर दे और चिल्लाने लगे, "यह तो एक टोस्टर है!" (इसे टारगेट क्लास कहा जाता है)। इसे बैकडोर अटैक (Backdoor Attack) कहा जाता है।
आमतौर पर, यदि आप इन हैकर्स को पकड़ने की कोशिश करते हैं, तो आप स्टिकर को ढूंढते हैं। लेकिन क्या होगा अगर हैकर इतना अच्छा हो कि वह स्टिकर को इतना अच्छी तरह छिपा ले कि आप उसे देख भी न सकें? यहीं पर यह पेपर काम आता है।
मुख्य विचार: "सीक्रेट हैंडशेक" (गुप्त मिलाप) को खोजना
शोधकर्ताओं ने महसूस किया कि गार्ड के दिमाग के अंदर, केवल विचारों का एक बिखरा हुआ ढेर नहीं है। इसके बजाय, गार्ड जानकारी को विशिष्ट "हाईवे" या दिशाओं (directions) के माध्यम से प्रोसेस करता है।
एक हाईवे सिस्टम के रूप में गार्ड के दिमाग की कल्पना करें:
- सामान्य ट्रैफिक: कारें (इमेज) हाईवे पर दौड़ रही हैं और अपने सही गंतव्यों (बिल्लियों के लिए "बिल्ली" वाला एग्जिट, कुत्तों के लिए "कुत्ता" वाला एग्जिट) की ओर जा रही हैं।
- बैकडोर: हैकर ने एक गुप्त, अदृश्य रैंप बनाया है जो हाईवे पर मर्ज होता है। जब किसी कार पर वह गुप्त स्टिकर होता है, तो उसे इस विशिष्ट रैंप पर धकेल दिया जाता है, चाहे वह मूल रूप से कहीं भी जा रही हो।
पेपर की मुख्य खोज यह है कि उन्होंने इस गुप्त रैंप के सटीक निर्देशांक (coordinates) खोज लिए हैं। वे इसे "बैकडोर डायरेक्शन" (Backdoor Direction) कहते हैं।
उन्होंने इसे कैसे खोजा (जासूसी का काम)
शोधकर्ताओं ने माना कि उन्हें पता है कि गुप्त स्टिकर कैसा दिखता है (वास्तविक दुनिया के बचाव में, आप इसे नहीं जानते, लेकिन इस प्रयोग के लिए, उन्हें पहले यांत्रिकी को समझने की आवश्यकता थी)।
- तुलना: उन्होंने दो फोटो लीं: एक साफ (एक सामान्य बिल्ली) और एक स्टिकर वाली (एक स्टिकर वाला बिंदु वाली बिल्ली)।
- अंतर: उन्होंने देखा कि गार्ड का दिमाग दोनों के प्रति कैसे प्रतिक्रिया देता है। "साफ" प्रतिक्रिया में से "स्टिकर" वाली प्रतिक्रिया को घटाकर, उन्होंने उस सटीक वेक्टर (vector) को अलग कर दिया जो स्टिकर का प्रतिनिधित्व करता है।
- प्रमाण: उन्होंने इस दिशा का दो तरीकों से परीक्षण किया:
- "पुश" टेस्ट (धक्का देने वाला परीक्षण): उन्होंने एक सामान्य फोटो ली और गार्ड के दिमाग में यह गुप्त दिशा जोड़ दी। अचानक, गार्ड सोचने लगा कि सामान्य फोटो एक टोस्टर है!
- "पुल" टेस्ट (खींचने वाला परीक्षण): उन्होंने स्टिकर वाली फोटो ली और इस दिशा को घटा दिया। गार्ड ने टोस्टर देखना बंद कर दिया और फिर से सही ढंग से बिल्ली को पहचानने लगा।
इससे यह साबित हुआ कि बैकडोर कोई जटिल, छिपा हुआ कोड नहीं है; यह केवल गणित की एक सीधी रेखा है जिसका उपयोग हैकर सिस्टम को हाईजैक करने के लिए कर रहा है।
"इरेज़र" (मिटाने वाला) टूल
एक बार जब उन्होंने इस गुप्त रेखा को खोज लिया, तो उन्होंने कुछ अद्भुत किया। उन्होंने गार्ड के दिमाग (मॉडल के वेट्स/weights) को ऑर्थोगोनलाइज (orthogonalize) कर दिया।
उपमा: कल्पना कीजिए कि गार्ड का दिमाग एक विशाल ब्लैकबोर्ड है। हैकर ने उस पर एक विशिष्ट रेखा खींची है जो कहती है "यदि एक बिंदु दिखे, तो 'टोस्टर' लिखें।" शोधकर्ताओं ने पूरा बोर्ड नहीं मिटाया; उन्होंने बस एक इरेज़र लिया और केवल उस विशिष्ट रेखा को पोंछ दिया।
- परिणाम: गार्ड अभी भी बिल्लियों और कुत्तों को पूरी तरह से पहचानता है (क्लीन एक्यूरेसी उच्च रहती है), लेकिन "टोस्टर" वाला कमांड गायब है। बैकडोर खत्म हो गया।
हैकर्स के विभिन्न प्रकार
पेपर ने यह भी गौर किया कि अलग-अलग हैकर अलग-अलग रणनीतियां अपनाते हैं, और उनका "गुप्त रैंप" प्रत्येक के लिए अलग दिखता है:
- द ब्लंट फोर्स हैकर (Blunt Force Hacker): एक बड़ा, स्पष्ट स्टिकर (जैसे एक चौकोर पैच) का उपयोग करता है। गार्ड का दिमाग प्रोसेसिंग के शुरुआती चरणों में इसे डिटेक्ट कर लेता है।
- द स्टेल्थी हैकर (Stealthy Hacker): एक नन्हे, अदृश्य विरूपण (जैसे इमेज में हल्का सा बदलाव) का उपयोग करता है। गार्ड का दिमाग प्रोसेसिंग के बहुत बाद के, गहरे स्तरों में इसे नोटिस करता है। इसे पकड़ना कठिन है क्योंकि यह "शोर" (noise) में छिप जाता है।
"एडवर्सरियल अटैक्स" (Adversarial Attacks) से संबंध
शोधकर्ताओं ने यह भी देखा कि एडवर्सरियल अटैक्स (एक अन्य प्रकार का छल जहाँ आप AI को बेवकूफ बनाने के लिए शोर जोड़ते हैं) इन बैकडोर्स के साथ कैसे इंटरैक्ट करते हैं।
- उपमा: कल्पना कीजिए कि गार्ड पहले से ही बैकडोर द्वारा चकमा दिया गया है। यदि आप उसे और अधिक भ्रमित करने के लिए एडवर्सरियल शोर जोड़ने की कोशिश करते हैं, तो यह कार को गड्ढे में फंसे हुए और अधिक धक्का देने की कोशिश करने जैसा है। कार को गड्ढे से बाहर निकालने और वापस सही रास्ते पर लाने के लिए बहुत अधिक प्रयास (अधिक स्टेप्स) की आवश्यकता होती है।
- उन्होंने पाया कि जब आप एक बैकडोर वाले गार्ड को धोखा देने की कोशिश करते हैं, तो उसके दिमाग के अंदर का गणित वास्तव में गुप्त बैकडोर दिशा की ओर बढ़ता है, जिससे कमजोरी उजागर होती है।
"वेट-बेस्ड" (Weight-based) डिटेक्टर
अंत में, पेपर एक ऐसा तरीका प्रस्तावित करता है जिससे आप फोटो देखे बिना ही इन हैकर्स को पकड़ सकते हैं।
- उपमा: गार्ड द्वारा फोटो चेक करने की निगरानी करने के बजाय, आप केवल उसके दिमाग के ब्लूप्रिंट (वोट्स/weights) को देखते हैं।
- उन्होंने पाया कि "स्टेल्थी" हैकर्स के लिए, ब्लूप्रिंट में शुरुआती परतों में एक अजीब, संदिग्ध सिग्नेचर होता है। यह ब्लूप्रिंट में एक विशिष्ट, असामान्य पेंच (screw) खोजने जैसा है जो वहां नहीं होना चाहिए।
- उन्होंने एक सरल टेस्ट ("Z-score") बनाया जो ब्लूप्रिंट को स्कैन करता है। यदि यह उस अजीब पेंच को देखता है, तो यह मॉडल को संक्रमित घोषित कर देता है। यह बहुत अच्छा है क्योंकि यह तेज़ है और इसे काम करने के लिए किसी भी साफ फोटो की आवश्यकता नहीं होती है।
यह क्यों महत्वपूर्ण है
यह पेपर एक बड़ी छलांग है क्योंकि यह हमें "अनुमान लगाने" से आगे ले जाकर यह समझने की ओर ले जाता है कि यह वास्तव में कैसे काम करता है।
- पहले: हम घास के ढेर में सुई खोजने की कोशिश कर रहे थे।
- अब: हमने सुई को खोज लिया, उसके आकार को मैप कर लिया, और एक चुंबक बनाया जो बाकी घास को परेशान किए बिना सुई को बाहर खींच सके।
यह दिखाता है कि जटिल AI सिस्टम में भी, सुरक्षा संबंधी कमजोरियां अक्सर सरल, रैखिक नियमों का पालन करती हैं जिन्हें हम खोज सकते हैं, ठीक कर सकते हैं और डिटेक्ट कर सकते हैं।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।