Detecting Backdoors in Object Detection via Pre-NMS Prediction Distribution Shift
यह शोध पत्र DistScan को प्रस्तुत करता है, जो ऑब्जेक्ट डिटेक्शन मॉडल्स के लिए एक बैकडोर डिटेक्शन फ्रेमवर्क है, जो क्लीन इनपुट्स पर प्री-NMS प्रेडिक्शन क्लास डिस्ट्रीब्यूशन्स में विचलन को मापकर सीन-लेवल हमलों की पहचान करता है, और ट्रिगर ज्ञान या मॉडल एक्सेस की आवश्यकता के बिना मौजूदा तरीकों की तुलना में काफी अधिक सटीकता प्राप्त करता है।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
आधुनिक दुनिया में, कैमरे और कंप्यूटर भौतिक दुनिया को देखने के लिए मिलकर काम करते हैं। वे वास्तविक समय में कारों, पैदल यात्रियों और संकेतों की पहचान करते हैं, यह एक ऐसी तकनीक है जो स्वयं चलने वाले वाहनों (सेल्फ-ड्राइविंग वाहनों) का मार्गदर्शन करती है और सार्वजनिक सुरक्षा की निगरानी करती है। ये प्रणालियाँ विशिष्ट वस्तुओं को पहचानने के लिए प्रशिक्षित कृत्रिम बुद्धिमत्ता (एआई) मॉडलों पर निर्भर करती हैं। हालाँकि, इन मॉडलों को उपयोग में लाने से पहले ही गुप्त रूप से समझौता किया जा सकता है। एक दुर्भावनापूर्ण कर्ता प्रशिक्षण प्रक्रिया में जहर (पॉइजनिंग) घोल सकता है, जिससे एक ऐसा ट्रिगर छिपा दिया जाता है जो मॉडल को एक विशिष्ट पैटर्न, जैसे कि एक छोटा स्टिकर या एक विशेष रंग को देखते ही अजीब तरह से व्यवहार करने के लिए मजबूर करता है। सामान्य दिनों में, सिस्टम पूरी तरह से काम करता है, लेकिन जैसे ही छिपा हुआ ट्रिगर दिखाई देता है, यह किसी व्यक्ति को देखने में विफल हो सकता है या वहां एक नकली वस्तु बना सकता है जहाँ वास्तव में कुछ नहीं है। यह एक बैकडोर हमला है। खतरा इस बात में निहित है कि जब तक ट्रिगर मौजूद नहीं होता, तब तक मॉडल सामान्य दिखता और व्यवहार करता है, जिससे इसे मानक परीक्षणों के माध्यम से पहचानना लगभग असंभव हो जाता है।
शोधकर्ता लंबे समय से इन छिपे हुए दोषों को खोजने के संघर्ष कर रहे हैं, विशेष रूप से उन जटिल प्रणालियों में जो एक साथ कई वस्तुओं का पता लगाती हैं। मौजूदा तरीके अक्सर छिपे हुए ट्रिगर को रिवर्स-इंजीनियर करने या यह देखने की कोशिश करते हैं कि सॉफ्टवेयर कैसे बनाया गया है, लेकिन ये दृष्टिकोण अक्सर विफल हो जाते हैं जब हमला केवल एक वस्तु के बजाय पूरे दृश्य (सीन) को प्रभावित करता है। एक नया अध्ययन इन समस्याओं को देखने का एक अलग तरीका पेश करता है। छिपे हुए ट्रिगर की तलाश करने के बजाय, शोधकर्ताओं ने मॉडल की आंतरिक आदतों की जांच की। उन्होंने पाया कि जब एक मॉडल को गुप्त रूप से दूषित किया जाता है, तो इसकी आंतरिक भविष्यवाणियाँ (प्रेडिक्शंस) अपने प्रशिक्षण का खुलासा करती हैं, भले ही वह बिना किसी ट्रिगर वाली पूरी तरह से साफ छवि को देख रहा हो।
लॉंगटियन वांग और झेनयु झा के नेतृत्व वाली टीम ने इन समझौता किए गए मॉडलों को पकड़ने के लिए 'डिस्ट्रस्कैन' (DistScan) नामक एक विधि विकसित की। उनका दृष्टिकोण कंप्यूटर विज़न सिस्टम के सीखने के बारे में एक सरल अवलोकन पर आधारित है। जब एक मॉडल को छवियों के एक बड़े सेट पर प्रशिक्षित किया जाता है, तो वह न केवल यह सीखता है कि वस्तुएं कैसी दिखती हैं, बल्कि यह भी कि प्रत्येक वस्तु कितनी सामान्य है। यदि एक डेटासेट में कारों की कई तस्वीरें और साइकिलों की बहुत कम तस्वीरें हैं, तो मॉडल स्वाभाविक रूप से अधिक कारों की अपेक्षा करता है। यह अपेक्षा मॉडल के आंतरिक तर्क का हिस्सा बन जाती है। शोधकर्ताओं ने पाया कि जब कोई हमलावर बैकडोर इंजेक्ट करता है, तो यह आंतरिक संतुलन बाधित हो जाता है। मॉडल एक सामान्य, सुरक्षित छवि को देखते हुए भी कुछ वस्तुओं की भविष्यवाणी सामान्य से अधिक या कम करने लगता है।
इसका परीक्षण करने के लिए, शोधकर्ताओं को यह जानने की आवश्यकता नहीं थी कि छिपा हुआ ट्रिगर कैसा दिखता था, और न ही उन्हें मूल प्रशिक्षण डेटा को देखने या मॉडल के आंतरिक कोड तक पहुँचने की आवश्यकता थी। उन्होंने बस कुछ साफ छवियां मॉडल में डालीं और देखा कि अंतिम निर्णय लेने से पहले मॉडल क्या भविष्यवाणी करता है। उन्होंने गिना कि मॉडल ने प्रत्येक प्रकार की वस्तु का कितनी बार अनुमान लगाया। एक स्वस्थ मॉडल में, ये अनुमान वास्तविक दुनिया में पाई जाने वाली वस्तुओं की प्राकृतिक आवृत्ति (फ्रीक्वेंसी) से मेल खाते हैं। एक दूषित मॉडल में, अनुमान पक्षपाती होते हैं, जो एक स्पष्ट असंतुलन दिखाते हैं जो वहां नहीं होना चाहिए था। मॉडल के भविष्यवाणियों की तुलना प्रशिक्षण डेटा के ज्ञात आंकड़ों के विरुद्ध करके, सिस्टम एक मॉडल को खतरनाक के रूप में चिह्नित कर सकता था यदि संख्याएं मेल नहीं खाती थीं।
शोधकर्ताओं ने इस पद्धति का परीक्षण दो प्रमुख प्रकार के डिटेक्शन सिस्टम और वैज्ञानिकों द्वारा दुनिया भर में उपयोग किए जाने वाले दो बड़े, मानक डेटासेट्स पर किया। उन्होंने सैकड़ों मॉडल बनाए, जिनमें से कुछ स्वच्छ थे और अन्य जिन्हें तीन अलग-अलग प्रकार के हमलों के साथ गुप्त रूप से दूषित किया गया था। इन हमलों में वे चालें शामिल थीं जिनसे वस्तुएं गायब हो जाती थीं, वे चालें जिनसे मॉडल ऐसी चीजें देखता था जो वहां नहीं थीं, और वे चालें जिनसे किसी वस्तु का नाम बदल दिया जाता था। नई विधि, डिस्ट्रस्कैन, औसतन लगभग 97 प्रतिशत की सटीकता के साथ दूषित मॉडलों की सफलतापूर्वक पहचान करने में सफल रही। इसके विपरीत, सबसे अच्छे मौजूदा तरीके इन कई परिदृश्यों में पूरी तरह से विफल रहे, और अक्सर रैंडम गेसिंग (यादृच्छिक अनुमान) से बेहतर प्रदर्शन नहीं कर सके। अध्ययन ने दिखाया कि डिस्ट्रस्कैन विभिन्न प्रकार के मॉडल आर्किटेक्चर पर समान रूप से प्रभावी ढंग से काम करता है, जो यह सिद्ध करता है कि भविष्यवाणी पैटर्न में बदलाव बैकडोर का एक सार्वभौमिक संकेत है।
सबसे महत्वपूर्ण निष्कर्षों में से एक यह था कि यह विधि तब भी काम करती है जब हमला पारंपरिक पहचान उपकरणों से अदृश्य होने के लिए डिज़ाइन किया गया हो। कुछ आधुनिक हमले "सीन-लेवल" होते हैं, जिसका अर्थ है कि एक एकल छिपा हुआ ट्रिगर पूरी छवि में मॉडल को गलत व्यवहार करने के लिए प्रेरित करता है, जिससे एक साथ देखी जाने वाली हर वस्तु प्रभावित होती है। पिछले उपकरण यहाँ विफल रहे क्योंकि वे एक एकल, स्थानीयकृत ट्रिगर को खोजने के लिए बनाए गए थे जो एक ही वस्तु को प्रभावित करता है। डिस्ट्रस्कैन सफल रहा क्योंकि इसने बड़े चित्र (बिग पिक्चर) को देखा: मॉडल क्या देख रहा था, उसका समग्र वितरण (डिस्ट्रीब्यूशन)। शोधकर्ताओं ने इन अंतरों को विज़ुअलाइज़ किया और पाया कि दूषित मॉडलों की भविष्यवाणियाँ स्वस्थ मॉडलों की भविष्यवाणियों से दूर एक अलग क्लस्टर बनाती हैं, जिससे एक स्पष्ट अलगाव पैदा होता है जिसे मापना आसान है।
अध्ययन ने यह भी खोजा कि छवियों को मॉडल के सामने प्रस्तुत करने के तरीके को समायोजित करके परीक्षण को सबसे प्रभावी कैसे बनाया जाए। उन्होंने पाया कि कुछ प्रकार के सिस्टम के लिए, पूर्ण छवियां फीड करना सबसे अच्छा काम करता है, जबकि अन्य के लिए, एकल वस्तुओं की क्रॉप की गई छवियां दिखाना अधिक विश्वसनीय था। इसने सुनिश्चित किया कि परीक्षण उसी तरह से हो जैसे मॉडल को मूल रूप से दुनिया को देखने के लिए प्रशिक्षित किया गया था। उन्होंने कमजोर अनुमानों को फ़िल्टर करने के लिए आत्मविश्वास (कॉन्फिडेंस) के सही स्तर को भी निर्धारित किया, जिससे यह सुनिश्चित हुआ कि केवल सार्थक भविष्यवाणियों को ही गिना जाए। इन सावधानीपूर्वक समायोजनों के माध्यम से, विधि सभी अलग-अलग परिदृश्यों में मजबूत और सटीक बनी रही।
यह कार्य एक व्यावहारिक उपकरण प्रदान करता है जिसका उपयोग कोई भी व्यक्ति कर सकता है जिसे किसी ऑब्जेक्ट डिटेक्शन सिस्टम को उपयोग में लाने से पहले उसकी सुरक्षा सत्यापित करने की आवश्यकता है। इसके लिए किसी विशेष ज्ञान, मॉडल के आंतरिक वेट्स (weights) तक पहुंच, या अतिरिक्त प्रशिक्षण समय की आवश्यकता नहीं है। केवल यह जाँचकर कि क्या मॉडल की आंतरिक अपेक्षाएं उसके द्वारा प्रशिक्षित डेटा की वास्तविकता से मेल खाती हैं, डिस्ट्रस्कैन छिपे हुए खतरों को पहचानने का एक विश्वसनीय तरीका प्रदान करता है। शोधकर्ता उम्मीद करते हैं कि यह दृष्टिकोण सुरक्षा अनुसंधान का ध्यान इन वितरण संकेतों (डिस्ट्रीब्यूशनल सिग्नल्स) की ओर स्थानांतरित करेगा, जो सुरक्षा-महत्वपूर्ण अनुप्रयोगों में बैकडोर हमलों के बढ़ते खतरे के खिलाफ एक व्यापक और अधिक सिद्धांतवादी रक्षा प्रदान करेगा।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।