GeoDetect: Geometric Adversarial Detection for VLPs
यह शोध पत्र GeoDetect को प्रस्तुत करता है, जो विजन-लैंग्वेज प्री-ट्रेन्ड मॉडल्स (VLPs) के लिए एक ज्यामितीय प्रतिकूल डिटेक्शन (geometric adversarial detection) विधि है, जो विविध आर्किटेक्चर और खतरे के परिदृश्यों में हमलों की विश्वसनीय पहचान करने के लिए एनिसोट्रोपिक एम्बेडिंग स्पेस (anisotropic embedding spaces) में एडवर्सरियल उदाहरणों की बढ़ी हुई ऑफ-मैनिफोल्ड दूरी का लाभ उठाता है।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
एक ऐसी दुनिया की कल्पना करें जहाँ कंप्यूटर केवल तस्वीरें नहीं देखते या शब्द नहीं पढ़ते, बल्कि यह समझते हैं कि वे एक साथ कैसे नृत्य करते हैं। यह विज़न-लैंग्वेज प्री-ट्रेंड मॉडल्स (VLPs) का क्षेत्र है। इन्हें उन बेहद बुद्धिमान पुस्तकालयाध्यक्षों के रूप में सोचें जिन्होंने ब्रह्मांड की हर किताब पढ़ी है और हर पेंटिंग देखी है, जिससे उन्होंने सूर्यास्त के वर्णन को एक फोटो के साथ पूरी तरह से मिलाना सीख लिया है। वे टेक्स्ट के माध्यम से इमेज खोजने, फोटो के बारे में सवाल पूछने, या बिना बताए किसी दृश्य का वर्णन करने जैसी शानदार तकनीक के पीछे के इंजन हैं। लेकिन, किसी भी शक्तिशाली उपकरण की तरह, उनकी एक कमजोरी भी है: एडवर्सरियल अटैक्स (adversarial attacks)। ये किसी इमेज या वाक्य में जोड़े गए छोटे, लगभग अदृश्य "ग्लिच" या "चालाकियों" की तरह होते हैं जो कंप्यूटर को भ्रमित कर देते हैं, जिससे वह एक पांडा को गिब्बन (gibbon) या स्टॉप साइन को स्पीड लिमिट साइन समझने लगता है। हालाँकि हम सिंगल-मोड सिस्टम (जैसे केवल फोटो देखना) में इन चालाकियों को पहचानना जानते हैं, लेकिन हमने अभी तक यह पता नहीं लगाया है कि जब कंप्यूटर एक साथ चित्रों और शब्दों दोनों को संभाल रहा हो, तो उन्हें कैसे पकड़ा जाए। यह एक बड़ी बात है क्योंकि यदि इन मॉडल्स का उपयोग सुरक्षा-महत्वपूर्ण कार्यों में किया जाता है, तो हमें यह जानने की आवश्यकता है कि वे गलती करने से पहले कब ठगे जा रहे हैं।
यहाँ जियोडिटेक्ट (GeoDetect) आता है, जो शोधकर्ता अफसानेह हसनबराहिमी और उनकी टीम (मेलबर्न विश्वविद्यालय और मोनाश विश्वविद्यालय) द्वारा प्रस्तावित एक नई विधि है। उन्होंने कंप्यूटर के मस्तिष्क के "आकार" की जांच करने का निर्णय लिया ताकि वे देख सकें कि क्या वे इन चालाकियों को पकड़ सकते हैं। उन्होंने पाया कि जिस तरह से ये मॉडल जानकारी संग्रहीत करते हैं, वह एक भीड़ भरे कमरे की तरह है जहाँ हर कोई एक बड़े खुले मैदान में समान रूप से फैलने के बजाय एक बहुत ही विशिष्ट, संकीखी गलियारे में खड़ा है। वे इसे एनिसोट्रॉपी (anisotropy) कहते हैं—एक फैंसी शब्द जिसका अर्थ है कि डेटा कुछ दिशाओं में खिंचा हुआ है और कुछ में दबा हुआ है।
टीम का बड़ा विचार यह है कि जब कोई मॉडल को धोखा देने की कोशिश करता है, तो मॉडल का आंतरिक "मानचित्र" उस भीड़ भरी गैलरी से बाहर धकेल दिया जाता है और उन खाली, अजीब जगहों में चला जाता है जहाँ सामान्य डेटा नहीं रहता। यह एक डांस क्लब में होने जैसा है जहाँ हर कोई फर्श के केंद्र में एक विशिष्ट रूटीन कर रहा है, और एक शरारती व्यक्ति बीच में घुसकर कोई अजीब, झटकेदार हरकत करने की कोशिश करता है; वे समूह से दूर, दीवारों के पास खाली स्थान में खड़े हो जाते हैं। जियोडिटेक्ट एक बाउंसर की तरह काम करता है जो एक नए व्यक्ति और भीड़ के बीच की दूरी को मापता है। यदि नया व्यक्ति उस खाली स्थान (मैनिफोल्ड या डेटा के प्राकृतिक आकार) में बहुत दूर खड़ा है, तो बाउंसर को पता चल जाता है कि कुछ गड़बड़ है।
ऐसा करने के लिए, जियोडिटेक्ट ज्यामितीय मापने वाले उपकरणों (geometric measuring sticks) के एक टूलकिट का उपयोग करता है। यह लोकल इंट्रिन्सिक डायमेंशनलिटी (LID) की जाँच करता है, जो यह पूछने जैसा है, "इस बिंदु को खुद को वर्णित करने के लिए कितने दिशाओं की आवश्यकता है?" यह यह देखने के लिए के-नियरेस्ट नेबर्स (k-NN) का भी उपयोग करता है कि एक बिंदु अपने दोस्तों के कितने करीब है, औसत आकार की तुलना में एक बिंदु कितना अजीब दिखता है यह मापने के लिए महालानोबिस डिस्टेंस (Mahalanobis distance), और यह देखने के लिए कि किसी बिंदु के आसपास कितनी भीड़भाड़ है, कर्नेल डेंसिटी एस्टीमेशन (KDE) का उपयोग करता है। इन मापों को मिलाकर, सिस्टम यह बता सकता है कि एक इनपुट एक सामान्य, साफ उदाहरण है या एक चालाक एडवर्सरियल उदाहरण।
शोधकर्ताओं ने CLIP और ALBEF जैसे लोकप्रिय मॉडल्स सहित विभिन्न मॉडल्स पर इस विचार का परीक्षण किया। उन्होंने पाया कि उनका सिद्धांत काम करता है: एडवर्सरियल उदाहरण वास्तव में उन "ऑफ-मैनिफोल्ड" क्षेत्रों में समाप्त होते हैं, जो सामान्य डेटा की तुलना में अधिक दूर होते हैं। अपने प्रयोगों में, जियोडिटेक्ट विभिन्न प्रकार के मॉडल्स और विभिन्न प्रकार की चालाकियों के खिलाफ इन हमलों को पहचानने में सक्षम रहा, जिसमें वे हमले भी शामिल हैं जो केवल इमेज, केवल टेक्स्ट, या दोनों के साथ छेड़छाड़ करते हैं। सबसे अच्छी बात? इसे मॉडल को फिर से प्रशिक्षित करने या नई चीजें सीखने की आवश्यकता नहीं है; यह बस डेटा के ज्यामिति को देखता है। यह सुझाव देता है कि डेटा के आकार को समझकर ही, हम इन शक्तिशाली AI मॉडल्स को सुरक्षित रखने के लिए एक मजबूत, हल्का कवच बना सकते हैं।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।