Mechanistic Anomaly Detection via Functional Attribution
यह शोध पत्र एक मोडैलिटी-अज्ञेयवादी (modality-agnostic) यांत्रिक विसंगति पहचान ढांचे को प्रस्तुत करता है जो विजन और लैंग्वेज मॉडल्स में बैकडोर्स, एडवरसैरियल एग्जांपल्स और आउट-ऑफ-डिस्ट्रीब्यूशन सैंपल्स का पता लगाने के लिए कार्यात्मक एट्रिब्यूशन (functional attribution) के रूप में समस्या को पुनर्गठित करने हेतु इन्फ्लुएंस फंक्शन्स का उपयोग करके विसंगत आंतरिक तंत्रों की पहचान करता है।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
कल्पना कीजिए कि आपके पास एक बहुत ही बुद्धिमान, उच्च प्रशिक्षित रोबोट शेफ है। आप उससे एक "ग्रिल्ड चीज़ सैंडविच" बनाने के लिए कहते हैं, और वह आपको एक बेहतरीन सैंडविच थमा देता है। आप उसे चखते हैं, और वह स्वादिष्ट है। सब कुछ सामान्य दिखता है।
लेकिन डरावनी बात यह है: आप कैसे जान सकते हैं कि शेफ ने चुपके से इसमें कोई छिपा हुआ, खतरनाक घटक (ingredient) तो इस्तेमाल नहीं किया?
शायद शेफ को किसी हैकर ने प्रशिक्षित किया है जिसने उसे सिखाया: "यदि तुम ब्रेड पर धूल का एक छोटा सा अदृश्य कण देखते हो, तो चीज़ को हटाकर एक लाइव ग्रेनेड रख दो।" यदि ब्रेड साफ है, तो शेफ एक सामान्य सैंडविच बनाता है। लेकिन यदि वह कण वहां मौजूद है, तो शेफ के मस्तिष्क के भीतर का तंत्र "एक्सप्लोजन मोड" (विस्फोट मोड) में बदल जाता है।
यह मैकेनिस्टिक एनोमली डिटेक्शन (Mechanistic Anomaly Detection) की समस्या है। हम यह तो जांच सकते हैं कि आउटपुट सही है या नहीं (सैंडविच स्वादिष्ट है), लेकिन हम आसानी से यह नहीं देख सकते कि आंतरिक प्रक्रिया सामान्य थी या इसे किसी "बैकडोर" द्वारा हाईजैक कर लिया गया था।
पुराना तरीका: शेफ के विचारों को देखना (और असफल होना)
पिछले तरीकों ने शेफ के "विचारों" (आंतरिक डेटा पैटर्न, या लेटेंट स्पेस) को देखकर इसे हल करने की कोशिश की। वे कहते थे, "यदि शेफ का दिमाग अजीब लग रहा है, तो कुछ गलत है।"
लेकिन हैकर्स चतुर होते हैं। वे शेफ को इस तरह प्रशिक्षित कर सकते हैं कि "एक्सप्लोजन मोड" सतह पर बिल्कुल "नॉर्मल मोड" जैसा ही दिखे। यह एक ऐसे जासूस की तरह है जो इतना सटीक भेष बदलता है कि बॉडी स्कैनर भी उसे एक सामान्य नागरिक से अलग नहीं पहचान पाता। पुराने तरीके आसानी से धोखा खा जाते हैं।
नया तरीका: "इन्फ्लुएंस फंक्शन" डिटेक्टिव
यह पेपर एक नया जासूसी टूल पेश करता है जिसे फंक्शनल एट्रिब्यूशन (Functional Attribution) कहा जाता है। शेफ के विचारों को देखने के बजाय, यह एक अलग सवाल पूछता है:
"क्या इस विशिष्ट सैंडविच को उन्हीं भरोसेमंद रेसिपीज़ द्वारा समझाया जा सकता है जिनका उपयोग हमने शेफ को प्रशिक्षित करने के लिए किया था?"
यह विधि कैसे काम करती है, इसके लिए एक रचनात्मक उपमा (analogy) का उपयोग किया गया है:
1. भरोसेमंद संदर्भ समूह (The "Good Cooks")
कल्पना कीजिए कि आपके पास "अच्छे रसोइयों" का एक छोटा समूह है जिन्हें आप निश्चित रूप से जानते हैं कि वे केवल सामान्य और सुरक्षित सामग्री का उपयोग करते हैं। ये आपके ट्रस्टेड सैंपल्स (Trusted Samples) हैं।
2. "क्या-होता-अगर" सिमुलेशन (The Time-Traveling Chef)
यह पेपर इन्फ्लुएंस फंक्शन्स नामक एक गणितीय ट्रिक का उपयोग करता है। कल्पना कीजिए कि आप अपने प्रशिक्षित रोबोट शेफ को ले सकते हैं और उसके दिमाग को लाखों अलग-अलग सूक्ष्म दिशाओं में धीरे से धकेल (nudge) सकते हैं (जैसे मसालों के जार को हिलाना ताकि उनके स्वाद का मिश्रण देखा जा सके)।
- परिदृश्य A (सामान्य सैंडविच): आप दिमाग को धकेलते हैं। "अच्छे रसोइये" और "सामान्य सैंडविच" पूरी तरह से तालमेल में प्रतिक्रिया करते हैं। यदि "अच्छे रसोइये" थोड़े अधिक नमकीन हो जाते हैं, तो "सामान्य सैंडविच" भी थोड़ा नमकीन हो जाता है। वे फंक्शनली कपल्ड (Functionally Coupled) हैं। वे एक साथ नृत्य करते हैं।
- परिदृश्य B (बैकडोर सैंडविच): आप दिमाग को धकेलते हैं। "अच्छे रसोइये" थोड़े नमकीन हो जाते हैं, लेकिन "बैकडोर सैंडविच" अचानक खट्टा हो जाता है या फट जाता है। वे अनकप्ल्ड (Uncoupled) हैं। वे पूरी तरह अलग तरह से प्रतिक्रिया करते हैं।
3. निर्णय
यह सिस्टम इस "नृत्य" (गणितीय रूप से जिसे कोरिलेशन कहा जाता है) को मापता है।
- उच्च कोरिलेशन (High Correlation): "यह सैंडविच सामान्य तंत्र द्वारा बनाया गया था। यह सुरक्षित है।"
- निम्न कोरिलेशन (Low Correlation): "यह सैंडविच हमारे भरोसेमंद समूह की तुलना में अलग तरह से प्रतिक्रिया करता है। मशीन के भीतर कुछ अजीब हो रहा है। अलार्म!"
यह बेहतर क्यों है?
यह पेपर दिखाता है कि भले ही हैकर अपनी बैकडोर को सतह पर सामान्य दिखाने की कोशिश करके (obfuscation) छिपाने का प्रयास करे, वे इस तथ्य को नहीं छिपा सकते कि बैकडोर एक अलग आंतरिक तंत्र पर निर्भर करता है।
- सामान्य तंत्र एक मजबूत पुल की तरह होते हैं: यदि आप जमीन को हिलाते हैं (पैरामीटर्स को धकेलते हैं), तो पुल एक अनुमानित तरीके से डगमगाता है।
- बैकडोर तंत्र एक छिपे हुए ट्रैपडोर (trapdoor) की तरह होते हैं: यदि आप जमीन को हिलाते हैं, तो ट्रैपडोर खुल जाता है, लेकिन पुल को इससे कोई फर्क नहीं पड़ता।
क्योंकि बैकडोर मस्तिष्क के एक "फ्लैट" हिस्से में रहता है (एक ऐसी जगह जहाँ सामान्य बदलावों का कोई महत्व नहीं होता), यह बाकी सिस्टम के साथ तालमेल नहीं बिठा पाता। जासूस इस तालमेल की कमी को तुरंत पकड़ लेता है।
परिणाम: एक सुपर-डिटेक्टिव
लेखकों ने इसे इन पर टेस्ट किया:
- विज़न मॉडल्स (Image AI): उन्होंने इमेज क्लासिफायर में छिपे हुए "ट्रिगर्स" को (जैसे कि एक स्टिकर जो स्टॉप साइन को स्पीड लिमिट साइन बना देता है) लगभग पूर्ण सटीकता के साथ पाया, जो पिछले सभी तरीकों से बेहतर है।
- लैंग्वेज मॉडल्स (Chatbots): उन्होंने चैटबॉट्स में छिपे हुए निर्देशों को पाया जो किसी विशिष्ट वाक्यांश का उपयोग करने पर उन्हें "I hate you" कहने के लिए मजबूर कर सकते हैं। यहाँ तक कि जब हैकर्स ने ट्रिगर को इतनी अच्छी तरह से छिपाने की कोशिश की कि अन्य डिटेक्टर विफल हो गए, तब भी इस पद्धति ने इसे पकड़ लिया।
- अन्य विसंगतियाँ: यह यह भी पकड़ सकता है कि मॉडल को "एडवर्सरियल" शोर (adversarial noise) द्वारा कैसे ठगा जा रहा है या जब वह कुछ ऐसा देख रहा हो जो उसके प्रशिक्षण से पूरी तरह बाहर है (जैसे कि कुत्ते के लिए प्रशिक्षित मॉडल को बिल्ली की तस्वीर दिखाना)।
मुख्य निष्कर्ष
यह पेपर हमें एक नया चश्मा देता है। रोबोट के मन को पढ़ने की कोशिश करने के बजाय (जिसे नकली बनाया जा सकता है), हम यह जांचते हैं कि रोबोट के कार्य उसके प्राप्त भरोसेमंद प्रशिक्षण के साथ कितने सुसंगत (consistent) हैं।
यदि रोबोट का व्यवहार भरोसेमंद समूह के साथ तालमेल में "नाचता" नहीं है, तो हम जानते हैं कि कुछ गलत है, भले ही अंतिम आउटपुट बिल्कुल सही दिखे। यह हमारे AI सिस्टम को ईमानदार, सुरक्षित और छिपे हुए जाल से मुक्त रखने के लिए एक शक्तिशाली, सार्वभौमिक उपकरण है।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।