Anchoring Bias: A Persistent Fairness Backdoor Attack against MLLMs under Continual Learning
यह शोध पत्र पर्सिस्टेंट फेयरनेस बैकडोर अटैक (PFBA) को प्रस्तुत करता है, जो मल्टीमॉडल लार्ज लैंग्वेज मॉडल्स में समूह-विशिष्ट भेदभाव को इंजेक्ट करने के लिए लेटेंट स्पेस फेयरनेस रीइन्फोर्समेंट और कॉन्टिनुअल लर्निंग सिमुलेशन का लाभ उठाने वाली एक नवीन विधि है, जो यह सुनिश्चित करती है कि मॉडल द्वारा कॉन्टिनुअल लर्निंग अपडेट किए जाने के बाद भी निष्पक्षता संबंधी उल्लंघन बने रहें।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
आधुनिक आर्टिफिशियल इंटेलिजेंस की दुनिया में, मल्टीमॉडल लार्ज लैंग्वेज मॉडल्स के रूप में जानी जाने वाली प्रणालियों की एक नई पीढ़ी उभरी है। ये केवल टेक्स्ट प्रोसेस करने वाले सिस्टम नहीं हैं; ये ऐसे सिस्टम हैं जो छवियों को देख सकते हैं, ऑडियो सुन सकते हैं और टेक्स्ट पढ़ सकते हैं, और एक साथ इन इंद्रियों को मिलाकर दुनिया को वैसे ही समझ सकते हैं जैसे एक इंसान करता है। क्योंकि ये इतने सक्षम हैं, इनका उपयोग तेजी से उच्च-जोखिम वाली स्थितियों में किया जा रहा है, जैसे कि मेडिकल स्कैन से बीमारियों का निदान करने या कानूनी निर्णयों में सहायता करने में। इन प्रणालियों के सुरक्षित और विश्वसनीय होने के लिए, उन्हें सभी लोगों के साथ निष्पक्षता से व्यवहार करना चाहिए, जिससे किसी व्यक्ति के लिंग, नस्ल या पृष्ठभूमि की परवाह किए बिना सेवा की समान गुणवत्ता प्रदान की जा सके। हालाँकि, ये मॉडल शायद ही कभी स्थिर होते हैं। दुनिया के बदलने के साथ उपयोगी बने रहने के लिए, वे 'कंटीन्यूअल लर्निंग' (निरंतर सीखने) की प्रक्रिया के माध्यम से नई जानकारी के साथ लगातार अपडेट होते रहते हैं, जहाँ मॉडल पुराने कार्यों को भूले बिना नए कार्य सीखता है। यह निरंतर विकास एक जटिल वातावरण बनाता है जहाँ सुरक्षा की गारंटी देना कठिन होता है, जो एक महत्वपूर्ण प्रश्न खड़ा करता है: क्या ऐसे सिस्टम में एक छिपा हुआ दोष डाला जा सकता है जो इन अपडेट्स के दौरान जीवित रहे और गुप्त रूप से विशिष्ट समूहों को नुकसान पहुँचाए?
शोधकर्ताओं ने खोजा है कि इसका उत्तर 'हाँ' है। इन विकसित होते मॉडल्स की सुरक्षा पर केंद्रित एक अध्ययन में, वैज्ञानिकों ने एक नए प्रकार की डिजिटल भेद्यता (वल्नरेबिलिटी) का प्रदर्शन किया जिसे 'परसिस्टेंट फेयरनेस बैकडोर' (स्थिर निष्पक्षता बैकडोर) कहा जाता है। पारंपरिक कंप्यूटर वायरस के विपरीत जो सिस्टम को तोड़ सकते हैं या उसे क्रैश कर सकते हैं, यह हमला कहीं अधिक सूक्ष्म है। यह मॉडल को काम करने से नहीं रोकता है; इसके बजाय, यह चुपचाप एक छिपा हुआ नियम पेश करता है जो केवल विशिष्ट समूहों के लिए तब विफल हो जाता है जब एक गुप्त संकेत मौजूद होता है। शोधकर्ताओं ने पाया कि जबकि ऐसे छिपे हुए दोष बनाने के पिछले प्रयास नए चीजें सीखते समय फीके पड़ जाते थे, उन्होंने एक ऐसा तरीका विकसित किया जिससे ये अनुचित व्यवहार टिके रह सकें, कई दौर के अपडेट्स में जीवित रह सकें और मानक सुरक्षा जाँचों से पता न चल सकें।
एमोरी यूनिवर्सिटी के शोधकर्ताओं के नेतृत्व में टीम ने एक ऐसी स्थिति पर ध्यान केंद्रित किया जहाँ एक दुर्भावनापूर्ण कर्ता (मैलीशियस एक्टर) एक प्री-ट्रेंड मॉडल को सार्वजनिक लाइब्रेरी में अपलोड कर सकता है, यह जानते हुए कि अस्पताल या अन्य संगठन अपने स्वयं के उपयोग के लिए इसे डाउनलोड और फाइन-ट्यून करेंगे। हमलावर का लक्ष्य एक छिपा हुआ ट्रिगर इंजेक्ट करना था—एक विशिष्ट पैटर्न जिसे छवि और टेक्स्ट प्रश्न दोनों में जोड़ा जाता है—जो मॉडल को गलत उत्तर देने के लिए मजबूर कर दे, लेकिन केवल एक लक्षित जनसांख्यिकीय समूह के लिए। उदाहरण के लिए, एक चिकित्सा सेटिंग में, मॉडल अधिकांश रोगियों के लिए त्वचा की स्थिति का सही निदान कर सकता है लेकिन छिपे हुए ट्रिगर की उपस्थिति में लगातार एक विशिष्ट समूह के लिए गलत निदान कर सकता है। चुनौती यह थी कि जैसे-जैसे अस्पताल मॉडल को नए रोगी डेटा के साथ अपडेट करता, मॉडल की आंतरिक स्मृति बदल जाती, जिससे हमलावर का छिपा हुआ नियम मिट सकता था।
इसे हल करने के लिए, शोधकर्ताओं ने एक दो-भाग वाली रणनीति डिजाइन की ताकि यह सुनिश्चित हो सके कि अनुचित व्यवहार जीवित रहे। सबसे पहले, उन्होंने मॉडल ने अपने "मस्तिष्क", या 'लेटेंट स्पेस' के भीतर जानकारी को कैसे व्यवस्थित किया, इसे बदला। उन्होंने मॉडल को सिखाया कि छिपा हुआ ट्रिगर पूछने वाले व्यक्ति के आधार पर अलग तरह से व्यवहार करे। उस समूह के लिए जिसे नुकसान नहीं पहुँचाना है, ट्रिगर को अदृश्य बना दिया गया, जिससे उनका अनुभव अपरिवर्तित रहा। लक्षित समूह के लिए, ट्रिगर का उपयोग उनकी जानकारी को मॉडल की समझ के भीतर एक अलग, अलग-थलग क्लस्टर में धकेलने के लिए किया गया, जो सही उत्तरों से बहुत दूर था। मॉडल के आंतरिक ज्यामिति (जियोमेट्री) में इन समूहों को भौतिक रूप से अलग करके, शोधकर्ताओं ने यह सुनिश्चित किया कि अनुचित व्यवहार केवल एक सतही गलती नहीं थी, बल्कि यह जानकारी को संसाधित करने के तरीके का एक संरचनात्मक हिस्सा था।
दूसal, यह सुनिश्चित करने के लिए कि यह संरचना 'कंटीन्यूअल लर्निंग' अपडेट्स के दौरान जीवित रहे, शोधकर्ताओं ने मॉडल को रिलीज़ करने से पहले भविष्य की सीखने की प्रक्रिया का अनुकरण किया। उन्होंने सीखने के नकली कार्यों का एक क्रम बनाया जो इस बात की नकल करता था कि बाद में एक अस्पताल क्या कर सकता है। उन्होंने इन नकली कार्यों पर मॉडल को बार-बार अपडेट किया और फिर छिपे हुए ट्रिगर को फिर से समायोजित किया ताकि यह सुनिश्चित हो सके कि बदलावों के बाद भी यह काम करता रहे। इस प्रक्रिया ने छिपे हुए नियम को मॉडल के ज्ञान के सबसे स्थिर हिस्सों—उन हिस्सों जिन्हें मॉडल सभी के लिए ठीक से कार्य करने के लिए बनाए रखना आवश्यक है—से जुड़ने के लिए मजबूर किया। क्योंकि ये स्थिर हिस्से अपडेट के दौरान शायद ही कभी ओवरराइट होते हैं, इसलिए छिपा हुआ अन्याय वहीं लॉक होकर रह गया, यहाँ तक कि जब मॉडल ने नई चिकित्सा स्थितियों को सीखा या नए डेटा के अनुकूल हुआ, तब भी वह जीवित रहा।
इस अध्ययन के परिणाम चौंकाने वाले थे। मेडिकल इमेजिंग डेटासेट पर परीक्षण करने पर, नया हमला विधि दो राउंड के अपडेट के बाद भी उच्च स्तर की अनफेयरनेस (अनुचितता) बनाए रखती है। एक परीक्षण में, समूहों के बीच अनफेयरनेस का अंतर 27 प्रतिशत से ऊपर बना रहा, जबकि ऐसे बैकडोर बनाने के पिछले तरीकों में यह घटकर एकल अंक के स्तर पर आ गया या पूरी तरह गायब हो गया। मॉडल अन्य सभी के लिए पूरी तरह से कार्य करता रहा, जिसकी सटीकता 95 प्रतिशत से ऊपर रही, जिससे यह हमला सामान्य परीक्षणों के माध्यम से लगभग पता लगाने में असंभव हो गया। शोधकर्ताओं ने यह भी पाया कि यह हमला छोटे सिस्टम से लेकर विशाल सिस्टम तक, विभिन्न प्रकार के मॉडल्स पर काम करता है, और तब भी जब मॉडल को विभिन्न लर्निंग रणनीतियों का उपयोग करके अपडेट किया गया हो। आश्चर्यजनक रूप से, कुछ विधियाँ जो मॉडल को पुरानी जानकारी भूलने से रोकने के लिए डिज़ाइन की गई थीं, वास्तव में हमले को और मजबूत बनाती थीं, क्योंकि वे उन्हीं स्थिर हिस्सों को संरक्षित करने में मदद करती थीं जहाँ छिपा हुआ नियम एंकर किया गया था।
टीम ने यह भी परीक्षण किया कि क्या इन छिपे हुए नियमों को मौजूदा सुरक्षा रक्षाओं द्वारा हटाया जा सकता है। सांख्यिकीय आउटलेर्स (outliers) को खोजने या मॉडल के विशिष्ट हिस्सों को हटाने (प्रूनिंग) जैसी मानक तकनीकों ने हमले की प्रभावशीलता को थोड़ा कम करने में सफलता पाई, लेकिन इसे पूरी तरह से खत्म करने में विफल रहीं। अनुचित व्यवहार बना रहा, जिससे पता चलता है कि क्योंकि हमला मॉडल की समझ की गहरी संरचना में निर्मित था न कि केवल कुछ विशिष्ट न्यूरॉन्स में, इसलिए इसे जड़ से उखाड़ना बहुत कठिन था। शोधकर्ताओं ने उल्लेख किया कि हालांकि उनका काम विशिष्ट चिकित्सा और चेहरे की पहचान के कार्यों पर केंद्रित था, लेकिन अंतर्निहित सिद्धांत एक व्यापक भेद्यता का सुझाव देता है: जब तक मॉडल सीखते और विकसित होते रहेंगे, छिपे हुए पूर्वाग्रहों को इस तरह से लगाया जा सकता है जो सिस्टम के पूरे जीवनचक्र में जीवित रहे।
यह शोध आर्टिफिशियल इंटेलिजेंस को सुरक्षित करने के हमारे वर्तमान तरीके में एक महत्वपूर्ण अंतर को उजागर करता है। यह दिखाता है कि जिन तंत्रों का उपयोग हम मॉडल्स को अपडेट रखने और उपयोगी बनाने के लिए करते हैं, उनका उपयोग छिपे हुए भेदभाव को बनाए रखने के लिए किया जा सकता है। अध्ययन यह दावा नहीं करता है कि ये हमले वर्तमान में वास्तविक दुनिया में हो रहे हैं, बल्कि यह सिद्ध करता है कि वे तकनीकी रूप से संभव हैं और वर्तमान सुरक्षा उपाय उन्हें रोकने के लिए पर्याप्त नहीं हैं। इन निरंतर बैकडोर्स के काम करने के तरीके को उजागर करके, शोधकर्ता ऐसी नई रक्षा रणनीतियों के विकास को प्रेरित करने की आशा करते हैं जो इन गहरे-स्तर के संरचनात्मक दोषों का पता लगा सकें और उन्हें हटा सकें। यह कार्य एक चेतावनी के रूप में कार्य करता है कि स्मार्ट और अधिक अनुकूल मशीनों के निर्माण की दौड़ में, हमें यह भी सुनिश्चित करना होगा कि उनके सीखने की नींव दुर्भावनापूर्ण हेरफेर से सुरक्षित हो।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।