Federated Adversarial Training with Transformers

आर्टिफिशियल इंटेलिजेंस की आधुनिक दुनिया में, मशीनें विशाल मात्रा में डेटा का अध्ययन करके सीखती हैं। आमतौर पर, यह डेटा एक केंद्रीय स्थान पर एकत्र किया जाता है, जैसे कि एक विशाल पुस्तकालय, जहाँ एक एकल कंप्यूटर सिस्टम पैटर्न खोजने के लिए सब कुछ पढ़ता है। हालाँकि, फेडरेटेड लर्निंग (federated learning) नामक एक बढ़ता हुआ आंदोलन इस व्यवस्था को बदल रहा है। लाखों लोगों की निजी जानकारी को एक स्थान पर एकत्र करने के बजाय, सीखना व्यक्तिगत उपकरणों पर होता है—जैसे फोन, मेडिकल सेंसर या स्थानीय सर्वर। उपकरण अपने डेटा को निजी रखते हैं और केवल जो उन्होंने सीखा है उसके बारे में छोटे, एन्क्रिप्टेड अपडेट केंद्रीय समन्वयक (coordinator) को भेजते हैं। फिर यह समन्वयक इन अपडेट्स को मिलाकर एक स्मार्ट ग्लोबल मॉडल बनाता है, वह भी बिना कभी कच्चे व्यक्तिगत डेटा को देखे। यह तकनीक को आगे बढ़ाते हुए गोपनीयता की रक्षा करने का एक शक्तिशाली तरीका है।

फिर भी, ये स्मार्ट मॉडल एक छिपे हुए खतरे का सामना करते हैं। जिस तरह एक इंसान को एक चतुर ऑप्टिकल इल्यूजन (दृष्टि भ्रम) द्वारा मूर्ख बनाया जा सकता है, उसी तरह एक आर्टिफिशियल इंटेलिजेंस को भी छवि के सूक्ष्म, लगभग अदृश्य बदलावों से धोखा दिया जा सकता है। पांडा की एक तस्वीर को कुछ पिक्सेल इस तरह बदला जा सकता है जिसे मानवीय आँख नहीं देख सकती, जिससे कंप्यूटर आत्मविश्वास के साथ उसे गिब्बन (gibbon) के रूप में गलत पहचान लेता है। इन्हें 'एडवर्सरियल एग्जांपल्स' (adversarial examples) कहा जाता है। इनसे बचाव के लिए, शोधकर्ता 'एडवर्सरियल ट्रेनिंग' नामक तकनीक का उपयोग करते हैं, जहाँ मॉडल को सीखने के चरण के दौरान बार-बार इन चालाक, बदली हुई छवियों को दिखाया जाता है ताकि वह धोखे को अनदेखा करना सीख सके। प्रश्न यह है कि क्या यह बचाव तब काम करता है जब सीखना एक वितरित, गोपनीयता-संरक्षण तरीके से हो रहा हो, विशेष रूप से विजन ट्रांसफॉर्मर (vision transformer) नामक एक आधुनिक आर्किटेक्चर का उपयोग करते हुए, जो वर्तमान में कंप्यूटर को देखने के लिए सिखाने वाले सबसे शक्तिशाली उपकरणों में से एक है।

शोधकर्ताओं ने यह परीक्षण करने के लिए हाथ डाला कि ये विजन ट्रांसफॉर्मर धोखे का विरोध करने के लिए कितनी अच्छी तरह प्रशिक्षित किए जा सकते हैं, जब डेटा को पांच अलग-अलग क्लाइंट्स के बीच विभाजित किया गया था, जो एक वास्तविक दुनिया के परिदृश्य की नकल करता है जहाँ डेटा पूरी तरह से संतुलित नहीं होता है। उन्होंने मॉडल के बारह अलग-अलग संस्करणों के साथ प्रयोग किया, जिसमें यह बदला गया कि छवियों को कंप्यूटर के विश्लेषण के लिए किन टुकड़ों में तोड़ा जाता है और अंतिम निर्णय कैसे लिया जाता है। उन्होंने पांच क्लाइंट्स से सीखने के अपडेट को संयोजित करने के कई अलग-अलग तरीकों का भी परीक्षण किया। लक्ष्य यह देखना था कि मॉडल डिजाइन और संयोजन विधि का कौन सा संयोजन सबसे मजबूत परिणाम देता है—एक ऐसा परिणाम जो सबसे परिष्कृत हमलों के बावजूद सटीक बना रहे।

पहला बड़ा निष्कर्ष उन लोगों के लिए एक आश्चर्य था जो उम्मीद कर रहे थे कि नए तरीके हमेशा बेहतर होते हैं। कई उन्नत तकनीकें, जिन्हें विशेष रूप से तब मदद करने के लिए डिज़ाइन किया गया था जब डेटा असमान रूप से वितरित हो, वास्तव में विजन ट्रांसफॉर्मर्स को हमलों के प्रति अधिक संवेदनशील बना देती हैं। ये विधियाँ, जो क्लाइंट्स के बीच के अंतर को ठीक करने की कोशिश करती हैं, अंततः प्रशिक्षण को धीमा कर देती हैं और उपकरणों और केंद्रीय सर्वर के बीच दो गुनी अधिक डेटा भेजने की आवश्यकता पैदा करती हैं। इसके विपरीत, अपडेट को औसत (averaging) करने का मानक, सरल तरीका मॉडल को धोखे से सुरक्षित रखने में बेहतर प्रदर्शन करता है। यह पाया गया कि डेटा असंतुलन को ठीक करने के लिए बनाई गई जटिल सुधार प्रक्रियाएं इस विशिष्ट प्रकार के मॉडल के लिए अनावश्यक थीं और वे सुरक्षा में सुधार किए बिना केवल लागत बढ़ा रही थीं।

अध्ययन ने यह भी खुलासा किया कि एक मॉडल किसी छवि को कैसे देखता है, यह उसकी सुरक्षा के लिए बहुत महत्वपूर्ण है। शोधकर्ताओं ने मॉडल द्वारा छवियों को टोकन (tokens), या छोटे टुकड़ों में काटने के विभिन्न तरीकों का परीक्षण किया। उन्होंने पाया कि एक ऐसी विधि जो छवियों को बहुत महीन, ओवरलैपिंग टुकड़ों में तोड़ती है, वह मॉडल को सामान्य परिस्थितियों में वस्तुओं को बेहतर ढंग से पहचानने में मदद करती है। हालाँकि, यही विधि मॉडल को बहुत आसान बना देती है जब कोई हमलावर उसे धोखा देने की कोशिश करता है। इसके विपरीत, जो मॉडल अंतिम निर्णय लेने के लिए केवल विशिष्ट विजुअल टोकन पर निर्भर करते हैं, वे इस वितरित सेटिंग में प्रभावी ढंग से सीखने में संघर्ष करते हैं। सबसे सफल दृष्टिकोण में एक संतुलन शामिल था: अंतिम निर्णय लेने के लिए विजुअल टोकन और एक विशेष सारांश टोकन (summary token) के मिश्रण का उपयोग करना, जिसने मॉडल को सटीक रहने देने के साथ-साथ हमलों के खिलाफ सख्त बनाए रखा।

डेटा के असंतुलन की समस्या को जटिल तरीकों की उच्च लागत के बिना हल करने के लिए, टीम ने FedWAvg नामक एक नई रणनीति पेश की। प्रत्येक क्लाइंट के अपडेट को समान मानने या उन्हें एक जैसा बनाने के बजाय, यह विधि प्रत्येक क्लाइंट के मॉडल के अंतिम स्तर (layer) को देखती है—वह हिस्सा जो वास्तव में निर्णय लेता है। यह मापता है कि प्रत्येक क्लाइंट के निर्णय लेने की दिशा ग्लोबल मॉडल की दिशा के साथ कितनी निकटता से संरेखित (align) है। यदि किसी क्लाइंट का अपडेट निर्णय लेने वाली परत की दिशा के समान है, तो उसे अधिक भार (weight) दिया जाता है; यदि यह बहुत अलग दिशा में है, तो उसे कम भार दिया जाता है। यह कोई रैंडम अनुमान नहीं है बल्कि एक सटीक गणितीय समायोजन है जो यह सुनिश्चित करता है कि ग्लोबल मॉडल अपने मार्ग से न भटके। शोधकर्ताओं ने सिद्ध किया कि यह दृष्टिकोण मॉडल को मानक पद्धति से कभी खराब नहीं बनाता है और अत्यधिक विषम (skewed) डेटा के मामले में हमलों का विरोध करने की इसकी क्षमता में सुधार करता है, जबकि मध्यम विषमता के तहत यह कोई निरंतर लाभ नहीं देता है।

परिणामों ने दिखाया कि यह नया वेटिंग (weighting) तरीका विशेष रूप से तब अच्छा काम करता है जब डेटा बहुत विषम होता है, जैसे कि जब कुछ क्लाइंट्स के पास केवल बिल्लियों और कुत्तों की छवियां हों जबकि अन्य के पास कारों और ट्रकों की हों। इन कठिन परिदृश्यों में, नए तरीके ने मॉडल की सटीकता को उच्च और इसकी रक्षा को मजबूत बनाए रखा, जबकि पुराने, अधिक जटिल तरीके विफल रहे। अध्ययन ने यह भी रेखांकित किया कि मॉडल का आकार मायने रखता; अधिक अटेंशन ब्लॉक्स वाले बड़े मॉडल इन अव्यवस्थित, असमान वातावरणों में बेहतर प्रदर्शन करते हैं, हालांकि उन्हें अधिक कंप्यूटिंग शक्ति की आवश्यकता होती है। शोधकर्ताओं ने नोट किया कि हालांकि उनके परीक्षण छवियों के एक विशिष्ट सेट पर चलाए गए थे, लेकिन जो सिद्धांत उन्होंने खोजे हैं—कि सीखने के अपडेट को कैसे संयोजित किया जाए और मॉडल के अंतिम निर्णय स्तर को कैसे डिज़ाइन किया जाए—वे भविष्य में बड़े और अधिक जटिल डेटासेट के लिए भी सत्य होने की संभावना है।

अंततः, यह कार्य सुरक्षित, गोपनीयता-संरक्षण आर्टिफिशियल इंटेलिजेंस बनाने के लिए एक स्पष्ट रोडमैप प्रदान करता है। यह दिखाता है कि भ्रामक हमलों के खिलाफ लड़ाई में, सरल होना अक्सर बेहतर होता है। आगे बढ़ने का सबसे प्रभावी रास्ता अधिक जटिल सुधार तंत्र जोड़ना नहीं है जो प्रशिक्षण को धीमा कर देते हैं, बल्कि प्रत्येक शिक्षार्थी के योगदान को तौलने का एक स्मार्ट, हल्का तरीका उपयोग करना है। अंतिम निर्णय लेने वाले स्तरों के संरेखण पर ध्यान केंद्रित करके, नई विधि यह सुनिश्चित करती है कि ग्लोबल मॉडल सही रास्ते पर रहे, और असमान डेटा के शोर से भटकने के बजाय सभी से सीखता रहे। यह दृष्टिकोण वास्तविक दुनिया में, जहाँ डेटा शायद ही कभी पूर्ण होता है और गोपनीयता सर्वोपरि होती है, मजबूत विजन सिस्टम को तैनात करने का एक व्यावहारिक और कुशल तरीका प्रदान करता है।