Native Byzantine-Robust Aggregation for Trustworthy Federated Learning: A C++20 Evaluation of Krum, Multi-Krum, Trimmed Mean, and Coordinate-wise Median

कल्पना कीजिए कि अजनबियों का एक समूह मिलकर एक जटिल पहेली को सुलझाने की कोशिश कर रहा है, लेकिन वे सभी अलग-अलग कमरों में हैं और एक-दूसरे के टुकड़ों को नहीं देख सकते। वे केवल अपनी प्रगति का विवरण एक केंद्रीय लीडर को भेज सकते हैं। यह 'फेडरेटेड लर्निंग' नामक एक आधुनिक कंप्यूटिंग पद्धति का सार है, जहाँ कई उपकरण अपने निजी डेटा को साझा किए बिना एक साझा आर्टिफिशियल इंटेलिजेंस (AI) को प्रशिक्षित करते हैं। यह प्रणाली खूबसूरती से काम करती है जब हर कोई निष्पक्ष रूप से खेलता है, लेकिन यह एक गंभीर कमजोरी का सामना करती है: क्या होगा यदि उनमें से कोई एक अजनबी झूठ बोल रहा हो? एक समझौता किया गया (compromised) डिवाइस पूरी तरह से गलत विवरण भेज सकता है, इसलिए नहीं कि वह टूटा हुआ है, बल्कि इसलिए क्योंकि वह दुर्भावनापूर्ण है, जिसका लक्ष्य अंतिम उत्तर को भ्रष्ट करना है। इस परिदृश्य में, केवल बहुमत पर भरोसा करना पर्याप्त नहीं है, क्योंकि कुछ बुरे तत्व पूरे समूह को गलत रास्ते पर ले जा सकते हैं। वैज्ञानिकों के लिए चुनौती एक ऐसा सिस्टम बनाने की है जो इन झूठ बोलने वालों को पहचान सके और उनके गलत सुझावों को अनदेखा कर सके, जिससे यह सुनिश्चित हो सके कि अंतिम परिणाम भरोसेमंद बना रहे, भले ही कुछ प्रतिभागी सक्रिय रूप से प्रक्रिया को बाधित करने की कोशिश कर रहे हों।

शोधकर्ता लंबे समय से जानते हैं कि इन बुरे तत्वों को विशिष्ट नियमों का उपयोग करके गणितीय रूप से कैसे फ़िल्टर किया जा सकता है, लेकिन उन नियमों को तेज़, विश्वसनीय सॉफ़्टवेयर में बदलना कठिन रहा है। वोरोनेज़ स्टेट यूनिवर्सिटी ऑफ फॉरेस्ट्री एंड टेक्नोलॉजीज के एम. शाहनूर इस्लाम शागोर द्वारा किया गया एक नया अध्ययन इस समस्या को हल करने के लिए एक उच्च-गति वाले इंजन का निर्माण करके इस पर काम करता है। टीम ने बुरे डेटा को फ़िल्टर करने का कोई नया तरीका आविष्कार नहीं किया; इसके बजाय, उन्होंने झूठ पकड़ने के चार मौजूदा, प्रसिद्ध तरीकों को लिया और उन्हें गति और सुरक्षा के लिए डिज़ाइन की गई एक आधुनिक प्रोग्रामिंग भाषा का उपयोग करके शून्य से फिर से बनाया। उनका लक्ष्य यह साबित करना था कि ये सुरक्षा तंत्र वास्तविक दुनिया के अनुप्रयोगों में उपयोगी होने के लिए पर्याप्त तेज़ चल सकते हैं, जबकि यह भी सुनिश्चित करना था कि वे गलती से भी किसी टूटे हुए या खतरनाक इनपुट को स्वीकार न करें।

शोधकर्ताओं ने बुरे डेटा को संभालने के लिए चार विशिष्ट रणनीतियों पर ध्यान केंद्रित किया। पहली दो रणनीतियाँ, जिन्हें क्रुम (Krum) और मल्टी-क्रुम (Multi-Krum) के रूप में जाना जाता है, यह मापने का काम करती हैं कि प्रत्येक व्यक्ति का अपडेट बाकी सभी से कितना अलग है। यदि किसी व्यक्ति का अपडेट समूह से बहुत अलग है, तो सिस्टम उसे एक आउटलियर (outlier) के रूप में पहचान लेता है और या तो सबसे सुसंगत व्यक्ति को चुनता है या सबसे सुसंगत कुछ लोगों का औसत निकालता है। अन्य दो रणनीतियाँ, ट्रिम्ड मीन (trimmed mean) और कोऑर्डिनेट-वाइज मीडियन (coordinate-wise median), पहेली के प्रत्येक हिस्से को व्यक्तिगत रूप से देखकर काम करती हैं। वे प्रत्येक भाग के लिए उच्चतम और निम्नतम संख्याओं को हटा देते हैं या बस मध्य मान को चुन लेते हैं, जिससे उन चरम आउटलियर्स को प्रभावी ढंग से अनदेखा किया जाता है जो परिणाम को बिगाड़ने की कोशिश कर रहे हैं। हालाँकि ये गणितीय विचार अच्छी तरह से समझे गए हैं, शोधकर्ता यह देखना चाहते थे कि वे कैसा प्रदर्शन करते हैं जब उन्हें एक मूल कंप्यूटर प्रोग्राम के रूप में लागू किया जाता है जो आज के आर्टिफिशियल इंटेलिजेंस के विशाल सॉफ्टवेयर सिस्टम के साथ चल सके।

अपने काम का परीक्षण करने के लिए, टीम ने एक नियंत्रित सिमुलेशन बनाया जहाँ दस वर्चुअल क्लाइंट्स ने बीस राउंड में एक मॉडल को प्रशिक्षित करने की कोशिश की। इस सिमुलेशन में, दो क्लाइंट्स को दुर्भावनापूर्ण हमलावर के रूप में प्रोग्राम किया गया था। एक हमलावर ने प्रगति की दिशा को पूरी तरह से बदलने की कोशिश की, जबकि दूसरे ने सिस्टम को रैंडम, हाई-वैरिएंस शोर (noise) से भर दिया जिसे गणित को भ्रमित करने के लिए डिज़ाइन किया गया था। इस प्रक्रिया को पटरी से उतारने के आक्रामक प्रयासों के बावजूद, सिस्टम ने मॉडल को सही लक्ष्य की ओर सफलतापूर्वक निर्देशित किया। पच्चीस राउंड के बाद, मॉडल की वर्तमान स्थिति और वास्तविक लक्ष्य के बीच की दूरी जहाँ से शुरू हुई थी, उसके पाँच प्रतिशत से भी कम रह गई। यह परिणाम मल्टी-क्रुम विधि, ट्रिम्ड मीन और मीडियन के लिए सत्य रहा, जिससे यह सिद्ध हुआ कि ये स्थापित नियम एक नियंत्रित वातावरण में बीस प्रतिशत हमले की दर का सामना कर सकते हैं।

हालाँकि, अध्ययन का सबसे आश्चर्यजनक हिस्सा केवल यह नहीं था कि सुरक्षा नियम काम कर रहे थे, बल्कि यह भी था कि वे मानक सॉफ़्टवेयर टूल की तुलना में कितनी तेज़ी से चले। शोधकर्ताओं ने एक हज़ार पैरामीटर्स वाले अपडेट को प्रोसेस करने में लगने वाले समय को मापा और फिर एक लाख पैरामीटर्स के साथ पुनः मापा। क्रुम और मल्टी-क्रुम जैसी दूरी-आधारित विधियों के लिए, नया नेटिव कोड नाटकीय रूप रूप से तेज़ था। एक हज़ार पैरामीटर्स को प्रोसेस करते समय, नया कोड मानक टूल की तुलना में दो गुना से अधिक तेज़ था, और जब आकार बढ़कर एक लाख हो गया, तो यह तीन गुना से अधिक तेज़ हो गया। यह गति वृद्धि इसलिए हुई क्योंकि नया कोड एक साथ कई गणनाओं को संभालने और अत्यधिक दक्षता के साथ जटिल दूरी की जाँच करने के लिए कंप्यूटर के प्रोसेसर का उपयोग कर सकता था।

फिर भी, अन्य विधियों के लिए कहानी अलग थी। ट्रिम्ड मीन, जिसमें मध्य मान खोजने के लिए संख्याओं को सॉर्ट करना शामिल है, नए कोड के साथ तेज़ नहीं हुआ। वास्तव में, छोटे आकार पर, यह मानक टूल की तुलना में धीमा था, और बड़े आकार पर, यह मुश्किल से उनके बराबर पहुँच पाया। यह निष्कर्ष महत्वपूर्ण है क्योंकि यह दिखाता है कि केवल कोड को तेज़ भाषा में फिर से लिखने से सब कुछ स्वचालित रूप से तेज़ नहीं हो जाता है। संख्याओं को सॉर्ट करने के लिए मानक उपकरण पहले से ही इतने अनुकूलित (optimized) हैं कि एक कस्टम प्रोग्राम उन्हें मात देने के लिए संघर्ष करता है। शोधकर्ताओं ने पाया कि गति का लाभ पूरी तरह से किए जा रहे विशिष्ट गणित पर निर्भर करता है; कुछ कार्यों के लिए, नया इंजन एक बड़ी छलांग है, जबकि अन्य के लिए, यह कोई लाभ नहीं देता है।

अध्ययन ने इस बात पर भी जोर दिया कि गति कीमत पर सुरक्षा नहीं होनी चाहिए। नए सिस्टम को एक "फेल-क्लोज्ड" (fail-closed) दृष्टिकोण के साथ डिज़ाइन किया गया था, जिसका अर्थ है कि यदि इनपुट अव्यवस्थित हैं, संख्याएँ गायब हैं, या कॉन्फ़िगरेशन असंभव है, तो सिस्टम एक संभावित रूप से खतरनाक परिणाम देने के बजाय बस चलना बंद कर देता है। यह असंभव परिदृश्यों की जाँच करता है, जैसे कि उपस्थित लोगों की संख्या के मुकाबले हमलावरों की संख्या बहुत अधिक होना, और उन्हें तुरंत अस्वीकार कर देता है। यह यह भी सुनिश्चित करता है कि कोई भी अजीब, अनिश्चित संख्या अंतिम मॉडल को दूषित करने के लिए अंदर न आ सके। यह सख्ती सुनिश्चित करती है कि सिस्टम भरोसेमंद बना रहे, भले ही इसका अर्थ उस अनुरोध को अस्वीकार करना हो जिसे कम सावधान सिस्टम प्रोसेस करने की कोशिश कर सकता था।

अंततः, यह कार्य प्रदर्शित करता है कि एक भरोसेमंद आर्टिफिशियल इंटेलिजेंस सिस्टम बनाने के लिए सुरक्षा और प्रदर्शन के बीच एक सावधानीपूर्वक संतुलन की आवश्यकता होती है। शोधकर्ताओं ने दिखाया है कि एक मजबूत रक्षा बनाना संभव है जो गणितीय रूप से सुदृढ़ और कम्प्यूटेशनल रूप से कुशल दोनों हो, लेकिन केवल तभी जब डिज़ाइन का चयन विशिष्ट विधि के अनुसार किया जाए। अध्ययन निष्कर्ष निकालता है कि सभी सुरक्षा समस्याओं के लिए कोई एक एकल "तेज़" समाधान नहीं है। इसके बजाय, इंजीनियरों को काम के लिए सही उपकरण चुनना होगा, यह समझते हुए कि कुछ सुरक्षा नियम डेटा के आकार और गणना की प्रकृति के आधार पर दूसरों की तुलना में बहुत तेज़ी से चलेंगे। उच्च-प्रदर्शन कंप्यूटिंग के साथ सख्त सुरक्षा जाँचों को जोड़कर, ऐसे फेडरेटेड लर्निंग सिस्टम बनाना संभव है जो न केवल स्मार्ट हैं बल्कि वास्तविक दुनिया में भरोसेमंद होने के लिए पर्याप्त लचीले भी हैं।