🤖 machine learning

Practical Validity Conditions for Byzantine-Tolerant Federated Learning

यह शोधपत्र बायज़ेंटाइन-सहिष्णु (Byzantine-tolerant) फेडरेटेड लर्निंग के लिए पारंपरिक उत्तल वैधता (convex validity) के एक व्यावहारिक विकल्प के रूप में न्यूनतम संलग्न गोले (minimum enclosing ball - MEB) की वैधता स्थिति और इसके गुणात्मक विश्राम ( $c$ -MEB) को प्रस्तुत करता है, जो यह प्रदर्शित करता है कि शिष्ट (honest) क्लाइंट्स के सरल बहुमत के तहत विशतित MEB वैधता प्राप्त की जा सकती है और स्पष्ट ज्यामितीय गारंटियों के साथ इष्टतम एकत्रीकरण नियम प्रदान करती है।

मूल लेखक: Mélanie Cambus, Darya Melnyk, Tijana Milentijević, Stefan Schmid

प्रकाशित 2026-05-18

📖 6 मिनट में पढ़ें🧠 गहराई से पढ़ें

CC BY 4.0

मूल लेखक: Mélanie Cambus, Darya Melnyk, Tijana Milentijević, Stefan Schmid

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

कल्पना कीजिए कि आप एक जहाज के कप्तान (सर्वर) हैं जो 30 नाविकों (क्लाइंट्स) द्वारा भेजे गए मानचित्र का उपयोग करके रास्ता खोजने की कोशिश कर रहे हैं। हालाँकि आपका अधिकांश चालक दल ईमानदार है और एक ही गंतव्य तक पहुँचना चाहता है, लेकिन कुछ नाविक "बाइज़ेंटाइन" (Byzantine) हैं—या तो वे भ्रमित हैं, झूठ बोल रहे हैं, या सक्रिय रूप से आपको नकली नक्शे भेजकर जहाज को नुकसान पहुँचाने की कोशिश कर रहे हैं जो चट्टानों या समुद्र के बीच की ओर इशारा करते हैं।

आपका काम उन सभी 30 नक्शों को लेना, झूठ बोलने वालों को अनदेखा करना और यह पता लगाना है कि दिशा के लिए सबसे अच्छा रास्ता कौन सा है। यह फेडरेटेड लर्निंग (Federated Learning) का मूल सिद्धांत है: कई अलग-अलग सूचनाओं को एक विश्वसनीय परिणाम में कैसे मिलाया जाए, भले ही उनमें से कुछ स्रोत दुर्भावनापूर्ण हों।

पुराना तरीका: "स्ट्रिक्ट बॉक्स" नियम

लंबे समय तक, शोधकर्ताओं ने कॉन्वेक्स वैलिडिटी (Convex Validity) नामक एक नियम का उपयोग किया। कल्पना कीजिए कि आप ईमानदार नाविकों के नक्शों के चारों ओर एक रबर बैंड खींच रहे हैं। नियम कहता था: "अंतिम दिशा उस रबर बैंड के अंदर कहीं होनी चाहिए।"

हालाँकि यह सुरक्षित लगता है, लेकिन आधुनिक दुनिया में इसमें एक बड़ी खामी है। हाई-डायमेंशनल डेटा (जैसे लाखों वेरिएबल्स वाले जटिल AI मॉडल) में, यह "रबर बैंड" नियम अविश्वसनीय रूप से नाजुक हो जाता है। यदि आपके पास एक बड़ा चालक दल है, तो आप केवल कुछ ही झूठ बोलने वालों को सहन कर सकते हैं इससे पहले कि रबर बैंड इतना सिकुड़ जाए कि आप सुरक्षित स्थान न ढूंढ सकें। यह एक ऐसे कमरे में सुरक्षित जगह खोजने जैसा है जहाँ हर बार जब कोई झूठ बोलता है, तो दीवारें करीब आती जाती हैं।

नया विचार: "मिनिमम एनक्लोजिंग बॉल" (MEB)

इस शोध के लेखक सुरक्षा के बारे में सोचने का एक नया तरीका प्रस्तावित करते हैं। रबर बैंड (जो एक अजीब, चपटी आकृति हो सकती है) के बजाय, एक परफेक्ट गोल गुब्बारे की कल्पना करें जो ईमानदार नाविकों के नक्शों को समाहित करने के लिए पर्याप्त बड़ा है। इसे मिनिमम एनक्लोजिंग बॉल (MEB) कहा जाता है।

MEB वैलिडिटी नियम: "अंतिम दिशा इस गुब्बारे के अंदर होनी चाहिए।"

यह बेहतर है क्योंकि एक गुब्बारा एक ठोस, 3D आकार है जो स्थान को भरता है। यह स्वाभाविक रूप से अंतिम दिशा को ईमानदार नाविकों के नक्शों के "रबर बैंड" से थोड़ा बाहर जाने की अनुमति देता है, बशर्ते वह अभी भी उस "बुलबुले" के भीतर हो जहाँ ईमानदार नाविक मौजूद हैं।

परफेक्ट बैलून के साथ समस्या

लेखकों ने पाया कि यहाँ तक कि इस "परफेक्ट बैलून" नियम में भी एक समस्या है। यदि नाविक एक बहुत ही विशिष्ट, जटिल ज्यामितीय पैटर्न में फैले हुए हैं, तो वह स्थान जहाँ सभी संभावित ईमानदार गुब्बारे ओवरलैप होते हैं, खाली हो सकता है। दूसरे शब्दों में, यदि डेटा की ज्यामिति बहुत जटिल है, तो आप एक ऐसा स्थान नहीं ढूंढ पाएंगे जो सख्त नियम का पालन करता हो।

समाधान: "रिलैक्स्ड बैलून" (c-MEB)

इसे ठीक करने के लिए, लेखक एक रिलैक्स्ड MEB (Relaxed MEB) नियम पेश करते हैं।

कल्पना कीजिए कि आपको ईमानदार नाविकों के गुब्बारे को एक निश्चित मात्रा में (मान लीजिए, 1.4 गुना बड़ा) फुलाने की अनुमति है।

नियम: "अंतिम दिशा इस थोड़े बड़े, फूले हुए गुब्बारे के अंदर होनी चाहिए।"
मैजिक नंबर: उन्होंने साबित किया कि यदि आपके पास झूठ बोलने वालों की तुलना में अधिक ईमानदार नाविक हैं (विशेष रूप से, यदि ईमानदार > 2 × झूठ बोलने वाले), तो आप हमेशा इस फूले हुए गुब्बारे के अंदर एक सुरक्षित स्थान पा सकते हैं। यह "इफ्लेशन फैक्टर" (जिसे c कहा जाता है) गणितीय रूप से $\sqrt{2}$ (लगभग 1.41) से कम सिद्ध हुआ है।

इसका मतलब है कि आपको सच्चाई के सटीक केंद्र को खोजने की आवश्यकता नहीं है; आपको बस उसके एक उचित दायरे के भीतर रहने की आवश्यकता है। यह वास्तविक दुनिया के AI सिस्टम के लिए बहुत अधिक व्यावहारिक है।

चालक दल का परीक्षण: क्या मौजूदा तरीके काम करते हैं?

लेखकों ने फिर यह जांचा कि क्या AI इंजीनियरों द्वारा वर्तमान में उपयोग किए जाने वाले उपकरण इस नए "रिलैक्स्ड बैलून" नियम का पालन करते हैं। उन्होंने तीन लोकप्रिय तरीकों का परीक्षण किया:

मिनिमम-डायमीटर एवरेजिंग (MDA): सबसे तंग समूह के नक्शों को चुनना और उनका औसत निकालना।
मेडॉइड (Medoid): उस एकल नक्शे को चुनना जो बाकी सभी के सबसे करीब है।
ज्यामितीय माध्य (Geometric Median): वह बिंदु खोजना जो सभी नक्शों से कुल दूरी को कम करता है।

फैसला: हाँ! उन्होंने पाया कि ये तीनों सामान्य तरीके स्वाभाविक रूप से "रिलैक्स्ड बैलून" के भीतर रहते हैं। वे सटीक केंद्र तक नहीं पहुँच सकते, लेकिन वे सुरक्षित और उपयोगी रहने के लिए पर्याप्त करीब रहते हैं।

यह अन्य नियमों के साथ कैसे फिट होता है

अंत में, यह पेपर यह भी दर्शाता है कि यह नया "बैलून" नियम पुराने "रबर बैंड" (कॉन्वेक्स) नियम और "बॉक्स" नियम (जो प्रत्येक कोऑर्डिनेट की अलग-अलग जांच करता है) जैसे अन्य नियमों से कैसे संबंधित है।

यदि आप सख्त "रबर बैंड" नियम का पालन करते हैं, तो आप स्वचालित रूप से "बैलून" नियम का पालन करते हैं।
लेकिन आप "रबर बैंड" नियम का पालन किए बिना भी "बैलून" नियम का पालन कर सकते हैं। यह अच्छा है क्योंकि बैलून नियम अधिक लचीला है और अधिक स्थितियों में काम करता है।

सारांश

सरल शब्दों में, यह पेपर कहता है:

AI में सुरक्षा की जाँच करने का पुराना तरीका (रबर बैंड) बहुत सख्त है और जटिल डेटा के साथ आसानी से टूट जाता है।
एक नया तरीका (बैलून) अधिक प्राकृतिक और मजबूत है।
यहाँ तक कि "बैलून" नियम भी कुछ मामलों में बहुत सख्त है, इसलिए हमें "रिलैक्स्ड बैलून" (लगभग 1.4 के कारक से फूला हुआ) का उपयोग करना चाहिए।
इंजीनियर जो तरीके उपयोग कर रहे हैं, वे वास्तव में इस नए, अधिक व्यावहारिक सुरक्षा नियम के साथ अच्छी तरह काम करते हैं।

यह हमें उन AI सिस्टमों के निर्माण के लिए एक बेहतर गणितीय मानचित्र प्रदान करता है जो असंभव ज्यामितीय पहेलियों में फंसे बिना तोड़फोड़ और त्रुटियों से बच सकते हैं।

तकनीकी सारांश: बाइजेंटाइन-सहनशील फेडेरेटेड लर्निंग के लिए व्यावहारिक वैधता स्थितियाँ

1. समस्या विवरण

फेडेरेटेड लर्निंग (FL) में, एक केंद्रीय सर्वर $n$ क्लाइंट्स से उच्च-आयामी (high-dimensional) मॉडल अपडेट को एकत्रित करता है। जब $t$ तक क्लाइंट्स बाइजेंटाइन (दुर्भावनापूर्ण या दोषपूर्ण) होते हैं, तो वे सीखने की प्रक्रिया को बाधित करने के लिए मनमाने वेक्टर भेज सकते हैं। मुख्य चुनौती वैधता स्थितियों (validity conditions) को परिभाषित करना है—जो ज्यामितीय गारंटी प्रदान करती हैं कि आउटपुट ईमानदार इनपुट्स के सापेक्ष कहाँ होना चाहिए, बिना किसी विशिष्ट डेटा वितरण या हमले के मॉडल पर निर्भर रहे।

शास्त्रीय कॉन्वेक्स वैलिडिटी (convex validity) स्थिति, जो यह आवश्यक बनाती है कि आउटपुट ईमानदार वेक्टर्स के कॉन्वेक्स हल (convex hull) के भीतर हो, सैद्धांतिक रूप से मजबूत है लेकिन आधुनिक FL के लिए व्यावहारिक रूप से त्रुटिपूर्ण है। यह आयाम-निर्भर लचीलेपन (dimension-dependent resilience) से ग्रस्त है, जो अधिकतम $t < n/(d+1)$ बाइजेंटाइन क्लाइंट्स को सहन कर पाती है। यह सीमा $d$ आयामों के लिए बहुत अधिक प्रतिबंधात्मक है। इसके अलावा, व्यावहारिक एकत्रीकरण नियम अक्सर ईमानदार आबादी के कॉन्वेक्स हल से बाहर के आउटपुट उत्पन्न करते हैं, जबकि वे ईमानदार आबादी के करीब रहते हैं, एक ऐसा व्यवहार जिसे कॉन्वेक्स वैलिडिटी पकड़ने में विफल रहती है।

2. कार्यप्रणाली और ढांचा

लेखक मिनिमम एनक्लोजिंग बॉल (Minimum Enclosing Ball - MEB) पर आधारित एक नया वैधता ढांचा प्रस्तावित करते हैं, न कि कॉन्वेक्स हल पर।

MEB वैलिडिटी: यह आवश्यक बनाता है कि आउटपुट वेक्टर सभी ईमानदार इनपुट वेक्टर्स को घेरने वाले सबसे छोटे बॉल के भीतर हो। कॉन्वेक्स हल के विपरीत, MEB एक पूर्ण-आयामी (fully-dimensional) वस्तु है जो स्वाभाविक रूप से उन आउटपुट्स को समायोजित करती है जो कॉन्वेक्स हल से बाहर जाते हैं लेकिन ईमानदार अपडेट के ज्यामितीय पैमाने के भीतर रहते हैं।
c-MEB वैलिडिटी (शिथिल/Relaxed): यह पहचानते हुए कि सटीक MEB वैलिडिटी अभी भी उच्च आयामों में लचीलेपन की सीमाओं से ग्रस्त है, लेखक एक गुणात्मक शिथिलता (multiplicative relaxation) पेश करते हैं। यदि कोई एल्गोरिदम c-MEB वैलिडिटी को संतुष्ट करता है, तो इसका अर्थ है कि आउटपुट ईमानदार MEB के केंद्र पर आधारित एक बॉल के भीतर स्थित है, लेकिन इसकी त्रिज्या (radius) को एक कारक $c$ द्वारा विस्तारित किया गया है (अर्थात, त्रिज्या $c \cdot r^*$ है)।
सेफ एरिया (Safe Area): लेखक MEB वैलिडिटी के लिए एक "सेफ एरिया" को $n$ में से $t$ वेक्टर्स के सभी संभावित उपसमुच्चयों (subsets) के MEBs के प्रतिच्छेदन (intersection) के रूप में परिभाषित करते हैं। वे सिद्ध करते हैं कि MEB वैलिडिटी को संतुष्ट करने के लिए इस प्रतिच्छेदन के भीतर सहमति आवश्यक है।

3. मुख्य योगदान और परिणाम

A. सटीक MEB वैलिडिटी की सीमाएं

यह शोध पत्र स्थापित करता है कि उच्च-आयामी सेटिंग्स में सटीक MEB वैलिडिटी सार्वभौमिक रूप से प्राप्त करना संभव नहीं है।

असंभवता परिणाम (Impossibility Result): लेखक सिद्ध करते हैं कि कोई भी सहमति एल्गोरिदम सटीक MEB वैलिडिटी को संतुष्ट नहीं कर सकता यदि $n \le (d+1)t - d$ है। यह कॉन्वेक्स वैलिडिटी की लचीलेपन संबंधी सीमाओं को दर्शाता है, यह प्रदर्शित करते हुए कि सख्त ज्यामितीय समावेशन उच्च-आयामी बाइजेंटाइन सहनशीलता के लिए अपर्याप्त है।

B. शिथिल MEB वैलिडिटी के लिए इष्टतम एल्गोरिदम

ईमानदार बहुमत ( $n > 2t$ ) की धारणा के तहत, लेखक MinMax-MEB, जो c-MEB वैलिडिटी के लिए एक इष्टतम एकत्रीकरण नियम है, प्रस्तुत करते हैं।

तंत्र (Mechanism): एल्गोरिदम $n-t$ क्लाइंट्स के प्रत्येक उपसमुच्चय के लिए MEB की गणना करता है। फिर, यह एक आउटपुट वेक्टर चुनता है जो इन उम्मीदवार MEBs के अधिकतम सामान्यीकृत (normalized) अंतर को कम करता है।
शिथिलता सीमा (Relaxation Bound): Soddy-Gosset प्रमेय (स्पर्श गोले के डेकार्ट के प्रमेय का सामान्यीकरण) का उपयोग करते हुए, लेखक सिद्ध करते हैं कि $n > 2t$ के लिए, इष्टतम शिथिलता कारक $c$ इस सीमा द्वारा ऊपरी बंधित है:
$c < \sqrt{2}$
विशेष रूप से, $c \le 1 + \frac{k-1}{k+1+\sqrt{2(k+1)k}}$ , जहाँ $k = \min\{d, \frac{n}{n-t} - 1\}$ है। यह $d=2$ के लिए सटीक (tight) है।

C. व्यावहारिक एग्रीगेटर्स के लिए वैधता गारंटी

यह शोध पत्र मौजूदा मजबूत एकत्रीकरण नियमों का विश्लेषण करता है ताकि उनके c-MEB वैलिडिटी स्थिरांक निर्धारित किए जा सकें:

मिनिमम-डायमीटर एवरेजिंग (MDA): $\left(1 + \frac{2t}{n-t}\right)$ -MEB वैलिडिटी को संतुष्ट करता है।
मेडॉइड (Medoid): $\frac{3n-2t}{n-2t}$ -MEB वैलिडिटी को संतुष्ट करता है। लेखक यह भी सिद्ध करते हैं कि मेडॉइड $c \le 2$ के लिए c-MEB वैलिडिटी को संतुष्ट नहीं कर सकता।
ज्यामितीय माध्य (Geometric Median): $\frac{2(n-t)}{n-2t}$ -MEB वैलिडिटी को संतुष्ट करता है। शोध पत्र काउंटर-एग्जांपल प्रदान करता है जो दिखाता है कि ज्यामितीय माध्य 1.08-MEB वैलिडिटी को संतुष्ट नहीं करता है और न ही कॉन्वेक्स वैलिडिटी को संतुष्ट करता है।

ये परिणाम दर्शाते हैं कि मानक व्यावहारिक एल्गोरिदम, हालांकि सख्त कॉन्वेक्स वैलिडिटी का उल्लंघन करते हैं, स्वाभाविक रूप से बाइजेंटाइन नोड्स के अनुपात पर निर्भर स्थिरांक कारकों के साथ शिथिल MEB वैलिडिटी को संतुष्ट करते हैं।

D. वैधता स्थितियों का व्यवस्थित तुलनात्मक अध्ययन

लेखक MEB वैलिडिटी और मौजूदा स्थितियों के बीच संबंधों को मैप करते हैं:

कॉन्वेक्स वैलिडिटी $\implies$ MEB वैलिडिटी: चूंकि कॉन्वेक्स हल MEB के भीतर होता है, इसलिए कोई भी आउटपुट जो कॉन्वेक्स वैलिडिटी को संतुष्ट करता है, वह स्वतः ही MEB वैलिडिटी को संतुष्ट करता है।
MEB वैलिडिटी $\nRightarrow$ कॉन्वेक्स वैलिडिटी: MEB वैलिडिटी कॉन्वेक्स हल के बाहर के आउटपुट्स की अनुमति देती है (उदाहरण के लिए, एक निम्न-आयामी उपस्थान (subspace) जो कॉन्वेक्स हल द्वारा कोलैप्स हो गया हो)।
शिथिल कॉन्वेक्स वैलिडिटी के साथ संबंध: c-MEB वैलिडिटी, $(\delta, 2)$ -शिथिल कॉन्वेक्स वैलिडिटी को संतुष्ट करती है जहाँ $\delta = (c+1)r^*$ है। इसके विपरीत, शिथिल कॉन्वेक्स वैलिडिटी, शिथिल MEB वैलिडिटी को दर्शाती है।
बॉक्स वैलिडिटी के साथ संबंध: बॉक्स वैलिडिटी (समन्वय-वार सीमाएं) $\sqrt{d}$ -MEB वैलिडिटी को दर्शाती है, लेकिन MEB वैलिडिटी बॉक्स वैलिडिटी को नहीं दर्शाती है, क्योंकि MEB पूर्ण-आयामी है जबकि बॉक्स कुछ आयामों में कोलैप्स हो सकता है।

4. महत्व और दावे

यह शोध पत्र दावा करता है कि c-MEB वैलिडिटी, बाइजेंटाइन-सहनशील फेडेरेटेड लर्निंग के लिए कॉन्वेक्स वैलिडिटी का एक व्यावहारिक विकल्प प्रदान करती है।

सिद्धांत और व्यवहार के बीच सेतु: यह वितरित कंप्यूटिंग में उपयोग किए जाने वाले ज्यामितीय वैधता नियमों और FL में उपयोग किए जाने वाले व्यावहारिक एकत्रीकरण नियमों के व्यवहार को जोड़ता है।
आयाम स्वतंत्रता (Dimension Independence): कॉन्वेक्स वैलिडिटी के विपरीत, शिथिल MEB स्थिति आयाम-निर्भर लचीलेपन की सीमाओं से ग्रस्त नहीं होती है (बशर्ते $n > 2t$ हो), जो इसे उच्च-आयामी मॉडल्स के लिए उपयुक्त बनाती है।
बायस बाउंड (Bias Bound): लेखक उल्लेख करते हैं कि c-MEB वैलिडिटी ईमानदार औसत अपडेट के सापेक्ष कुल (aggregate) के बायस पर एक वितरण-स्वतंत्र (distribution-independent) सीमा प्रदान करती है, जो ज्यामितीय गारंटी को बाइजेंटाइन-रोबस्ट ऑप्टिमाइजेशन के मानक विश्लेषणों से जोड़ती है।

5. सीमाएं

लेखक कई सीमाओं को स्वीकार करते हैं:

गणना संबंधी जटिलता (Computational Complexity): इष्टतम MinMax-MEB नियम के लिए $n-t$ आकार के सभी उपसमुच्चयों के लिए MEB की गणना करने की आवश्यकता होती है, जो बड़े $t$ के लिए गणनात्मक रूप से महंगा है। व्यावहारिक नियम (जैसे मेडॉइड, ज्यामितीय माध्य) अधिक कुशल हैं लेकिन कमजोर शिथिलता कारक प्रदान करते हैं।
मॉडल धारणाएं: यह ढांचा एक विश्वसनीय सर्वर, विश्वसनीय संचार, यूक्लिडियन ज्यामिति, और बाइजेंटाइन क्लाइंट्स की ज्ञात ऊपरी सीमा $t$ को मानता है।
सीमाओं की सटीकता (Tightness of Bounds): जबकि $c < \sqrt{2}$ का बाउंड $d=2$ के लिए सटीक है, उच्च आयामों और MDA या मेडॉइड जैसे विशिष्ट एल्गोरिदम के लिए इष्टतम कारक वर्तमान में सिद्ध किए गए कारकों से अधिक सटीक हो सकते हैं।
योगात्मक बनाम गुणात्मक (Additive vs. Multiplicative): शोध पत्र नोट करता है कि MEB वैलिडिटी के गुणात्मक और योगात्मक शिथिलता के बीच का संबंध एक खुला प्रश्न बना हुआ है।