📊 statistics

Decentralized Machine Learning with Centralized Performance Guarantees via Gibbs Algorithms

यह शोध पत्र यह प्रदर्शित करता है कि विकेंद्रीकृत मशीन लर्निंग, सापेक्ष-एन्ट्रॉपी नियमितीकरण (relative-entropy regularization) के साथ एक अनुभवजन्य जोखिम न्यूनीकरण (empirical risk minimization) ढांचे के भीतर संदर्भ मापों के रूप में स्थानीय रूप से प्राप्त गिब्स मापों (Gibbs measures) को क्रमिक रूप से साझा करके, कच्चे डेटा को साझा किए बिना केंद्रीकृत प्रदर्शन प्राप्त कर सकती है।

मूल लेखक: Yaiza Bermudez, Samir Perlaza, Iñaki Esnaola

प्रकाशित 2026-04-23

📖 5 मिनट में पढ़ें🧠 गहराई से पढ़ें

CC BY 4.0

मूल लेखक: Yaiza Bermudez, Samir Perlaza, Iñaki Esnaola

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

कल्पना कीजिए कि K दोस्तों का एक समूह है जो सभी एक आदर्श केक बनाना सीखना चाहते हैं। हालाँकि, इसमें एक पेंच है:

वे अलग-अलग शहरों में रहते हैं।
वे गोपनीयता के नियमों या धीमी इंटरनेट गति के कारण अपने गुप्त पारिवारिक नुस्खे (कच्चा डेटा/raw data) एक-दूसरे को नहीं भेज सकते।
वे चाहते हैं कि अंत में उन्हें जो केक मिले, उसका स्वाद बिल्कुल वैसा ही हो जैसा तब होता जब उन्होंने अपने सभी नुस्खों को एक विशाल रसोई (यानी "केंद्रीकृत" दृष्टिकोण) में मिला दिया होता।

आमतौर पर, इस स्थिति में, दोस्तों को समझौता करना पड़ता है। वे थोड़ी बहुत जानकारी साझा कर सकते हैं, लेकिन अंतिम केक कभी भी "सभी-नुस्खों वाले" संस्करण जितना अच्छा नहीं होगा।

यह शोध पत्र कहता है: "अब और नहीं।"

लेखकों ने दोस्तों के सहयोग करने का एक चतुर तरीका खोजा है जिससे अंतिम परिणाम गणितीय रूप से बिल्कुल वैसा ही होगा जैसा कि तब होता यदि उन्होंने अपने सभी नुस्खे एक साथ साझा किए होते। वे ऐसा बिना एक भी सामग्री की सूची या अपनी रसोई की तस्वीर भेजे करते हैं।

इसे करने के लिए वे यहाँ एक सरल उपमा (analogy) का उपयोग कर रहे हैं:

द "पास-द-नोट" गेम (नोट पास करने का खेल)

सामग्री साझा करने के बजाय, दोस्त एक आदर्श केक कैसा दिखता है, इसके बारे में अपनी वर्तमान "अंतरात्मा की समझ" (gut feeling) साझा करते हैं।

दोस्त 1 (शुरुआत करने वाला):
- दोस्त 1 अपनी स्थानीय सामग्रियों (अपने स्थानीय डेटासेट) को देखता है।
- वह एक परीक्षण केक बनाता है और उससे सीखी गई बातों के आधार पर अपने "आदर्श केक" का एक विस्तृत विवरण लिखता है। आइए इस विवरण को "गिब्स मेजर" (Gibbs Measure) कहें (जो कि एक फैंसी गणितीय शब्द है, जिसका अर्थ है एक आदर्श मॉडल के क्या होने की संभावना का मानचित्र)।
- दोस्त 1 यह विवरण दोस्त 2 को भेजता है।
दोस्त 2 (अपडेट करने वाला):
- दोस्त 2 दोस्त 1 का विवरण प्राप्त करता है। शुरुआत से शुरू करने के बजाय, दोस्त 2 दोस्त 1 के विवरण को अपना नया आधार (baseline) या "संदर्भ" (reference) मानता है।
- दोस्त 2 अपनी स्थानीय सामग्रियों को देखता है।
- दोस्त 2 विवरण को अपडेट करता है: "ठीक है, दोस्त 1 ने कहा कि केक मीठा होना चाहिए। मेरी सामग्री बताती है कि इसे चॉकलेट वाला होना चाहिए। इसलिए, मेरा नया 'आदर्श केक' दोनों का मिश्रण है।"
- दोस्त 2 यह नया, अपडेट किया हुआ विवरण दोस्त 3 को भेजता है।
श्रृंखला अभिक्रिया (The Chain Reaction):
- यह प्रक्रिया आगे बढ़ती रहती है। दोस्त 3, दोस्त 2 के नोट को अपना शुरुआती बिंदु बनाता है, उसमें अपना स्थानीय ज्ञान जोड़ता है, और नया नोट दोस्त 4 को भेज देता है।
- जब तक नोट दोस्त K (अंतिम दोस्त) तक पहुँचता है, तब तक इसमें सभी के स्थानीय अनुभवों का "ज्ञान" समाहित हो चुका होता है, भले ही वास्तव में कोई भी सामग्री साझा नहीं की गई हो।

असली सफलता: "स्केलिंग" का तरीका

इसे पूरी तरह से काम करने के लिए एक महत्वपूर्ण नियम है। दोस्तों को पिछले व्यक्ति के नोट पर कितना भरोसा करना है बनाम अपनी नई सामग्रियों पर कितना भरोसा करना है, इसे एडजस्ट करना होगा।

यदि दोस्त 1 के पास सामग्रियों का एक बड़ा ढेर (बड़ा डेटासेट) है, तो उनके नोट का वजन अधिक होना चाहिए।
यदि दोस्त 2 के पास सामग्रियों का एक छोटा ढेर है, तो उनका अपडेट छोटा होना चाहिए।

शोध पत्र सिद्ध करता है कि यदि वे इस "वजन" (जिसे रेगुलराइजेशन फैक्टर कहा जाता है) को ठीक उसी तरह समायोजित करते हैं जैसे कि उनके पास मौजूद डेटा की मात्रा है, तो दोस्त K के पास मौजूद अंतिम नोट गणितीय रूप से बिल्कुल वैसा ही होगा जैसा कि वह तब होता जब वे सभी एक ही कमरे में बैठकर सभी सामग्रियों के साथ काम कर रहे होते।

"बैकवर्ड पास" (पीछे की ओर भेजना)

एक बार जब दोस्त K के पास पूर्ण, संयुक्त "आदर्श केक" का विवरण आ जाता है, तो वह उसे केवल अपने पास नहीं रखता। वह उस अंतिम नोट को पीछे की ओर सभी अन्य लोगों को भेजता है (दोस्त K-1, फिर K-2, और इसी तरह वापस दोस्त 1 तक)।

अब, प्रत्येक दोस्त के पास बिल्कुल एक ही "परफेक्ट केक" का नुस्खा है। वे सभी अपना-अपना केक बना सकते हैं और हर केक का स्वाद बिल्कुल वैसा ही होगा जैसा कि उस विशाल केंद्रीकृत रसोई में बनाया गया केक होता।

यह एक बड़ी बात क्यों है?

गोपनीयता (Privacy): किसी ने भी किसी दूसरे का कच्चा डेटा (सामग्री) नहीं देखा। उन्होंने केवल उस डेटा से निकाले गए निष्कर्षों को साझा किया।
दक्षता (Efficiency): आपको टेराबाइट्स डेटा स्थानांतरित करने के लिए सुपर-फास्ट इंटरनेट कनेक्शन की आवश्यकता नहीं है। आपको बस एक समाधान का गणितीय "मानचित्र" (map) स्थानांतरित करने की आवश्यकता है।
प्रदर्शन (Performance): आमतौर पर, विकेंद्रीकृत लर्निंग (बिना किसी केंद्रीय बॉस के सीखना) केंद्रीकृत लर्निंग से थोड़ा कमतर होता है। यह शोध पत्र सिद्ध करता है कि आप बिना किसी केंद्रीय बॉस के 100% प्रदर्शन प्राप्त कर सकते हैं।

एक चुनौती (वास्तविक दुनिया की समस्या)

शोध पत्र अंत में एक छोटी चेतावनी देता। वास्तविक दुनिया में, इन "नोट्स" (संभावना मापों/probability measures) को भेजने में समय और बैंडविड्थ लगता है।

यदि इंटरनेट धीमा है, तो नोट "विकृत" (distorted) हो सकता है (जैसे "टेलीफोन" का खेल जहाँ संदेश बिगड़ जाता है)।
यदि नोट बहुत जटिल है (केक के बहुत सारे संभावित प्रकार हैं), तो इसे भेजना स्वयं सामग्रियों को भेजने जितना कठिन हो सकता है।

लेकिन, वैचारिक रूप से, यह एक बड़ी उपलब्धि है। यह दिखाता है कि हम डेटा के बजाय "विचारों" (रेफरेंस मेजर्स) को इधर-उधर भेजकर एक वैश्विक मस्तिष्क का निर्माण कर सकते हैं, जिससे हम गोपनीयता के जोखिमों के बिना एक सुपरकंप्यूटर की शक्ति प्राप्त कर सकते हैं।

यहाँ शोध पत्र "Decentralized Machine Learning with Centralized Performance Guarantees via Gibbs Algorithms" का विस्तृत तकनीकी सारांश दिया गया है।

1. समस्या विवरण (Problem Statement)

यह शोध पत्र विकेंद्रीकृत मशीन लर्निंग (decentralized machine learning) की एक मौलिक चुनौती को संबोधित करता है: कच्चे स्थानीय डेटासेट (raw local datasets) को साझा किए बिना केंद्रीकृत प्रदर्शन गारंटी (centralized performance guarantees) प्राप्त करना।

संदर्भ: मानक विकेंद्रीकृत परिवेश में, क्लाइंट गोपनीयता, बैंडविड्थ या नियामक बाधाओं के कारण कच्चे डेटा को साझा किए बिना सीखने वाले एल्गोरिदम को ट्यून करने के लिए एक नेटवर्क के माध्यम से सहयोग करते हैं।
अंतराल (The Gap): आमतौर पर, विकेंद्रीकृत सिस्टम उस प्रदर्शन से मेल नहीं खा पाते जो एक केंद्रीकृत सिस्टम द्वारा प्राप्त किया जाता है जहाँ सभी डेटासेट को संयुक्त रूप से संसाधित किया जाता है।
उद्देश्य: लेखक यह सिद्ध करने का लक्ष्य रखते हैं कि यदि विशिष्ट संरचनात्मक और स्केलिंग स्थितियाँ पूरी की जाती हैं, तो केवल विशिष्ट संभाव्यता वस्तुओं (measures) को साझा करके—कच्चे डेटा के बजाय—वही सटीक शिक्षण परिणाम (Gibbs probability measure) प्राप्त करना संभव है जो एक केंद्रीकृत प्रणाली द्वारा प्राप्त किया जाता है।

2. कार्यप्रणाली (Methodology)

प्रस्तावित कार्यप्रणाली सापेक्ष-एन्ट्रॉपी नियमितीकरण के साथ अनुभवजन्य जोखिम न्यूनीकरण (Empirical Risk Minimization with Relative-Entropy Regularization - ERM-RER) और एक विशिष्ट फॉरवर्ड-बैकवर्ड पीयर-टू-पीयर संचार प्रोटोकॉल पर आधारित है।

A. शिक्षण ढांचा (ERM-RER)

मानक ग्रेडिएंट डिसेंट के बजाय, शिक्षण ढांचे को एक ऐसे फलन (functional) को न्यूनतम करने के रूप में परिभाषित किया गया है जो अनुभवजन्य जोखिम (empirical risk) और सापेक्ष एन्ट्रॉपी (Kullback-Leibler divergence) को जोड़ता है:
$\min_{P \in \Delta_{Q_k}(M_k)} \left( \mathbb{E}_{P}[\mathcal{L}_k(\mathbf{z}_k, \theta)] + \lambda_k D(P \| Q_k) \right)$
जहाँ:

$P$ मॉडल स्पेस पर एक संभाव्यता माप (probability measure) है।
$\mathcal{L}_k$ क्लाइंट $k$ के स्थानीय डेटासेट $\mathbf{z}_k$ पर अनुभवजन्य जोखिम है।
$Q_k$ एक संदर्भ माप (reference measure) (प्रायर/prior) है।
$\lambda_k$ एक नियमितीकरण कारक (regularization factor) है।
इस अनुकूलन (optimization) का समाधान एक गिब्स संभाव्यता माप (Gibbs probability measure) है, जिसमें ऋणात्मक हानि (negative loss) के घातांक (exponential) का एक बंद-रूप (closed-form) व्यंजक शामिल है, जिसे $\lambda_k$ द्वारा स्केल किया गया है।

B. संचार प्रोटोकॉल (The Communication Protocol)

यह शोध पत्र $K$ क्लाइंट्स के बीच एक श्रृंखला (chain) में व्यवस्थित नेस्टेड संदर्भ माप (nested reference measure) रणनीति पेश करता है:

फॉरवर्ड दिशा (Forward Direction):
- क्लाइंट 1 अपने स्थानीय डेटासेट और एक प्रारंभिक संदर्भ $Q_1$ के आधार पर अपना गिब्स माप $P_1$ गणना करता है।
- क्लाइंट 1 $P_1$ को क्लाइंट 2 को प्रसारित करता है।
- क्लाइंट 2 $P_1$ को अपने स्वयं के संदर्भ माप ( $Q_2 = P_1$ ) के रूप में अपनाता है।
- क्लाइंट 2 अपने स्थानीय डेटा और नए संदर्भ $Q_2$ का उपयोग करके अपना गिब्स माप $P_2$ गणना करता है।
- यह प्रक्रिया दोहराई जाती है: क्लाइंट $k$ पिछले क्लाइंट $k-1$ से प्राप्त गिब्स माप प्राप्त करता है, उसे अपना संदर्भ $Q_k$ बनाता है, और $P_k$ की गणना करता है।
- मुख्य अंतर्दृष्टि: यह एक नेस्टेड संरचना बनाता है जहाँ पिछले क्लाइंट्स के डेटा का प्रभाव अगले क्लाइंट के संदर्भ माप में समाहित हो जाता है, बिना कच्चे डेटा को प्रसारित किए।
बैकवर्ड दिशा (Backward Direction):
- एक बार जब क्लाइंट $K$ अंतिम गिब्स माप की गणना कर लेता है, तो इसे श्रृंखला के माध्यम से पीछे की ओर (क्लाइंट $K$ से $K-1$ आदि तक) प्रसारित किया जाता है ताकि प्रत्येक क्लाइंट के पास एक ही अंतिम एल्गोरिदम रहे।

C. स्केलिंग स्थितियाँ (Scaling Conditions)

केंद्रीकृत समानता प्राप्त करने के लिए, $\lambda_k$ को डेटासेट के आकार के सापेक्ष विशेष रूप से स्केल किया जाना चाहिए:
$\lambda_k = \frac{n_0 \lambda_0}{n_k}$
जहाँ:

$n_k$ क्लाइंट $k$ के स्थानीय डेटासेट का आकार है।
$n_0 = \sum n_k$ कुल एकत्रित डेटासेट का आकार है।
$\lambda_0$ एक वैश्विक स्थिरांक (global constant) है।

3. मुख्य योगदान (Key Contributions)

सैद्धांतिक समानता प्रमाण (Theoretical Equivalence Proof): यह शोध पत्र सिद्ध करता है (Theorem 3 और Theorem 5) कि प्रस्तावित नेस्टेड संदर्भ माप संरचना और $\lambda_k$ के विशिष्ट स्केलिंग के तहत, विकेंद्रीकृत सेटिंग में प्राप्त अंतिम गिब्स माप, उस केंद्रीकृत गिब्स माप के समान है जहाँ सभी डेटासेट को एक साथ मिलाया गया है।
मापों के माध्यम से सूचना परिवहन (Information Transport via Measures): यह दर्शाता है कि स्थानीय डेटासेट के बारे में जानकारी को कच्चे डेटा बिंदुओं के बजाय संभाव्यता मापों (inductive bias) के माध्यम से स्थानांतरित किया जा सकता है। क्लाइंट $k$ का गिब्स माप क्लाइंट $1 $से$ k$ तक के डेटा के लिए एक पर्याप्त सांख्यिकी (sufficient statistic) के रूप में कार्य करता है।
बंद-रूप लक्षण वर्णन (Closed-Form Characterization): लेखक विकेंद्रीकृत गिब्स माप के लिए एक बंद-रूप व्यंजक प्राप्त करते हैं, जो यह दिखाता है कि यह प्रारंभिक संदर्भ $Q_1$ के पड़ोस में समग्र डेटासेट के अनुभवजन्य जोखिम को न्यूनतम करता है।
अनुकूलन व्याख्या (Optimization Interpretation): विकेंद्रीकृत प्रक्रिया को प्रारंभिक प्रायर $Q_1$ के सापेक्ष KL-डाइवर्जेंस बाधा के अधीन वैश्विक अनुभवजन्य जोखिम को न्यूनतम करने के समतुल्य समस्या को हल करने के रूप में दिखाया गया है।

4. मुख्य परिणाम (Main Results)

Theorem 3: गिब्स मापों की पुनरावर्ती संरचना (recursive structure) स्थापित करता है। यह दिखाता है कि प्रारंभिक प्रायर $Q_1$ के सापेक्ष $k$ -वें क्लाइंट के माप का रेडोन-निकोडिम अवकलज (Radon-Nikodym derivative), सभी पिछले क्लाइंट्स की हानियों के योग के घातांक के समानुपाती है।
Theorem 5 (केंद्रीकृत गारंटी): इस शर्त के तहत कि सभी क्लाइंट एक ही लॉस फंक्शन का उपयोग करते हैं और $\lambda_k$ के नियमितीकरण कारकों को स्थानीय बनाम कुल डेटासेट के अनुपात ( $\lambda_k \propto 1/n_k$ ) द्वारा स्केल किया जाता है, विकेंद्रीकृत सेटिंग में प्राप्त अंतिम माप $P_K$ , संयुक्त डेटासेट $\mathbf{z}_0$ से प्राप्त केंद्रीकृत माप $P_{centralized}$ के गणितीय रूप से समान है।
$P_K(\theta | \mathbf{z}_K) = P_{centralized}(\theta | \mathbf{z}_0)$
Corollary 4: पुष्टि करता है कि नेस्टेड संदर्भ का उपयोग करने वाले स्थानीय ERM-RER समस्या का समाधान, प्रारंभिक संदर्भ $Q_1$ के सापेक्ष वैश्विक ERM-RER समस्या के अद्वितीय मिनिमाइज़र (minimizer) के रूप में कार्य करता है।

5. महत्व और निहितार्थ (Significance and Implications)

प्रतिमान परिवर्तन (Paradigm Shift): यह कार्य सहयोग की रणनीति को "डेटा साझा करने" से बदलकर "इंडक्टिव बायस (inductive bias) साझा करने" में बदल देता है। यह सिद्ध करता है कि एक डेटासेट में निहित "ज्ञान" को बाद के शिक्षण चरणों के लिए एक गिब्स माप में पूरी तरह से समाहित किया जा सकता है।
गोपनीयता संरक्षण (Privacy Preservation): चूंकि क्लाइंट कच्चे डेटा बिंदुओं के बजाय संभाव्यता मापों (एल्गोरिदम) का आदान-प्रदान करते हैं, इसलिए यह दृष्टिकोण उस फेडरेटेड लर्निंग की तुलना में गोपनीयता का उच्च स्तर प्रदान करता है जहाँ ग्रेडिएंट या मॉडल वेट्स से जानकारी लीक होने की संभावना होती है।
प्रदर्शन गारंटी (Performance Guarantees): कई विकेंद्रीकृत एल्गोरिदम के विपरीत जो अभिसरण सीमाएं (convergence bounds) या अनुमानित समाधान प्रदान करते हैं, यह दृष्टिकोण केंद्रीकृत बेंचमार्क के समान सटीक प्रदर्शन गारंटी प्रदान करता है।
व्यावहारिक चुनौतियाँ (Practical Challenges): लेखक सीमाओं को स्वीकार करते हैं, विशेष रूप से:
- सीमित-दर संचार (Finite-Rate Communication): एक पूर्ण संभाव्यता माप (जिसका समर्थन अनंत हो सकता है या उच्च आयामी हो सकता है) को प्रसारित करना कठिन है। शोध पत्र नोट करता है कि क्वांटाइजेशन या संपीड़न के कारण होने वाले विरूपण (distortions) एक खुला प्रश्न है।
- सपोर्ट का आकार (Support Size): यदि गिब्स मापों का सपोर्ट बड़ा है, तो संचार लागत कच्चे डेटासेट को प्रसारित करने के समान हो सकती है, हालांकि गोपनीयता लाभ बने रहते हैं।

निष्कर्ष (Conclusion)

यह शोध पत्र एक कठोर सैद्धांतिक आधार प्रदान करता है जो यह दर्शाता है कि नेस्टेड संदर्भ माप संरचना के साथ गिब्स एल्गोरिदम का उपयोग करके विकेंद्रीकृत लर्निंग केंद्रीकृत प्रदर्शन प्राप्त कर सकती है। $\lambda_k$ के नियमितीकरण कारकों को सावधानीपूर्वक स्केल करके और परिणामी गिब्स मापों को क्लाइंट्स के बीच पारित करके, सिस्टम प्रभावी रूप से कच्चे डेटा को उजागर किए बिना सभी स्थानीय डेटासेट के अनुभवजन्य जोखिम को एकत्रित करता है। यह गोपनीयता-संरक्षित, उच्च-प्रदर्शन वितरित शिक्षण के लिए नए मार्ग खोलता है।