🤖 machine learning

CRAFT: Conflict-Resolved Aggregation for Federated Training

यह शोध पत्र CRAFT को प्रस्तुत करता है, जो एक नवीन फेडरेटेड लर्निंग एग्रीगेशन फ्रेमवर्क है जो क्लोज्ड-फॉर्म ज्योमेट्रिक करेक्शन और लेयर-वाइज़ अडैप्टेशन के माध्यम से क्लाइंट अपडेट संघर्षों को हल करता है, जिससे वैश्विक मॉडल की सटीकता में सुधार होता है और विषम क्लाइंट्स के बीच प्रदर्शन विषमता कम होती है।

मूल लेखक: Ziqi Wang, Qiang Liu, Nils Thuerey

प्रकाशित 2026-05-21

📖 6 मिनट में पढ़ें🧠 गहराई से पढ़ें

CC BY 4.0

मूल लेखक: Ziqi Wang, Qiang Liu, Nils Thuerey

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

कल्पना कीजिए कि छात्रों का एक समूह (जिन्हें "क्लाइंट्स" कहा जाता है) मिलकर एक विषय सीखने की कोशिश कर रहा है, लेकिन वे सभी अलग-अलग कक्षाओं में हैं और अलग-अलग पाठ्यपुस्तकों और शिक्षण शैलियों का उपयोग कर रहे हैं। वे गोपनीयता नियमों के कारण अपने वास्तविक नोटबुक (निजी डेटा) साझा नहीं कर सकते। इसके बजाय, वे सप्ताह में एक बार अपने होमवर्क के उत्तर (मॉडल अपडेट) एक शिक्षक (सर्वर) को भेजते हैं। शिक्षक का काम उन सभी उत्तरों को मिलाकर एक "मास्टर गाइड" बनाना है जिसे अगले सप्ताह सभी उपयोग कर सकें।

यह फेडरेटेड लर्निंग (Federated Learning) है। समस्या क्या है? क्योंकि छात्रों की पाठ्यपुस्तकें बहुत अलग हैं, उनके होमवर्क के उत्तर अक्सर एक-दूसरे का विरोध करते हैं। यदि शिक्षक केवल सभी उत्तरों का एक साधारण औसत (average) ले लेता है, तो परिणामी "मास्टर गाइड" कुछ छात्रों की मदद कर सकती है लेकिन दूसरों को भ्रमित या नुकसान पहुँचा सकती है। यह एक मसालेदार करी की रेसिपी और एक मीठे केक की रेसिपी का औसत निकालने जैसा है; परिणाम एक अजीब, बेस्वाद मिश्रण होगा जो किसी को भी संतुष्ट नहीं करेगा।

यह पेपर इस समस्या को ठीक करने के लिए CRAFT (कॉन्फ्लिक्ट-रिज़ॉल्व्ड एग्रीगेशन फॉर फेडरेटेड ट्रेनिंग) नामक एक नई विधि पेश करता है। यह कैसे काम करता है, इसके लिए सरल उपमाओं का उपयोग किया गया है:

1. समस्या: "औसत" का जाल (The "Average" Trap)

पारंपरिक तरीकों (जैसे FedAvg) में, शिक्षक बस सभी होमवर्क को जोड़ देता है और उसे छात्रों की संख्या से विभाजित कर देता है।

समस्या: यदि छात्र A बाईं ओर मुड़ना चाहता है और छात्र B दाईं ओर मुड़ना चाहता है, तो औसत सीधा जाना होगा। लेकिन सीधा जाने से छात्र A खाई में गिर सकता है और छात्र B दलदल में जा सकता है। "औसत" दिशा अक्सर व्यक्तिगत छात्रों की विशिष्ट आवश्यकताओं के साथ संघर्ष करती है, जिससे कुछ छात्रों का प्रदर्शन खराब हो जाता है।

2. समाधान: CRAFT एक "ज्यामितीय सुधार" के रूप में (CRAFT as a "Geometric Correction")

केवल औसत निकालने के बजाय, CRAFT शिक्षक के काम को एक ज्यामितिक पहेली (geometric puzzle) के रूप में देखता है।

संदर्भ दिशा (The Reference Direction): कल्पना कीजिए कि शिक्षक के पास एक दिशा-सूचक यंत्र (compass) है जो पिछले सप्ताह की दिशा दिखा रहा था। यह "संदर्भ दिशा" है। यह अब तक की समूह की प्रगति की गति (momentum) का प्रतिनिधित्व करता है।
संघर्ष-मुक्त नियम (The Conflict-Free Rule): शिक्षक को इस सप्ताह के लिए एक नई दिशा ढूंढनी होगी जो:
1. पिछले सप्ताह की कंपास दिशा के जितना संभव हो सके करीब रहे (ताकि हम अपनी गति न खोएं)।
2. महत्वपूर्ण रूप से: ऐसी दिशा में होनी चाहिए जो प्रत्येक छात्र के होमवर्क के साथ सहमत हो। यदि कोई छात्र कहता है "मुझे उत्तर की ओर जाना है," तो नई दिशा दक्षिण की ओर नहीं होनी चाहिए। इसे हर किसी के अनुरोध के साथ एक सकारात्मक कोण (positive angle) रखना चाहिए।

3. CRAFT इसे कैसे हल करता है ("मूर-पेनरोज़" जादू के साथ)

पेपर एक गणितीय ट्रिक का वर्णन करता है (जिसे "मूर-पेनरोज़ सुधार" कहा जाता है) जो इस पहेली को तुरंत हल करता है।

उपमा: कल्पना कीजिए कि शिक्षक एक रस्सी (tightrope) पर खड़ा है (संदर्भ दिशा)। छात्र रस्सियों से शिक्षक को खींच रहे हैं, प्रत्येक अलग दिशा में जाना चाहता है।
पुराना तरीका: शिक्षक बस छोड़ देता है और औसत स्थान पर गिर जाता है।
CRAFT का तरीका: शिक्षक उस स्थान तक पहुँचने के लिए आवश्यक सबसे छोटा संभव कदम (smallest possible step) निकालता है जहाँ सभी रस्सियाँ एक सहायक दिशा में खींच रही हों, न कि एक विरोधी दिशा में। यह अपने पथ से थोड़ा सा समायोजन करने जैसा है ताकि दीवार से टकराने से बचा जा सके, बजाय इसके कि सब कुछ रोककर फिर से शुरू किया जाए।
गति: पेपर का दावा है कि यह गणना बहुत तेज़ है और इसके लिए शिक्षक को उत्तर खोजने के लिए एक धीमा, दोहराव वाला लूप चलाने की आवश्यकता नहीं है। यह एक "वन-शॉट" (one-shot) गणना है।

4. "लेयर-दर-लेयर" दृष्टिकोण (The "Layer-by-Layer" Approach)

डीप न्यूरल नेटवर्क (AI के दिमाग जिन्हें प्रशिक्षित किया जा रहा है) बहु-मंजिला इमारतों की तरह होते हैं।

समस्या: कभी-कभी, ग्राउंड फ्लोर (बुनियादी विशेषताओं) को एक दिशा में जाने की आवश्यकता होती है, जबकि टॉप फ्लोर (जटिल विशेषताओं) को दूसरी दिशा में। पूरे भवन को एक ब्लॉक के रूप में मानने से समस्याएँ हो सकती हैं।
CRAFT का समाधान: यह पहेली को इमारत के प्रत्येक "फ्लोर" (लेयर) के लिए अलग-अलग हल करता है। यह सुनिश्चित करता है कि ऊपरी मंजिल पर होने वाला संघर्ष नींव को खराब न करे, और न ही इसके विपरीत।

5. परिणाम: निष्पक्षता और सटीकता (The Results: Fairness and Accuracy)

पेपर ने अत्यधिक असमान डेटा (कुछ छात्रों के पास 100 पन्नों के नोट्स हैं, दूसरों के पास 5) वाले कई परिदृश्यों में CRAFT का परीक्षण किया।

बेहतर औसत स्कोर: समूह के रूप में वे तेज़ी से स्मार्ट हुए।
निष्पक्षता: सबसे अच्छा प्रदर्शन करने वाले छात्र और सबसे खराब प्रदर्शन करने वाले छात्र के बीच का "अंतर" काफी कम हो गया। अतीत में, "औसत" विधि अक्सर शीर्ष छात्रों की मदद करती थी जबकि संघर्ष कर रहे छात्रों को पीछे छोड़ देती थी। CRAFT यह सुनिश्चित करता है कि "मास्टर गाइड" संघर्ष कर रहे छात्रों को ऊपर उठाने में मदद करे बिना शीर्ष छात्रों को नीचे खींचे।
प्लग-एंड-प्ले (Plug-and-Play): लेखक दिखाते हैं कि CRAFT को मौजूदा सिस्टम में (यहाँ तक कि उन सिस्टमों में भी जो प्रत्येक छात्र के लिए व्यक्तिगत सीखने की कोशिश करते हैं) केवल "एवरेजिंग" स्टेप को बदलकर आसानी से शामिल किया जा सकता है, और यह तुरंत परिणामों में सुधार करता है।

सारांश

CRAFT छात्रों के होमवर्क को मिलाने का एक स्मार्ट तरीका है। केवल विरोधाभासी उत्तरों का अंधाधुंध औसत निकालने के बजाय, यह एक नया पथ खोजता है जो समूह की गति का सम्मान करता है और यह सुनिश्चित करता है कि कोई भी अकेला छात्र गलत दिशा में न धकेला जाए। यह यह सुनिश्चित करने के लिए गणित का उपयोग करता है कि सभी मिलकर आगे बढ़ें, जिसके परिणामस्वरूप सभी के लिए एक स्मार्ट, निष्पक्ष AI मॉडल प्राप्त होता है।

तकनीकी सारांश: CRAFT (कॉन्फ्लिक्ट-रिज़ॉल्व्ड एग्रीगेशन फॉर फेडरेटेड ट्रेनिंग)

1. समस्या विवरण (Problem Statement)

फेडरेटेड लर्निंग (FL) कच्चे डेटा को साझा किए बिना विकेंद्रीकृत क्लाइंट्स के बीच सहयोगात्मक मॉडल प्रशिक्षण को सक्षम बनाता है। हालाँकि, एक मौलिक बाधा डेटा विषमता (non-IID वितरण) से उत्पन्न होती है, जो विचलित स्थानीय अपडेट का कारण बनती है। पारंपरिक एकत्रीकरण विधियाँ, जैसे कि FedAvg, इन अपडेट्स का भारित औसत (weighted averages) निकालती हैं। शोध पत्र का तर्क है कि साधारण औसत लेने से एक ऐसा वैश्विक अपडेट दिशा प्राप्त हो सकती है जो वैश्विक उद्देश्य में तो सुधार करती है, लेकिन विशिष्ट क्लाइंट्स के साथ संघर्ष (conflict) करती है (अर्थात, वैश्विक अपडेट और एक क्लाइंट के स्थानीय अपडेट के बीच का आंतरिक उत्पाद/inner product ऋणात्मक होता है)। यह संघर्ष उन विशिष्ट क्लाइंट्स के लिए प्रदर्शन में गिरावट का कारण बनता है, जिससे प्रति-क्लाइंट सटीकता में उच्च असमानता और खराब निष्पक्षता (fairness) आती है, भले ही औसत वैश्विक सटीकता उच्च हो।

मौजूदा दृष्टिकोण इसे रेगुलराइजेशन (FedProx), नॉर्मलाइजेशन (FedNova), निष्पक्षता-जागरूक उद्देश्यों (AFL, q-FedAvg), या व्यक्तिगत मॉडलों के माध्यम से कम करने का प्रयास करते हैं। संघर्ष-जागरूक विधियाँ (FedFV, FedLF, ConFIG) उभरी हैं जो सीधे अपडेट की ज्यामिति (geometry) को नियंत्रित करती हैं, लेकिन वे अक्सर ह्यूristic नियमों पर निर्भर करती हैं या समाधान निर्देशित करने के लिए टेम्पोरल (temporal) जानकारी के एकीकरण का अभाव रखती हैं।

2. कार्यप्रणाली: CRAFT फ्रेमवर्क (Methodology: The CRAFT Framework)

CRAFT एकत्रीकरण की समस्या को केवल एक भारित औसत के रूप में नहीं, बल्कि एक ज्यामितीय सुधार समस्या (geometric correction problem) के रूप में पुनर्गठित करता है। मुख्य उद्देश्य एक स्थिर संदर्भ दिशा (stable reference direction) के जितना संभव हो सके करीब एक वैश्विक अपडेट वेक्टर $g$ खोजना है, जो सख्त संघर्ष-मुक्त संरेखण बाधाओं (conflict-free alignment constraints) को पूरा करता हो।

2.1 मुख्य सूत्र (Core Formulation)

एक अपडेट को शून्य-प्रायर (zero-prior) विधियों की तरह स्क्रैच से पुनर्गठित करने या मोमेंटम विधियों की तरह केवल स्मूथिंग करने के बजाय, CRAFT एक रेफरेंस-एंकरित बाधा-युक्त लीस्ट-स्क्वायर्स समस्या (reference-anchored constrained least-squares problem) को हल करता है:

$\min_{g \in \mathbb{R}^d} \frac{1}{2} \|g - \hat{g}_t\|^2 \quad \text{सर्त (s.t.)} \quad U_t g = \rho_t$

जहाँ:

$\hat{g}_t$ एक संदर्भ दिशा (reference direction) है, जिसे पिछले दौर के सामान्यीकृत वैश्विक अपडेट के रूप में परिभाषित किया गया है ( $\hat{g}_t = U(g_{t-1})$ )। पहले दौर के लिए, $\hat{g}_0 = 0$ है।
$U_t$ सक्रिय क्लाइंट्स के सामान्यीकृत स्थानीय अपडेट्स का मैट्रिक्स है ( $u_i = g_i / (\|g_i\| + \epsilon)$ )।
$\rho_t$ धनात्मक संरेखण लक्ष्य (positive alignment targets) का वेक्टर है, जो आमतौर पर क्लाइंट डेटा अनुपातों से प्राप्त होता है ( $\rho_i = |D_i| / \sum |D_j|$ )।
बाधा $U_t g = \rho_t$ यह सुनिश्चित करती है कि वैश्विक अपडेट $g$ का प्रत्येक भाग लेने वाले क्लाइंट के सामान्यीकृत अपडेट के साथ धनात्मक आंतरिक उत्पाद (positive inner product) हो, जिससे एक संघर्ष-मुक्त दिशा की गारंटी मिलती है।

2.2 क्लोज्ड-फॉर्म समाधान (Closed-Form Solution)

यह समस्या अनिर्धारित (underdetermined) है (मॉडल आयाम $d \gg$ क्लाइंट्स की संख्या $m$ )। CRAFT मूर-पेनरोज प्सूडोइनवर्स (Moore-Penrose pseudoinverse) का उपयोग करके एक क्लोज्ड-फॉर्म समाधान प्राप्त करता है, जिससे इटरेटिव सॉल्वर या क्वाड्रेटिक प्रोग्रामिंग का कम्प्यूटेशनल ओवरहेड बच जाता है। अपडेट को संदर्भ के सुधार (correction) $\Delta_t$ के रूप में परिकलित किया जाता है:

$g_t = \hat{g}_t + \Delta_t, \quad \text{जहाँ} \quad \Delta_t = U_t^\dagger (\rho_t - U_t \hat{g}_t)$

यह सूत्र सुनिश्चित करता है कि यदि संदर्भ दिशा पहले से ही बाधाओं को पूरा करती है, तो कोई सुधार लागू नहीं किया जाता है। अन्यथा, संरेखण लागू करने के लिए सबसे छोटा यूक्लिडियन सुधार जोड़ा जाता है।

2.3 लेयर-वाइज अनुकूलन (Layer-Wise Adaptation)

यह पहचानते हुए कि डीप न्यूरल नेटवर्क लेयर-विशिष्ट अनुकूलन गतिकी (जैसे, उथले लेयर्स इनपुट वितरण शिफ्ट से प्रभावित हो सकते हैं जबकि गहरे लेयर्स लेबल स्क्यू से) प्रदर्शित करते हैं, CRAFT एक लेयर-वाइज अनुकूलन लागू करता है। अनुकूलन समस्या को प्रत्येक लेयर $q$ के लिए $Q$ स्वतंत्र उप-समस्याओं में विभाजित किया जाता है, जहाँ सुधार को अलग से हल किया जाता है:
$g^q_t = \hat{g}^q_t + (U^q_t)^\dagger (\rho_t - U^q_t \hat{g}^q_t)$
यह सुनिश्चित करता है कि एक लेयर में गंभीर संघर्ष अन्य लेयर्स के उपयोगी घटकों को दबा न दें।

2.4 सैद्धांतिक गुण (Theoretical Properties)

शोध पत्र एक सैद्धांतिक विश्लेषण प्रदान करता है जो दर्शाता है कि CRAFT एक सामान्य-अवनति संरचना (common-descent structure) को बढ़ावा देता है। सभी क्लाइंट अपडेट के साथ गैर-ऋणात्मक संरेखण को लागू करके, यह विधि संघर्षों को कम करती है। लेखक मानक नॉन-कॉन्वेक्स ऑप्टिमाइज़ेशन के तहत मानक स्मूथनेस और बाउंडेड ग्रेडिएंट धारणाओं के तहत परिमित-समय अभिसरण (finite-time convergence) गारंटी स्थापित करते हैं, जो यह दर्शाता है कि यदि स्थानीय लर्निंग रेट उचित रूप से घटता है, तो अभिसरण दर $O(1/\sqrt{T})$ मानक नॉन-कॉन्वेक्स ऑप्टिमाइज़ेशन के समान है।

3. प्रमुख योगदान (Key Contributions)

समस्या का पुनर्गठन: लेखक फेडरेटेड एकत्रीकरण को केवल एक भारित औसत नियम के बजाय एक रेफरेंस-एंकरित बाधा-युक्त लीस्ट-स्क्वायर्स समस्या के रूप में पुनर्गठित करने का प्रस्ताव करते हैं। यह सीधे प्रत्येक क्लाइंट के अपडेट के साथ धनात्मक संरेखण को लागू करता है।
कुशल क्लोज्ड-फॉर्म समाधान: इटरेटिव संघर्ष-समाधान विधियों के विपरीत, CRAFT मूर-पेनरोज सुधार का उपयोग करके एक स्पष्ट समाधान प्राप्त करता है, जिससे सर्वर-साइड गणना हल्की रहती है ( $O(dm^2 + Qm^3)$ )।
मोमेंटम-जैसा संदर्भ: संदर्भ दिशा के रूप में पिछले दौर के वैश्विक अपडेट का उपयोग करना यह सुनिश्चित करता है कि CRAFT टेम्पोरल निरंतरता बनाए रखे और सैंपलिंग शोर के विरुद्ध अपडेट को स्थिर करे, जो इसे ज़ीरो वेक्टर की ओर प्रोजेक्ट करने वाली विधियों से अलग करता है।
लेयर-वाइज सूक्ष्मता: फ्रेमवर्क मॉडल लेयर्स की सूक्ष्मता पर संघर्षों को संबोधित करता है, जिससे यह डीप न्यूरल नेटवर्क के लिए उपयुक्त बनता है जहाँ वैश्विक वेक्टर बाधाएं बहुत व्यापक (coarse) हो सकती हैं।
प्लग-इन विस्तारशीलता: CRAF को एक जेनेरिक एकत्रीकरण ऑपरेटर के रूप में डिज़ाइन किया गया है जो मौजूदा पर्सनलाइज्ड FL पाइपलाइनों (जैसे, Ditto) में स्थानीय अनुकूलन तंत्र को संशोधित किए बिना भारित औसत को बदल सकता है।

4. प्रयोगात्मक परिणाम (Experimental Results)

विषम बेंचमार्क (FEMNIST, CIFAR-10, CIFAR-100) पर विभिन्न मॉडलों (MLP, CNN, ResNet-20/56/110) और क्लाइंट आबादी (1000 क्लाइंट्स तक) का उपयोग करके व्यापक प्रयोग किए गए।

वैश्विक प्रदर्शन: CRAFT ने माध्य सटीकता (mean accuracy) में अत्याधुनिक बेसलाइन्स को लगातार पछाड़ दिया। ResNet-20 के साथ CIFAR-10 पर, इसने ConFIG पर 53.5% सापेक्ष सुधार और FEMNIST पर FedAvgM पर 7.8% सुधार प्राप्त किया।
निष्पक्षता और असमानता: CRAFT ने प्रति-क्लाइंट सटीकता के मानक विचलन को काफी कम कर दिया। इसने "हेड" क्लाइंट्स की कीमत चुकाए बिना "टेल" क्लाइंट्स (सबसे खराब 10%) के प्रदर्शन में सुधार किया। उदाहरण के लिए, CIFAR-10 पर, इसने FedLF की तुलना में सबसे खराब-10% सटीकता में 221.5% का सुधार किया।
अभिसरण (Convergence): CRAFT ने तेज़ अभिसरण और उच्च अंतिम सटीकता प्रदर्शित की, विशेष रूप से गहरे नेटवर्क पर जहाँ अन्य विधियाँ अक्सर जल्दी संतृप्त (saturate) हो जाती हैं या क्लाइंट ड्रिफ्ट से प्रभावित होती हैं।
पर्सनलाइज्ड FL एकीकरण: जब इसे Ditto फ्रेमवर्क में एकीकृत किया गया, तो इसने वैनिला Ditto की तुलना में CIFAR-10 पर माध्य टेस्ट सटीकता में 19.7% और CIFAR-100 पर 98.8% का सुधार किया, जो इसके पर्सनलाइज्ड पाइपलाइनों को बढ़ाने की क्षमता को प्रदर्शित करता है।

5. महत्व और दावे (Significance and Claims)

शोध पत्र का दावा है कि CRAFT एकत्रीकरण डिजाइन पर एक नया दृष्टिकोण प्रदान करता है, जो ह्यूristic संघर्ष समाधान से बदलकर एक ज्यामितीय रूप से सिद्धांत-आधारित, बाधा-युक्त दृष्टिकोण की ओर जाता है। इसका महत्व निम्नलिखित में निहित है:

विषमता को कम करना: यह केवल उद्देश्यों को समायोजित करने या स्थानीय प्रशिक्षण को रेगुलराइज करने के बजाय, FL में निष्पक्षता के मूल कारण (संघर्षित अपडेट) को सीधे संबोधित करता है।
सटीकता और निष्पक्षता के बीच संतुलन: यह उच्च माध्य सटीकता प्राप्त करता है और साथ ही प्रदर्शन असमानता को भी कम करता है, जो एक दोहरा लक्ष्य है जिसे मौजूदा विधियों के साथ संतुष्ट करना अक्सर कठिन होता है।
व्यावहारिकता: विधि कम्प्यूटेशनल रूप से कुशल है, इसके लिए किसी अतिरिक्त संचार की आवश्यकता नहीं है, और इसे मौजूदा पर्सनलाइज्ड FL फ्रेमवर्क में आसानी से विस्तारित किया जा सकता है।

लेखक अपनी सीमाओं को स्वीकार करते हैं, यह नोट करते हुए कि वर्तमान संदर्भ दिशा एक सरल मोमेंटम-जैसी प्रायर है और संरेखण लक्ष्य डेटा अनुपातों पर आधारित हैं। वे सुझाव देते हैं कि भविष्य के कार्य प्रशिक्षण प्रगति और निष्पक्षता आवश्यकताओं के आधार पर अनुकूलन योग्य संदर्भ या लक्ष्यों का पता लगाने के लिए खोज कर सकते हैं। हालाँकि, वर्तमान कार्य CRAFT को विषम फेडरेटेड ट्रेनिंग के लिए एक मजबूत, संघर्ष-मुक्त एकत्रीकरण तंत्र के रूप में स्थापित करता है।