🤖 machine learning

FAIRVAR: Fair Federated Learning via Variance Regularization

यह शोध पत्र FairGrad और FairGrad* को प्रस्तुत करता है, जो दो ग्रेडिएंट-वैरिएंस-रेगुलराइज्ड (gradient-variance-regularized) विधियाँ हैं जो हेट्रोजेनियस फेडरेटेड लर्निंग सेटिंग्स में प्रतिस्पर्धी वैश्विक मॉडल सटीकता बनाए रखते हुए क्लाइंट्स के बीच प्रदर्शन असमानताओं को प्रभावी ढंग से कम करते हैं।

मूल लेखक: Zahra Kharaghani, Ali Dadras, Tommy Löfstedt

प्रकाशित 2026-06-23

📖 6 मिनट में पढ़ें🧠 गहराई से पढ़ें

CC BY 4.0

मूल लेखक: Zahra Kharaghani, Ali Dadras, Tommy Löfstedt

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

कल्पना कीजिए कि पड़ोसियों का एक समूह एक साझा रेसिपी बुक (व्यंजन संग्रह) बनाने की कोशिश कर रहा है। प्रत्येक पड़ोसी अपने व्यंजनों के सामग्रियों और खाना पकाने के नोट्स (उनका स्थानीय डेटा) लेकर आता है ताकि योगदान दे सके। लक्ष्य एक "मास्टर रेसिपी" बनाना है जो सभी के लिए अच्छी तरह काम करे।

यह फेडरेटेड लर्निंग (FL) का मूल विचार है। हालाँकि, एक समस्या है: कुछ पड़ोसियों के पास बहुत बड़ी और विविध रसोई (बहुत सारा डेटा) है, जबकि अन्य के पास बहुत छोटी और विशिष्ट सामग्री (कम डेटा) है। कुछ पड़ोसी केवल तीखा खाना बनाते हैं, जबकि अन्य केवल मीठा व्यंजन बनाते हैं।

यदि समूह बिना सोचे-समझे सभी के नोट्स का औसत निकाल देता है, तो अंतिम मास्टर रेसिपी उन पड़ोसियों के लिए बेहतरीन हो सकती है जिनके पास बड़ी रसोई है, लेकिन उन लोगों के लिए बहुत खराब हो सकती है जिनके पास छोटी या विशिष्ट संग्रह है। "तीखा" खाना बनाने वाले पड़ोसियों के लिए रेसिपी फीकी दलिया जैसी हो सकती है, और "बेकर्स" (मीठा बनाने वालों) के लिए यह उनके ओवन को जला सकती है। यह अन्याय (unfairness) है: वैश्विक मॉडल कुछ लोगों के लिए तो अच्छा काम करता है लेकिन दूसरों के लिए विफल हो जाता है।

शोध पत्र का समाधान: "FairVar"

इस शोध पत्र के लेखक, ज़हरा खराघानी, अली दादास और टॉमी लोफ़स्टेड, इन व्यंजनों को मिलाने का एक नया तरीका प्रस्तावित करते हैं जिसे FairVar कहा जाता है। उनका लक्ष्य परफॉर्मेंस इक्विटेबल फेयरनेस (Performance Equitable Fairness) है: यह सुनिश्चित करना कि अंतिम रेसिपी हर पड़ोसी के लिए बराबर अच्छी तरह काम करे, न कि केवल औसत रूप से।

इसे करने के लिए, वे वेरिएंस रेगुलराइजेशन (Variance Regularization) की अवधारणा पेश करते हैं। "वेरिएंस" को आप इस तरह समझ सकते हैं कि पड़ोसियों के परिणामों में एक-दूसरे से कितना अंतर है। शोध पत्र सुझाव देता है कि रेसिपी को ठीक करने के दो मुख्य तरीके हैं:

1. "स्कोर वेरिएंस" दृष्टिकोण (FairLoss)

कल्पना कीजिए कि पड़ोसी मास्टर रेसिपी को चखने के बाद उसे ग्रेड दे रहे हैं।

समस्या: यदि तीखा खाना बनाने वाले पड़ोसी इसे 2/10 देते हैं और बेकर्स 9/10 देते हैं, तो औसत एक ठीक 5.5/10 होता है। लेकिन तीखा खाना बनाने वाले पड़ोसी खुश नहीं हैं।
समाधान: FairLoss विधि समूह के लक्ष्य में एक "पेनल्टी" (जुर्माना) जोड़ती है। यदि स्कोर बहुत अधिक फैले हुए हैं (उच्च वेरिएंस), तो समूह को बताया जाता है, "हे, आपको रेसिपी को इस तरह समायोजित करने की आवश्यकता है कि कम स्कोर वाले स्कोर ऊपर बढ़ें, भले ही इसके लिए उच्च स्कोर थोड़े कम हो जाएं।" यह रेसिपी को एक ऐसा मध्य मार्ग खोजने के लिए मजबूर करता है जो सभी को संतुष्ट करे।

2. "डायरेक्शन वेरिएंस" दृष्टिकोण (FairGrad) — नया सितारा

यह इस शोध पत्र का मुख्य नवाचार है। केवल अंतिम स्कोर देखने के बजाय, यह इस बात पर ध्यान देता है कि पड़ोसी रेसिपी को किस दिशा में धकेलने की कोशिश कर रहे हैं।

रूपक (Metaphor): कल्पना कीजिए कि सभी पड़ोसी एक भारी गाड़ी (मॉडल) को चलाने के लिए एक विशाल रस्सी को खींच रहे हैं।
- "बेकर्स" जोर से उत्तर (North) की ओर खींच रहे हैं।
- "तीखा खाना बनाने वाले" जोर से पूर्व (East) की ओर खींच रहे हैं।
- "औसत" रेसिपी बस उत्तर-पूर्व (North-East) की ओर खींचती है, जिससे शायद किसी के लिए भी गाड़ी बहुत दूर तक नहीं जाएगी।
समाधान: FairGrad विधि इस बात पर नज़र रखती है कि पड़ोसी कितनी अलग-अलग दिशाओं में खींच रहे हैं। यदि "पूर्व" की ओर खींचने वाले लोगों को इसलिए अनदेखा किया जा रहा है क्योंकि "उत्तर" की ओर खींचने वाले अधिक शक्तिशाली हैं, तो FairGrad रस्सी में एक "तनाव" जोड़ता है। यह कहता है, "हमें अपने खिंचाव को एक-दूसरे के अधिक करीब लाने की आवश्यकता है।" यह समूह को दंडित करता है यदि दिशाएं बहुत अधिक बिखरी हुई हों। उन्हें यह बदलने के तरीके पर अधिक सहमत होने के लिए मजबूर करके, अंतिम परिणाम अल्पसंख्यक समूहों के लिए बहुत अधिक निष्पक्ष होता है।

उन्होंने इसका परीक्षण कैसे किया

शोधकर्ताओं ने चार प्रसिद्ध डेटासेट्स (MNIST, CIFAR-10, CIFAR-100, और Tiny ImageNet) के साथ एक "डिजिटल किचन" पर इन विचारों का परीक्षण किया। उन्होंने विभिन्न स्तरों के "अराजकता" (Chaos) का अनुकरण किया:

कम अराजकता (Low Chaos): सभी के पास समान सामग्रियां हैं (Homogeneous data)।
उच्च अराजकता (High Chaos): सभी के पास पूरी तरह से अलग सामग्रियां हैं (Heterogeneous data)।

उन्होंने अपने नए तरीकों (FairGrad और FairGrad*) की तुलना पुराने तरीकों जैसे FedAvg (मानक "सबका औसत निकालो" दृष्टिकोण) और q-FFL (एक पिछला निष्पक्षता प्रयास) से की।

उन्हें क्या पता चला

जब सब समान हों: यदि सभी पड़ोसियों के पास समान रसोई है, तो ये फैंसी नए तरीके वास्तव में कुछ नहीं बदलते हैं। मानक "औसत" दृष्टिकोण ठीक काम करता है। नए तरीके कुछ भी खराब नहीं करते हैं, लेकिन उन्हें अतिरिक्त काम करने की आवश्यकता नहीं होती।
जब सब अलग हों (असली परीक्षा): यहीं पर असली जादू हुआ।
- मानक तरीके (FedAvg) एक ऐसी रेसिपी तैयार करते थे जो औसत रूप से तो अच्छी थी लेकिन उनमें बड़े अंतर थे: कुछ पड़ोसी इसे पसंद करते थे, दूसरों को इससे नफरत थी।
- Fair-Grad विधियों ने इन अंतरों को काफी कम कर दिया। उन्होंने "सबसे खराब स्थिति" वाले पड़ोसी को बहुत खुश किया बिना दूसरों के अनुभव को खराब किए।
- कई परीक्षणों में, FairGrad ने न केवल निष्पक्षता को ठीक किया; इसने समग्र रेसिपी को भी बेहतर बनाया। यह एक गुप्त सामग्री खोजने जैसा था जिसने व्यंजन को केवल बहुमत के लिए ही नहीं, बल्कि सभी के लिए स्वादिष्ट बना दिया।

FairGrad के दो संस्करण

यह शोध पत्र इस "FairGrad" विधि को चलाने के दो तरीके प्रदान करता है:

FairGrad (Approximate): यह "आलसी" लेकिन कुशल संस्करण है। पड़ोसी यह तय करने के लिए कि अब क्या करना है, इस बात को देखते हैं कि समूह ने पिछली बार क्या किया था। यह समय और संचार (पड़ोसियों के बीच बातचीत) बचाता है।
FairGrad* (Exact): यह "सटीक" संस्करण है। पड़ोसी यह देखने के लिए कि समूह अभी क्या कर रहा है, इस पर नज़र रखते हैं। इसके लिए अधिक बातचीत और धीमी गति की आवश्यकता होती है, लेकिन यह अधिक सटीक है। शोध पत्र सुझाव देता है कि इसका उपयोग तब करें जब कार्य बहुत कठिन हो या पड़ोसी बहुत भिन्न हों।

निष्कर्ष

शोध पत्र निष्कर्ष निकालता है कि एक "वेरिएंस पेनल्टी" (विशेष रूप से यह देखने पर कि पड़ोसियों की दिशाएं कितनी भिन्न हैं) जोड़कर, हम अधिक निष्पक्ष मशीन लर्निंग मॉडल बना सकते हैं। सबसे तेज़ आवाज़ों (सबसे बड़े डेटा मालिकों) को परिणाम तय करने देने के बजाय, मॉडल को शांत आवाजों को सुनने के लिए प्रेरित किया जाता है, यह सुनिश्चित करता है कि अंतिम परिणाम कमरे में मौजूद हर किसी के लिए अच्छा काम करे, चाहे उन्होंने मेज पर कितना भी डेटा लाया हो।

तकनीकी सारांश: FAIRVAR - वेरिएन्स रेगुलराइजेशन के माध्यम से फेयर फेडरेटेड लर्निंग

समस्या विवरण

फेडरेटेड लर्निंग (FL) कच्चे डेटा को साझा किए बिना कई क्लाइंट्स के बीच सहयोगात्मक मॉडल प्रशिक्षण को सक्षम बनाता है। हालांकि, डेटा विषमता (heterogeneity) अक्सर प्रदर्शन में महत्वपूर्ण असमानताओं का कारण बनती है, जहाँ ग्लोबल मॉडल औसत रूप से अच्छा प्रदर्शन करता है लेकिन विशिष्ट क्लाइंट्स के लिए खराब हो जाता है जिनके डेटा वितरण अलग हैं या सैंपल साइज कम है। यह प्रदर्शन समतापूर्ण निष्पक्षता (performance equitable fairness) की कमी—जिसे क्लाइंट्स के बीच प्रदर्शन संबंधी असमानताओं को कम करने और उच्च समग्र मॉडल प्रदर्शन बनाए रखने के रूप में परिभाषित किया गया है—एक महत्वपूर्ण चुनौती है। इस समस्या को संबोधित करने वाले मौजूदा दृष्टिकोण, जैसे लॉस-वेरिएंस रेगुलराइजेशन और $q$ -फेयर फेडरेटेड लर्निंग ( $q$ -FFL), अक्सर विषमता के तहत अपने व्यवहार के संबंध में एक ठोस सैद्धांतिक आधार की कमी रखते हैं, और यह स्पष्ट नहीं है कि कौन से तरीके व्यावहारिक सेटिंग्स में सबसे प्रभावी हैं।

कार्यप्रणाली (Methodology)

यह शोध पत्र ग्रेडिएंट-वेरिएंस रेगुलराइजेशन पर आधारित प्रदर्शन समतापूर्ण निष्पक्षता के लिए एक नया दृष्टिकोण प्रस्तावित करता है। लेखक कई मौजूदा तरीकों का विश्लेषण और तुलना करते हैं और दो प्राथमिक ऑब्जेक्टिव फंक्शन्स से प्राप्त नए एल्गोरिदम पेश करते हैं:

लॉस-वेरिएंस रेगुलराइजेशन (Loss-Variance Regularization): पूर्ववर्ती कार्यों पर आधारित, यह दृष्टिकोण क्लाइंट लॉस के वेरिएंस को दंडित (penalize) करता है:
$L_\lambda(x) = F(x) + \frac{\lambda}{2n} \sum_{i=1}^n (f_i(x) - F(x))^2$
जहाँ $F(x)$ औसत ग्लोबल लॉस है और $f_i(x)$ क्लाइंट $i$ के लिए स्थानीय लॉस है।
ग्रेडिएंट-वेरिएंस रेगुलराइजेशन (Gradient-Variance Regularization - प्रस्तावित): लेखक निष्पक्षता को बढ़ावा देने के लिए क्लाइंट ग्रेडिएंट्स के वेरिएंस को कम करने वाला एक नया ऑब्जेक्टिव पेश करते हैं:
$J_\gamma(x) = F(x) + \frac{\gamma}{2n} \sum_{i=1}^n \|\nabla f_i(x) - \nabla F(x)\|^2$
यहाँ $\nabla F(x)$ क्लाइंट्स के बीच औसत ग्रेडिएंट है।

एक फेडरेटेड सेटिंग में इन नॉन-सेपरेबल ऑब्जेक्टिव्स को हल करने के लिए, लेखक चार एल्गोरिदम प्रस्तावित करते हैं:

FairLoss और FairLoss*: लॉस-वेरिएंस ऑब्जेक्टिव ( $L_\lambda$ ) को कम करने के लिए अनुमानित (approximate) और सटीक (exact) वेरिएंट।
FairGrad और FairGrad*: ग्रेडिएंट-वेरिएंस ऑब्जेक्टिव ( $J_\gamma$ $J_{γ}$ ) को कम करने के लिए अनुमानित और सटीक वेरिएंट।
- अनुमानित वेरिएंट (FairLoss, FairGrad): संचार ओवरहेड (communication overhead) को कम करने के लिए पिछले इटरेशन की जानकारी (जैसे पिछला औसत लॉस या ग्रेडिएंट) का उपयोग करते हैं।
- सटीक वेरिएंट (FairLoss*, FairGrad*): अधिक सटीक अपडेट के लिए वर्तमान इटरेशन की जानकारी का उपयोग करते हैं, जिससे संचार लागत बढ़ जाती है।

इनकी तुलना FedAvg, Agnostic Federated Learning (AFL), $q$ -FFL, और AAggFF जैसे बेसलाइन्स से की जाती है।

सैद्धांतिक विश्लेषण (Theoretical Analysis)

यह शोध पत्र होमोजेनियस (समरूप) और हेटरोजेनियस (विषम) डेटा सेटिंग्स के तहत इन तरीकों के बीच संबंधों का सैद्धांतिक लक्षण वर्णन प्रदान करता है:

होमोजेनियस डेटा (Homogeneous Data): उन सेटिंग्स में जहाँ सभी क्लाइंट्स एक ही डेटा वितरण साझा करते हैं, रेगुलराइजेशन टर्म्स (लॉस या ग्रेडिएंट वेरिएंस) औसतन स्टेशनरी पॉइंट्स के स्थान को नहीं बदलते हैं। अतः, इष्टतम समाधान मानक FedAvg ऑब्जेक्टिव के साथ सुसंगत रहते हैं, और रेगुलराइजेशन सैद्धांतिक रूप से अनावश्यक है।
हेटरोजेनियस डेटा (Heterogeneous Data): विषमता के तहत, रेगुलराइजेशन टर्म्स ऑप्टिमाइज़ेशन लैंडस्केप को सक्रिय रूप से बदलते हैं। लेखक सिद्ध करते हैं कि यदि अनरेगुलराइज्ड ऑब्जेक्टिव के इष्टतम पर क्लाइंट लॉस या ग्रेडिएंट संरेखित (aligned) नहीं हैं, तो रेगुलराइज्ड ऑब्जेक्टिव्स ( $L_\lambda$ , $J_\gamma$ , और $H_q$ ) के अलग-अलग स्टेशनरी पॉइंट्स होंगे। विशेष रूप से, वेरिएंस रेगुलराइजेशन समाधान को औसत-लॉस इष्टतम से हटाकर एक ऐसे बिंदु की ओर ले जा सकता है जहाँ क्लाइंट्स के बीच प्रदर्शन अधिक संतुलित हो।
संबंध (Connections): यह विश्लेषण स्थापित करता है कि विशिष्ट स्थितियों के तहत $q$ -FFL (जहाँ $q=1$ ) को लॉस-वेरिएंस रेगुलराइजेशन ऑब्जेक्टिव द्वारा ऊपरी सीमा (upper-bounded) दी जा सकती है, जो इन पहले से अलग-अलग दृष्टिकोणों को जोड़ती है।

प्रयोगात्मक परिणाम (Experimental Results)

इन विधियों का मूल्यांकन चार इमेज क्लासिफिकेशन डेटासेट्स (MNIST, CIFAR-10, CIFAR-100, Tiny ImageNet) पर किया गया, जिसमें डेटा विषमता को डिरिचलेट कंसंट्रेशन पैरामीटर्स ( $\alpha \in \{0.05, 0.1, 0.5\}$ ) के माध्यम से नियंत्रित किया गया।

प्रदर्शन (Performance): प्रस्तावित वेरिएंस-रेगुलराइज्ड विधियों, विशेष रूप से FairGrad और FairGrad* ने हेटरोजेनियस सेटिंग्स में बेसलाइन्स को लगातार पीछे छोड़ दिया।
निष्पक्षता (Fairness): इन विधियों ने FedAvg, AFL, और $q$ $q$ -FFL की तुलना में क्लाइंट एक्यूरेसी के वेरिएंस (निष्पक्षता मेट्रिक) को काफी कम कर दिया।
- CIFAR-100 पर, FairGrad* ने उच्च विषमता ( $\alpha=0.05, 0.1$ ) पर सर्वश्रेष्ठ एक्यूरेसी और सबसे कम वेरिएंस प्राप्त किया।
- CIFAR-10 पर, FairGrad ने सभी विषमता स्तरों पर सबसे कम वेरिएंस और $\alpha \in \{0.1, 0.5\}$ पर उच्चतम एक्यूरेसी प्राप्त की।
- Tiny ImageNet पर, FairGrad* ने $\alpha \in \{0.05, 0.5\}$ पर सबसे कम वेरिएंस प्राप्त किया।
होमोजेनियस सेटिंग्स: MNIST (जहाँ डेटा अपेक्षाकृत होमोजेनियस है) पर, सभी विधियों ने समान प्रदर्शन किया, जहाँ रेगुलराइज्ड वेरिएंट्स ने निष्पक्षता में केवल मामूली सुधार दिखाया, जो इस सैद्धांतिक भविष्यवाणी के अनुरूप है कि होमोजेनियस सेटिंग्स में रेगुलराइजेशन कम महत्वपूर्ण है।

महत्व और दावे (Significance and Claims)

यह शोध पत्र दावा करता है कि FairGrad और FairGrad* फेडरेटेड लर्निंग में निष्पक्षता में सुधार के लिए एक सिद्धांत-आधारित और प्रभावी दृष्टिकोण का प्रतिनिधित्व करते हैं। मुख्य योगदानों में शामिल हैं:

नवीनता (Novelty): विशेष रूप से प्रदर्शन समतापूर्ण निष्पक्षता के लिए ग्रेडिएंट-वेरिएंस रेगुलराइजेशन का परिचय, जो इस संदर्भ में पहले से अन्वेषित नहीं किया गया था।
सैद्धांतिक स्पष्टता (Theoretical Clarity): एक ऐसा सैद्धांतिक ढांचा प्रदान करना जो मौजूदा निष्पक्षता विधियों (जैसे $q$ -FFL और लॉस-वेरिएंस रेगुलराइजेशन) के बीच संबंध को स्पष्ट करता है और यह भी दर्शाता है कि कैसे वेरिएंस रेगुलराइजेशन विषमता के तहत ऑप्टिमाइज़ेशन व्यवहार को बदल देता है।
प्रायोगिक सत्यापन (Empirical Validation): यह प्रदर्शित करना कि ग्रेडिएंट वेरिएंस को कम करने से समग्र मॉडल एक्यूरेसी से समझौता किए बिना क्लाइंट्स के बीच अधिक न्यायसंगत प्रदर्शन प्राप्त होता है, जो अक्सर स्टेट-ऑफ-द-आर्ट निष्पक्षता-जागरूक बेसलाइन्स से बेहतर होता है।

लेखक निष्कर्ष निकालते हैं कि जबकि होमोजेनियस सेटिंग्स में वेरिएंस-आधारित रेगुलराइजेशन सैद्धांतिक रूप से अनावश्यक है, यह वास्तविक दुनिया के FL डिप्लॉयमेंट्स में विशिष्ट विषम परिदृश्यों में निष्पक्षता प्राप्त करने के लिए एक महत्वपूर्ण तंत्र है। यह कार्य क्लाइंट प्रदर्शन को संतुलित करने के लिए ग्रेडिएंट एलाइनमेंट रेगुलराइज़र को एक मजबूत विधि के रूप में रेखांकित करता है।