← नवीनतम पेपर
🤖 machine learning

WHERE to Generate Matters: Budget-Aware Synthetic Augmentation for Label Skewed Federated Learning

यह शोध पत्र FedEAS का प्रस्ताव करता है, जो लेबल-झुकाव वाले फेडरेटेड लर्निंग के लिए एक बजट-जागरूक सिंथेटिक ऑग्मेंटेशन पॉलिसी है, जो पूर्ण क्लास बैलेंसिंग के अधिकांश सटीकता लाभों को प्राप्त करते हुए कम्प्यूटेशनल लागत को महत्वपूर्ण रूप से कम करने के लिए स्थानीय लेबल वितरण के आधार पर प्रति-क्लाइंट जनरेशन बजट को गतिशील रूप से आवंटित करता है।

मूल लेखक: Sangwoo Lee, Sunghwan Park, Jaewoo Lee

प्रकाशित 2026-07-09
📖 5 मिनट में पढ़ें🧠 गहराई से पढ़ें
CC BY 4.0

मूल लेखक: Sangwoo Lee, Sunghwan Park, Jaewoo Lee

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

कल्पना कीजिए कि दोस्तों का एक समूह अलग-अलग प्रकार के जानवरों को पहचानना सीखने की कोशिश कर रहा है, और वे अपने स्वयं के पिछवाड़े (backyards) में देखी गई चीज़ों को साझा कर रहे हैं। यह फेडरेटेड लर्निंग (Federated Learning) है: हर कोई स्थानीय स्तर पर सीखता है, फिर वे एक स्मार्ट, वैश्विक मस्तिष्क बनाने के लिए अपने "सबक" साझा करते हैं।

हालाँकि, एक समस्या है: लेबल स्क्यू (Label Skew)।

  • एलिस एक फार्म में रहती है जहाँ उसने 1,000 गायें देखी हैं लेकिन शून्य जेब्रा देखी हैं।
  • बॉब एक चिड़ियाघर में रहता है जहाँ उसने 1,000 जेब्रा देखी हैं लेकिन शून्य गायें देखी हैं।
  • चार्ली के पास एक संतुलित मिश्रण है।

जब वे एक-दूसरे को सिखाने की कोशिश करते हैं, तो एलिस को लगता है कि "सब कुछ गाय है," और बॉब को लगता है कि "सब कुछ जेब्रा है।" समूह का अंतिम मस्तिष्क भ्रमित हो जाता है और खराब प्रदर्शन करता है।

पुराना तरीका: "बाल्टी भरना" (Fill the Bucket)

इसे ठीक करने के लिए, पिछले तरीकों ने फुल क्लास बैलेंसिंग (Full Class Balancing) नामक रणनीति का उपयोग किया।
कल्पना कीजिए कि एक शिक्षक एलिस से कहता है: "आपको उतनी ही जेब्रा देखने की ज़रूरत है जितनी आपने गायें देखी हैं।" इसलिए, एलिस को 1,000 नकली जेब्रा बनानी (या कल्पना करनी) पड़ती है।

  • समस्या: यह अविश्वसनीय रूप से महंगा है। बहुत सारे नकली जानवर बनाने के लिए बहुत अधिक कंप्यूटर पावर और समय लगता है। यह एक चम्मच से स्विमिंग पूल भरने की तरह है; आप केवल संख्याओं को पूरी तरह से मिलाने के लिए उन जानवरों पर बहुत अधिक प्रयास बर्बाद करते हैं जिन्हें एलिस पहले से ही अच्छी तरह जानती है।

नया तरीका: FedEAS (एक "स्मार्ट बजट" रणनीति)

यह पेपर FedEAS पेश करता है, जो एक नई नीति है जो कोई भी नकली डेटा उत्पन्न करने से पहले दो सरल प्रश्न पूछती है:

  1. इस व्यक्ति को वास्तव में कितने नकली डेटा की आवश्यकता है?
  2. वह नकली डेटा कहाँ जाना चाहिए?

"एक ही नियम सबके लिए" के बजाय, FedEAS प्रत्येक व्यक्ति को उनके पिछवाड़े के असंतुलन के आधार पर एक व्यक्तिगत बजट देता है।

उपमा: "भूखा बनाम भरा हुआ" डिनर पार्टी

इस समूह को एक डिनर पार्टी के रूप में सोचें जहाँ हर कोई एक व्यंजन लाता है।

  • एलिस (असंतुलित क्लाइंट): वह 100 प्लेट स्टेक लेकर आई है लेकिन सलाद नहीं है। वह सलाद के लिए "भूखी" है।
  • बॉब (संतुलित क्लाइंट): उसके पास स्टेक और सलाद का एक आदर्श मिश्रण है। वह "भरा हुआ" है।

पुराना तरीका (फुल बैलेंसिंग): होस्ट एलिस को 100 और सलाद पकाने के लिए कहता है ताकि वह स्टेक से मेल खा सके, और बॉब को भी केवल निष्पक्ष होने के लिए 100 सलाद पकाने के लिए कहता है। रसोई जल जाती है, और मेज अब उन अतिरिक्त 200 सलादों से ढकी होती है जिनकी वास्तव में किसी को आवश्यकता नहीं थी।

FedEAS तरीका:

  1. एंट्रॉपी की जाँच करें (द "हंगर मीटर"): सिस्टम यह जाँचता है कि एलिस की प्लेट कितनी असंतुलित है। चूंकि उसके पास लगभग कोई सलाद नहीं है, इसलिए उसका "हंगर मीटर" उच्च है। बॉब का मीटर कम है क्योंकि वह संतुलित है।
  2. बजट आवंटित करें:
    • एलिस को एक बड़ा बजट मिलता है। उसे अंतर को भरने के लिए कुछ सलाद पकाने की अनुमति है।
    • बॉब को लगभग शून्य बजट मिलता है। उसे कुछ भी पकाने की ज़रूरत नहीं है; वह पहले से ही ठीक है।
  3. केवल रिक्तियों को भरें: एलिस केवल वही विशिष्ट सलाद बनाती है जिसकी उसे कमी है। वह और अधिक स्टेक नहीं बनाती (जो उसके पास पहले से ही बहुत है)।

परिणाम: कम में अधिक करना

पेपर का दावा है कि यह "स्मार्ट बजट" दृष्टिकोण एक गेम-चेंजर है:

  • भारी बचत: FedEAS "बाल्टी भरने" वाले तरीके के लगभग समान सीखने की सफलता प्राप्त करता है, लेकिन इसमें 94% कम कंप्यूटर पावर का उपयोग होता है। यह एक स्नैक की कीमत में पूरा भोजन पाने जैसा है।
  • गति: क्योंकि यह बहुत कम डेटा उत्पन्न करता है, पूरी सीखने की प्रक्रिया 3.7 गुना तेज़ चलती है।
  • स्मार्ट आवंटन: यदि आप "स्मार्ट बजट" विधि और "यूनिफॉर्म" विधि (जहाँ सभी को समान मात्रा में नकली भोजन मिलता है) को बिल्कुल समान कुल बजट देते हैं, तो भी FedEAS जीतता है। यह नकली भोजन को ठीक वहीं रखता है जहाँ इसकी आवश्यकता होती है (गायब सलाद), जबकि यूनिफॉर्म विधि इसे उन चीजों पर बर्बाद करती है जो लोगों के पास पहले से ही हैं।

"सीक्रेट सॉस"

इसका जादुई फॉर्मूला एंट्रॉपी (Entropy) (अव्यवस्था या असंतुलन को मापने का एक गणितीय तरीका) पर निर्भर करता है।

  • यदि आपका डेटा अव्यवस्थित और असंतुलित (उच्च एंट्रॉपी) है, तो आपको बड़ा बजट मिलता है।
  • यदि आपका डेटा व्यवस्थित और संतुलित (कम एंट्रॉपी) है, तो आपको बहुत छोटा बजट मिलता है।
  • सिस्टम डेटा उत्पन्न करना बहुत पहले ही रोक देता है जब तक कि सभी पूरी तरह से संतुलित न हो जाएं, क्योंकि "अंतिम कुछ टुकड़ों" को बनाना बहुत महंगा है और उनसे ज्यादा मदद नहीं मिलती है।

सारांश

FedEAS एक ग्रुप प्रोजेक्ट के लिए स्मार्ट शॉपिंग लिस्ट की तरह है। सभी के लिए हर चीज़ की 100 इकाइयाँ खरीदने के बजाय (जो कि बर्बादी है), यह जाँचता है कि किसकी क्या कमी है, उन्हें गैप को ठीक करने के लिए पर्याप्त देता है, और वहीं रुक जाता है। यह समय बचाता है, पैसा बचाता है, और फिर भी समूह को लक्ष्य तक पहुँचा देता है।

अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?

आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।

Digest आज़माएँ →

इसी तरह के और पेपर

इस विषय के सभी पेपर देखें 🤖 cs.LG →