A Coopetitive-Compatible Data Generation Framework for Cross-silo Federated Learning
यह शोध पत्र CoCoGen का प्रस्ताव करता है, जो एक ऐसा ढांचा है जो सामाजिक कल्याण को अधिकतम करने के लिए अंतर-संगठनात्मक प्रतिस्पर्धा और सांख्यिकीय विषमता को मॉडल करके क्रॉस-सिलो फेडरेटेड लर्निंग को अनुकूलित करने हेतु जनरेटिव एआई (generative AI) और संभावित गेम थ्योरी (potential game theory) का लाभ उठाता है।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
एक शहर में प्रतिद्वंद्वी बेकरी के एक समूह की कल्पना करें। प्रत्येक बेकरी के पास अपनी गुप्त रेसिपी बुक (स्थानीय डेटा) है और वह सबसे अच्छा केक बनाना चाहती है। हालाँकि, उन्हें कानून द्वारा एक-दूसरे के साथ अपनी वास्तविक रेसिपी बुक साझा करने से मना किया गया है।
इस समस्या को हल करने के लिए, वे एक "क्रॉस-साइलो फेडरेटेड लर्निंग" (CFL) क्लब में मिलकर काम करने का निर्णय लेते हैं। अपनी रेसिपी साझा करने के बजाय, वे प्रत्येक अपनी गुप्त सामग्रियों का उपयोग करके केक का एक छोटा बैच बनाते हैं, परिणामों (केक कैसा बना) को एक केंद्रीय जज को भेजते हैं, और जज उन परिणामों को मिलाकर एक "मास्टर केक रेसिपी" बनाता है जिसे सभी उपयोग कर सकें।
समस्या: प्रतिद्वंद्विता और असमान कौशल
यह शोध पत्र इस सेटअप में दो बड़ी समस्याओं की पहचान करता है:
- प्रतिद्वंद्विता (प्रतियोगिता): भले ही वे मिलकर काम कर रहे हैं, लेकिन ये बेकरियाँ अभी भी प्रतिस्पर्धी हैं। उन्हें डर है कि यदि वे बहुत अधिक मदद करते हैं, तो वे अन्य बेकरियों के सामने अपना दबदबा खो देंगे। वे "को-पीटिटर्स" (सह-प्रतिस्पर्धी) हैं: सीखने के लिए सहयोग कर रहे हैं, लेकिन जीतने के लिए प्रतिस्पर्धा कर रहे हैं।
- असमानता (विषमता): कुछ बेकरियों के पास बहुत बड़ी, विविध रेसिपी बुक्स (बहुत सारा डेटा) हैं, जबकि कुछ के पास बहुत छोटी या अजीब रेसिपी बुक्स हैं (जैसे, केवल चॉकलेट केक, कोई फल नहीं)। यह बनाना कठिन है कि एक मास्टर रेसिपी ऐसी हो जो सभी के लिए स्वादिष्ट हो।
यदि बेकरियाँ योगदान देने से बहुत डरती हैं, या यदि उनका डेटा बहुत अलग है, तो मास्टर रेसिपी बेकार होगी। हर कोई पैसा खो देगा, और पूरा सिस्टम विफल हो जाएगा।
समाधान: CoCoGen (द "मैजिक इंग्रीडिएंट" जनरेटर)
लेखक, थान लिन्ह नगुयेन और क्वोक-वियत फाम, एक नया ढांचा प्रस्तावित करते हैं जिसे CoCoGen कहा जाता है। इसे एक स्मार्ट सिस्टम के रूप में समझें जो बेकरियों को "नकली" लेकिन यथार्थवादी अभ्यास सामग्री बनाने के लिए जेनरेटिव एआई (GenAI) का उपयोग करने में मदद करता है।
CoCoGen सरल शब्दों में इस प्रकार काम करता है:
- जादुई सामग्री (GenAI): अपनी सीमित वास्तविक रेसिपी का उपयोग करने के बजाय, बेकरियाँ अतिरिक्त "अभ्यास आटा" (practice dough) बनाने के लिए एआई का उपयोग करती हैं। यह उन बेकरियों की मदद करता जिनके पास छोटी या अजीब रेसिपी बुक्स हैं ताकि वे दूसरों के बराबर आ सकें। यह कमियों को भर देता है ताकि मास्टर रेसिपी को ठीक से बनाया जा सके।
- लेन-देन का खेल (गेम थ्योरी): लेखकों ने महसूस किया कि क्योंकि बेकरियाँ प्रतिद्वंद्वी हैं, इसलिए उन्हें यह तय करने के लिए एक निष्पक्ष तरीका चाहिए कि कितना "अभ्यास आटा" बनाना है। उन्होंने इसे एक वेटेड पोटेंशियल गेम (Weighted Potential Game) के रूप में मॉडल किया है।
- एक सी-सॉ (झूले) की कल्पना करें। यदि एक बेकरी बहुत कम आटा बनाती है, तो सी-सॉ झुक जाता है, और मास्टर रेसिपी को नुकसान पहुँचता है। यदि वे बहुत अधिक बनाते हैं, तो वे ऊर्जा बर्बाद करते हैं।
- CoCoGen सटीक संतुलन की गणना करता है। यह प्रत्येक बेकरी को बताता है कि उन्हें कितना एआई-जनरेटेड डेटा बनाना चाहिए ताकि सभी को लाभ हो, यहाँ तक कि प्रतिद्वंद्वियों को भी।
- उचित वेतन (पेऑफ रिडिस्ट्रीब्यूशन): यह सुनिश्चित करने के लिए कि प्रतिद्वंद्वियों को अन्याय न लगे कि यदि एक बेकरी अधिक मेहनत करती है (अधिक डेटा बनाती है) तो समूह की मदद करने के लिए, सिस्टम यह सुनिश्चित करता है कि उन्हें बाद में पुरस्कारों का एक बड़ा हिस्सा मिले। यह "फ्री-राइडर" समस्या को रोकता है जहाँ कुछ लोग कोशिश करते हैं कि वे काम करने के बजाय काम से बच जाएँ।
उन्होंने क्या पाया (परिणाम)
शोधकर्ताओं ने इस विचार का परीक्षण एक डिजिटल डेटासेट का उपयोग करके किया जिसे फैशन-MNIST कहा जाता है (जो कपड़ों की तस्वीरों का एक संग्रह है, जिसका उपयोग वस्तुओं को पहचानने के लिए एआई को प्रशिक्षित करने के लिए किया जाता है)।
- जितनी अधिक प्रतिद्वंद्विता, उतना अधिक काम की आवश्यकता: उन्होंने पाया कि जब बेकरियाँ बहुत प्रतिस्पर्धी थीं (उच्च प्रतिद्वंद्विता), तो सिस्टम को चालू रखने के लिए उन्हें अधिक एआई डेटा उत्पन्न करने की आवश्यकता थी। यदि वे ऐसा नहीं करते, तो उनकी समग्र सफलता (सोशल वेलफेयर) गिर जाती।
- जितना अधिक अंतर, उतना अधिक काम की आवश्यकता: जब बेकरियों के पास बहुत अलग प्रकार का डेटा था (उच्च विषमता), तो उन्हें असंतुलन को ठीक करने के लिए अधिक एआई डेटा उत्पन्न करने की आवश्यकता थी।
- CoCoGen की जीत: अन्य तरीकों (जैसे कुछ न करना, या केवल रैंडम डेटा जेनरेट करना) की तुलना में, CoCoGen ने लगातार सबसे अच्छे परिणाम दिए। इसने मास्टर रेसिपी की गुणवत्ता बनाए रखने और यह सुनिश्चित करने में सफलता प्राप्त की कि बेकरियाँ खुश और लाभदायक बनी रहें, भले ही वे भीषण प्रतिस्पर्धी क्यों न हों।
संक्षेप में
CoCoGen एक स्मार्ट नियम पुस्तिका है जो प्रतिद्वंद्वी संगठनों को मिलकर काम करने में मदद करती है। यह डेटा की कमियों को भरने के लिए एआई का उपयोग करता है और यह सुनिश्चित करने के लिए गणित का उपयोग करता है कि सभी को उचित सौदा मिले। इस तरह, प्रतिस्पर्धी भी अपनी प्रतिस्पर्धात्मक बढ़त खोने या संसाधनों को बर्बाद करने की चिंता किए बिना एक बेहतर साझा एआई मॉडल बना सकते हैं।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।