Reputation-driven Cooperation in Lattice-based Decentralized Federated Learning through Evolutionary Game Theory

तकनीकी सारांश: इवोल्यूशनरी गेम थ्योरी के माध्यम से लैटिस-आधारित विकेंद्रीकृत फेडेरेटेड लर्निंग में प्रतिष्ठा-संचालित सहयोग

1. समस्या विवरण

विकेंद्रीकृत फेडेरेटेड लर्निंग (DFL), एकल विफलता बिंदु (single point of failure) और केंद्रीय सर्वर को समाप्त करके, केंद्रीकृत फेडेरेटेड लर्निंग (CFL) का एक गोपनीयता-संरक्षण विकल्प प्रदान करता है। हालाँकि, DFL पीयर-टू-पीयर (P2P) सहयोग पर निर्भर करता है, जो इसे अवसरवादी व्यवहारों, विशेष रूप से "फ्री-राइडिंग" (free-riding) के प्रति अत्यधिक संवेदनशील बनाता है। इस परिदृश्य में, स्वार्थी एजेंट (डिफेक्टर्स/पथभ्रष्ट) कंप्यूटेशनल और संचार लागत बचाने के लिए स्थानीय प्रशिक्षण को छोड़ देते हैं, जबकि वे सहयोगात्मक पड़ोसियों के मॉडल अपडेट से लाभ प्राप्त करना जारी रखते हैं।

मौजूदा समाधान अक्सर रणनीतिक व्यवहार को मॉडल करने के लिए इवोल्यूशनरी गेम थ्योरी (EGT) पर निर्भर करते हैं। हालाँकि, वर्तमान साहित्य में दो प्राथमिक सीमाएँ हैं:

1. पूर्ण तर्कसंगतता की धारणा (Perfect Rationality Assumption): कई मॉडल मानते हैं कि एजेंट पूरी तरह से तर्कसंगत हैं, जबकि वास्तविक दुनिया के एजेंट सीमित तर्कसंगतता (bounded rationality) प्रदर्शित करते हैं।
2. वेल-मिक्सड आबादी (Well-Mixed Populations): अधिकांश अध्ययन मानते हैं कि एजेंट यादृच्छिक रूप से समान रूप से परस्पर क्रिया करते हैं। वास्तव में, DFL नोड्स विशिष्ट स्थानिक टोपोलॉजी (जैसे, निश्चित नेटवर्क पड़ोसियों वाले एज डिवाइस) पर कार्य करते हैं, जहाँ अंतःक्रियाएं सीधे टोपोलॉजिकल पड़ोसियों तक सीमित होती हैं। यह स्थानिक बाधा सहयोगात्मक व्यवहारों के प्रसार को महत्वपूर्ण रूप से प्रभावित करती है, जो एक ऐसा कारक है जिसे अक्सर अनदेखा किया जाता है।

2. कार्यप्रणाली

लेखक फ्री-राइडिंग को संबोधित करने के लिए एक लैटिस-आधारित नेटवर्क टोपोलॉजी और एक प्रतिष्ठा तंत्र (reputation mechanism) के साथ EGT को एकीकृत करने वाला एक नवीन ढांचा प्रस्तावित करते हैं।

A. नेटवर्क टोपोलॉजी और इंटरेक्शन मॉडल

• लैटिस संरचना (Lattice Structure): सिस्टम को एक 2D आवधिक वर्गाकार लैटिस (2D periodic square lattice) पर मॉडल किया गया है जहाँ प्रत्येक नोड के ठीक चार प्रत्यक्ष पड़ोसी होते हैं।
• सीमित तर्कसंगतता (Bounded Rationality): एजेंटों को सीमित रूप से तर्कसंगत के रूप में मॉडल किया गया है, जिसका अर्थ है कि उनके पास वैश्विक जानकारी नहीं है। इसके बजाय, वे स्थानीय पेऑफ (payoffs) और अवलोकनों के आधार पर अपनी रणनीतियों को पुनरावृत्ति (iteratively) के माध्यम से समायोजित करते हैं।
• गॉसिप एवरेजिंग (Gossip Averaging): मॉडल सर्वसम्मति स्थानीय गणना और गॉसिप एवरेजिंग प्रोटोकॉल का उपयोग करके पुनरावृत्ति स्थानीय पड़ोस अंतःक्रियाओं के माध्यम से प्राप्त की जाती है।

B. इवोल्यूशनरी गेम फॉर्मूलेशन

• रणनीतियाँ (Strategies): प्रत्येक नोड $i$ एक रणनीति $S_i \in \{C, D\}$ अपनाता है, जहाँ $C$ सहयोग (स्थानीय प्रशिक्षण निष्पादित करना और अपडेट साझा करना) है और $D$ पथभ्रष्टता (प्रशिक्षण छोड़ना या पुराने वेट्स भेजना) है।
• पेऑफ मैट्रिक्स (Payoff Matrix): एक व्यापक पेऑफ मैट्रिक्स तैयार किया गया है जिसमें शामिल हैं:
  • मॉडल गुणवत्ता लाभ ($\Delta Q$): एकत्रीकरण से प्राप्त सटीकता में सुधार।
  • सिनर्जी और फ्री-राइडिंग गुणांक: $\alpha > 1$ आपसी सहयोग से होने वाले लाभ को बढ़ाता है, जबकि $0 \le \beta \le 1$ उस लाभ को मापता है जो एक डिफैक्टर बिना प्रतिफल दिए एक कोऑपरेटर से प्राप्त करता है।
  • लागत (Costs): प्रशिक्षण लागत ($T$) और संचार ओवरहेड्स ($O$)।
• रणनीति अपडेट (Fermi Rule): नोड्स फर्मी इमिटेशन नियम (Fermi imitation rule) के आधार पर रणनीतियाँ अपडेट करते हैं। एक नोड $i$ अपने संचयी पेऑफ की तुलना यादृच्छिक रूप से चुने गए पड़ोसी $j$ के साथ करता है। $j$ की रणनीति अपनाने की संभावना है:
  $$P(S_i \leftarrow S_j) = \frac{1}{1 + e^{-(P_j - P_i)/K}}$$
  जहाँ $K$ चयन तीव्रता (शोर स्तर) का प्रतिनिधित्व करता है।

C. प्रतिष्ठा-आधारित प्रोत्साहन तंत्र (Reputation-Based Incentive Mechanism)
मॉडल सटीकता ($\Delta Q$) के घटते रिटर्न (जो आमतौर पर डिफेक्शन को प्रोत्साहित करता है) का मुकाबला करने के लिए, लेखक एक गतिशील प्रतिष्ठा प्रणाली पेश करते हैं:

• प्रतिष्ठा स्कोर ($\delta$): नोड्स सहयोग करने के लिए प्रतिष्ठा अंक अर्जित करते हैं और पथभ्रष्ट होने के लिए अंक खोते हैं।
• पेऑफ समायोजन: आधारभूत पेऑफ को एक प्रतिष्ठा संशोधक ($R^+$ सहयोगियों के लिए, $R^-$ डिफेक्टर्स के लिए) द्वारा गुणा किया जाता है।
• गतिशील प्रभाव: जैसे-जैसे प्रशिक्षण आगे बढ़ता है और सीमांत सटीकता लाभ ($\Delta Q$) कम होता जाता है, संचित प्रतिष्ठा पुरस्कार सहयोगियों के लिए पेऑफ फंक्शन में प्रमुख कारक बन जाता है, जिससे यह सुनिश्चित होता है कि जब तत्काल मॉडल सुधार छोटे हों, तब भी सहयोग एक लाभदायक रणनीति बना रहे।

D. वर्कफ़्लो (Workflow)
सिस्टम डिस्क्रीट जनरेशन (discrete generations) में कार्य करता है। प्रत्येक जनरेशन के भीतर, कई प्रशिक्षण राउंड होते हैं जहाँ नोड्स अपनी वर्तमान रणनीतियों के आधार पर वेट्स का आदान-प्रदान करते हैं। राउंड के बाद, नोड्स संचयी पेऑफ की गणना करते हैं, अपनी फिटनेस को अपडेट करते हैं, और फर्मी नियम के आधार पर अगले जनरेशन के लिए अपनी रणनीतियों को संभाव्यता के साथ अपडेट करते हैं।

3. मुख्य योगदान

यह शोध पत्र तीन प्राथमिक योगदानों को रेखांकित करता है:

1. लैटिस-आधारित मॉडलिंग: लेखक सीमित तर्कसंगतता के तहत एक संरचित लैटिस नेटवर्क पर DFL में P2P अंतःक्रियाओं को स्पष्ट रूप से मॉडल करते हैं, जो सहयोगकर्ताओं के स्थानिक क्लस्टरिंग (spatial clustering) के संबंध में साहित्य के अंतर को संबोधित करता है।
2. व्यापक पेऑफ डिज़ाइन: एक नवीन पेऑफ फंक्शन तैयार किया गया है जो स्थानीय प्रशिक्षण लागत, संचार ओवरहेड्स और पारस्परिक लाभ को एकीकृत करता है, जो स्थानिक प्रसार गतिशीलता (spatial propagation dynamics) को पकड़ने वाले एक रणनीति अपडेट नियम के साथ जुड़ा हुआ है।
3. प्रतिष्ठा तंत्र: प्रतिष्ठा-आधारित पुरस्कार-और-दंड योजना का एकीकरण फ्री-राइडिंग को प्रभावी ढंग से रोकता है, यह सुनिश्चित करता है कि दीर्घकालिक सहयोग, अल्पकालिक पथभ्रष्टता की तुलना में उच्च उपयोगिता प्रदान करता है, भले ही तत्काल सटीकता लाभ कम हो रहे हों।

4. प्रयोगात्मक परिणाम

सिमुलेशन $50 \times 50$ लैटिस नेटवर्क पर 50 प्रशिक्षण राउंड के साथ आयोजित किए गए थे। प्रस्तावित ढांचे की तुलना बिना प्रतिष्ठा तंत्र वाले बेसलाइन से की गई थी।

• रणनीति विकास (Strategy Evolution):
  • बेसलाइन: प्रतिष्ठा के बिना, डिफेक्टर्स धीरे-धीरे आबादी पर हावी हो गए। जैसे-जैसे मॉडल सटीकता लाभ कम हुआ, सहयोग की लागत लाभ से अधिक हो गई, जिससे पूर्णतः डिफेक्टिव अवस्था (सहयोग की आवृत्ति 5% से नीचे गिर गई) उत्पन्न हुई।
  • प्रस्तावित: प्रतिष्ठा तंत्र के साथ, सहयोग धीरे-धीरे हावी हुआ, जो 100% आवृत्ति के करीब पहुँच गया। प्रतिष्ठा पुरस्कार ने घटते सटीकता लाभों की भरपाई की, जिससे सहकारी क्लस्टर बने रहे।
• प्रदर्शन मेट्रिक्स:
  • औसत सटीकता: लगभग 70% (बेसलाइन) से बढ़कर 82% (प्रस्तावित) हो गई।
  • सटीकता भिन्नता (Accuracy Variance): ~0.40 से घटकर 0.002 हो गई, जो यह दर्शाता है कि प्रस्तावित विधि समान अभिसरण (uniform convergence) और सिस्टम स्थिरता सुनिश्चित करती है, जबकि बेसलाइन विषम मॉडल अवस्थाओं की ओर ले जाती है।

5. महत्व और दावे

शोध पत्र का दावा है कि प्रस्तावित ढांचा फ्री-राइडिंग समस्या को हल करके बेसलाइन DFL सिस्टम की तुलना में काफी बेहतर प्रदर्शन करता है। EGT को स्थानिक लैटिस टोपोलॉजी और एक प्रतिष्ठा तंत्र के साथ जोड़कर, सिस्टम प्राप्त करता है:

• सतत सहयोग (Sustainable Cooperation): यह उस सहयोग के पतन को रोकता है जो आमतौर पर मॉडल अभिसरण के साथ होता है।
• सिस्टम स्थिरता: यह नेटवर्क में मॉडल प्रदर्शन में भिन्नता को कम करते हुए, पूरे नेटवर्क में समान अभिसरण सुनिश्चित करता है।
• मजबूती (Robustness): यह प्रदर्शित करता है कि स्थानीय नकल और प्रतिष्ठा द्वारा संचालित सहयोगकर्ताओं का स्थानिक क्लस्टरिंग, केंद्रीय प्राधिकरण के बिना उच्च-प्रदर्शन वाले DFL को बनाए रखने के लिए एक व्यवहार्य तंत्र है।

लेखक निष्कर्ष निकालते हैं कि यह दृष्टिकोण DFL में व्यवहार संबंधी गतिशीलता का विश्लेषण करने के लिए एक यथार्थवादी ढांचा प्रदान करता है, जो सैद्धांतिक गेम मॉडल और वास्तविक दुनिया के एज नेटवर्क की संरचनात्मक बाधाओं के बीच के अंतर को पाटता है। भविष्य के कार्य के रूप में जटिल टोपोलॉजी (स्केल-फ्री, स्मॉल-वर्ल्ड) तक इन निष्कर्षों का विस्तार करने और यथार्थवादी कनेक्टिविटी बाधाओं को शामिल करने का सुझाव दिया गया है।