Consensus among Learning Agents: A Multi-AgentReinforcement Learning Framework withGame-Theoretic Incentives

तकनीकी सारांश: शिक्षण एजेंटों के बीच आम सहमति (Consensus among Learning Agents)

समस्या विवरण (Problem Statement)
पारंपरिक ब्लॉकचेन सर्वसम्मति प्रोटोकॉल (जैसे Proof of Work, Byzantine Fault Tolerant वेरिएंट्स) स्थिर प्रतिभागी मॉडलों के इर्द-गिर्द डिज़ाइन किए गए हैं जहाँ एजेंट निश्चित नियमों या पूर्व-निर्धारित भूमिकाओं का पालन करते हैं। ये प्रोटोकॉल एक अपेक्षाकृत स्थिर वातावरण और सीमित रणनीति स्पेस (strategy spaces) को मानते हैं। हालाँकि, जैसे-जैसे स्वायत्त एजेंट (autonomous agents), जो लर्निंग मॉडल्स द्वारा संचालित होते हैं, विकेंद्रीकृत सेटिंग्स में काम करना शुरू करते हैं, उनकी नीतियां संचालन के दौरान बदलती (drift) रहती हैं। यह गैर-स्थिरता (non-stationarity) मौजूदा स्थिर प्रोटोकॉल की साम्य धारणाओं (equilibrium assumptions) का उल्लंघन करती है, जिससे एक "अनुकूलनता अंतराल" (adaptivity gap) उत्पन्न होता है जहाँ नियंत्रक (controllers) एजेंटों की रणनीतियों के समान समय-सीमा पर समायोजन नहीं कर पाते, जिससे अस्थिरता या प्रोत्साहन अनुकूलता (incentive compatibility) बनाए रखने में विफलता हो सकती है।

कार्यप्रणाली (Methodology)
यह शोध पत्र एक ढांचे का प्रस्ताव करता है जो स्वार्थी शिक्षण एजेंटों के बीच विकेंद्रीकृत सर्वसम्मति को एक मार्कोव गेम (Markov game) के रूप में मॉडल करता है। इस सिस्टम को 100 नोड्स तक का समर्थन करने वाले एक सिमुलेशन वातावरण के रूप में कार्यान्वित किया गया है, जिसमें निम्नलिखित मुख्य घटक शामिल हैं:

1. स्वतंत्र शिक्षण एजेंट (Independent Learning Agents): प्रत्येक नोड एक स्वायत्त एजेंट के रूप में कार्य करता है जिसे इंडिपेंडेंट प्रॉक्सिमल पॉलिसी ऑप्टिमाइज़ेशन (PPO) का उपयोग करके प्रशिक्षित किया गया है। एजेंट तीन असतत क्रियाओं (discrete actions) के बीच चयन करने के लिए नीतियां सीखते हैं: प्रस्ताव (Propose), सत्यापन (Validate), या प्रतीक्षा (Wait)। यह ढांचा निष्पादन के दौरान केंद्रीकृत क्रिटिक्स (centralized critics) से बचकर विकेंद्रीकरण को प्राथमिकता देता है, हालांकि यह इसके परिणामस्वरूप होने वाली गैर-स्थिरता की चुनौती को स्वीकार करता है।
2. गेम-थ्योरेटिक रिवॉर्ड मैकेनिज्म (Game-Theoretic Reward Mechanism): एक पैरामीटराइज्ड रिवॉर्ड संरचना डिज़ाइन की गई है जो व्यक्तिगत प्रोत्साहनों को सिस्टम-स्तरीय उद्देश्यों (ईमानदारी और जीवंतता/liveness) के साथ संरेखित करती है।
   • भूमिका-आधारित पुरस्कार (Role-Based Rewards): चयनित प्रस्तावकों (proposers) को उच्चतम पुरस्कार प्राप्त होता है, उसके बाद स्वैच्छिक और मजबूर प्रस्तावकों का स्थान आता है। सत्यापनकर्ताओं को निष्क्रिय नोड्स की तुलना में बेहतर पुरस्कार मिलते हैं।
   • स्पैम रोकथाम (Spam Deterrence): यदि बहुत अधिक नोड्स एक साथ प्रस्ताव देते हैं (भीड़ की सीमा $\lfloor n/3 \rfloor$ से अधिक), तो स्वैच्छिक प्रस्तावकों को दंड का सामना करना पड़ता है, जबकि मजबूर प्रस्तावकों (जीवंतता सुनिश्चित करने के लिए नामित) को कम दंड मिलता है।
   • प्रस्तावक चयन (Proposer Selection): यह एक इतिहास-भारित संभाव्यता फलन (history-weighted probability function) का उपयोग करता है जो संचयी पुरस्कारों, निष्क्रियता गणनाओं और मजबूर-प्रस्तावक फ्लैग्स पर विचार करता है, जिससे यह सुनिश्चित होता है कि कोई भी नोड स्थायी रूप से बहिष्कृत या लाभान्वित न हो।
3. अनुकूली पैरामीटर नियंत्रण (Adaptive Parameter Control): एक ऑनलाइन नियंत्रक सिस्टम मेट्रिक्स (थ्रूपुट, फोर्क दर, सफलता दर) की निगरानी करता है और वास्तविक समय में प्रोत्साहन मापदंडों (आधार पुरस्कार, दंड, निष्क्रियता सीमा) को समायोजित करता है। यह स्थिर प्रोटोकॉल के ऑफलाइन-ट्यून किए गए स्थिरांकों (constants) को प्रतिस्थापित करता है।
4. सहायक मॉड्यूल (Auxiliary Modules): इस ढांचे में वैकल्पिक घटक शामिल हैं: एक टोकन-इकोनॉमी मॉड्यूल (बाह्य लेनदेन भार उत्पन्न करने के लिए) और एक लैंग्वेज-मॉडल (LLM) स्टेट एनकोडर (सिमेंटिक एम्बेडिंग्स के साथ अवस्था अवलोकनों को समृद्ध करना)। इन्हें परीक्षण के लिए परिकल्पनाओं के रूप में माना जाता है न कि आवश्यक मुख्य घटकों के रूप में।

मुख्य योगदान (Key Contributions)

• औपचारिकीकरण (Formalization): शिक्षण एजेंटों के बीच सर्वसम्मति को एक मार्कोव गेम के रूप में प्रस्तुत करता है जिसमें एक प्रोत्साहन-अनुकूल रिवॉर्ड मैकेनिज्म है, जिसे गतिशील स्थितियों के तहत ईमानदार व्यवहार को एक साम्य रणनीति (equilibrium strategy) बनाने के लिए डिज़ाइन किया गया है।
• अनुकूली नियंत्रण (Adaptive Control): प्रदर्शन फीडबैक के आधार पर सर्वसम्मति प्रोत्साहनों को ऑनलाइन ट्यून करने के लिए एक तंत्र पेश करता है, जिससे सिस्टम को गैर-स्थिर एजेंट व्यवहार को ट्रैक करने में मदद मिलती है।
• सैद्धांतिक विश्लेषण (Theoretical Analysis): निरंतर अवस्था स्थान (continuous state space) के लिए मूल 'प्रोबेबिलिटी-वन कन्वर्जेंस' के दावे को बदलकर एक $\epsilon$-एप्रोक्सिमेट नैश इक्विलिब्रियम अस्तित्व परिणाम प्रदान करता है, जो गैर-स्थिर वातावरण में इंडिपेंडेंट PPO की सीमाओं को स्वीकार करता है।
• अनुभवजन्य मूल्यांकन (Empirical Evaluation): पांच शोध प्रश्नों पर एक व्यापक मूल्यांकन प्रदान करता है, जिसमें सहायक घटकों पर एब्लेशन अध्ययन (ablation studies) और प्रतिकूल परिस्थितियों के तहत सिस्टम क्षरण का विश्लेषण शामिल है।

परिणाम (Results)
इस ढांचे का मूल्यांकन 5 से 100 नोड्स के नेटवर्क पर 50% तक प्रतिकूल प्रतिभागियों के साथ किया गया। मुख्य निष्कर्षों में शामिल हैं:

• अभिसरण और प्रदर्शन (Convergence and Performance): नीतियां तेजी से अभिसरित होती हैं। सिस्टम उच्च सर्वसम्मति सफलता दर (जैसे, $n=20$ के लिए ~0.92) और अभिसरण के बाद न्यायसंगत पुरस्कार वितरण प्राप्त करता है।
• आक्रामक सहनशीलता (Adversarial Tolerance): सिस्टम प्रोटोकॉल की $\lfloor n/3 \rfloor$ भीड़ सीमा के अनुरूप प्रतिकूल व्यवहार को सहन करता है।
• नकारात्मक निष्कर्ष (एब्लेशन अध्ययन) (Negative Findings - Ablation Studies):
  • LLM स्टेट एनकोडर: संख्यात्मक बेसलाइन की तुलना में कोई मापने योग्य लाभ प्रदान नहीं किया, जबकि प्रशिक्षण लागत को काफी बढ़ा दिया।
  • टोकन-इकोनॉमी मॉड्यूल: इसके स्पष्ट लाभ टोकन एजेंटों के निर्णय तर्क के बजाय बाह्य ट्रांजैक्शन-पूल इंजेक्शन द्वारा पूरी तरह से स्पष्ट किए गए थे।
  • अनुकूली नियंत्रक (Adaptive Controller): जब कैलिब्रेटेड फिक्स्ड बेसलाइन्स के विरुद्ध मूल्यांकन किया गया, तो ऑनलाइन अनुकूली नियंत्रक ने स्थिर-अवस्था प्रदर्शन या मजबूती में सुधार नहीं किया। इसका एकमात्र निरंतर लाभ एक सरल रिवॉर्ड-एनिलिंग शेड्यूल (reward-annealing schedule) के समान था।
• विफलता का विखंडन (Decomposition of Failure): अध्ययन प्रकट करता है कि केवल सफलता दर का विश्लेषण करने से क्षरण मोड (degradation modes) छिप जाते हैं; मेट्रिक्स को फाइनैलिटी लेटेंसी, जीवंतता (liveness), और फोर्क-रिज़ॉल्यूशन समय में विभाजित करने से सिस्टम स्वास्थ्य का अधिक सटीक दृश्य मिलता है।

महत्व और दावे (Significance and Claims)
यह शोध पत्र खुद को स्थिर, कम-नोड-संख्या वाले परिवेशों के लिए अनुमत (permissioned) BFT प्रोटोकॉल के विकल्प के रूप में नहीं, बल्कि गतिशील वातावरण में अनुकूलनता अंतराल (adaptivity gap) के समाधान के रूप में प्रस्तुत करता है जहाँ एजेंट रणनीतियाँ विकसित होती हैं। लेखक स्पष्ट रूप से यह दावा करने से बचते हैं कि गतिशील समायोजन स्वाभाविक रूप से अच्छी तरह से कैलिब्रेटेड स्थिर डिजाइनों से बेहतर है; इसके बजाय, वे प्रोत्साहन मापदंडों की अनुकूलता को एक अनुभवजन्य प्रश्न के रूप में देखते हैं। यह कार्य प्रदर्शित करता है कि जबकि इंडिपेंडेंट PPO गतिशील एजेंटों के बीच सर्वसम्मति प्राप्त कर सकता है, सैद्धांतिक गारंटी $\epsilon$-एप्रोक्सिमेट नैश इक्विलिब्रियम तक सीमित है, और जटिल अनुकूली नियंत्रकों या सहायक सिमेंटिक एनकोडर्स के व्यावहारिक लाभ सरल बेसलाइन्स की तुलना में नगण्य हो सकते हैं। यह ढांचा लर्निंग डायनेमिक्स और सर्वसम्मति स्थिरता के बीच परस्पर क्रिया का अध्ययन करने के लिए एक सिमुलेशन वातावरण के रूप में कार्य करता है, जो गैर-स्थिरता अंतराल को कम करने के लिए सेंट्रलाइज्ड-क्रिटिक वेरिएंट्स (जैसे MAPPO) को भविष्य के कार्य के लिए एक आवश्यक दिशा के रूप में पहचानता है।