तकनीकी सारांश: हिस्ट्री मैटर्स: हेट्रोजेनियस मल्टी-एजेंट रीइन्फोर्समेंट लर्निंग के साथ मेटा-पॉलिसी डेलीगेशन

1. समस्या का निरूपण (Problem Formulation)

यह शोध पत्र विषम (heterogeneous) मल्टी-एजेंट सिस्टम (MAS) के भीतर कार्य प्रत्यायोजन (task delegation) की चुनौती को संबोधित करता है, विशेष रूप से वे जो विभिन्न क्षमताओं, स्वामित्व संरचनाओं और परिचालन लागतों वाले AI एजेंटों (जैसे, लार्ज लैंग्वेज मॉडल्स) से बने हैं। मुख्य समस्या यह निर्धारित करना है कि किस एजेंट को एक विशिष्ट कार्य चरण को निष्पादित करना चाहिए और एजेंटों को एक-दूसरे को कार्य कैसे सौंपना चाहिए ताकि प्रभावी कार्य प्रदर्शन बनाए रखते हुए कुल निष्पादन लागत को कम किया जा सके।

लेखक इसे एक कोलेबोरेटिव मार्कोव गेम (MG) के रूप में मॉडल करते हैं जो पूर्व-प्रशिक्षित कार्य नीतियों ($\mu_i$) की एक परत पर आधारित है। मौजूदा दृष्टिकोणों के विपरीत, जो सेंट्रलाइज्ड राउटर या स्टैटिक मॉडल कैस्केड पर निर्भर करते हैं, यह कार्य प्रत्यायोजन (delegation) को एक स्पष्ट, अनुक्रमिक निर्णय लेने वाली परत के रूप में मानता है जहाँ एजेंट निष्पादन करने, प्रतिनिधि बनाने (delegate करने), या निष्क्रिय रहने का विकल्प चुनते हैं। सिस्टम को तीन विशिष्ट संरचनात्मक बाधाओं के माध्यम से नेविगेट करना होगा:

1. प्रबंधन बाधाएं (Management Constraints): पदानुक्रमित (hierarchical), एकतरफा नियंत्रण जहाँ वरिष्ठ अपने अधीनस्थों को प्रत्यायोजन करने का आदेश दे सकते हैं।
2. प्रत्यायोजन बाधाएं (Delegation Constraints): एक सामान्य निर्देशित ग्राफ (directed graph) जो किसी भी एजेंट को किसी भी अन्य एजेंट को कार्य सौंपने की अनुमति देता है, जिससे सख्त पदानुक्रम समाप्त हो जाता है।
3. धन व्यापार (Money Trading): एक तंत्र जहाँ एजेंट आंतरिक रूप से हस्तांतरणीय मुद्रा के माध्यम से साथियों को महंगी प्रत्यायोजित कार्यों को स्वीकार करने के लिए प्रोत्साहित करते हैं।

एक महत्वपूर्ण सैद्धांतिक अंतराल की पहचान की गई है कि पारंपरिक मल्टी-एजेंट रीइन्फोर्समेंट लर्निंग (MARL) जो पूर्णतः दृश्यमान (fully observable) वातावरण में होता है, अक्सर नीतियों को केवल वर्तमान स्थिति (मार्कोव पॉलिसियों) तक सीमित रखता है। पेपर का तर्क है कि इतिहास-निर्भर नीतियां (history-dependent policies)—जो पिछले संयुक्त कार्यों और अंतःक्रियाओं पर आधारित होती हैं—पारस्परिकता, विश्वास और अंतर-कालिक प्रोत्साहन (intertemporal incentives) का समर्थन करने के लिए आवश्यक हैं, भले ही वातावरण की स्थिति पूर्णतः दृश्यमान हो।

2. कार्यप्रणाली (Methodology)

2.1. सहयोग के ढांचे (Frameworks for Collaboration)

पेपर प्रत्यायोजन को सुगम बनाने के लिए दो नवीन ढांचे प्रस्तावित करता है:

A. इतिहास-निर्भर नीति निरूपण (History-Dependent Policy Formulation)
मानक मार्कोव नीतियों $\pi(s)$ के बजाय, लेखक $\pi(h_t)$ पर आधारित नीतियां परिभाषित करते हैं जो सार्वजनिक इतिहास $h_t = (x_1, a_1, \dots, x_t)$ पर निर्भर करती हैं, जिसमें पिछले संयुक्त कार्य भी शामिल हैं।

• प्रेरणा: दो-चरणीय गेम उदाहरण में, लेखक प्रदर्शित करते हैं कि इतिहास-निर्भर नीतियां एक उच्च रिटर्न वाले नैश इक्विलिब्रियम (Nash equilibrium) को प्राप्त कर सकती हैं (उदाहरण के लिए, एजेंट A शुरू में एक लागत वहन करता है, और एजेंट B बाद में पारस्परिकता दिखाता है), जो मार्कोव प्रतिबंधों के तहत असंभव है।
• एल्गोरिदम: विशिष्ट एजेंटों के पक्ष में रहने वाले नियतात्मक (deterministic), सबगेम-परफेक्ट नैश इक्विलिब्रिया खोजने के लिए एक टू-स्टेप नैश वैल्यू इटरेशन एल्गोरिदम विकसित किया गया है। इसे इंडक्शन के माध्यम से $n$-स्टेप गेम्स तक विस्तारित किया गया है।

B. वर्चुअल मनी-ट्रांसफर तंत्र (Virtual Money-Transfer Mechanism)
इतिहास-निर्भर नीतियों को जटिल सामाजिक मानदंडों पर निर्भर किए बिना MARL में व्यावहारिक बनाने के लिए, लेखक एक हस्तांतरणीय धन प्रणाली पेश करते हैं।

• स्टेट ऑग्मेंटेशन (State Augmentation): प्रत्येक एजेंट की स्थिति को एक धन संतुलन $w_i$ के साथ बढ़ाया जाता है, जिससे $\tilde{s}_i = (s, w_i)$ बनता है।
• चिंताओं का पृथक्करण (Separation of Concerns): "धन" पर्यावरणीय पुरस्कार से अलग है। धन एक आंतरिक बहीखाता के रूप में कार्य करता है जो पिछली अंतःक्रियाओं को रिकॉर्ड करता है और प्रत्यायोजन को सुगम बनाता है, जबकि उद्देश्य पर्यावरणीय पुरस्कारों को अधिकतम करना बना रहता है।
• तंत्र: एजेंट भौतिक क्रियाएं और धन हस्तांतरण क्रियाएं ($p_{ij}$) चुनते हैं। हस्तांतरण एजेंट के वर्तमान बैलेंस द्वारा सीमित होते हैं। यदि किसी एजेंट के पास फंड की कमी है, तो वांछित संयुक्त क्रिया अव्यवहार्य (infeasible) हो जाती है। यह एक बजट-बाधित वातावरण बनाता है जो स्वाभाविक रूप से समय के साथ सहकारी व्यवहार को प्रोत्साहित करता है।

2.2. प्रयोगात्मक सेटअप (Experimental Setup)

लेखक अपने दृष्टिकोण को "फ्रोजन सॉल्वर स्टैक" के साथ GSM8K (ग्रेड-स्कूल गणित शब्द समस्याओं) बेंचमार्क का उपयोग करके मान्य करते हैं:

• एजेंट्स: विभिन्न लागतों और क्षमताओं वाले तीन हेट्रोजेनियस LLM सॉल्वर:
  • सॉल्वर A: Nemotron 3 Ultra (उच्च क्षमता, उच्च लागत)।
  • सॉल्वर B: Llama 3.2 3B (मध्यम क्षमता, मध्यम लागत)।
  • सॉल्वर C: Llama 3.2 1B (कम क्षमता, कम लागत)।
• प्रशिक्षण: एक सेंट्रलाइज्ड DQN कोऑर्डिनेटर को डेलीगेशन प्रबंधित करने के लिए प्रशिक्षित किया जाता है, जबकि सॉल्वर फ्रीज (frozen) रहते हैं। सिस्टम प्रशिक्षण के दौरान API लागत भिन्नता को समाप्त करने और पुनरुत्पादकता सुनिश्चित करने के लिए उत्तरों के ऑफलाइन कैशिंग का उपयोग करता है।
• बेसलाइन्स (Baselines): तुलना "Always-Ultra" बेसलाइन (सभी कार्यों को सबसे सक्षम एजेंट को भेजना) और "मैनेजमेंट" बेसलाइन (पदानुक्रमित डेलीगेशन) के विरुद्ध की जाती है।

3. प्रमुख योगदान (Key Contributions)

1. एक अनुक्रमिक निर्णय समस्या के रूप में प्रत्यायोजन: यह कार्य प्रत्यायोजन को एक स्थिर रूटिंग नियम के रूप में नहीं, बल्कि एक अनुक्रमिक मल्टी-एजेंट निर्णय समस्या के रूप में रूपित करता है जहाँ विभिन्न पूर्व-प्रशिक्षित क्षमताओं वाले एजेंट गतिशील रूप से निष्पादन या प्रत्यायोजन पथ चुनते हैं।
2. इतिहास-निर्भर नीति सिद्धांत: पेपर पूर्णतः दृश्यमान वातावरण के लिए एक इतिहास-निर्भर नीति निरूपण पेश करता है और इसे सैद्धांतिक रूप से मान्य करता है। यह प्रदर्शित करता है कि पिछले संयुक्त कार्यों पर आधारित होना मानक मार्कोव नीतियों की तुलना में उच्च रिटर्न वाले पारस्परिक इक्विलिब्रिया का समर्थन कर सकता है।
3. वर्चुअल मनी फ्रेमवर्क: एक व्यावहारिक तंत्र प्रस्तावित किया गया है जहाँ एक हस्तांतरणीय, बजट-बाधित धन संतुलन अंतःक्रिया इतिहास के एक संक्षिप्त सारांश के रूप में कार्य करता है। यह एजेंटों को प्राथमिक पर्यावरणीय पुरस्कार फलन को बदले बिना सहयोग और प्रत्यायोजन को प्रोत्साहित करने की अनुमति देता है।
4. अनुभवजन्य सत्यापन (Empirical Validation): अध्ययन संख्यात्मक साक्ष्य प्रदान करता है कि सीखे गए डेलीगेशन नीतियां लागत-दक्षता और रिटर्न के मामले में स्टैटिक बेसलाइन्स से काफी बेहतर प्रदर्शन करती हैं।

4. परिणाम (Results)

4.1. प्रबंधन बाधाएं (पदानुक्रमित) (Management Constraints - Hierarchical)

पदानुक्रमित सेटिंग (A $\to$ B $\to$ C) में:

• प्रदर्शन: MARL-सीखे गए कोऑर्डिनेटर ने "Always-Ultra" बेसलाइन के 23.90 की तुलना में 27.56 का रिटर्न प्राप्त किया।
• लागत: सीखी गई नीति ने प्रति-एपिसोड लागत को **$0.033** (लगभग 1000 एपिसोड में$31.1 संचयी) तक कम कर दिया, जबकि बेसलाइन के लिए यह **$0.063** (लगभग$60.8 संचयी) थी।
• सटीकता: सीखी गई नीति ने उच्च सटीकता (0.982) बनाए रखी, जबकि बेसलाइन की सटीकता 0.971 थी।
• व्यवहार: नीति ने मध्यम-लागत वाले सॉल्वर B पर अत्यधिक निर्भर रहने के लिए सीखा, सॉल्वर A का उपयोग केवल आवश्यकता होने पर किया, और सबसे सस्ते सॉल्वर C का उपयोग बहुत कम किया।

4.2. प्रत्यायोजन बाधाएं (ग्राफ-आधारित) (Delegation Constraints - Graph-Based)

अनियंत्रित ग्राफ सेटिंग (कोई भी एजेंट किसी भी अन्य को डेलीगेट कर सकता है) में:

• प्रदर्शन: ग्राफ कोऑर्डिनेटर ने 25.20 का रिटर्न प्राप्त किया, जो "Always-Ultra" (23.31) से बेहतर था लेकिन फ्रीज्ड पदानुक्रमित नीति (28.70) से थोड़ा कम था।
• लागत: लागत गिरकर प्रति एपिसोड **$0.043** (संचयी$45.5) हो गई, जो "Always-Ultra" ($66.7) की तुलना में ~37% की कमी है।
• ट्रेड-ऑफ (Trade-off): ग्राफ नीति ने सॉल्वर C का अधिक बार उपयोग किया और कई एजेंटों को एक साथ उत्तर देने की अनुमति दी। जबकि इससे लचीलापन बढ़ा, इसके परिणामस्वरूप पदानुक्रमित नीति (0.986) की तुलना में थोड़ी कम सटीकता (0.961) हुई, जो सख्त प्रदर्शन अनुकूलन के अभाव में लागत में कमी और प्रदर्शन के बीच एक ट्रेड-ऑफ का सुझाव देती है।

4.3. मनी ट्रांसफर मैकेनिज्म (Money Transfer Mechanism)

एक सिंथेटिक दो-एजेंट अनुक्रमिक गेम में:

• धन के बिना: इंडिपेंडेंट Q-लर्निंग एजेंट सहयोग करने में विफल रहे, जिसके परिणामस्वरूप दोनों एजेंटों द्वारा "Null" (सहयोग न करना) चुनने के कारण 0 पर्यावरणीय रिटर्न मिला।
• धन के साथ: हस्तांतरणीय बैलेंस के परिचय ने एक पूर्णतः सहकारी इक्विलिब्रियम को सक्षम किया। एजेंटों ने "Yes" क्रिया को प्रोत्साहित करने के लिए धन सफलतापूर्वक स्थानांतरित किया, जिससे प्रति एपिसोड 990 का पर्यावरणीय रिटर्न प्राप्त हुआ।

5. महत्व और दावे (Significance and Claims)

पेपर का दावा है कि प्रभावी मल्टी-एजेंट सिस्टम को स्टैटिक रूटिंग और सरल स्टेट-आधारित नीतियों से आगे बढ़ना चाहिए। इतिहास-निर्भर नीतियों और वर्चुअल मनी को पेश करके, लेखक प्रदर्शित करते हैं कि एजेंट लागत-बाधित परिदृश्यों में भी समन्वय, विश्वास और संसाधनों का कुशलतापूर्वक आवंटन करना सीख सकते हैं।

इसका महत्व इस प्रकार है:

• लागत में कमी: यह प्रदर्शित करना कि सीखा गया डेलीगेशन कार्य प्रदर्शन को बनाए रखते या सुधारते हुए परिचालन लागत को लगभग आधा कर सकता है।
• सैद्धांतिक अंतर्दृष्टि: यह दिखाना कि इतिहास-निर्भरता केवल आंशिक रूप से दृश्यमान (partially observable) वातावरण के लिए नहीं है, बल्कि पूर्णतः दृश्यमान मल्टी-एजेंट सेटिंग्स में पारस्परिकता और विश्वास स्थापित करने के लिए भी महत्वपूर्ण है।
• व्यावहारिक तंत्र: एक ठोस, बजट-बाधित मनी मैकेनिज्म प्रदान करना जो जटिल बाहरी रिवॉर्ड शेपिंग की आवश्यकता के बिना सहयोग को सुगम बनाता है।

लेखक सीमाओं को स्वीकार करते हुए विनम्रतापूर्वक कहते हैं कि यह कार्य अभी तक इतिहास के आधार पर संयुक्त कार्यों की डायनेमिक प्राइसिंग को संबोधित नहीं करता है और बड़े, इतिहास-निर्भर स्पेस में नैश इक्विलिब्रिया खोजने के लिए अधिक कुशल एल्गोरिदम की आवश्यकता है।