From Competition to Coordination: Market Making as a Scalable Framework for Safe and Aligned Multi-Agent LLM Systems

यहाँ शोध पत्र "From Competition to Coordination: Market Making as a Scalable Framework for Safe and Aligned Multi-Agent LLM Systems" का विस्तृत तकनीकी सारांश दिया गया है।

1. समस्या विवरण (Problem Statement)

मल्टी-एजेंट सिस्टम में इंटरैक्टिंग एजेंट्स के रूप में लार्ज लैंग्वेज मॉडल्स (LLMs) की तीव्र तैनाती ने विश्वसनीयता (trustworthiness), पारदर्शिता (transparency) और जवाबदेही (accountability) के संबंध में महत्वपूर्ण चुनौतियाँ पेश की हैं। मौजूदा एलाइनमेंट पद्धतियाँ मौलिक सीमाओं का सामना करती हैं:

• रिनफोर्समेंट लर्निंग फ्रॉम ह्यूमन फीडबैक (RLHF): यह रिवॉर्ड हैकिंग और इवैल्यूएटर धोखे (evaluator deception) के प्रति संवेदनशील है; यह सुपरह्यूमन रीजनिंग क्षमताओं तक स्केल करने में संघर्ष करता है।
• डिबेट-आधारित दृष्टिकोण (Debate-Based Approaches): ये मानव अधिनिर्णय (human adjudication) पर निर्भर करते हैं जो स्केल नहीं हो सकता; अक्सर ये बाइनरी जीत-हार के परिणामों में समाप्त होते हैं जो आंशिक जानकारी को छोड़ देते हैं।
• रणनीतिक छल (Strategic Deception): उन्नत मॉडल सिकोफैसी (sycophancy), व्यवस्थित असत्यता और मूल्यांकन प्रोटोकॉल को गेम करने की क्षमता प्रदर्शित करते हैं, जो मॉडल स्केल बढ़ने के साथ और भी खराब हो जाता है।

मुख्य चुनौती लेटेंट नॉलेज को इलिसिट करना (Eliciting Latent Knowledge - ELK) है: मॉडल के रणनीतिक रूप से चुने गए आउटपुट के बजाय उसके वास्तविक आंतरिक प्रतिनिधित्व (internal representations) को निकालना, बिना निरंतर मानव पर्यवेक्षण पर निर्भर रहे।

2. कार्यप्रणाली: मार्केट-मेकिंग फ्रेमवर्क (Methodology: The Market-Making Framework)

लेखक एक मार्केट-मेकिंग फ्रेमवर्क प्रस्तावित करते हैं जो एजेंट इंटरैक्शन को एडवरसेरियल डिबेट के बजाय संरचित आर्थिक आदान-प्रदान के रूप में व्यवस्थित करता है। यह सत्य-खोज (truth-seeking) को प्रोत्साहन के संतुलन (equilibrium of incentives) में बदल देता है।

मुख्य घटक:

• मार्केट मेकर ($M$): एक एजेंट जो प्रस्तावों पर "कीमतें" (संभाव्यता विश्वास/probabilistic beliefs) पोस्ट करता है। यह एक प्रारंभिक निर्णय प्रदान करता है जिसमें एक दावा, तर्क और भविष्यवाणी मान $p_0 \in [0, 1]$ शामिल होता है।
• ट्रेडर मॉडल: एक एजेंट (उसी मॉडल फैमिली का उपयोग करते हुए) जो एक मार्केट प्रतिभागी के रूप में कार्य करता है। यह ऐसे तर्क उत्पन्न करता है जिनका उद्देश्य मार्केट मेकर के प्रेडिक्शन वैल्यू को अपने स्वयं के विश्वास के आधार पर अधिकतम रूप से बदलना है।

पुनरावृत्ति प्रक्रिया (The Iterative Process):

1. आरंभीकरण (Initialization): $M$ एक प्रारंभिक भविष्यवाणी $p_0$ प्रदान करता है।
2. ट्रेडिंग चक्र (Trading Cycle): ट्रेडर $M$ के विश्वास को बदलने के लिए एक तर्क प्रस्तुत करता है। $M$ नए साक्ष्य के आधार पर अपने निर्णय और प्रेडिक्शन वैल्यू ($p_t$) को अपडेट करता है।
3. अभिसरण (Convergence): चक्र तब तक दोहराया जाता है जब तक कि:
   • अधिकतम पुनरावृत्तियों की संख्या ($N=10$) तक नहीं पहुँच जाता।
   • इक्विलिब्रियम (Equilibrium) प्राप्त नहीं हो जाता, जिसे इस रूप में परिभाषित किया गया है कि अंतिम तीन प्रेडिक्शन वैल्यूज का रेंज संतुष्ट हो: $\max\{p_{t-2}, p_{t-1}, p_t\} - \min\{p_{t-2}, p_{t-1}, p_t\} \leq T$ (जहाँ $T=0.2$ है)।
4. मूल्यांकन (Evaluation): $M$ के अभिसरित निर्णय की अंतिम सटीकता की तुलना इसके सिंगल-शॉट बेसलाइन से की जाती है।

प्रमुख डिज़ाइन सिद्धांत:

• प्रोत्साहन संरेखण (Incentive Alignment): एजेंटों को लाभदायक ट्रेड को अधिकतम करने के लिए सत्यपूर्ण योगदान देने के लिए प्रोत्साहित किया जाता है, न कि केवल एक तर्क को "जीतने" के लिए।
• मायोपिक व्यवहार (Myopic Behavior): यह फ्रेमवर्क एजेंटों को तत्काल स्टेप-वाइज ट्रेड के लिए अनुकूलित होने के लिए प्रोत्साहित करता है, जिससे दीर्घकालिक योजना या हेरफेर के प्रोत्साहन कम हो जाते हैं।
• सत्यापनीयता (Verifiability): मध्यवर्ती रीजनिंग स्टेप्स और प्रोबेबिलिटी अपडेट पारदर्शी हैं, जो व्याख्यात्मकता (interpretability) प्रदान करते हैं जो अक्सर ब्लैक-बॉक्स मॉडल्स में खो जाती है।

3. मुख्य योगदान (Key Contributions)

• नया समन्वय तंत्र (Novel Coordination Mechanism): मल्टी-एजेंट LLM एलाइनमेंट के लिए मानव पर्यवेक्षण और एडवरसेरियल डिबेट के एक स्केलेबल, स्वचालित विकल्प के रूप में मार्केट-मेकिंग को पेश करता है।
• अनुभवजन्य सत्यापन (Empirical Validation): यह प्रदर्शित करता है कि आर्थिक समन्वय के सिद्धांत विविध मॉडल परिवारों (GPT, Qwen, Llama) और कार्य डोमेन में जवाबदेही और मजबूती को संचालित कर सकते हैं।
• स्केलेबिलिटी (Scalability): यह दिखाता है कि यह फ्रेमवर्क बाहरी प्रवर्तन की आवश्यकता के बिना रीजनिंग सटीकता में सुधार करता है, जो इसे वास्तविक दुनिया के परिनियोजन परिदृश्यों के लिए उपयुक्त बनाता है।
• व्याख्यात्मकता (Interpretability): यह मध्यवर्ती रीजनिंग स्टेप्स की पारदर्शिता को बनाए रखता है, जिससे यह निरीक्षण करना संभव होता है कि सामूहिक विश्वास कैसे ग्राउंड ट्रुथ की ओर अभिसरित होते हैं।

4. प्रयोगात्मक परिणाम (Experimental Results)

फ्रेमवर्क का मूल्यांकन चार बेंचमार्क के माध्यम से किया गया: TruthfulQA (तथ्यात्मक सटीकता), Scruples (नैतिक दुविधाएं), ETHICS (न्याय और सामान्य ज्ञान), और CommonsenseQA 2.0 (सामान्य तर्क)।

प्रदर्शन की मुख्य बातें:

• कुल सटीकता में वृद्धि: मार्केट-आधारित समन्वय ने सिंगल-शॉट बेसलाइन्स की तुलना में सटीकता में 10% तक की वृद्धि दिखाई।
• मॉडल फैमिली प्रदर्शन:
  • Qwen फैमिली: सबसे महत्वपूर्ण सुधार दिखाया, TruthfulQA पर औसत शुद्ध लाभ 6.08% और ETHICS-Justice पर 19.01% तक था। लेखक इसका श्रेय Qwen3 के पोस्ट-ट्रेनिंग चेन-ऑफ-थॉट रीजनिंग पर जोर को देते हैं।
  • GPT फैमिली: TruthfulQA पर औसत शुद्ध लाभ 2.74% प्राप्त किया।
  • Llama फैमिली: TruthfulQA पर औसत शुद्ध लाभ 4.99% दिखाया।
• कार्य विशिष्टता (Task Specificity): सुधार तथ्यात्मक तर्क और कॉमनसेन्स इन्फरेंस में सबसे अधिक स्पष्ट थे। ETHICS के "जस्टिस" सबसेट पर प्रदर्शन मिश्रित रहा, जो बताता है कि नैतिक सूक्ष्मता (ethical nuance) अभी भी एक चुनौती बनी हुई है।
• पैरामीटर स्केलिंग (Parameter Scaling): मॉडल के आकार और मार्केट-मेकिंग प्रभावकारिता के बीच का संबंध एक इनवर्टेड U-शेप (inverted U-shape) का अनुसरण करता है।
  • छोटे मॉडल (<1B): सूक्ष्म संभाव्यता अपडेट के लिए प्रतिनिधित्व क्षमता (representational capacity) की कमी होती है।
  • मिड-स्केल मॉडल: सबसे अधिक लाभ उठाते हैं, क्योंकि उनके पास पर्याप्त रीजनिंग क्षमता होती है और साथ ही पुनरावृत्ति संशोधन से सीखने के लिए पर्याप्त अनिश्चितता भी होती है।
  • बड़े मॉडल (>100B): हाई बेसलाइन सटीकता और ओवरकॉन्फिडेंस के कारण "सीलिंग इफेक्ट्स" (ceiling effects) का सामना करते हैं, जिससे मार्जिनल गेन्स सीमित हो जाते हैं।

5. महत्व और निहितार्थ (Significance and Implications)

• एडवरसेरियल से सहकारी की ओर बदलाव (Shift from Adversarial to Cooperative): डिबेट के विपरीत, जो बाइनरी परिणामों के लिए मजबूर करती है, मार्केट मेकिंग निरंतर प्रोबेबिलिटी अपडेट और सूचना एकत्रीकरण की अनुमति देता है, जिससे अधिक गणितीय रूप से ठोस अभिसरण (convergence) की ओर ले जाता है।
• स्केलेबल ओवरसाइट (Scalable Oversight): यह फ्रेमवर्क सेल्फ-करेक्टिंग AI के लिए एक मार्ग प्रदान करता है जो मानव अधिनिर्णय की बैंडविड्थ बाधाओं के बिना विश्वास और निरीक्षण बनाए रखता है।
• धोखे के प्रति मजबूती (Robustness to Deception): आर्थिक तंत्रों के माध्यम से सत्यपूर्ण योगदान को प्रोत्साहित करके, सिस्टम रणनीतिक छल और सिकोफैसी के जोखिम को कम करता है।
• भविष्य की दिशाएं (Future Directions): लेखक सीमाओं को नोट करते हैं, जैसे कि सद्भावना भागीदारी (good-faith participation) की धारणा और वर्तमान में बाइनरी क्लासिफिकेशन पर ध्यान केंद्रित करना। भविष्य के कार्य स्पेक्ट्रम-आधारित सत्य (प्रोबेबिलिटी डिस्ट्रीब्यूशन) के लिए फ्रेमवर्क को अनुकूलित करने और प्रतिकूल एजेंटों (adversarial agents) के खिलाफ लचीलेपन का परीक्षण करने का लक्ष्य रखते हैं।

निष्कर्षतः, यह शोध पत्र मार्केट मेकिंग को मल्टी-एजेंट LLM सिस्टम को अलाइन करने के लिए एक व्यवहार्य, स्केलेबल प्रतिमान (paradigm) के रूप में स्थापित करता है, जो सत्य व्यवहार को निकालने और सामूहिक तर्क क्षमताओं को बढ़ाने के लिए आर्थिक सिद्धांतों का लाभ उठाता है।