💬 NLP

Who Gets the Reward & Who Gets the Blame? Evaluation-Aligned Training Signals for Multi-LLM Agents

यह शोधपत्र एक सैद्धांतिक ढांचे का प्रस्ताव करता है जो मल्टी-एलएलएम (multi-LLM) एजेंटों के लिए स्थानीय, हस्ताक्षरित और क्रेडिट-संरक्षण वाले प्रशिक्षण संकेतों को उत्पन्न करने हेतु सहयोगात्मक गेम-थ्योरेटिक एट्रिब्यूशन (cooperative game-theoretic attribution) को प्रोसेस रिवॉर्ड मॉडलिंग (process reward modeling) के साथ एकीकृत करता है, जिससे बिना किसी अनुभवजन्य सत्यापन के, सिस्टम-स्तरीय मूल्यांकन और एजेंट-स्तरीय शिक्षण के बीच के अंतर को पाटा जा सके।

मूल लेखक: Chih-Hsuan (Bella), Yang, Tanwi Mallick, Le Chen, Krishnan Raghavan, Amal Gueroudji, Ian T. Foster, Rajeev Thakur

प्रकाशित 2026-07-03

📖 6 मिनट में पढ़ें🧠 गहराई से पढ़ें

CC BY 4.0

मूल लेखक: Chih-Hsuan (Bella), Yang, Tanwi Mallick, Le Chen, Krishnan Raghavan, Amal Gueroudji, Ian T. Foster, Rajeev Thakur

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

यहाँ सरल भाषा और रचनात्मक उपमाओं का उपयोग करके शोध पत्र (paper) की व्याख्या दी गई है।

बड़ी समस्या: "ग्रुप प्रोजेक्ट" की दुविधा

कल्पना कीजिए कि छात्रों का एक समूह एक विशाल विज्ञान मेले (science fair) के प्रोजेक्ट पर काम कर रहा है। उनके पास तीन भूमिकाएँ हैं:

योजनाकार (The Planner) (तय करता है कि क्या बनाना है)।
निर्माता (The Builder) (वास्तव में मॉडल का निर्माण करता है)।
प्रस्तुतकर्ता (The Presenter) (परिणामों को समझाता है)।

अंत में, शिक्षक पूरे समूह को एक ही ग्रेड (जैसे, "A" या "F") देते हैं।

समस्या: यदि समूह को "A" मिलता है, तो श्रेय किसे मिलना चाहिए? क्या योजनाकार ने एक शानदार विचार दिया? क्या निर्माता ने उस गलती को सुधारा जो योजनाकार ने की थी? या क्या प्रस्तुतकर्ता ने बस बहुत अच्छी तरह से बातें की जबकि दूसरों ने कुछ नहीं किया? इसके विपरीत, यदि समूह को "F" मिलता है, तो दोष किसे देना है? क्या निर्माता ने मॉडल तोड़ दिया, या योजनाकार ने गलत निर्देश दिए?

AI की दुनिया में, ये "छात्र" मिलकर काम करने वाले लार्ज लैंग्वेज मॉडल्स (LLMs) हैं। वर्तमान में, जब वे विफल होते हैं या सफल होते हैं, तो AI केवल अंतिम ग्रेड देखता है। उसे यह नहीं पता होता कि किसे प्रशंसा देनी है या किसे सुधारने के लिए कहना है। यह AI के लिए एक टीम के रूप रूप में बेहतर काम करना सीखना कठिन बना देता है।

समाधान: एक "उचित श्रेय" प्रणाली

यह शोध पत्र इस समस्या को हल करने के लिए एक नया सैद्धांतिक ढांचा (theoretical framework) प्रस्तावित करता है। यह एक सुपर-फेयर रेफरी की तरह काम करता है जो अंतिम ग्रेड को प्रत्येक संदेश के लिए विशिष्ट पुरस्कारों और दंडों में विभाजित करता है जो AI एजेंट भेजते हैं।

यह ढांचा दो अलग-अलग तरीकों से काम करता है, इस आधार पर कि टीम सफल हुई या विफल।

1. जब टीम सफल होती है: "शापली" (Shapley) स्कोरकार्ड

जब समूह को अच्छा ग्रेड मिलता है, तो सिस्टम एक गणितीय अवधारणा का उपयोग करता है जिसे शापली वैल्यूज (Shapley Values) कहा जाता है (इसका नाम एक नोबेल पुरस्कार विजेता अर्थशास्त्री के नाम पर रखा गया है)।

उपमा: कल्पना कीजिए कि आप जानना चाहते हैं कि एक फुटबॉल टीम की जीत में प्रत्येक खिलाड़ी का कितना योगदान था। आप केवल गोल करने वाले खिलाड़ी को नहीं देख सकते। आपको पूछना होगा: "यदि केवल डिफेंडर खेलता तो टीम कितने गोल करती?" "यदि केवल गोलकीपर खेलता तो क्या होता?" हर संभव खिलाड़ियों के संयोजन का अनुकरण करके, आप सटीक रूप से गणना कर सकते हैं कि प्रत्येक व्यक्ति ने टीम में कितनी अतिरिक्त वैल्यू जोड़ी।
AI के लिए यह कैसे काम करता है: सिस्टम यह सिमुलेशन करता है कि क्या होता यदि प्रत्येक AI एजेंट को हटा दिया जाता या एक "डमी" बॉट से बदल दिया जाता।
- यदि एजेंट A को हटाने पर टीम का स्कोर काफी कम हो जाता है, तो एजेंट A को उच्च पुरस्कार (high reward) मिलता है।
- यदि टीम का स्कोर समान रहता है, तो एजेंट A को शून्य पुरस्कार मिलता है (वे केवल "फ्री-राइडर" थे)।
- यदि एजेंट A को हटाने पर टीम का स्कोर वास्तव में सुधर जाता है, तो एजेंट A को नकारात्मक स्कोर (negative score) मिलता है (वे टीम को नुकसान पहुँचा रहे थे)।

ट्विस्ट: यह केवल एजेंट के बारे में नहीं है; यह उनके विशिष्ट संदेशों के बारे में है। सिस्टम फिर एजेंट द्वारा लिखे गए प्रत्येक वाक्य की जांच करता है।

यदि कोई एजेंट कुल मिलाकर मददगार था, लेकिन उसका कोई विशेष वाक्य अनावश्यक या भ्रमित करने वाला था, तो उस विशिष्ट वाक्य को छोटा दंड (small penalty) मिलता है, जबकि अच्छे वाक्यों को अतिरिक्त क्रेडिट मिलता है।
यह एजेंटों को बहुत अधिक बोलकर क्रेडिट "इकट्ठा" करने से रोकता है।

2. जब टीम विफल होती है: "पहली गलती" का जासूस

जब समूह को खराब ग्रेड मिलता है, तो केवल सभी में "F" को विभाजित करने से मदद नहीं मिलती। आपको मूल कारण ढूँढना होगा।

उपमा: कल्पना कीजिए कि एक रिले रेस में टीम इसलिए हार गई क्योंकि किसी ने बैटन (baton) गिरा दिया। आप उस व्यक्ति को दोष नहीं देते जो दौड़ पूरी करता है; आप उस व्यक्ति को दोष देते हैं जिसने बैटन गिराया। हालाँकि, यदि बैटन गिराने वाले के बाद वाले व्यक्ति ने उसे उठाने और दौड़ने की कोशिश की, तो उसे दंडित नहीं किया जाना चाहिए।
AI के लिए यह कैसे काम करता है: सिस्टम विफलता के सबसे पहले संदेश को खोजने के लिए "बाइनरी सर्च" (जैसे शब्दकोश में शब्द खोजना) का उपयोग करता है।
- दोष (Blame): वह एजेंट जिसने वह पहला बुरा संदेश भेजा, उसे दोष मिलता है।
- मरम्मत के लिए पुरस्कार (Reward for Repair): यदि बाद का कोई एजेंट गलती को सुधारने की कोशिश करता है (जैसे, "रुको, मुझे लगता है कि गणित गलत था, मुझे पुनर्गणना करने दें"), तो सिस्टम इसे एक अच्छा कदम मानता है और उन्हें क्रेडिट देता है, भले ही समग्र प्रोजेक्ट विफल रहा हो।

यह क्यों महत्वपूर्ण है

यह शोध पत्र तर्क देता है कि यह विधि एक "उचित" प्रशिक्षण संकेत (training signal) बनाती है जो है:

रूढ़िवादी (Conservative): दिया गया कुल "क्रेडिट" कभी भी उस स्कोर से अधिक नहीं होता जो टीम ने प्राप्त किया है। आप शून्य से पुरस्कार पैदा नहीं कर सकते।
सहकारी (Cooperative): यह एजेंटों को एक-दूसरे की मदद करने के लिए प्रोत्साहित करता है न कि प्रतिस्पर्धा करने या एक-दूसरे के काम को दोहराने के लिए।
कार्य योग्य (Actionable): यह AI को ठीक से बताता है कि अगली बार बेहतर परिणाम प्राप्त करने के लिए किस वाक्य को बदलना है।

निष्कर्ष (The Bottom Line)

लेखक एक सैद्धांतिक ब्लूप्रिंट (नियमों और गणित का एक सेट) प्रस्तावित कर रहे हैं कि AI एजेंटों की टीमों को कैसे प्रशिक्षित किया जाए। उन्होंने अभी तक अंतिम उत्पाद नहीं बनाया है (यह भविष्य के कार्य के लिए है), लेकिन उन्होंने सिद्ध किया है कि उनका गणित काम करता है।

इसे एक नए खेल के नियम पुस्तिका (rulebook) के रूप में सोचें। उन्होंने यह तय कर लिया है कि अंक निष्पक्ष रूप से कैसे दिए जाएं ताकि प्रत्येक खिलाड़ी को जीतने के लिए ठीक से पता हो कि क्या करना है, बजाय इसके कि वे केवल टीम की किस्मत पर निर्भर रहें। यह नियम पुस्तिका गेम थ्योरी के गणितज्ञ की निष्पक्षता और एक लेखन कोच (writing coach) की चरण-दर-चरण प्रतिक्रिया का संयोजन है।

तकनीकी सारांश: मल्टी-एलएलएम एजेंटों के लिए मूल्यांकन-संरेखित प्रशिक्षण संकेत (Evaluation-Aligned Training Signals)

समस्या विवरण (Problem Statement)

लार्ज लैंग्वेज मॉडल (LLM) मल्टी-एजेंट सिस्टम (MAS) का उपयोग जटिल कार्यों के लिए तेजी से बढ़ रहा है, फिर भी वे महत्वपूर्ण प्रशिक्षण चुनौतियों का सामना करते हैं। क्लासिकल रीइन्फोर्समेंट लर्निंग (RL) एजेंटों के विपरीत, जो कम-आयामी (low-dimensional) और दोहराव वाले एक्शन स्पेस में कार्य करते हैं, एलएलएम एजेंट उच्च-आयामी स्थानों में कार्य करते हैं जहाँ प्रतिक्रियाएँ विविध और अक्सर अद्वितीय होती हैं। यह लचीलापन नाजुकता (fragility) को जन्म देता है: त्रुटियाँ संचयी (cascade) हो सकती हैं, मरम्मत लूप (repair loops) लागत बढ़ा सकते हैं, और समन्वय की विफलताएं विश्वसनीयता को कम कर सकती हैं।

वर्तमान प्रशिक्षण विधियाँ इस सेटिंग के लिए अनुपयुक्त हैं। सिंगल-एजेंट पोस्ट-ट्रेनिंग तकनीकें (जैसे RLHF, DPO) मूल्यांकन संकेतों को सीधे एक एकल प्रक्षेपवक्र (trajectory) पर मैप करती हैं, जिससे कई एजेंटों के बीच क्रेडिट वितरित करने में विफलता होती है। इसके विपरीत, पारंपरिक मल्टी-एजेंट रीइन्फोर्समेंट लर्निंग (MARL) क्रेडिट असाइनमेंट विधियाँ सघन संख्यात्मक पुरस्कारों (dense numeric rewards) और असतत अवस्था-क्रिया युग्मों (discrete state-action pairs) की धारणाओं पर निर्भर करती हैं जो भाषा-आधारित MAS में लागू नहीं होती हैं। फलस्वरूप, सिस्टम-स्तरीय मूल्यांकनों (सफलता/विफलता स्कोर) को व्यक्तिगत एजेंटों और उनके विशिष्ट संदेशों के लिए स्थानीयकृत, ऑडिट योग्य और निष्पक्ष प्रशिक्षण संकेतों में बदलने के लिए एक सिद्धांतपूर्ण पद्धति का अभाव है।

कार्यप्रणाली (Methodology)

यह शोध पत्र एक सैद्धांतिक ढांचे का प्रस्ताव करता है जो ग्लोबल सिस्टम मूल्यांकन और लोकल एजेंट पर्यवेक्षण के बीच के अंतर को पाटने के लिए सहकारी गेम-थ्योरेटिक एट्रिब्यूशन (cooperative game-theoretic attribution) को प्रोसेस रिवॉर्ड मॉडलिंग (PRM) के साथ एकीकृत करता है। यह ढांचा एपिसोड के परिणाम के आधार पर दो पूरक मार्गों के माध्यम से कार्य करता है:

1. सफलता-मामला एट्रिब्यूशन (System $\to$ Agent $\to$ Message)

जब एक सिस्टम एपिसोड सफल होता है ( $R_{sys} > 0$ ), तो ढांचा ग्लोबल रिवॉर्ड को सूक्ष्म-स्तरीय संकेतों में विभाजित करता है:

सिस्टम से एजेंट (Shapley Values): ग्लोबल रिवॉर्ड $R_{sys}$ $R_{sy s}$ को शापली वैल्यूज (Shapley values) का उपयोग करके एजेंटों के बीच वितरित किया जाता है। यह सभी संभावित गठबंधन (coalitions) में सिस्टम के प्रदर्शन में प्रत्येक एजेंट के सीमांत योगदान (marginal contribution) की गणना करता है।
- तंत्र: काउंटरफैक्चुअल गठबंधनों को एक विशिष्ट एजेंट को बेसलाइन पॉलिसी (जैसे, no-op या फ्रोजन रेफरेंस) से बदलकर पुन: खेलकर (replaying) सिम्युलेट किया जाता है।
- गुण: यह निष्पक्षता (symmetry, dummy, efficiency) सुनिश्चित करता है और नकारात्मक क्रेडिट की अनुमति देता है यदि किसी एजेंट की उपस्थिति सिस्टम स्कोर को कम करती है। एजेंटों के रिवॉर्ड का योग सिस्टम रिवॉर्ड के बराबर होता है ( $\sum r_i = R_{sys}$ ), जो क्रेडिट मुद्रास्फीति (credit inflation) को रोकता है।
एजेंट से संदेश (PRM Refinement): रेडंडेंसी और अक्षमता को संबोधित करने के लिए एजेंट-स्तरीय क्रेडिट को प्रति-संदेश संकेतों में और अधिक परिष्कृत किया जाता है।
- तंत्र: एक डोमेन-ट्यून्ड जज प्रत्येक संदेश को एक हस्ताक्षरित लेबल ( $s_{i,t} \in \{-1, 0, +1\}$ ) आवंटित करता है, जो इस आधार पर होता है कि क्या वह संदेश एजेंट के समग्र सीमांत योगदान की दिशा के साथ संरेखित है या उसके विरुद्ध है।
- सिग्नल जनरेशन: संदेश रिवॉर्ड की गणना एजेंट के कुल शापली क्रेडिट के एक हस्ताक्षरित हिस्से के रूप में की जाती है। संरेखित संदेशों को बोनस मिलता है, जबकि प्रति-संरेखित या रेडंडेंट संदेशों को दंडित किया जाता है। महत्वपूर्ण रूप से, एक एजेंट के संदेश रिवॉर्ड का योग उसके कुल शापली क्रेडिट के बराबर होता है, जो क्रेडिट संरक्षण (credit conservation) सुनिश्चित करता है।

2. विफलता-मामला एट्रिब्यूशन (First-Error Localization)

जब एक सिस्टम एपिसोड विफल होता है ( $R_{sys} = 0$ ), तो शापली पुनर्वितरण बहुत कम मार्गदर्शन प्रदान करता है क्योंकि क्रेडिट का योग शून्य होना चाहिए। इसके बजाय, ढांचा निम्नलिखित का उपयोग करता है:

प्रथम-त्रुटि स्थानीयकरण (First-Error Localization): एक बाइनरी सर्च उस प्रारंभिक संदेश ( $m_{i^*, t^*}$ ) की पहचान करता है जो प्रक्षेपवक्र को विफल करने का कारण बनता है।
रिपेयर-अवेयर प्रेफरेंस (Repair-Aware Preferences): उन मोनोटोन विफलता मॉडलों के विपरीत जो बाद के सभी चरणों को अमान्य कर देते हैं, यह दृष्टिकोण त्रुटि और उसके बाद के सुधार प्रयासों (repair attempts) के बीच अंतर करता है।
- जजेस: एक प्रीफिक्स जज विफलता बिंदु का पता लगाता है, जबकि एक फेलियर-अलाइनमेंट जज पोस्ट-एरर संदेशों का मूल्यांकन करता है ताकि यह निर्धारित किया जा सके कि क्या वे प्रक्षेपवक्र को सुधारने का प्रयास कर रहे हैं।
- प्रशिक्षण संकेत: कंट्रास्टिव पेयर्स (contrastive pairs) निर्मित किए जाते हैं ( $H_{t^*-1}, y^+, y^-$ ), जहाँ $y^-$ हानिकारक त्रुटि है और $y^+$ एक पसंदीदा विकल्प है। ये पेयर्स प्रेफरेंस-आधारित उद्देश्यों (जैसे, DPO, GRPO) में फीड होते हैं।

मुख्य योगदान (Key Contributions)

सैद्धांतिक ढांचा: LLM MAS के लिए हस्ताक्षरित, क्रेडिट-संरक्षण करने वाले संदेश-स्तरीय संकेतों के लिए एक एकीकृत दृष्टिकोण।
पूरक एट्रिब्यूशन तंत्र:
- सफलता: सहयोग को बढ़ावा देने और रेडंडेंसी को हतोत्साहित करने के लिए PRM-शैली के हस्ताक्षरित संदेश लेबल के साथ परिष्कृत शापली-आधारित क्रेडिट आवंटन।
- विफलता: त्रुटियों को दंडित करने और सुधारात्मक प्रयासों को पुरस्कृत करने के लिए फर्स्ट-एरर लोकलाइजेशन के साथ मिलकर रिपेयर-अवेयर प्रेफरेंस।
सैद्धांतिक गारंटी: लेखक सिद्ध करते हैं कि परिणामी संकेत:
- बद्ध (Bounded) हैं: रिवॉर्ड्स सीमित अंतराल के भीतर होते हैं।
- सहकारी (Cooperative) हैं: शापली वैल्यूज अद्वितीय योगदान को पुरस्कृत करती हैं और तोड़फोड़ या फ्री-राइडिंग को दंडित करती हैं।
- क्रेडिट-संरक्षण (Credit-Conserving) करने वाले हैं: स्थानीय संकेतों का योग ठीक वैश्विक सिस्टम परिणाम के बराबर होता है, जिससे रिवॉर्ड की कृत्रिम मुद्रास्फीति नहीं होती है।
अनुकूलता (Compatibility): इन संकेतों को आधुनिक रीइन्फोर्समेंट लर्निंग (जैसे, PPO, GRPO) और प्रेफरेंस-आधारित (जैसे, DPO) पोस्ट-ट्रेनिंग पाइपलाइनों के साथ सीधे संगत बनाया गया है।

परिणाम और दावे (Results and Claims)

यह शोध पत्र मुख्य रूप से वैचारिक (conceptual) है। यह कोई अनुभवजन्य बेंचमार्क या प्रयोगात्मक सत्यापन प्रस्तुत नहीं करता है। इसके बजाय, इसके "परिणाम" सैद्धांतिक प्रमाण हैं जो प्रदर्शित करते हैं कि प्रस्तावित संकेत स्थिर और निष्पक्ष मल्टी-एजेंट प्रशिक्षण के लिए आवश्यक गुणों को पूरा करते हैं।

दागित महत्व: ढांचा ग्लोबल इवैल्यूएशन से लोकल सुपरविजन तक एक स्केलेबल, ऑडिट करने योग्य मार्ग प्रदान करता है। यह उच्च-आयामी भाषा क्रियाओं, विरल (sparse) मूल्यांकनों और मल्टी-एजेंट संदर्भों में रिपेयर-अवेयर लर्निंग की आवश्यकता को संभालकर मौजूदा विधियों की विशिष्ट सीमाओं को संबोधित करता है।
विनम्रता: लेखक स्पष्ट रूप से कहते हैं कि अनुभवजन्य सत्यापन भविष्य के कार्य के लिए छोड़ दिया गया है। वे स्वीकार करते हैं कि हालांकि ढांचा सैद्धांतिक रूप से सुदृढ़ है, व्यावहारिक कार्यान्वयन के लिए कंप्यूटेशनल लागत (जैसे, परम्यूटेशन सैंपलिंग के माध्यम से शापली सन्निकटन) और जजेस की विश्वसनीयता को संभालना आवश्यक है।

निष्कर्ष (Conclusion)

यह कार्य LLM मल्टी-एजेंट सिस्टम के सहकारी, क्रेडिट-संरक्षण करने वाले पोस्ट-ट्रेनिंग के लिए वैचारिक आधार स्थापित करता है। सफलता के मामलों में निष्पक्ष एट्रिब्यूशन के लिए शापली वैल्यूज और विफलता के मामलों में रिपेयर-अवेयर लर्निंग के लिए फर्स्ट-एरर लोकलाइजेशन को एकीकृत करके, यह पेपर जटिल मल्टी-एजेंट वर्कफ़्लो में "किसे रिवॉर्ड मिलेगा और किसे दोष मिलेगा" की समस्या के लिए एक सिद्धांतपूर्ण समाधान प्रदान करता है।