🤖 machine learning

Towards Value-Constrained Credit Assignment in Fully Delegated AI Cooperatives

यह शोध पत्र पूर्णतः प्रत्यायोजित (fully delegated) एआई सहकारी समितियों में मूल्य-प्रतिबंधित क्रेडिट असाइनमेंट के लिए एक ढांचे का प्रस्ताव करता है जो व्यक्तिगत मूल्य प्रोफाइल के माध्यम से मॉडल अपडेट को फ़िल्टर करने और ऑनलाइन सीमांत योगदान (online marginal contributions) के आधार पर पुरस्कार आवंटित करने के लिए एक ट्रैवर्सल लर्निंग सबस्ट्रेट का उपयोग करता है, जिससे पारंपरिक फेडरेटेड लर्निंग विधियों की तुलना में सूक्ष्मกว่า एट्रिब्यूशन प्राप्त होता है।

मूल लेखक: Young Yoon, Jimin Kim, Soyeon Park

प्रकाशित 2026-06-29

📖 5 मिनट में पढ़ें🧠 गहराई से पढ़ें

CC BY 4.0

मूल लेखक: Young Yoon, Jimin Kim, Soyeon Park

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

एक विशाल, हाई-टेक सहकारी रसोई (cooperative kitchen) की कल्पना करें जहाँ दर्जनों शेफ (AI एजेंट) मिलकर एक एकल, विश्व-स्तरीय रेसिपी (AI मॉडल) बनाने के लिए मिलकर काम करते हैं। इस रसोई में, प्रत्येक शेफ एक अलग व्यक्ति का प्रतिनिधित्व करता है जिसके पास उन चीजों के बारे में बहुत विशिष्ट, गैर-परक्राम्य (non-negotiable) नियम हैं जिन्हें वे पकाने के लिए तैयार हैं।

शेफ A कहता है, "मैं कभी भी ऐसा व्यंजन नहीं बनाऊँगा जिसमें सैन्य हथियार शामिल हों।"
शेफ B कहता है, "मैं किसी भी ऐसी चीज़ को पकाने से इनकार करता हूँ जो लोगों के किसी विशिष्ट समूह के खिलाफ भेदभाव करती हो।"
शेफ C कहता है, "मैं उन व्यंजनों को हाथ नहीं लगाऊँगा जिनका उपयोग बीमा जोखिम स्कोरिंग (insurance risk scoring) के लिए किया जाता है।"

एक पारंपरिक रसोई में, हर कोई अपनी सामग्री को एक बड़े बर्तन में डाल देता है, और मुख्य शेफ उन सभी को मिला देता है। यदि शेफ A का "नो-वेपन्स" (हथियार-मुक्त) नियम अनदेखा कर दिया जाता है क्योंकि शेफ B ने एक ऐसा तीखा सॉस मिला दिया जिससे गलती से शेफ A के लिए व्यंजन असुरक्षित हो गया, तो शेफ A को बाकी सभी के समान ही भुगतान किया जाता है। यह अनुचित और खतरनाक है।

यह शोध पत्र इस रसोई को चलाने का एक नया तरीका प्रस्तावित करता है, जिसे वैल्यू-कंस्ट्रेंड क्रेडिट असाइनमेंट (Value-Constrained Credit Assignment) कहा जाता है। यह इस प्रकार काम करता है, चरण-दर-चरण:

1. "वैल्यू फ़िल्टर" (द गेटकीपर)

किसी भी शेफ द्वारा अपनी सामग्री मुख्य बर्तन में डालने से पहले, उन्हें अपने व्यक्तिगत सुरक्षा स्कैनर ("वैल्यू फ़िल्टर") से गुजरना होगा।

यदि शेफ A की सामग्री उनके स्कैनर से पास हो जाती है (यह सुरक्षित है और उनके मूल्यों के अनुरूप है), तो इसे "ग्रीन लाइट" मिलती है।
यदि यह विफल हो जाता है (यह उनके नियमों का उल्लंघन करता है), तो स्कैनर इसे "रेड लाइट" में बदल देता है और इसे ब्लॉक कर देता है।
जादू: केवल "ग्रीन लाइट" वाली सामग्रियों को ही आगे बढ़ने की अनुमति दी जाती है। यह सुनिश्चित करता है कि किसी को भी ऐसी चीज़ बनाने के लिए मजबूर न किया जाए जिसका वे नैतिक रूप से विरोध करते हैं।

2. "ट्रैक्ड पाथ" (ट्रावर्सल लर्निंग)

अधिकांश आधुनिक AI रसोइयाँ एक ऐसी विधि का उपयोग करती हैं जहाँ हर कोई अपनी मिश्रित सामग्री को एक केंद्रीय ब्लेंडर में भेज देता है, और ब्लेंडर बस यह अनुमान लगाता है कि किसने क्या योगदान दिया। यह शोध पत्र एक अलग विधि का सुझाव देता है जिसे ट्रावर्सल लर्निंग (TL) कहा जाता है।

कल्प_िए कि एक ब्लेंडर के बजाय, रसोई में एक कन्वेयर बेल्ट सिस्टम का उपयोग किया जाता है।*

सामग्रियाँ एक बेल्ट पर यात्रा करती हैं जो शेफ A से, फिर शेफ B के पास, फिर शेफ C के पास जाती हैं।
क्योंकि बेल्ट दृश्यमान और ट्रैक की जा सकती है, इसलिए हम देख सकते हैं कि कौन सी सामग्री किस शेफ से आई और वह कहाँ गई।
यह "ब्लैक बॉक्स" ब्लेंडर विधि की तुलना में बहुत अधिक स्पष्ट है। यह हर एक योगदान के सटीक पथ को ट्रैक करने की अनुमति देता है, जिससे यह देखना आसान हो जाता है कि किसने रेसिपी को बेहतर बनाने में मदद की और किसने नहीं।

3. "टेस्ट टेस्ट" (क्रेडिट असाइनमेंट)

एक बार जब "ग्रीन लाइट" वाली सामग्रियाँ कन्वेयर बेल्ट पर आ जाती हैं, तो रसोई एक त्वरित टेस्ट टेस्ट (वैलिडेशन) करती है।

वे पूछते हैं: "यदि हम अभी केवल शेफ A की स्वीकृत सामग्री जोड़ते, तो क्या व्यंजन का स्वाद बेहतर होता?"
यदि उत्तर हाँ है, तो शेफ A को एक "क्रेडिट पॉइंट" मिलता है।
यदि उत्तर नहीं है (या उनके फ़िल्टर द्वारा पहले ब्लॉक किया गया था), तो उन्हें शून्य अंक मिलते हैं।
इसका मतलब है कि शेफ को केवल उन सामग्रियों के लिए पुरस्कृत किया जाता है जो उनके लिए नैतिक रूप से स्वीकार्य हैं और वास्तव में समूह के लिए उपयोगी भी हैं।

4. "पेचेक" (रेवेन्यू सेटलमेंट)

दिन के अंत में, रसोई व्यंजन बेचती है और पैसा कमाती है। पैसा कैसे विभाजित किया जाता है?

इसे समान रूप से नहीं बांटा जाता है।
इसे क्रेडिट पॉइंट्स के आधार पर विभाजित किया जाता है।
यदि शेफ A के पास 10 स्वीकृत, उपयोगी सामग्रियाँ थीं, और शेफ B के पास केवल 2 थीं, तो शेफ A को केक का बड़ा हिस्सा मिलता है।
शोध पत्र एक ऐसे फॉर्मूले का सुझाव देता है जहाँ आप जितना अधिक योगदान देते हैं, आपको उतना ही अधिक मिलता है, लेकिन इसे "सुपर कंट्रीब्यूटर्स" को और अधिक भारी रूप से पुरस्कृत करने के लिए भी ट्यून किया जा सकता है।

यह विशेष क्यों है?
लेखकों का तर्क है कि यह प्रणाली एक साथ दो समस्याओं का समाधान करती है:

सम्मान: यह इस बात का सम्मान करता है कि अलग-अलग लोगों की अलग-अलग नैतिक सीमाएँ होती हैं (बहुलतावाद)। आपको टीम का हिस्सा बनने के लिए अपने मूल्यों से समझौता करने की आवश्यकता नहीं है।
निष्पक्षता: यह लोगों को इस आधार पर भुगतान करता है कि उन्होंने वास्तव में क्या किया, न कि केवल इस आधार पर कि उनके पास कितना डेटा था। यदि आपका डेटा आपके अपने नियमों के कारण ब्लॉक कर दिया गया था, तो आपको दंडित नहीं किया जाता है; आपको बस उस विशिष्ट भाग के लिए भुगतान नहीं किया जाता है।

संक्षेप में: यह शोध पत्र एक ऐसी प्रणाली का प्रस्ताव करता है जहाँ AI एजेंट उन शेफ की तरह मिलकर काम करते हैं जो केवल वही पकाते हैं जिसमें वे सहज होते हैं। उन्हें इस आधार पर पुरस्कृत किया जाता है कि उनके द्वारा अनुमोदित खाना पकाने ने वास्तव में अंतिम भोजन को कितना बेहतर बनाया, जिससे एक स्पष्ट, पता लगाने योग्य कन्वेयर बेल्ट सिस्टम का उपयोग करके यह सुनिश्चित होता है कि हर किसी को उनका उचित हिस्सा मिले।

तकनीकी सारांश: पूर्णतः प्रत्यायोजित एआई सहकारी समितियों में मूल्य-बाधित क्रेडिट असाइनमेंट की ओर

1. समस्या विवरण

यह शोध पत्र पूर्णतः प्रत्यायोजित (fully delegated) एआई सहकारी समितियों में पुरस्कार आवंटन की चुनौती को संबोधित करता है। इस परिवेश में, कई मानव सदस्यों का प्रतिनिधित्व स्वायत्त एजेंटों द्वारा किया जाता है जो साझा एआई सेवाओं को प्रशिक्षित करने के लिए डेटा और गणना (computation) को एकत्रित करते हैं। मुख्य कठिनाई दो साथ-साथ चलने वाली, युग्मित आवश्यकताओं को संतुष्ट करने में निहित है:

मूल्य संबंधी बाधाएं (Value Constraints): सीखना प्रत्येक सदस्य के विशिष्ट विषम मूल्य प्रतिबंधों (जैसे, सैन्य तैनाती पर निषेध, बीमा जोखिम स्कोरिंग, या जनसांख्यिकीय निष्पक्षता की आवश्यकताएं) का सम्मान करना चाहिए।
आर्थिक प्रोत्साहन (Economic Incentives): परिणामी सेवा के आर्थिक लाभों को वास्तविक योगदान के अनुसार वितरित किया जाना चाहिए।

मौजूदा दृष्टिकोण अक्सर इन आवश्यकताओं को जोड़ने में विफल रहते हैं। एक पुरस्कार नियम जो मूल्य बाधाओं की अनदेखी करता है, वह उन सदस्यों को अपडेट के लिए मुआवजा दे सकता है जिन्हें वे समर्थन नहीं देंगे, जबकि फेडरेटेड लर्निंग (FL) में मानक योगदान लेखांकन आमतौर पर एकत्रित अपडेट पर कार्य करता है, जिससे व्यक्तिगत मूल्य प्रोफाइल के आधार पर विशिष्ट अपडेट दिशाओं को ट्रैक और फ़िल्टर करना कठिन हो जाता है।

2. कार्यप्रणाली

लेखक वैल्यू-कंडीशन्ड ग्रेडिएंट फ़िल्टरिंग (Value-Conditioned Gradient Filtering), ट्रावर्सल लर्निंग (TL), और ऑनलाइन मार्जिनल कॉन्ट्रिब्यूशन सिग्नल्स को एकीकृत करने वाला एक ढांचा प्रस्तावित करते हैं।

2.1 वैल्यू-कंडीशन्ड फ़िल्टरिंग

प्रत्येक इटरेशन $t$ पर, एक एजेंट $i$ जिसके पास स्थानीय डेटा $D_i$ और एक मूल्य प्रोफाइल $v_i$ है, एक स्थानीय ग्रेडिएंट $\nabla L_i(\theta_t)$ की गणना करता है। इस अपडेट को प्रसारित करने से पहले, यह एक वैल्यू फ़िल्टर $F_i$ से गुजरता है:
$\tilde{\nabla} L_i(\theta_t) = F_i(\nabla L_i(\theta_t), v_i)$
फ़िल्टर्ड ग्रेडिएंट $\tilde{\nabla} L_i$ अपडेट का स्वीकार्य (admissible) भाग का प्रतिनिधित्व करता है। यह फ़िल्टर विभिन्न रूपों में हो सकता है, जिसमें नियम-आधारित संवैधानिक जाँच, व्यवहार्य-सेट प्रोजेक्शन, ग्रेडिएंट संशोधन, या सीखे गए ब्लैक-बॉक्स स्वीकार्यता मॉडल शामिल हैं। यदि कोई अपडेट दिशा प्रिंसिपल के मूल्यों का उल्लंघन करती है, तो उसे अस्वीकार (शून्य पर सेट) कर दिया जाता है, यह सुनिश्चित करते हुए कि केवल मूल्य-संगत अपडेट ही सहकारी मॉडल में योगदान दें।

2.2 ट्रावर्सल लर्निंग (TL) सबस्ट्रेट

ढांचा ट्रावर्सल लर्निंग (TL) को प्रशिक्षण सबस्ट्रेट के रूप में उपयोग करता है। मानक फेडरेटेड लर्निंग (जैसे, FedAvg) के विपरीत, जो पोस्ट-हॉक क्लाइंट अपडेट को एकत्रित करता है, TL वितरित नोड्स के बीच स्पष्ट ट्रावर्सल और ग्रेडिएंट पथों को संरक्षित करके विकेंद्रीकृत बैकप्रोपैगेशन करता है।

तंत्र: सहकारी अपडेट को $\theta_{t+1} = \theta_t - \eta \sum_{i=1}^n \tilde{\nabla} L_i(\theta_t)$ के रूप में परिभाषित किया गया है।
लाभ: एकत्रित क्लाइंट स्टेट्स के बजाय एजेंट-विशिष्ट ग्रेडिएंट पथों को बनाए रखकर, TL स्थानीय डेटा एक्सपोजर से स्वीकार्य अपडेट और सहकारी प्रभाव तक के पथ को अधिक पारदर्शी ढंग से ट्रैक करने की अनुमति देता है। यह संरचनात्मक स्पष्टता तर्क देती है कि एग्रीगेशन-केंद्रित FL की तुलना में एट्रिब्यूशन के लिए बेहतर है।

2.3 मार्जिनल कॉन्ट्रिब्यूशन और सेटलमेंट

ढांचा एक बहु-चरणीय प्रक्रिया के माध्यम से योगदान और पुरस्कार आवंटन को परिभाषित करता है:

ऑनलाइन क्रेडिट सिग्नल: समय $t$ पर एजेंट $i$ का योगदान $c_i^t$ केवल एजेंट के स्वीकार्य अपडेट द्वारा प्रेरित सहकारी वैलिडेशन लॉस $L_{val}$ में मार्जिनल सुधार के रूप में परिभाषित है:
$c_i^t = L_{val}(\theta_t) - L_{val}(\theta_t - \eta \tilde{\nabla} L_i(\theta_t))$
यदि फ़िल्टर अपडेट को अस्वीकार कर देता है ( $\tilde{\nabla} L_i = 0$ ), तो योगदान शून्य होता है।
संचयी सेटलमेंट (Cumulative Settlement): एक अकाउंटिंग हॉराइजन $H$ के दौरान, योगदान को वैकल्पिक वेटिंग $\omega_t$ के साथ संचित किया जाता है:
$C_i(H) = \sum_{t \in H} \omega_t c_i^t$
राजस्व आवंटन: राजस्व शेयर $r_i(H)$ को संचयी योगदान के आधार पर आवंटित किया जाता है, जिसमें अंतर को बढ़ाने के लिए एक पावर पैरामीटर $\alpha \ge 1$ का उपयोग किया जाता है:
$r_i(H) = \frac{(C_i(H))^\alpha}{\sum_{j=1}^n (C_j(H))^\alpha}$
अंतिम भुगतान $p_i(H)$ कुल राजस्व $R(H)$ का हिस्सा है। एजेंटों को केवल उन अपडेट के लिए पुरस्कृत किया जाता है जो दोनों रूप से स्वीकार्य (admissible) और वैलिडेशन-सुधारने वाले होते हैं।

3. प्रमुख योगदान

फ्रेमवर्क एकीकरण: शोध पत्र एक एकल वितरित-लर्निंग तंत्र में वैल्यू-कंडीशन्ड अपडेट फ़िल्टरिंग, TL-आधारित एट्रिब्यूशन, ऑनलाइन योगदान सिग्नल और संचयी सहकारी सेटलमेंट को एकीकृत करता है।
ग्रेडिएंट स्तर पर बहुलवाद (Pluralism): यह एक ऐसा तंत्र पेश करता है जहाँ एजेंट पूरे कार्यों के बजाय चुनिंदा रूप से अपडेट दिशाओं को स्वीकार या अस्वीकार करते हैं, जो एक साझा मॉडल के भीतर विषम मूल्य बाधाओं की अनुमति देता है।
एट्रिब्यूशन सबस्ट्रेट: लेखक तर्क देते हैं कि TL, FedAvg-शैली के FL की तुलना में एक सूक्ष्म और अधिक पारदर्शी एट्रिब्यूशन सबस्ट्रेट प्रदान करता है क्योंकि यह स्पष्ट ट्रावर्सल पथों को संरक्षित करता है, जिससे मूल्य स्वीकार्यता की जाँच के बाद ही योगदान मापन संभव होता है।
बहुलवाद को क्रियान्वित करना: यह ढांचा बहुलवादी संरेखण (pluralistic alignment) को एक सैद्धांतिक लक्ष्य से बदलकर प्रशिक्षण-समय के क्रेडिट-आवंटन तंत्र में ले जाता है।

4. परिणाम और दावे

यह शोध पत्र मुख्य रूप से एक सैद्धांतिक और वास्तुशिल्प प्रस्ताव है; यह अनुभवजन्य प्रयोगात्मक परिणाम या बेंचमार्क तुलना प्रस्तुत नहीं करता है। इसके बजाय, यह ढांचे के गुणों के संबंध में निम्नलिखित दावे करता है:

व्यवहार्यता: ढांचा प्रत्येक चरण पर स्थानीय क्रेडिट सिग्नल की गणना करने की अनुमति देता है, यह सुनिश्चित करता है कि विषम मूल्य बाधाओं के कारण वैश्विक अभिसरण (convergence) अपूर्ण होने पर भी संचयी सेटलमेंट सुव्यवस्थित रहे।
गोपनीयता और दक्षता: लेखक एक ढांचे के वेरिएंट (जिसे "TLplus" कहा गया है) का सुझाव देते हैं जो केवल एक कट लेयर या शैलो फ्रंट ब्लॉक को सदस्य एजेंटों पर रख सकता है, जो ऑर्केस्ट्रेटर को मास्क किए गए एक्टिवेशन भेजता है। इसका उद्देश्य TL के एट्रिब्यूशन लाभों को बनाए रखते हुए क्लाइंट-साइड लागत को कम करना और सूचना रिसाव को सीमित करना है, जो SplitNN-शैली के विभाजन पर आधारित है।
पोजीशनिंग: लेखक स्पष्ट रूप से कहते हैं कि वे निष्पक्षता में शापली-शैली (Shapley-style) के मूल्यांकन या मौजूदा FL प्रोत्साहन तंत्रों से बेहतर होने का दावा नहीं करते हैं। उनका दावा केवल इस तर्क तक सीमित है कि TL, मूल्य स्वीकार्यता, योगदान लेखांकन और पुरस्कार आवंटन को जोड़ने के लिए एक अधिक पारदर्शी सबस्ट्रेट प्रदान करता है।

5. महत्व

इस कार्य का महत्व एआई सहकारी समितियों में मूल्य बाधाओं और आर्थिक प्रोत्साहनों की "युग्मित" समस्या को हल करने के प्रयास में निहित है। विविध, मूल्य-बाधित एआई सहकारी समितियों के लिए सतत प्रोत्साहन संरचनाओं की ओर एक संभावित मार्ग प्रदान करते हुए, यह ढांचे विषम मूल्यों को एक एकल उद्देश्य में समाहित करने के विचार को खारिज करता है और बहुलवाद को लर्निंग डायनेमिक्स के भीतर क्रियान्वित करता है। यह पोस्ट-हॉक एकत्रीकरण (जहाँ योगदान को ट्रैक करना कठिन है) से स्पष्ट ट्रावर्सल (जहाँ योगदान ट्रैक करने योग्य और फ़िल्टर करने योग्य है) की ओर बढ़ने का प्रस्ताव करता है।