← नवीनतम पेपर
🤖 AI

A Multi-Agent system for Multi-Objective constrained optimization

यह शोध पत्र MAMO को प्रस्तुत करता है, जो एक मल्टी-एजेंट सुदृढीकरण शिक्षण (multi-agent reinforcement learning) ढांचा है जो गतिशील वातावरणों में प्राथमिक उद्देश्यों और बाधा उल्लंघनों के बीच संतुलन बनाने के लिए इष्टतम रिवॉर्ड वेट्स (reward weights) को स्वायत्त रूप से सीखता है, जिससे पारंपरिक लैग्रेंजियन-आधारित दृष्टिकोणों में मैन्युअल वेट चयन की सीमाओं को दूर किया जा सके।

मूल लेखक: Federica Filippini

प्रकाशित 2026-06-19
📖 5 मिनट में पढ़ें🧠 गहराई से पढ़ें
CC BY 4.0

मूल लेखक: Federica Filippini

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

कल्पना कीजिए कि आप एक व्यस्त कॉफी शॉप के मैनेजर हैं। आपके दो मुख्य लक्ष्य हैं:

  1. लागत कम रखें: बहुत अधिक बरिस्ता (barista) न रखें या बहुत अधिक दूध न खरीदें, अन्यथा आप नुकसान उठाएंगे।
  2. ग्राहकों को खुश रखें: बहुत कम बरिस्ता न रखें, अन्यथा लाइन बहुत लंबी हो जाएगी, और लोग नाराज होकर चले जाएंगे (तकनीकी शब्दों में, उनके ऑर्डर "रिजेक्ट" हो जाएंगे)।

वास्तविक दुनिया में, ग्राहकों की संख्या लगातार बदलती रहती है। कभी मंगलवार की शांत सुबह होती है, तो कभी शुक्रवार की भारी भीड़ वाली भागदौड़।

पुराना तरीका: संतुलन का अनुमान लगाना

पारंपरिक रूप से, कंप्यूटर सिस्टम जो इस समस्या को हल करने की कोशिश करते हैं, वे "रीइन्फोर्समेंट लर्निंग" (Reinforcement Learning) नामक विधि का उपयोग करते हैं। इसे एक रोबोट मैनेजर को प्रशिक्षित करने के रूप में समझें। इसे सिखाने के लिए, आप इसे एक स्कोरकार्ड देते हैं। लेकिन यहाँ पेंच यह है कि यह स्कोरकार्ड एक एकल संख्या है जो आपके दोनों लक्ष्यों को मिलाकर बनाई गई है।

  • "यदि आप पैसा बचाते हैं, तो आपको +10 अंक मिलते हैं।"
  • "यदि कोई ग्राहक नाराज होता है, तो आप -50 अंक खो देते हैं।"

समस्या यह है कि यह कौन तय करेगा कि -50 सही संख्या है? पुराने तरीके में, एक इंसान को इन नंबरों (जिन्हें 'वेट्स' कहा जाता है) का अनुमान लगाना होता है और उन्हें मैन्युअल रूप से टाइप करना होता है।

  • यदि आपका अनुमान दंड (penalty) बहुत कम है, तो रोबोट लापरवाह हो जाएगा, पैसा बचाएगा, लेकिन ग्राहकों को नाराज कर देगा।
  • यदि आपका अनुमान दंड बहुत अधिक है, तो रोबोट घबराया हुआ सा व्यवहार करेगा, एक ग्राहक के लिए भी 20 बरिस्ता रख लेगा ताकि वह सुरक्षित रहे, जिससे पैसा बर्बाद होगा।

एक बदलती दुनिया में (जैसे एक कॉफी शॉप जो दिन के अलग-अलग समय पर व्यस्त होती है), "परफेक्ट" नंबर लगातार बदलता रहता है। इंसान हर मिनट नए नंबर टाइप करके तालमेल नहीं बिठा सकते।

नया तरीका: MAMO (दो-एजेंट सिस्टम)

यह पेपर एक नया सिस्टम पेश करता है जिसे MAMO कहा जाता है। एक अकेले रोबोट मैनेजर के बजाय जो नियमों का अनुमान लगाता है, MAMO एक पदानुक्रम (hierarchy) में काम करने वाले दो रोबोटों का उपयोग करता है।

1. "करने वाला" (कार्य-निष्पादन एजेंट/Doer)

यह फर्श पर मौजूद रोबोट है। इसका काम सरल है: "लाइन को देखो, तय करो कि कितने बरिस्ता रखने हैं, और उन नियमों के आधार पर सबसे अच्छा स्कोर पाने की कोशिश करो जो मैं तुम्हें देता हूँ।" इसे इस बात की चिंता नहीं है कि नियम क्या हैं; यह बस उनका पालन करता है।

2. "कोच" (वेट-अनुकूलन एजेंट/Coach)

यह ऑफिस में बैठा रोबमा है। यह कॉफी मशीन को कभी नहीं छूता। इसका एकमात्र काम "करने वाले" को देखना और नियमों को बदलना है।

  • कोच पिछले 300 मिनटों की सर्विस को देखता है।
  • वह देखता है: "हे, हमने बहुत पैसा बचाया, लेकिन 10% ग्राहक नाराज होकर चले गए। यह बहुत जोखिम भरा है।"
  • इसलिए, कोच नियम बदल देता है: "ठीक है, मैं नाराज ग्राहकों के लिए दंड (penalty) बहुत अधिक कर दूँगा।"
  • यह कोच नए नियम "करने वाले" को सौंप देता है।
  • "करने वाला" नए नियमों के साथ फिर से प्रयास करता है।

वे मिलकर कैसे सीखते हैं

यह सिस्टम एक लूप में काम करता है, जैसे एक कोच और एक एथलीट:

  1. कोच नियमों का एक सेट (वेट्स) चुनता है और कहता है, "शुरू करो!"
  2. करने वाला कुछ समय के लिए काम करता है, उन नियमों के साथ अपना सर्वश्रेष्ठ प्रदर्शन करने की कोशिश करता है।
  3. कोच परिणामों को देखता है। क्या हमने ग्राहकों को खुश रखा? क्या हमने पैसा बचाया?
  4. कोच नियमों में थोड़ा बदलाव करता है और अगला दौर शुरू करता है।

समय के साथ, कोच यह सीख जाता है कि नियमों को कैसे संतुलित किया जाए ताकि "करने वाला" स्वाभाविक रूप से उस "स्वीट स्पॉट" (सही संतुलन) को पा सके, बिना इसके कि कोच को हर एक कॉफी ऑर्डर की सूक्ष्म निगरानी करनी पड़े। सिस्टम अपने आप ही सही संतुलन ढूंढ लेता है, और जैसे-जैसे "रश ऑवर" (भीड़ का समय) बदलता है, यह खुद को ढाल लेता है।

प्रयोग

शोधकर्ताओं ने इसका परीक्षण एक सिम्युलेटेड "एज कंप्यूटिंग" सिस्टम (जो मूल रूप से छोटे सर्वरों का एक नेटवर्क है, जैसे कि कॉफी शॉप) पर किया।

  • उन्होंने "करने वाले" को एक निश्चित नियम (जैसे, "हमेशा बहुत सावधान रहें") देने की कोशिश की। जब काम का बोझ बहुत बढ़ गया, तो यह विफल रहा।
  • उन्होंने एक अलग निश्चित नियम ("हमेशा सस्ता बनें") की कोशिश की। यह विफल रहा क्योंकि ग्राहक नाराज हो गए।
  • MAMO के साथ: "कोच" ने एक रैंडम नियम से शुरुआत की। कुछ समय बाद, उसने सही संतुलन ढूंढ लिया। सिस्टम ने "नाराज ग्राहक" की दर (रिजेक्शन रेट) को सीमा (5%) से ठीक नीचे रखा, जबकि लागत को जितना संभव हो उतना कम रखा, भले ही काम का बोझ अनिश्चित और शोर-शराबे वाला था।

निष्कर्ष

MAMO एक ऐसा तरीका है जिससे आप कंप्यूटर को बिना किसी इंसान द्वारा लगातार सेटिंग्स बदलने के, समझौते (trade-offs) करना सिखा सकते हैं। यह कार्य (काम करना) को रणनीति (यह तय करना कि क्या महत्वपूर्ण है) से अलग करता है, जिससे सिस्टम अनुभव के माध्यम से सही संतुलन सीखना शुरू कर देता है, ठीक वैसे ही जैसे एक अनुभवी मैनेजर करता है।

अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?

आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।

Digest आज़माएँ →

इसी तरह के और पेपर

इस विषय के सभी पेपर देखें 🤖 cs.AI →