कल्पना कीजिए कि आप डिलीवरी ड्रोन्स के एक बेड़े के कप्तान हैं, या शायद वीडियो गेम के पात्रों की एक टीम के प्रबंधक हैं, और आपके पास बांटने के लिए कार्यों की एक सूची है। कंप्यूटर विज्ञान की दुनिया में, इसे "मल्टी-आर्म्ड बैंडिट" (Multi-Armed Bandit) समस्या के रूप में जाना जाता है। यह एक शानदार नाम है एक सरल दुविधा के लिए: आपके पास कई विकल्प हैं (एक स्लॉट मशीन की "बाहुओं" की तरह), लेकिन आप नहीं जानते कि कौन सा सबसे अच्छा परिणाम देता है। आपको सीखने के लिए उन्हें आज़माना होगा, लेकिन हर बार जब आप कोशिश करते हैं, तो आप इनाम पाने का एक मौका खो देते हैं। अब, कल्पना कीजिए कि आप केवल निर्णय लेने वाले एक व्यक्ति नहीं हैं, बल्कि आपकी एक पूरी टीम है, और आप चाहते हैं कि सभी को अच्छे पुरस्कारों का एक उचित अवसर मिले, न कि केवल भाग्यशाली कुछ लोगों को ही। यह "मल्टी-एजेंट" (Multi-Agent) वाला हिस्सा है। बड़ा सवाल जो शोधकर्ता पूछ रहे हैं वह यह है: आप सीखने (exploration) और कमाने (exploitation) के बीच कैसे संतुलन बनाएंगे, जबकि यह भी सुनिश्चित करेंगे कि आपकी टीम में कोई भी पीछे न छूट जाए?

"फॉर मल्टी-एजेंट मल्टी-आर्म्ड बैंडिट्स विद प्रोबिंग विद फेयर एल्गोरिदम" (Fair Algorithms with Probing for Multi-Agent Multi-Armed Bandits) शीर्षक वाला यह शोध पत्र ठीक इसी समस्या पर काम करता है। लेखक, टुलन विश्वविद्यालय और इलिनोइस विश्वविद्यालय की एक टीम, इन निर्णयों को लेने का एक चतुर नया तरीका प्रस्तावित करते हैं। वे एक "प्रोबिंग" (Probing) तंत्र पेश करते हैं, जो एक स्काउट (जासूस) को भेजने जैसा है जो अपनी पूरी टीम को किसी काम में लगाने से पहले स्थिति का पता लगाता है। किसी ड्राइवर को किसी शहर के ब्लॉक में अंधे होकर भेजने और सवारी की उम्मीद करने के बजाय, या किसी ड्रोन को डिलीवरी ज़ोन में भेजने के बजाय, आप पहले कुछ ज़ोनों पर नज़र डालते हैं कि वास्तव में वहां क्या हो रहा है। यह अतिरिक्त जानकारी जुटाकर, सिस्टम अधिक स्मार्ट और निष्पक्ष असाइनमेंट कर सकता है। शोधकर्ता गणितीय रूप से सिद्ध करते हैं कि उनका तरीका तब अच्छा काम करता है जब नियम ज्ञात होते हैं (ऑफलाइन) और जब नियम छिपे होते हैं (ऑनलाइन) तो यह तेजी से सीखता है और कहीं अटकता नहीं है।

समस्या: भूखी टीम और रहस्यमयी बक्से

एक राइडशेयरिंग ऐप की कल्पना करें। आपके पास कई ड्राइवर (एजेंट) हैं और कई शहर के मोहल्ले (आर्म्स) हैं। ऐप को यह तय करने की आवश्यकता है कि कौन सा ड्राइवर किस मोहल्ले में जाएगा। यदि ऐप केवल कंपनी के लिए कुल मिलाकर अधिक पैसा कमाने की कोशिश करता है, तो यह सभी ड्राइवरों को उसी एक मोहल्ले में भेज सकता है जो सबसे व्यस्त लग रहा है। परिणाम? उस एक मोहल्ले के ड्राइवर अमीर हो जाते हैं, लेकिन शांत मोहल्लों के ड्राइवरों को कुछ नहीं मिलता। वे काम से "भूखे" (starved) रह जाते हैं। यह "कुल योग" (sum) को अधिकतम करने का क्लासिक जाल है; यह असमानता पैदा करता है।

इसे ठीक करने के लिए, लेखक सुझाव देते हैं कि हमें केवल सभी की कमाई को जोड़ना नहीं चाहिए। इसके बजाय, हमें "नाश सोशल वेलफेयर" (Nash Social Welfare) को देखना चाहिए। इसे एक टीम स्कोर की तरह समझें जहाँ यदि टीम में से किसी भी सदस्य का स्कोर शून्य है, तो पूरी टीम का स्कोर शून्य हो जाता है। यह सिस्टम को किसी को भी पीछे छोड़ने से बचने के लिए मजबूर करता है। यह एक संतुलित वितरण को प्रोत्साहित करता जहाँ हर किसी को एक उचित हिस्सा मिले, बजाय इसके कि कुछ को सब कुछ मिले और अन्य को कुछ भी नहीं।

मोड़: स्काउट (प्रोबिंग)

लेकिन यहाँ एक पेच है: ऐप वास्तव में यह नहीं जानता कि कौन सा मोहल्ला व्यस्त है। उसके पास केवल अनुमान हैं। वास्तविक दुनिया में, ट्रैफ़िक बदलता है, मौसम बदलता है, और मांग घटती-बढ़ती रहती है। यदि ऐप गलत अनुमान लगाता है, तो वह एक ड्राइवर को सुनसान जगह पर भेज सकता है, जिससे उसका समय और ईंधन बर्बाद होगा।

यहीं पर इस शोध पत्र का बड़ा विचार आता है: प्रोबिंग (Probing)।

कल्पना कीजिए कि आप एक जनरल हैं जो युद्ध में सैनिकों को भेज रहे हैं। पूरी सेना भेजने से पहले, आप इलाके की जांच करने के लिए एक छोटी स्काउट टीम भेजते हैं। इस शोध पत्र की दुनिया में, "निर्णय लेने वाला" (ऐप) ड्राइवरों को असाइन करने से पहले कुछ मोहल्लों को "प्रोब" (जांच) कर सकता है। प्रोबिंग का अर्थ है लाइव डेटा की जांच करना—शायद यह देखना कि वर्तमान में कितने वाहन प्रतीक्षा कर रहे हैं या उस विशिष्ट ग्रिड स्क्वायर में कितने लोग सवारी की तलाश में हैं। इसमें थोड़ा समय या ऊर्जा (ओवरहेdt) खर्च होती है, लेकिन यह सिस्टम को वास्तविकता की बहुत स्पष्ट तस्वीर देता है।

लेखकों ने महसूस किया कि यदि आप सही मोहल्लों को प्रोब करते हैं, तो आप बहुत निष्पक्ष असाइनमेंट कर सकते हैं। आप देख सकते हैं कि मोहल्ला A वास्तव में मृत है, इसलिए आप वहां ड्राइवर नहीं भेजते, और इसके बजाय उन्हें मोहल्ला B में भेज देते हैं, जो चहल-पहल भरा है। यह उन ड्राइवरों के "भुखमरी" को रोकता है जिन्हें गलत अनुमान के आधार पर गलत जगह भेजा जाता।

उन्होंने इसे कैसे हल किया: ग्रीडी स्काउट

यह शोध पत्र समस्या को दो परिदृश्यों में विभाजित करता है:

1. ऑफलाइन सेटिंग (मानचित्र ज्ञात है): कल्पना कीजिए कि आपके पास शहर का एक आदर्श मानचित्र है और आप जानते हैं कि औसतन हर मोहल्ले में कितनी राइड्स होती हैं। इस पूर्ण ज्ञान के साथ भी, यह तय करना कि किन मोहल्लों को प्रोब करना सबसे अच्छा है और ड्राइवरों को कैसे असाइन करना है, अविश्वसनीय रूप से कठिन है (गणितीय रूप से "NP-hard")। यह एक विशाल पहेली को हल करने जैसा है जहाँ हर टुकड़ा दूसरों के मूल्य को बदल देता है।

   • समाधान: लेखकों ने एक "ग्रीडी" (Greedy) एल्गोरिदम डिजाइन किया। इसे एक ऐसे स्काउट के रूप में सोचें जो अगले मोहल्ले को चेक करने के आधार पर चुनता है कि कौन सा मोहल्ला टीम के निष्पक्षता स्कोर में सबसे बड़ा तत्काल उछाल लाने का वादा करता है। उन्होंने सिद्ध किया कि यह सरल, चरण-दर-चरण दृष्टिकोण उन्हें लगभग पूर्ण समाधान तक ले जाता है (एक स्थिर कारक के भीतर), यह सुनिश्चित करते हुए कि हर एक मोहल्ले की जांच किए बिना भी, उन्हें एक शानदार परिणाम मिले।

2. ऑनलाइन सेटिंग (मानचित्र अज्ञात है): यह वास्तविक दुनिया का परिदृश्य है। ऐप को मांग का पता नहीं होता; इसे ड्राइविंग करते समय इसे सीखना पड़ता है।

   • समाधान: उन्होंने OFMUP (Online Fair Multi-Agent UCB with Probing) नामक एक एल्गोरिदम बनाया। यह एल्गोरिदम एक स्मार्ट शिक्षार्थी की तरह है। यह बुनियादी बातें सीखने के लिए स्काउट भेजने से शुरू होता है। फिर, जैसे-जैसे यह डेटा एकत्र करता है, यह एक "कॉन्फिडेंस बाउंड" (confidence bound) रणनीति का उपयोग करता है। यदि यह किसी मोहल्ले के बारे में अनिश्चित है, तो यह सुनिश्चित करने के लिए उसे अधिक प्रोब करता है। यदि यह काफी आश्वस्त है, तो यह समय बर्बाद करना बंद कर देता है और ड्राइवरों को असाइन करता है।
   • परिणाम: उन्होंने गणितीय रूप से सिद्ध किया कि यह विधि तेजी से सीखती है। "रिग्रेट" (वह नुकसान जो सही चुनाव न करने से हुआ) समय के साथ बहुत धीरे-धीरे बढ़ता है। वास्तव में, उनकी प्रोबिंग विधि उन तरीकों की तुलना में काफी बेहतर प्रदर्शन करती है जो बिल्कुल भी प्रोब नहीं करते हैं।

प्रयोगों ने क्या दिखाया

अपने विचारों का परीक्षण करने के लिए, लेखकों ने सिमुलेशन चलाए और यहाँ तक कि 2016 के न्यूयॉर्क सिटी येलो टैक्सी डेटासेट का वास्तविक डेटा भी उपयोग किया। उन्होंने टैक्सियों को एजेंट और शहर के ब्लॉक्स को आर्म्स के रूप में माना।

• सेटअप: उन्होंने विभिन्न आकार की टीमों (12 से 20 ड्राइवर) और विभिन्न मोहल्लों (8 से 10) का परीक्षण किया। उन्होंने विभिन्न प्रकार के "रिवॉर्ड्स" (कुछ सरल, कुछ जटिल) का भी परीक्षण किया।
• तुलना: उन्होंने अपने तरीके की तुलना निम्नलिखित से की:
  • नॉन-प्रोबिंग (Non-Probing): बिना जांचे केवल अनुमान लगाना।
  • रैंडम प्रोबिंग (Random Probing): रैंडम मोहल्लों की जांच करना और ड्राइवरों को रैंडम तरीके से असाइन करना।
  • ग्रीडी प्रोबिंग विद रैंडम असाइनमेंट (Greedy Probing with Random Assignment): स्मार्ट तरीके से जांच करना लेकिन ड्राइवरों को रैंडम तरीके से असाइन करना।
• परिणाम: उनके तरीके, OFMUP ने प्रतियोगिता को पछाड़ दिया। कुछ परीक्षणों में, इसने रैंडम प्रोबिंग की तुलना में "रिग्रेट" (खोए हुए अवसर) को 85% तक और ग्रीडी प्रोबिंग विद रैंडम असाइनमेंट की तुलना में 60% तक कम कर दिया। इससे भी अधिक प्रभावशाली बात यह है कि जैसे-जैसे समस्या बड़ी और जटिल होती गई, उनका तरीका मुकाबला करने में बेहतर होता गया, जबकि अन्य संघर्ष करते रहे।

मुख्य निष्कर्ष

यह शोध पत्र केवल यह नहीं कहता कि "प्रोबिंग अच्छी है।" यह एक कठोर गणितीय ढांचा प्रदान करता है कि कैसे प्रोब किया जाए और निष्पक्षता सुनिश्चित करने के लिए कार्यों को कैसे असाइन किया जाए। यह इस विचार के विरुद्ध तर्क देता है कि हमें केवल कुल रिवॉर्ड के योग को अधिकतम करना चाहिए, यह दिखाते हुए कि यह अक्सर कुछ एजेंटों के लिए "भुखमरी" (starvation) का कारण बनता है। इसके बजाय, "नाश सोशल वेलफेयर" मीट्रिक का उपयोग करके और सक्रिय सूचना एकत्र करने (प्रोबिंग) की एक परत जोड़कर, हम ऐसे सिस्टम बना सकते हैं जो न केवल कुशल बल्कि न्यायसंगत भी हों।

लेखक दिखाते हैं कि अनिश्चितता से भरी दुनिया में, कूदने (असाइन करने) से पहले एक पल के लिए झांकना (प्रोब करना) पूरी टीम को खुश और सफल रखने की कुंजी है। उनका काम बताता है कि सही एल्गोरिदम के साथ, हम अपना केक भी खा सकते हैं और उसे खाकर आनंद भी ले सकते हैं: सिस्टम के लिए उच्च प्रदर्शन और प्रत्येक एजेंट के लिए एक निष्पक्ष हिस्सा।