🤖 AI

Fairness for Workers Who Pull the Arms: An Index Based Policy for Allocation of Restless Bandit Tasks

यह शोध पत्र एक मल्टी-वर्कर रेस्टलेस बैंडिट फ्रेमवर्क प्रस्तुत करता है जो विषम श्रमिकों (हेटरोजीनियस वर्कर्स) के बीच हस्तक्षेप कार्यों को आवंटित करने के लिए व्हिटल इंडेक्स (Whittle index) का विस्तार करता है, जो व्यक्तिगत बजट बाधाओं को संतुष्ट करने और कार्यभार के निष्पक्ष वितरण को सुनिश्चित करने के साथ-साथ पुरस्कार को अनुकूलित करता है।

मूल लेखक: Arpita Biswas, Jackson A. Killian, Paula Rodriguez Diaz, Susobhan Ghosh, Milind Tambe

प्रकाशित 2026-02-26

📖 6 मिनट में पढ़ें🧠 गहराई से पढ़ें

CC BY 4.0

मूल लेखक: Arpita Biswas, Jackson A. Killian, Paula Rodriguez Diaz, Susobhan Ghosh, Milind Tambe

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

कल्पना कीजिए कि आप पार्क रेंजर्स (Park Rangers) की एक टीम के मैनेजर हैं, जिन्हें एक विशाल राष्ट्रीय उद्यान की रक्षा करने का काम सौंपा गया है। यह पार्क विभिन्न "ज़ोन" (जैसे कि एक जंगल, एक नदी का किनारा, या एक पहाड़ी रास्ता) से भरा हुआ है। प्रत्येक ज़ोन में एक समस्या होती है जो समय के साथ बदलती रहती है: कभी-कभी यह केवल झाड़ियों से भरा होता है, कभी इसमें छिपे हुए जाल (snares) होते हैं, और कभी यह साफ और सुरक्षित होता है।

आपका लक्ष्य पार्क को यथासंभव सुरक्षित रखना है (इनाम/रिवॉर्ड को अधिकतम करना)। इसे करने के लिए, आपके पास रेंजर्स (कर्मचारियों) की एक टीम है जो इन ज़ोन में गश्त (patrol) कर सकते हैं।

पुराना तरीका बनाम नई समस्या

पुराना तरीका (द "वन-पूल" मॉडल):
अतीत में, कंप्यूटर वैज्ञानिकों ने सभी रेंजर्स को एक जैसे क्लोन के रूप में माना। उन्होंने माना कि:

हर रेंजर को बाहर भेजने की ऊर्जा की लागत समान है।
हर रेंजर किसी भी समस्या को समान रूप से ठीक कर सकता है।
आपके पास कुल ऊर्जा की एक "बाल्टी" होती है, और आप इसे इच्छानुसार गश्त के लिए बांट देते हैं।

वास्तविक दुनिया की समस्या:
वास्तविकता में, रेंजर्स अलग होते हैं!

रेंजर एलिस घनी झाड़ियों को साफ करने में विशेषज्ञ हैं लेकिन उनके घुटने में समस्या है, इसलिए वे लंबी दूरी तक नहीं चल सकतीं।
रेंजर बॉब के पास जाल खोजने के लिए मेटल डिटेक्टर है लेकिन वे झाड़ियाँ साफ करने में बहुत खराब हैं।
रेंजर चार्ली तेज़ है लेकिन जल्दी थक जाता है।

यदि आप उन सभी के साथ एक जैसा व्यवहार करते हैं, तो आप एलिस को 20 मील चलने के लिए भेज सकते हैं (उनके बजट को तोड़ते हुए) या बॉब को झाड़ियाँ साफ करने के लिए भेज सकते हैं (उनका समय बर्बाद करते हुए)। इससे भी बुरा यह है कि यदि आप हर दिन सबसे अच्छे ज़ोन के लिए सबसे अच्छे रेंजर्स को भेजते हैं, तो एलिस सारा भारी काम करती रहेगी जबकि बॉब खाली बैठा रहेगा। यह अन्यायपूर्ण है, और आपकी टीम थककर चूर हो जाएगी (burn out)।

पेपर का समाधान: "पुलर्स के लिए निष्पक्षता" (Fairness for the Pullers)

यह पेपर इन गश्त की योजना बनाने का एक नया तरीका पेश करता है, जिसे मल्टी-वर्कर रेस्टलेस बैंडिट्स (Multi-Worker Restless Bandits) कहा जाता है। इसे एक स्मार्ट शेड्यूलिंग ऐप की तरह समझें जो अधिकतम लाभ करने और टीम को खुश रखने के बीच संतुलन बनाता है।

यहाँ उनका समाधान तीन सरल चरणों में दिया गया है:

1. "स्कोरकार्ड" (व्हिटल इंडिसेस - Whittle Indices)

सबसे पहले, कंप्यूटर हर संभव ज़ोन + रेंजर के संयोजन के लिए एक "स्कोर" की गणना करता है।

उदाहरण: "यदि हम रेंजर बॉब को नदी के किनारे भेजते हैं, तो स्कोर 90 है।" "यदि हम रकी रेंजर एलिस को नदी के किनारे भेजते हैं, तो स्कोर 10 है।"
यह स्कोर बताता है कि वह विशिष्ट कार्य कितना मूल्यवान है।

2. "टीमवर्क एडजस्टमेंट" (असली सीक्रेट सॉस)

यह इस पेपर का सबसे बड़ा नवाचार है। पुराने गणित में, यदि आप बॉब का स्कोर निकालते थे, तो यह मान लिया जाता था कि बॉब दुनिया का एकमात्र रेंजर है। लेकिन वास्तव में, बॉब को जाल खोजने के लिए पहले एलिस की मदद से झाड़ियाँ साफ करवाने की आवश्यकता हो सकती है।

उपमा: कल्पना कीजिए कि एक रिले रेस (relay race) की। यदि आप केवल एक धावक की गति को अकेले देखते हैं, तो आप इस तथ्य को भूल जाते हैं कि उन्हें जीतने के लिए पिछले धावक से एक अच्छे हैंडऑफ की आवश्यकता होती है।
लेखकों ने एक नया गणितीय तरीका बनाया जो कहता है: "हे, जब बॉब का स्कोर निकाल रहे हों, तो मान लें कि एलिस भी भविष्य में मदद करने के लिए वहाँ मौजूद है।" यह सुनिश्चित करता है कि वे उस रेंजर को कम न आंकें जिसे प्रभावी होने के लिए एक साथी की आवश्यकता है।

3. "फेयर राउंड-रॉबिन" (संतुलित आवंटन)

अब जब हमारे पास सबसे अच्छे स्कोर हैं, तो हम कार्यों को कैसे सौंपते हैं?

लालची दृष्टिकोण (The Greedy Trap): एक लालची दृष्टिकोण केवल शीर्ष 5 कार्यों को 5 सबसे अच्छे रेंजर्स को दे देगा, जिससे अन्यों के पास कुछ नहीं बचेगा।
निष्पक्ष दृष्टिकोण: लेखक एक "राउंड-रॉबिन" प्रणाली (ताश बांटने की तरह) का उपयोग करते हैं।
1. वे रेंजर्स को उनकी वर्तमान क्षमता के उच्चतम स्कोर के आधार पर कतार में लगाते हैं।
2. वे पहले रेंजर को सबसे अच्छा उपलब्ध कार्य देते हैं।
3. वे दूसरे रेंजर को अगला सबसे अच्छा कार्य देते हैं।
4. वे टीम के माध्यम से चक्कर लगाते रहते हैं।
परिणाम: सबको काम का एक निष्पक्ष हिस्सा मिलता है। कोई भी अत्यधिक काम नहीं करता। यदि कोई कार्य किसी विशिष्ट रेंजर के "ऊर्जा बजट" के लिए बहुत महंगा है, तो सिस्टम उन्हें छोड़कर अगले व्यक्ति पर चला जाता है, जिससे यह सुनिश्चित होता है कि कोई भी अपनी सीमा न तोड़े।

यह क्यों मायने रखता है?

शोधकर्ताओं ने कंप्यूटर पर हजारों अलग-अलग परिदृश्यों (जैसे मशीन मरम्मत, स्वास्थ्य निगरानी और अवैध शिकार विरोधी) पर इनका परीक्षण किया।

परिणाम: उनकी विधि (CWI+BA) इनाम पाने (पार्क को सुरक्षित रखने) के मामले में "परफेक्ट" समाधान के लगभग बराबर थी।
जीत: लेकिन "परफेक्ट" समाधान (जिसे कैलकुलेट करने में बहुत समय लगता है और जो वास्तविक जीवन के लिए बहुत धीमा है) या "लालची" समाधान (जो अनुचित है) के विपरीत, उनकी विधि तेज़, स्केलेबल और निष्पक्ष थी।

मुख्य निष्कर्ष

यह पेपर हमें सिखाता है कि जब आप मनुष्यों (या अलग-अलग कौशल वाले रोबोटों) की टीम का प्रबंधन कर रहे होते हैं, तो आप केवल शून्य में "सर्वश्रेष्ठ" विकल्प को नहीं देख सकते। आपको:

यह समझना होगा कि टीमवर्क कार्य के मूल्य को बदल देता है (एलिस + बॉब > एलिस अकेले)।
काम का भार फैलाना होगा ताकि काम करने वाले लोग थककर चूर न हों।

यह एक ऐसे बॉस के बीच का अंतर है जो सिर्फ चिल्लाता है "काम पूरा करो!" और एक ऐसे बॉस के बीच है जो कहता है, "आइए देखें कि कौन किस काम के लिए सबसे अच्छा है, आइए सुनिश्चित करें कि हम सब एक-दूसरे की मदद करें, और आइए सुनिश्चित करें कि हम सभी समान मात्रा में ऊर्जा लेकर घर जाएं।"

यहाँ शोध पत्र "Fairness for Workers Who Pull the Arms: An Index Based Policy for Allocation of Restless Bandit Tasks" का विस्तृत तकनीकी सारांश दिया गया है।

1. समस्या की परिभाषा: मल्टी-वर्कर रेस्टलेस मल्टी-आर्म्ड बैंडिट्स (MWRMAB)

यह शोध पत्र रेस्टलेस मल्टी-आर्म्ड बैंडिट्स (RMABs) के मौजूदा साहित्य में मौजूद एक कमी को संबोधित करता है। जबकि शास्त्रीय RMABs एक ऐसी अनुक्रमिक निर्णय प्रक्रिया (sequential decision-making) को मॉडल करते हैं जहाँ एक योजनाकार दीर्घकालिक पुरस्कारों को अधिकतम करने के लिए $N$ स्वतंत्र आर्म्स (मार्कोव निर्णय प्रक्रियाओं) को सीमित संसाधनों का आवंटन करता है, वे यह मान लेते हैं कि सभी संसाधन समरूप (homogeneous/एक जैसे) हैं और एक ही वैश्विक बजट से आते हैं।

लेखक मल्टी-वर्कर रेस्टलेस मल्टी-आर्म्ड बैंडिट (MWRMAB) समस्या को पेश करते हैं, जो वास्तविक दुनिया की उन बाधाओं को दर्शाता है जहाँ हस्तक्षेप के संसाधन विषम मानव कार्यकर्ता (heterogeneous human workers) होते हैं।

सेटअप: $N$ आर्म्स (टास्क) और $M$ वर्कर्स हैं। प्रत्येक आर्म $i$ एक MDP का पालन करता है।
विषमता (Heterogeneity): प्रत्येक वर्कर $j$ के पास विशिष्ट लागत ( $c_{ij}$ ) और हस्तक्षेप प्रभाव (ट्रांज़िशन प्रोबेबिलिटी $P_{ij}$ ) होते हैं जब वे आर्म $i$ पर कार्य करते हैं।
बाधाएं (Constraints):
1. प्रति-वर्कर बजट: प्रत्येक वर्कर $j$ का प्रति टाइम स्टेप एक सख्त लागत बजट $B$ होता है।
2. निष्पक्षता (Fairness): किसी भी समय अंतराल पर किन्हीं दो वर्कर्स द्वारा झेली गई लागत का अंतर $\epsilon$ थ्रेशोल्ड से अधिक नहीं होना चाहिए (अर्थात, $\max_j C_j(t) - \min_j C_j(t) \leq \epsilon$ )।
उद्देश्य: व्यक्तिगत बजट बाधाओं को पूरा करते हुए और वर्कर्स के बीच लोड निष्पक्षता सुनिश्चित करते हुए अपेक्षित दीर्घकालिक पुरस्कार को अधिकतम करना।

$M > 1$ होने पर स्टेट्स और एक्शन्स के कॉम्बिनेटोरियल विस्फोट के कारण इस समस्या को PSPACE-hard दिखाया गया है।

2. कार्यप्रणाली (Methodology)

लेखक MWRMAB समस्या को कुशलतापूर्वक हल करने के लिए तीन-चरणीय ढांचे का प्रस्ताव करते हैं:

चरण 1: अपघटन और डीकप्ल्ड इंडेक्स गणना (Decomposition and Decoupled Index Computation)

लेखक वैश्विक समस्या को $N \times M$ स्वतंत्र उप-समस्याओं में विभाजित करने के लिए प्रति-टाइमस्टेप बजट बाधाओं को 'टाइम-एवरेज' बाधाओं में ढीला (relax) कर देते हैं।

वे प्रत्येक आर्म-वर्कर जोड़ी के लिए व्हिटल इंडेक्स ( $\lambda^*_{ij}$ ) की गणना करते हैं।
थ्योरम 1 इंडेक्स और लागत के बीच संबंध स्थापित करता है: यदि दो वर्कर्स की ट्रांज़िशन प्रोबेबिलिटी समान है लेकिन उनकी लागत अलग है, तो उनके व्हिटल इंडेक्स उनकी लागत के व्युत्क्रमानुपाती (inversely proportional) होंगे ( $\lambda^*_{ij} / \lambda^*_{ij'} = c_{ij'} / c_{ij}$ )।
यह चरण मानता है कि वर्कर्स स्वतंत्र रूप से कार्य करते हैं, जो कि एक सन्निकटन (approximation) है।

चरण 2: एडजस्टेड इंडेक्स गणना (Inter-Action Effects को संभालना)

चरण 1 से प्राप्त डीकप्ल्ड इंडेक्स पर्याप्त नहीं हैं क्योंकि एक वर्कर के कार्य का मूल्य अक्सर अन्य वर्कर्स के कार्यों पर निर्भर करता है (जैसे, एक वर्कर झाड़ियों को साफ करता है, दूसरा जाल का पता लगाता है)।

समस्या: वर्कर A के लिए एक डीकप्ल्ड इंडेक्स शून्य हो सकता है यदि वर्कर A अकेले रिवॉर्ड स्टेट तक नहीं पहुँच सकता, भले ही वर्कर A, वर्कर B के साथ मिलकर आवश्यक हो।
समाधान: लेखक एक एडजस्टेड इंडेक्स ( $\lambda^{adj,*}_{j}$ ) को परिभाषित करते हैं। यह इंडेक्स उस न्यूनतम शुल्क को दर्शाता है जो वर्कर $j$ के हस्तक्षेप को $M+1$ एक्शन्स वाले एक संयुक्त (combined) MDP में किसी भी अन्य वर्कर $j'$ के समान मूल्यवान बनाता है।
एल्गोरिदम: वे बाइनरी सर्च का उपयोग करके एडजस्टेड इंडेक्स पाते हैं, जिसमें अन्य वर्कर्स के चार्जेस ( $\lambda$ $λ$ ) को उनके पूर्व-निर्धारित डीकप्ल्ड इंडेक्स ( $\lambda^*$ $λ^{*}$ ) पर सेट किया जाता है।
- तर्क: अन्य वर्कर्स के लिए डीकप्ल्ड इंडेक्स को चार्जेस के रूप में उपयोग करना उनके मूल्य पर एक यथार्थवादी निचली सीमा (lower bound) प्रदान करता है, जो इंडेक्स को कृत्रत्रिम रूप से दबाने (एक दोष जिसे थ्योरम 2 में पहचाना गया था जहाँ अन्य चार्जेस को 0 सेट करने से खराब नीतियां मिलती हैं) से बचाता है।

चरण 3: बैलेंस्ड एलोकेशन एल्गोरिदम (Balanced Allocation Algorithm)

निष्पक्षता और बजट व्यवहार्यता सुनिश्चित करने के लिए, लेखक एक बैलेंस्ड एलोकेशन (BA) ह्यूरिस्टिक प्रस्तावित करते हैं:

रैंकिंग: वर्कर्स को उनके उच्चतम उपलब्ध व्हिटल इंडेक्स के आधार पर क्रमबद्ध किया जाता है।
राउंड-रॉबिन असाइनमेंट: इस क्रम के आधार पर वर्कर्स को राउंड-रॉबिन तरीके से आर्म्स आवंटित किए जाते हैं।
बजट चेक: यदि कोई आर्म वर्कर के बजट का उल्लंघन करता है, तो एल्गोरिदम अगले सर्वोत्तम आर्म का प्रयास करता है। यदि बजट बाधाओं के कारण किसी वर्कर को कोई आर्म आवंटित नहीं किया जा सकता, तो उस वर्कर को अस्थायी रूप से रोटेशन से हटा दिया जाता है।
निष्पक्षता गारंटी: होमोजेनियस सेटिंग्स में, यह एल्गोरिदम इष्टतम (optimal) और पूर्णतः निष्पक्ष (perfectly fair) सिद्ध होता है (थ्योरम 3)।

3. मुख्य योगदान

MWRMAB का औपचारिककरण: विषम वर्कर्स, प्रति-वर्कर बजट और वर्कलोड वितरण पर स्पष्ट निष्पक्षता बाधाओं के साथ RMAB समस्या को औपचारिक रूप देने वाला यह पहला कार्य है।
नवीन इंडेक्सिंग ढांचा: एक विधि विकसित की गई है जो एडजस्टेड व्हिटल इंडेक्स की गणना करती है जो वर्कर्स के बीच परस्पर निर्भरता (inter-worker dependencies/inter-action effects) को ध्यान में रखती है, जिससे मानक डीकप्ल्ड इंडेक्स की सीमाएं दूर होती हैं।
फेयर एलोकेशन पॉलिसी: एक स्केलेबल, इंडेक्स-आधारित शेड्यूलिंग पॉलिसी (बैलेंस्ड एलोकेशन) पेश की गई है जो कुल रिवॉर्ड से महत्वपूर्ण समझौता किए बिना निष्पक्षता की गारंटी देती है।
सैद्धांतिक अंतर्दृष्टि: सिद्ध किया गया है कि होमोजेनियस वर्कर्स के लिए, प्रस्तावित ढांचा इष्टतम और पूर्णतः निष्पक्ष समाधान प्रदान करता है।

4. अनुभवजन्य परिणाम (Empirical Results)

लेखकों ने अपने मेथड (CWI+BA: कंबाइंड व्हिटल इंडेक्स + बैलेंस्ड एलोकेशन) का कई बेसलाइन्स के विरुद्ध मूल्यांकन किया:

बेसलाइन्स:
- PWI+BA: डीकप्ल्ड इंडेक्स का उपयोग करता है (चरण 2 को छोड़ देता है)।
- CWI+GA: एडजस्टेड इंडेक्स का उपयोग करता है लेकिन ग्रीडी एलोकेशन के साथ (चरण 3 को छोड़ देता है)।
- Hawkins / OPT / OPT-fair: इष्टतम या लगभग इष्टतम सॉल्वर (एक्सपोनेंशियल कॉम्प्लेक्सिटी, छोटे इंस्टेंस तक सीमित)।
- Random: रैंडम एलोकेशन।
परीक्षण किए गए डोमेन: कांस्टेंट यूनिटरी कॉस्ट्स, ऑर्डर्ड वर्कर्स (विषम प्रभावशीलता), और स्पेशलिस्ट डोमेन (पूरक कौशल)।
प्रदर्शन मेट्रिक्स:
- रिवॉर्ड: CWI+BA सबसे चुनौतीपूर्ण "ऑर्डर्ड वर्कर" परिदृश्य में केवल 18.95% की कमी के साथ, इष्टतम बेसलाइन्स (OPT/Hawkins) के बराबर रिवॉर्ड प्राप्त करता है।
- निष्पक्षता: CWI+BA रिवॉर्ड-अधिकतम करने वाले बेसलाइन्स की तुलना में काफी अधिक निष्पक्षता (बैलेंस्ड लोड वाले टाइम स्टेप्स का अंश) प्राप्त करता है। बड़े पैमाने के इंस्टेंस ( $N=150$ ) में, इसने रिवॉर्ड में केवल 6.06% की कमी के साथ निष्पक्षता में 374.92% तक सुधार दिखाया।
- स्केलेबिलिटी: जबकि इष्टतम सॉल्वर (OPT-fair) $N \geq 10$ के लिए मेमोरी समाप्त कर देते हैं, CWI+BA लीनियर रूप से स्केल करता है और $N=150$ के लिए भी सेकंडों में चलता है।

5. महत्व

यह कार्य कई कारणों से महत्वपूर्ण है:

वास्तविक दुनिया में प्रयोज्यता: यह सैद्धांतिक RMAB मॉडल और मानव कार्यबल (जैसे, एंटी-पोचिंग पेट्रोल, मशीन रखरखाव, स्वास्थ्य देखभाल हस्तक्षेप) से जुड़े व्यावहारिक अनुप्रयोगों के बीच के अंतर को पाटता है जहाँ वर्कर्स के पास अलग-अलग कौशल, लागत और कार्यभार सीमाएं होती हैं।
AI में निष्पक्षता: यह एजेंटों (वर्कर्स) के बीच निष्पक्षता को संबोधित करता है, जो कि योजना निष्पादित करने वाले एजेंटों के बीच निष्पक्षता है, न कि केवल लाभार्थियों (आर्म्स) के बीच।
स्केलेबिलिटी: यह एक ऐसे समस्या के लिए गणनात्मक रूप से सुलभ समाधान प्रदान करता है जो इष्टतम सॉल्वरों के लिए सैद्धांतिक रूप से दुर्बोध (PSPACE-hard) है, जिससे यह बड़े पैमाने की प्रणालियों में वास्तविक समय में तैनाती के लिए उपयुक्त बनता है।
सामान्यीकरण: यह दृष्टिकोण व्हिटल इंडेक्स की अवधारणा को कई विषम एजेंटों के बीच जटिल इंटरैक्शन को संभालने के लिए सामान्यीकृत करता है, जो बाधित अनुक्रमिक निर्णय लेने (constrained sequential decision-making) के अनुसंधान के लिए एक नया दिशा प्रदान करता है।