🤖 AI

Multi-Agent Reinforcement Learning from Delayed Marketplace Feedback for Objective-Weight Adaptation in Three-Sided Dispatch

यह शोध पत्र डोरडैश (DoorDash) में तैनात एक मल्टी-एजेंट सुदृढीकरण शिक्षण (multi-agent reinforcement learning) प्रणाली को प्रस्तुत करता है जो ग्राहक अनुभव से समझौता किए बिना बैचिंग दक्षता और वितरण गुणवत्ता के बीच संतुलन को अनुकूलित करने के लिए विलंबित परिचालन फीडबैक से सीखकर, एक त्रि-पक्षीय बाजार में डिस्पैच उद्देश्य भारों (dispatch objective weights) को सुरक्षित रूप से अनुकूलित करती है।

मूल लेखक: Haochen Wu, Yi Hou, Shiguang Xie

प्रकाशित 2026-06-12

📖 5 मिनट में पढ़ें🧠 गहराई से पढ़ें

CC BY 4.0

मूल लेखक: Haochen Wu, Yi Hou, Shiguang Xie

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

कल्पना कीजिए कि एक विशाल, हलचल भरा फूड-डिलीवरी प्लेटफॉर्म है जैसे कि DoorDash। यह तीन पक्षों के बीच एक तालमेल है: ग्राहक जो गर्म खाना मिलने का इंतज़ार कर रहे हैं, रेस्टोरेंट्स जो ऑर्डर से अभिभूत हुए बिना खाना पकाने की कोशिश कर रहे हैं, और कूरियर (ड्राइवर) जो कुशलतापूर्वक ऑर्डर उठाने और पहुँचाने के माध्यम से पैसा कमाने की कोशिश कर रहे हैं।

यह पेपर एक नए "स्मार्ट मैनेजर" सिस्टम के बारे में बताता है जिसे DoorDash ने बनाया है ताकि ड्राइवरों और सिस्टम को बेहतर तरीके से एक साथ काम करने में मदद मिल सके। यह कैसे काम करता है, यहाँ सरल भाषा में समझाया गया है:

समस्या: "स्टैटिक" (स्थिर) नियम पुस्तिका

अभी, जो सिस्टम तय करता है कि किस ड्राइवर को कौन सा ऑर्डर मिलेगा, वह एक निश्चित सेटिंग्स वाली नियम पुस्तिका का उपयोग करता है। इस नियम पुस्तिका को एक थर्मोस्टेट की तरह समझें जिसे "मीडियम" पर सेट किया गया है।

दुविधा: सिस्टम को दो प्रतिस्पर्धी लक्ष्यों के बीच संतुलन बनाना होता है:
1. गति (Speed): ग्राहक तक खाना जितनी जल्दी हो सके पहुँचाना।
2. दक्षता (Efficiency): ऑर्डर्स को एक साथ समूहबद्ध करना (बैचिंग), ताकि एक ड्राइवर एक ही यात्रा में तीन भोजन उठा सके बजाय इसके कि वह तीन बार आने-जाने के चक्कर लगाए।
समस्या: एक निश्चित "मीडियम" सेटिंग हर जगह काम नहीं करती।
- यदि बहुत अधिक भीड़ (कंजेशन) है, तो बहुत अधिक कुशल (बैचिंग) होने की कोशिश करने से खाना देरी से पहुँच सकता है।
- यदि काम कम है, तो बहुत तेज़ होने की कोशिश करने का मतलब हो सकता है कि ड्राइवर खाली गाड़ी चला रहे हैं या बहुत अधिक अलग-अलग यात्राएं कर रहे हैं, जिससे समय और गैस बर्बाद हो रही है।
- वर्तमान में, इंसानों को इन नियमों को मैन्युअल रूप से बदलना पड़ता है, जो बहुत धीमा है और शुक्रवार की रात के डिनर रश जैसी अफरा-तफरी के अनुकूल नहीं बदल पाता।

समाधान: "स्मार्ट ट्यूनर"

मौजूदा नियम पुस्तिका को फेंक देने और एक रोबोट को पूरा सिस्टम चलाने के लिए प्रशिक्षित करने के बजाय (जो जोखिम भरा और जटिल है), शोधकर्ताओं ने एक "स्मार्ट ट्यूनर" बनाया है।

यह कैसे काम करता है: कल्पना करें कि मौजूदा नियम पुस्तिका एक रेडियो है। "स्मार्ट ट्यूनर" एक छोटा सा नॉब (घुमाने वाला बटन) है जो इसके सामने लगा है।
क्रिया: ऑर्डर असाइन करने से पहले, यह AI "ट्यूनर" वर्तमान स्थिति को देखता है (क्या बारिश हो रही है? क्या बहुत अधिक ऑर्डर्स हैं? क्या ड्राइवर रेस्टोरेंट्स पर बहुत देर से इंतज़ार कर रहे हैं?)। इसके आधार पर, यह नॉब को थोड़ा घुमाता है।
- बाएँ घुमाएँ: "आइए दक्षता को प्राथमिकता दें।" सिस्टम अधिक ऑर्डर्स को एक साथ समूहबद्ध करेगा, भले ही इसमें कुछ अतिरिक्त मिनट लगें।
- दाएँ घुमाएँ: "आइए गति को प्राथमिकता दें।" सिस्टम ड्राइवरों को सीधे रास्तों पर भेजेगा ताकि खाना जल्दी बाहर निकले, भले ही वे कम यात्राएं करें।
- केंद्र में: "सामान्य बनाए रखें।"

अतीत से सीखना (द "डिलेटेड फीडबैक" ट्रिक)

tricky हिस्सा यह है कि AI को तुरंत पता नहीं चल सकता कि उसने सही निर्णय लिया या नहीं।

उपमा: कल्पना करें कि आप एक शेफ हैं। आपको तब तक पता नहीं चलता कि आपका सूप बहुत नमकीन है जब तक कि ग्राहक उसे खा नहीं लेता और वापस नहीं भेज देता। इस सिस्टम में, "फीडबैक" (क्या ग्राहक को समय पर खाना मिला? क्या ड्राइवर ने समय बर्बाद किया?) ऑर्डर असाइन होने के 30-60 मिनट बाद आता है।
विधि: AI अतीत में जो हुआ उसके लॉग्स (logs) को देखकर सीखता है। यह लाखों पिछले दिनों का अध्ययन करता है, जो चुने गए "नॉब सेटिंग्स" को "विलंबित परिणामों" (क्या ड्राइवरों ने समय बचाया? क्या ग्राहकों ने बहुत लंबा इंतज़ार किया?) के साथ जोड़ता है।
सुरक्षा सर्वोपरि: क्योंकि AI पुराने डेटा से सीख रहा है (ऑफलाइन), इसलिए यह जोखिम है कि वह गलत अनुमान लगा सकता है। इसे रोकने के लिए, शोधकर्ताओं ने एक "रूढ़िवादी गार्डरेल" (conservative guardrail) जोड़ा है। AI को सतर्क रहने के लिए सिखाया गया है और वह अजीब या अनटेस्ट सेटिंग्स आज़माने के बजाय केवल छोटे, सुरक्षित बदलाव करता है।

परिणाम: एक बेहतर तालमेल

टीम ने वास्तविक दुनिया में एक "स्विचबैक" प्रयोग (जैसे हर दो घंटे में सिक्का उछालकर यह देखना कि किन इलाकों को नया AI मिलेगा और किन इलाकों को पुराने नियम) का उपयोग करके इसका परीक्षण किया।

क्या हुआ?

ड्राइवर: उन्होंने रेस्टोरेंट्स पर कम समय इंतज़ार किया और कम अक्षम तरीके से ड्राइविंग की। उन्हें अधिक ऑर्डर्स एक साथ मिले (बैचिंग), जिसका अर्थ है कि वे प्रति घंटे अधिक पैसा कमा सके।
ग्राहक: उनका खाना पहले की तरह ही तेज़ पहुँचा। "स्मार्ट ट्यूनर" जानता था कि कब ऑर्डर्स को बैच नहीं करना है यदि इससे खाना ठंडा होने का खतरा हो।
रेस्टोरेंट्स: वे कम भीड़भाड़ वाले थे क्योंकि ऑर्डर्स का प्रवाह अधिक सुचारू था।

मुख्य निष्कर्ष

यह पेपर इस बारे में नहीं है कि ऑर्डर्स असाउंट करने वाली जटिल गणित को कैसे बदला जाए। इसके बजाय, यह उस गणित के ऊपर एक स्मार्ट, एडेप्टिव लेयर जोड़ने के बारे में है। AI को वास्तविक समय की स्थितियों के आधार पर सिस्टम की प्राथमिकताओं को धीरे से बदलने देने और विलंबित फीडबैक से सीखने की अनुमति देकर, DoorDash ने ग्राहकों के इंतज़ार के समय को बढ़ाए बिना ड्राइवरों को अधिक कुशल और सिस्टम को चलाने में सस्ता बनाने में सफलता प्राप्त की। यह एक बड़े, अराजक लॉजिस्टिक्स नेटवर्क को प्रबंधित करने के लिए AI का उपयोग करने का एक सुरक्षित और व्यावहारिक तरीका है।

तकनीकी सारांश: तीन-पक्षीय डिस्पैच में ऑब्जेक्टिव-वेट अनुकूलन के लिए विलंबित मार्केटप्लेस फीडबैक से मल्टी-एजेंट सुदृढीकरण शिक्षण (Multi-Agent Reinforcement Learning)

समस्या विवरण

फूड-डिलीवरी डिस्पैच एक अनुक्रमिक निर्णय समस्या (sequential decision problem) के रूप में कार्य करता है जो ग्राहकों, मर्चेंट्स और कूरियरों के बीच एक तीन-पक्षीय मार्केटप्लेस में संचालित होती है। मुख्य चुनौती प्रतिस्पर्धी उद्देश्यों को संतुलित करने में निहित है: बैचिंग (कूरियर दक्षता में सुधार के लिए ऑर्डर को समूहबद्ध करना) बनाम गति (ग्राहक अनुभव को बेहतर बनाने के लिए डिलीवरी समय को कम करना)।

डोअरडैश (DoorDash) जैसे उत्पादन वातावरणों में, इस ट्रेडऑफ़ को पारंपरिक रूप से वैश्विक स्तर पर मैन्युअल रूप से ट्यून किए गए स्टेटिक ह्यूरिस्टिक वेट्स (static heuristic weights) द्वारा प्रबंधित किया जाता है। ये स्टेटिक वेट्स स्थानीय, समय-परिवर्तनीय स्थितियों के तहत नाजुक होते हैं; उदाहरण के लिए, भीड़भाड़ के दौरान अत्यधिक बैचिंग करने से देरी बढ़ जाती है, जबकि कम मांग वाले समय में कम बैचिंग करने से दक्षता बर्बाद होती है। इसके अलावा, सिस्टम को निर्णयों का मूल्यांकन तत्काल मानवीय प्राथमिकता लेबल द्वारा नहीं, बल्कि विलंबित परिचालन परिणामों (जैसे, डिलीवरी की गति, कूरियर उपयोगिता, मर्चेंट भीड़भाड़) द्वारा करना होता है जो नेटवर्क में एक-दूसरे से जुड़े हुए हैं। मौजूदा सुदृढीकरण शिक्षण (RL) दृष्टिकोण अक्सर संयोजन असाइनमेंट ऑप्टिमाइज़र (combinatorial assignment optimizer) को पूरी तरह से बदलने का प्रयास करते हैं, जो उत्पादन व्यवहार्यता और सुरक्षा के लिए महत्वपूर्ण जोखिम पैदा करता है।

कार्यप्रणाली

लेखक एक तैनात ऑफलाइन आरएल (offline RL) सिस्टम प्रस्तुत करते हैं जो मौजूदा उत्पादन असाइनमेंट ऑप्टिमाइज़र को बदले बिना, वास्तविक समय में डिस्पैच ऑब्जेक्टिव वेट्स को अनुकूलित करता है। यह सिस्टम एक दो-स्तरीय निर्णय संरचना का उपयोग करता है:

आंतरिक परत (ऑप्टिमाइज़र): एक कॉम्बिनेटोरियल असाइनमेंट ऑप्टिमाइज़र जो ऑब्जेक्टिव वेट्स के आधार पर ऑर्डर्स, कूरियर्स और बाधाओं को व्यवहार्य असाइनमेंटों में मैप करता है।
बाहरी परत (OWA-RL एजेंट): एक स्टोर-स्तरीय पॉलिसी एजेंट जो स्थानीय मार्केटप्लेस अवस्थाओं को देखता है और ऑप्टिमाइज़र के ऑब्जेक्टिव वेट्स को समायोजित करने के लिए एक डिस्क्रीट मल्टीप्लायर (discrete multiplier) चुनता है।

सूत्रीकरण (Formulation)

इस समस्या को एक विकेंद्रीकृत मल्टी-एजेंट मार्कोव निर्णय प्रक्रिया (MDP) के रूप में तैयार किया गया है जिसमें केंद्रीकृत ऑफलाइन प्रशिक्षण शामिल है:

एजेंट: प्रत्येक स्टोर $i$ एक एजेंट के रूप में कार्य करता है।
अवस्था (State, $s_t$ ): इसमें बकाया डिलीवरी संख्या ( $d_t$ ), कूरियर प्रतीक्षा समय ( $cwt_t$ ), और एक स्थानीयकृत सप्लाई-प्रेशर फीचर ( $sup_t$ ) शामिल है। सप्लाई प्रेशर को प्रभावी कूरियर सप्लाई द्वारा पुनर्गठित (rescaled) किया जाता है ताकि क्षेत्रीय संकेतों द्वारा छिपे हुए स्टोर-स्तरीय बदलावों को उजागर किया जा सके।
क्रिया (Action, $a_t$ ): बेसलाइन डिलीवरी-स्पीड ऑब्जेक्टिव वेट (ASAP वेट) पर लागू होने वाला एक डिस्क्रीट मल्टीप्लायर $\{0.8, 0.9, 1.0, 1.1, 1.2\}$ ${0.8, 0.9, 1.0, 1.1, 1.2}$ का सेट।
- कम वेट्स बैचिंग और रूटिंग दक्षता को प्राथमिकता देते हैं।
- उच्च वेट्स तेज़ ऑर्डर पूर्णता को प्राथमिकता देते हैं।
- न्यूट्रल एक्शन ($1.0$) स्टेटिक बेसलाइन को पुनः प्राप्त करता है।
पुरस्कार (Reward, $r_t$ ): एक विलंबित, मल्टी-ऑब्जेक्टिव रिवॉर्ड जिसे नेटवर्क प्रभावों को पकड़ने के लिए क्षेत्रीय स्तर पर एकत्रित किया जाता है। इसे निम्नलिखित का भारित योग (weighted sum) के रूप में परिभाषित किया गया है:
- ASAP: ग्राहक-केंद्रित डिलीवरी अवधि ( $t_{drop} - t_{create}$ )।
- XCAT: सीधे मार्ग से अधिक अतिरिक्त कूरियर सक्रिय समय ( $CAT - T_{direct}$ )।
- रिवॉर्ड फंक्शन है $r = -\frac{1}{|D|} \sum (\alpha \cdot \text{ASAP} + \beta \cdot \text{XCAT})$ ।

प्रशिक्षण संरचना (Training Architecture)

यह सिस्टम लॉग किए गए मार्केटप्लेस डेटा पर प्रशिक्षित ऑफलाइन सुदृढीकरण शिक्षण (offline reinforcement learning) का उपयोग करता है:

एल्गोरिदम: साझा वैल्यू फंक्शन $Q_\theta(s, a)$ के साथ डबल डीक्यूएन (Double Deep Q-Network)।
टारगेट्स: मैक्सिमाइजेशन बायस को कम करने के लिए डबल क्यू-लर्निंग (Double Q-learning) टारगेट्स का उपयोग करता है:
$y_t = r_t + \gamma Q_{\bar{\theta}}(s_{t+1}, \arg\max_{a'} Q_\theta(s_{t+1}, a'))$
कंजर्वेटिव रेगुलराइजेशन: आउट-ऑफ-डिस्ट्रीब्यूशन (OOD) वैल्यू ओवरएस्टिमेशन को रोकने के लिए—जो ऑफलाइन आरएल में एक महत्वपूर्ण मुद्दा है—लेखक एक कंजर्वेटिव क्यू-लर्निंग (CQL) रेगुलराइज़र को शामिल करते हैं। यह उन क्रियाओं को दंडित करता है जो लॉग किए गए डेटा वितरण द्वारा अच्छी तरह से समर्थित नहीं हैं।
लॉस फंक्शन: $L(\theta) = L_{\text{DDQN}}(\theta) + \eta L_{\text{CQL}}(\theta)$ ।

प्रमुख योगदान

पेपर तीन प्राथमिक योगदानों को रेखांकित करता है:

ऑब्जेक्टिव-वेट अनुकूलन के लिए RL आर्किटेक्चर: एक ऐसा सिस्टम पेश करता है जो मौजूदा उत्पादन ऑप्टिमाइज़र को बदलने के बजाय, एक लो-डायमेंशनल कंट्रोल इंटरफेस के माध्यम से मार्केटप्लेस फीडबैक से सीखकर डिस्पैच वेट्स को अनुकूलित करता है।
ऑफलाइन मल्टी-एजेंट सूत्रीकरण: समस्या को एक ऑफलाइन मल्टी-एजेंट निर्णय लेने वाले कार्य के रूप में तैयार करता है जिसमें विकेंद्रीकृत स्टोर-स्तरीय निष्पादन और विलंबित क्षेत्रीय पुरस्कार शामिल हैं, जो शोर वाले, विलंबित और युग्मित (coupled) फीडबैक की चुनौतियों को संबोधित करता है।
प्रोडक्शन वैलिडेशन: एक प्रोडक्शन स्विचबैक प्रयोग से प्रमाण प्रदान करता है कि सीखा गया पॉलिसी ग्राहक-केंद्रित डिलीवरी गुणवत्ता को कम किए बिना बैचिंग बढ़ा सकता है और कूरियर-साइड समय लागत को कम कर सकता है।

प्रयोगात्मक परिणाम

सिस्टम का मूल्यांकन दो सप्ताह के वैश्विक स्विचबैक प्रयोग (switchback experiment) में किया गया, जिसमें लगभग 4,000 भौगोलिक क्षेत्रों को कंट्रोल (स्टेटिक बेसलाइन वेट्स) और ट्रीटमेंट (OWA-RL पॉलिसी) समूह के बीच रैंडमाइज किया गया।

मुख्य निष्कर्ष (सभी डे पार्ट्स):

दक्षता लाभ (Efficiency Gains):
- कूरियर एक्टिव टाइम (CAT): 1.26 सेकंड कम हुआ (सांख्यिकीय रूप से महत्वपूर्ण, $p=0.019$ )।
- कूरियर वेट टाइम (CWT): 0.86 सेकंड कम हुआ (सांख्यिकीय रूप से महत्वपूर्ण, $p=0.004$ )।
- बैचिंग रेट: 0.495 प्रतिशत अंक बढ़ा (सांख्यिकीय रूप से महत्वपूर्ण, $p < 0.001$ )।
गुणवत्ता संरक्षण (Quality Preservation):
- ASAP (डिलीवरी स्पीड): कोई सांख्यिकीय रूप से महत्वपूर्ण गिरावट नहीं ( $p=0.264$ )।
- 20-मिनट लेटनेस: कोई सांख्यिकीय रूप से महत्वपूर्ण गिरावट नहीं ( $p=0.237$ )।

डिनर पीक प्रदर्शन:
डिनर घंटों के दौरान भी समान रुझान देखे गए, जिसमें CAT और CWT में महत्वपूर्ण कमी, बढ़ी हुई बैचिंग और 20-मिनट लेटनेस में मामूली सुधार देखा गया, जबकि ASAP स्थिर रहा।

पॉलिसी ने स्टेट-डिपेंडेंट अडैप्टेशन (state-dependent adaptation) प्रदर्शित किया, जो निश्चित वैश्विक रिट्यूनिंग के बजाय विशिष्ट बैकलॉग और सप्लाई व्यवस्था के दौरान कम मल्टीप्लायर्स (बैचिंग को बढ़ावा देने के लिए) की ओर प्रोबेबिलिटी मास को स्थानांतरित करती है।

महत्व और दावे

पेपर का दावा है कि यह कार्य दर्शाता है कि कैसे एक लाइव आर्थिक और लॉजिस्टिक सिस्टम से प्राप्त वर्ल्ड फीडबैक का उपयोग ऑनलाइन निर्णय नीतियों को सुरक्षित रूप से अनुकूलित करने के लिए किया जा सकता है। एक लो-डायमेंशनल कंट्रोल लेयर के माध्यम से RL एजेंट को सीमित करके, सिस्टम उत्पादन व्यवहार्यता और परिचालन सुरक्षा बनाए रखते हुए स्थानीय अनुकूलन सक्षम करता है।

लेखक इस दृष्टिकोण को वास्तविक दुनिया के परिचालन और श्रम प्रभावों वाले सिस्टम में सुरक्षित रूप से RL को एकीकृत करने के तरीके के रूप में प्रस्तुत करते हैं:

विश्वसनीयता और स्केलेबिलिटी सुनिश्चित करने के लिए एक प्रतिबंधित नियंत्रण परत (constrained control layer) का उपयोग करना।
डिस्ट्रीब्यूशन शिफ्ट और डेटा स्पर्सिटी को संभालने के लिए ऑफलाइन RL सुरक्षा उपायों (CQL) का उपयोग करना।
पूर्ण तैनाती से पहले सुरक्षा और प्रभावकारिता को मान्य करने के लिए ऑनलाइन प्रयोगों (switchback) पर भरोसा करना।

यह कार्य जटिल, तीन-पक्षीय मार्केटप्लेस में RL को एकीकृत करने के लिए एक केस स्टडी के रूप में कार्य करता है जहाँ निर्णय कई हितधारकों और परिणामों को प्रभावित करते हैं जो विलंबित और युग्मित (coupled) होते हैं।