🤖 machine learning

Learning to Orchestrate Agents under Uncertainty

यह शोध पत्र BOT-Orch को प्रस्तुत करता है, जो एक हल्का ढांचा (lightweight framework) है जो अनिश्चितता के तहत अनुकूलन योग्य एजेंट ऑर्केस्ट्रेशन को ऑप्टिमल ट्रांसपोर्ट दूरियों का उपयोग करके एक नियमित बैंडिट समस्या के रूप में मॉडल करता है, जो मानक बेसलाइन की तुलना में विषम, गैर-i.i.d. वातावरण में सिद्ध रिग्रेट बाउंड्स और बेहतर प्रदर्शन प्राप्त करता है।

मूल लेखक: Mary Chriselda Antony Oliver, Lan Jiang, Aaron Bundi Anampiu, Elaf Almahmoud, Francesco Quinzan, Umang Bhatt

प्रकाशित 2026-05-27

📖 6 मिनट में पढ़ें🧠 गहराई से पढ़ें

CC BY 4.0

मूल लेखक: Mary Chriselda Antony Oliver, Lan Jiang, Aaron Bundi Anampiu, Elaf Almahmoud, Francesco Quinzan, Umang Bhatt

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

कल्पना कीजिए कि आप एक व्यस्त रसोई के प्रबंधक (मैनेजर) हैं। आपके पास शेफ की एक टीम है (एजेंट्स), लेकिन वे सभी बहुत अलग हैं। कुछ तेज़ हैं लेकिन गलतियाँ करते हैं; कुछ धीमे हैं लेकिन सटीक हैं; कुछ सस्ते हैं जबकि कुछ महंगे हैं। आपके पास ऑर्डर्स का एक सिलसिला भी आ रहा है (टास्क), और आपको हमेशा यह पता नहीं होता कि ग्राहक वास्तव में क्या चाहता है जब तक कि व्यंजन परोसा न जाए।

बड़ी चुनौती यह है: आप यह कैसे तय करेंगे कि किस ऑर्डर के लिए किस शेफ को भेजना है, खासकर जब आप 100% सुनिश्चित नहीं हैं कि वे आज कैसा प्रदर्शन करेंगे?

यह पेपर इस टीम को प्रबंधित करने का एक नया तरीका पेश करता है, जिसे BOT-Orch कहा जाता है। यह कैसे काम करता है, इसे सरल अवधारणाओं में यहाँ दिया गया है:

1. समस्या: अंधेरे में अनुमान लगाना

अतीत में, प्रबंधक (या कंप्यूटर एल्गोरिदम) मुख्य रूप से शेफ की औसत गति या सटीकता के आधार पर उन्हें चुनने की कोशिश करते थे। वे सोचते थे, "शेफ A आमतौर पर तेज़ है, इसलिए मैं उन्हें सब कुछ भेजूँगा।"

लेकिन यह तब विफल हो जाता है जब:

अनिश्चितता (Uncertainty): शेफ A का दिन खराब हो सकता है।
छिपी हुई लागत (Hidden Costs): शेफ A तेज़ है, लेकिन वे बहुत सारी महंगी सामग्री जला देते हैं (लागत)।
बेमेल होना (Mismatch): शेफ A पिज्जा बनाने में माहिर है, लेकिन आज का ऑर्डर एक नाजुक सूफ़ले (soufflé) के लिए है। भले ही शेफ A "औसत पर तेज़" हो, लेकिन वे इस विशिष्ट काम के लिए सही उपकरण नहीं हैं।

पेपर का तर्क है कि हमें केवल औसत के बजाय अनिश्चितता और बेमेल होने (mismatch) को स्पष्ट रूप से ध्यान में रखने की आवश्यकता है।

2. समाधान: एक "स्मार्ट मैचमेकर"

लेखकों ने एक ऐसा सिस्टम बनाया है जो इसे एक्सप्लोरेशन बनाम एक्सप्लोइटेशन (जैसे नए रेस्टोरेंट्स आज़माना बनाम अपने पसंदीदा पर जाना) के खेल की तरह देखता है।

द बैंडिट गेम (The Bandit Game): कल्पना कीजिए कि स्लॉट मशीनों (शेफ) की एक पंक्ति है। आप एक लीवर खींचते हैं (टास्क असाइन करते हैं), इनाम मिलता है (क्या ग्राहक को पसंद आया?), और आप सीखते हैं। समय के साथ, आप पता लगा लेते हैं कि कौन सी मशीन सबसे अच्छा भुगतान करती है।
ट्विस्ट (OT एलाइनमेंट): अधिकांश स्लॉट मशीन गेम केवल इस बात की परवाह करते हैं कि आप कितना पैसा जीतते हैं। यह सिस्टम एक दूसरा नियम जोड़ता है: "यह मशीन अभी जो विशेष प्रकार का टिकट निकाला गया है, उसमें कितनी अच्छी तरह फिट बैठती है?"

वे ऑप्टिमल ट्रांसपोर्ट (OT) नामक एक गणितीय उपकरण का उपयोग करते हैं। सोचिए कि OT एक मिसमैच डिटेक्टर (बेमेल पहचानने वाला) है।

कल्पना कीजिए कि "ऑर्डर" एक आकार है (जैसे, एक वृत्त/circle)।
कल्पना कीजिए कि "शेफ का आउटपुट" रेत का एक ढेर है।
OT यह गणना करता है कि रेत को वृत्त से पूरी तरह मिलाने के लिए उसे बदलने में कितना प्रयास (effort) लगेगा।
यदि रेत पहले से ही एक वृत्त है, तो प्रयास शून्य है (परफेक्ट मैच)। यदि रेत एक वर्ग (square) है, तो प्रयास अधिक है (खराब मैच)।

BOT-Orch इस "प्रयास स्कोर" का उपयोग उन शेफ को दंडित करने के लिए करता है जो औसत पर अच्छे हैं लेकिन इस विशिष्ट कार्य के लिए बुरे हैं।

3. "सर्वाइवल" पहलू: समय मायने रखता है

पेपर यह भी उल्लेख करता है कि कभी-कभी, आप केवल एक परिणाम नहीं चाहते; आप इसे जल्दी चाहते हैं या इससे पहले कि यह "समाप्त (expire)" हो जाए।

वे इसे सर्वाइवल एनालिसिस (जैसे यह ट्रैक करना कि एक बल्ब कितने समय तक चलता है) का उपयोग करके मॉडल करते हैं।
यदि शेफ बहुत अधिक समय लेता है, तो "इनाम" गिर जाता है, या कार्य पूरी तरह से विफल हो सकता है (censoring)।
सिस्टम ऐसे शेफ से बचने के बारे में सीखता है जो धीमे हैं, भले ही वे सटीक हों, क्योंकि कार्य उनके पूरा करने से पहले ही "मर" (fail) सकता है।

4. यह कैसा प्रदर्शन करता है (परिणाम)

लेखकों ने इस सिस्टम का परीक्षण दो तरीकों से किया:

A. वीडियो गेम टेस्ट (सिंथेटिक डेटा)
उन्होंने एक नकली दुनिया बनाई जहाँ "शेफ" अप्रत्याशित व्यवहार करते थे। कभी वे बहुत अच्छे होते थे, कभी बहुत खराब, और कभी-कभार खेल के नियम बीच में ही बदल जाते थे (non-stationary)।

परिणाम: BOT-Orch ने मानक तरीकों की तुलना में लगातार अधिक अंक अर्जित किए और कम गलतियाँ कीं। यह विशेष रूप से तब अच्छा था जब नियम अचानक बदल गए, और इसने अन्य तरीकों की तुलना में तेजी से अनुकूलन किया।

B. वास्तविक दुनिया का सिमुलेशन (मानव-AI ट्राइएज)
उन्होंने एक अस्पताल के परिदृश्य का अनुकरण किया जहाँ एक मरीज आता है, और आपको निर्णय लेना होता है: क्या हम एक AI डॉक्टर को उनका निदान करने दें, या हम उन्हें एक मानव डॉक्टर के पास भेजें?

सेटअप: AI मानक मामलों में बहुत अच्छा है लेकिन अजीब, बदले हुए मामलों में बहुत खराब है। मानव हर चीज़ में अच्छा है लेकिन धीमा है।
शिफ्ट (बदलाव): सिमुलेशन के आधे रास्ते में, "मरीज" बदल गए (उदाहरण के लिए, एक नए प्रकार का वायरस आया)।
परिणाम:
- मानक तरीके मरीजों को AI के पास भेजते रहे, भले ही AI विफल होने लगा था, क्योंकि वे पुरानी आदतों में फंसे हुए थे।
- BOT-Orch ने महसूस किया कि AI का "फिट" बदल गया है। इसने तेजी से कठिन मामलों को मानव के पास भेजना शुरू कर दिया, जिससे समग्र टीम की सटीकता बनी रही। इसने ठीक उसी समय एस्केलेट (escalate) करना सीखा (मानव के पास भेजना) जब AI संघर्ष कर रहा था।

5. निचोड़ (The Bottom Line)

पेपर का दावा है कि सीखने के अनुभव (Bandits) को फिट की जाँच करने (Optimal Transport) के साथ जोड़कर, आप एक ऐसा प्रबंधक बना सकते हैं जो:

अधिक स्मार्ट है: यह केवल यह नहीं देखता कि कौन "औसत पर सबसे अच्छा" है, बल्कि यह देखता है कि अभी और इस विशिष्ट काम के लिए कौन सबसे अच्छा है।
अनुकूलन में तेज़ है: जब वातावरण बदलता है (जैसे नया वायरस या नए प्रकार का ऑर्डर), तो यह रणनीतियों को जल्दी से बदल देता है।
मजबूत (Robust) है: यह पुराने तरीकों की तुलना में अनिश्चितता और "बुरे दिनों" को बेहतर ढंग से संभालता है।

संक्षेप में, BOT-Orch एक ऐसा सिस्टम है जो कहता है: "केवल सबसे मजबूत शेफ को न चुनें; उस शेफ को चुनें जिसके कौशल आज आपको पकाने के लिए आवश्यक विशिष्ट व्यंजन के साथ सबसे अच्छी तरह मेल खाते हैं, भले ही आप 100% सुनिश्चित न हों कि सामग्री का परिणाम क्या होगा।"

तकनीकी सारांश: अनिश्चितता के तहत एजेंटों को ऑर्केस्ट्रेट करना सीखना (Learning to Orchestrate Agents under Uncertainty)

समस्या की परिभाषा

यह शोध पत्र अनिश्चितता और विकसित होते एजेंट व्यवहार वाले वातावरण में विषम एजेंटों (heterogeneous agents) के अनुकूली ऑर्केस्ट्रेशन (adaptive orchestration) की चुनौती को संबोधित करता है। वास्तविक दुनिया के मल्टी-एजेंट सिस्टम में, एजेंट (जैसे विशेष AI मॉडल या मानव विशेषज्ञ) अलग-अलग विश्वसनीयता, परिचालन लागत और आउटपुट गुणवत्ता प्रदर्शित करते हैं। एजेंट ऑर्केस्ट्रेशन में पूर्ववर्ती कार्य अक्सर अपेक्षित उपयोगिता (expected utility) या ऑफलाइन सटीकता पर ध्यान केंद्रित करते हैं, लेकिन वे अक्सर ऑर्केस्ट्रेशन स्तर पर एजेंट की विश्वसनीयता और आउटपुट वितरण (output distributions) में अनिश्चितता को स्पष्ट रूप से मॉडल करने में विफल रहते हैं।

मुख्य समस्या को एक अनुक्रमिक निर्णय लेने की प्रक्रिया (sequential decision-making process) के रूप में तैयार किया गया है जहाँ एक मेटा-कंट्रोलर को यह तय करना होता है कि कार्य को किस एजेंट को सौंपा जाए। इस निर्णय को संतुलित करना होगा:

पुरस्कार (Reward): एजेंट का अपेक्षित प्रदर्शन।
लागत (Cost): एजेंट को बुलाने की परिचालन लागत।
अनिश्चितता (Uncertainty): एजेंट के आउटपुट में परिवर्तनशीलता और एजेंट के आउटपुट वितरण तथा कार्य के लिए आवश्यक वितरण के बीच का संरेखण (alignment)।

लेखक ध्यान देते हैं कि शास्त्रीय ढांचे जैसे Dec-POMDP अक्सर ज्ञात सिस्टम मॉडल मानते हैं और उनमें स्केलेबिलिटी की कमी होती है, जबकि मानक मल्टी-आर्म्ड बैंडिट (MAB) दृष्टिकोण आमतौर पर एजेंटों को केवल औसत पुरस्कार तक ही सीमित मानते हैं, जिससे क्वेरी लागत और वितरण संबंधी विषमता (distributional heterogeneity) की अनदेखी होती है।

कार्यप्रणाली: BOT-Orch

लेखक BOT-Orch प्रस्तावित करते हैं, जो एक हल्का ढांचा (lightweight framework) है जो ऑर्केस्ट्रेशन समस्या को ऑप्टिमल ट्रांसपोर्ट (OT) दूरियों द्वारा नियमित (regularized) स्टोकेस्टिक बैंडिट समस्या के रूप में पुनर्गठित करता है।

मुख्य घटक:

OT-नियमित पुरस्कार (OT-Regularized Rewards):
यह ढांचा समय $t$ पर एजेंट $i$ को चुनने के लिए शुद्ध उपयोगिता (net utility) को निम्नानुसार परिभाषित करता है:
$U_t(i) = R_t(i) - \lambda W_t(i)$
जहाँ $R_t(i)$ पुरस्कार है और $W_t(i)$ संरेखण लागत (alignment cost) है। संरेखण लागत को एजेंट के आउटपुट वितरण ( $\mu_i$ ) और एक कार्य-विशिष्ट संदर्भ वितरण ( $\nu_t$ ) के बीच वॉसरस्टीन दूरी (Wasserstein distance - $W_c$ ) का उपयोग करके मापा जाता है। यह प्रणाली उन एजेंटों को दंडित करने की अनुमति देता है जिनके आउटपुट वितरण वांछित कार्य परिणाम से ज्यामितीय रूप से दूर हैं, भले ही उनके औसत पुरस्कार समान हों।
उत्तरजीविता-आधारित पुरस्कार (Survival-Based Rewards):
विश्वसनीयता, विलंबता (latency) और सफलता के समय को मॉडल करने के लिए, यह ढांचा लेटेंट फ्रैलिटी वेरिएबल्स (latent frailty variables) के साथ सर्वाइवल एनालिसिस (survival analysis) को शामिल करता है। एजेंट के प्रदर्शन को राइट-सेंसर्ड (right-censored) टाइम-टू-कम्प्लीशन रैंडम वेरिएबल्स के माध्यम से मॉडल किया गया है, जिससे प्रणाली को अपूर्ण फीडबैक और विषम विश्वसनीयता प्रोफाइल को संभालने की अनुमति मिलती है।
एल्गोरिदम कार्यान्वयन:
- i.i.d. सेटिंग: एक बोल्ट्ज़मैन (softmax) नीति का उपयोग करता है जो OT मिसअलाइनमेंट द्वारा दंडित एक्सपोनेंशियल स्मूथ किए गए पुरस्कारों के आधार पर एजेंटों का चयन करती है।
- Non-i.i.d. सेटिंग: यह मेमोरी प्रभावों और टेम्पोरल सहसंबंधों (temporal correlations) को एनकोड करने वाले एक सुधार शब्द (correction term) को शामिल करके इतिहास-निर्भर कार्य वितरणों और नॉन-स्टेशनैरिटी को संभालने के लिए एल्गोरिदम का विस्तार करता है।

मुख्य योगदान

यह शोध पत्र तीन प्राथमिक योगदान देता है:

OT संरेखण के साथ बैंडिट-आधारित ऑर्केस्ट्रेशन:
लेखक डेलीगेशन को OT दूरियों द्वारा नियमित स्टोकेस्टिक बैंडिट समस्या के रूप में प्रस्तुत करते हैं। यह अनिश्चितता-जागरूक संरेखण (uncertainty-aware alignment) को सक्षम बनाता है, जिससे ऑर्केस्ट्रेटर एजेंटों को केवल स्केलर औसत पुरस्कारों के बजाय उनके आउटपुट वितरण और कार्य आवश्यकताओं के बीच ज्यामितीय विसंगति के आधार पर अनुकूल रूप से चुन सकता है।
सैद्धांतिक गारंटी (Theoretical Guarantees):
मानक धारणाओं (सीमित लागत, सब-एक्सपोनेंशियल फ्रैलिटी, लिप्सचिट्ज निरंतरता) के तहत, लेखक सिद्ध करते हैं:
- सबलीनियर रिग्रेट (Sublinear Regret): संचयी OT-नियमित रिग्रेट $O(\sqrt{T})$ है, जो ऑरेकल प्रदर्शन की ओर एसिम्प्टोटिक अभिसरण (asymptotic convergence) सुनिश्चित करता है।
- संरचनात्मक इष्टतमता (Structural Optimality): यह ढांचा समान औसत पुरस्कार वाले लेकिन भिन्न वितरण संरेखण वाले एजेंटों के बीच एक प्राथमिकता क्रम को प्रमाणित रूप से प्रेरित करता है।
- मजबूती (Robustness): प्रणाली शोर वाले संरेखण लागत (गौसियन शोर के तहत मार्जिन मजबूती) के प्रति मजबूत है।
- अभिसरण (Convergence): ऑर्केस्ट्रेशन वेट्स मीन-फील्ड ODE के एक इनवेरिएंट पॉइंट की ओर लगभग निश्चित रूप से (almost surely) अभिसरित होते हैं।
अनुभवजन्य सत्यापन (Empirical Validation):
इस ढांचे का मूल्यांकन सिंथेटिक और सेमी-सिंथेटिक सेटिंग्स में किया गया है, जिसमें डिप्लॉयमेंट शिफ्ट के तहत एक ह्यूमन-AI ट्राइएज परिदृश्य शामिल है। परिणाम दर्शाते हैं कि BOT-Orch i.i.d. और non-i.d. दोनों वातावरणों में मानक बैंडिट बेसलाइन्स (UCB1) और ह्यूरिस्टिक दृष्टिकोणों (Random, No-OT) की तुलना में लगातार बेहतर प्रदर्शन करता है।

प्रयोगात्मक परिणाम

मूल्यांकन विषम, non-i.d. एजेंट व्यवहारों (जैसे पीसवाइज-स्टेशनरी वेरिएंस, साइनुसोइडल ड्रिफ्ट, ब्राउनियन ब्रिज प्रोसेस) वाले सिंथेटिक वातावरण और ब्रेस्ट कैंसर विस्कॉन्सिन डेटासेट का उपयोग करके एक सेमी-सिंथेटिक ह्यूमन-AI ट्राइएज कार्य में किया गया है।

प्रदर्शन: BOT-Orch सभी परीक्षण किए गए वातावरणों में उच्चतम संचयी शुद्ध उपयोगिता (cumulative net utility) और न्यूनतम ऑरेकल रिग्रेट प्राप्त करता है।
शिफ्ट के प्रति अनुकूलन: Non-i.d. सेटिंग (डिप्लॉयमेंट शिफ्ट) में, BOT-Orक जब वितरण संबंधी बेमेल (distributional mismatch) होता है, तो मानव विशेषज्ञ के लिए एस्केलेशन दर बढ़ाकर सफलतापूर्वक अनुकूलित होता है, जबकि No-OT जैसे बेसलाइन प्रभावी ढंग से समायोजित होने में विफल रहते हैं।
संरेखण लागत (Alignment Cost): यह ढांचा उन बेसलाइनों की तुलना में संचयी संरेखण लागत को काफी कम कर देता है (कुछ मामलों में एक क्रम के परिमाण तक) जो वितरण संबंधी संरेखण की अनदेखी करते हैं।
एब्लेशन (Ablation): अध्ययन पुष्टि करता है कि OT टर्म सुधार का प्राथमिक चालक है; इसे हटाने (No-OT) से उच्च रिग्रेट और संरेखण लागत होती है।

महत्व और दावे

शोध पत्र का दावा है कि वितरण संरचना (distributional structure) को सीधे ऑर्केस्ट्रेशन नीतियों में शामिल करना आधुनिक मल्टी-एजेंट AI सिस्टम में मजबूती और अनुकूलन क्षमता में सुधार करता है।

सैद्धांतिक अंतर्दृष्टि: यह स्थापित करता है कि एजेंटों को उनके आउटपुट वितरण के माध्यम से मॉडल करना और संरेखण को मापने के लिए ऑप्टिमल ट्रांसपोर्ट का उपयोग करना अनिश्चितता को संभालने का एक सिद्धांतपूर्ण तरीका प्रदान करता है, जो सबलीनियर रिग्रेट और अभिसरण की सैद्धांतिक गारंटी देता है।
व्यावहारिक उपयोगिता: यह ढांचा विशेष रूप से विशेषज्ञ मॉडलों और टूल-उपयोग करने वाले एजेंटों के उभरते पारिस्थितिकी तंत्र के लिए प्रासंगिक है जहाँ प्रदर्शन, जोखिम और लागत का अनिश्चितता के तहत संयुक्त रूप से प्रबंधन किया जाना चाहिए।
सीमाएँ: लेखक विनम्रतापूर्वक सीमाओं को स्वीकार करते हैं, जिसमें उच्च-आयामी सेटिंग्स में वॉसरस्टीन दूरियों की कम्प्यूटेशनल लागत, संरेखण पैरामीटर $\lambda$ के अंशांकन (calibration) की आवश्यकता, और उपयुक्त कार्य-विशिष्ट संदर्भ वितरणों तक पहुँच की आवश्यकता शामिल है।

यह कार्य सुझाव देता है कि औसत-पुरस्कार अनुकूलन से आगे बढ़कर वितरण-जागरूक ऑर्केस्ट्रेशन (distributional-aware orchestration) की ओर बढ़ना स्टोकेस्टिक, आंशिक रूप से अवलोकन योग्य (partially observable) वातावरणों में विषम एजेंट टीमों के स्केलेबल और मजबूत परिनियोजन के लिए एक महत्वपूर्ण कदम है।