तकनीकी सारांश: एजेंटिक वर्कफ़्लो के लिए बाधा-संचालित ऑनलाइन संसाधन आवंटन (Constraint-Driven Online Resource Allocation for Agentic Workflows)

समस्या की परिभाषा

यह शोध पत्र एजेंटिक प्रणालियों (agentic systems) की तैनाती में एक महत्वपूर्ण अंतराल को संबोधित करता है: औसत प्रदर्शन-लागत-विलंबता (performance–cost–latency) सीमाओं को अनुकूलित करने से हटकर कठोर, इंस्टेंस-विशिष्ट बाधाओं (constraints) को पूरा करने की ओर संक्रमण। जबकि हालिया कार्य प्रदर्शन, लागत और विलंबता के बीच संतुलन बनाकर एजेंट की दक्षता में सुधार करते हैं, वास्तविक दुनिया की तैनाती में अक्सर यह आवश्यक होता है कि एक विशिष्ट वर्कफ़्लो एक सख्त बजट ($B$) और एक निश्चित समय सीमा ($D$) के भीतर पूरा हो।

मुख्य समस्या बाधा-संचालित ऑनलाइन संसाधन आवंटन (constraint-driven online resource allocation) है। एक निर्भरता-संरचित वर्कफ़्लो (एक निर्देशित अचक्रीय ग्राफ (DAG) जहाँ नोड्स उप-कार्य हैं और किनारे निर्भरता का प्रतिनिधित्व करते हैं) को देखते हुए, एक निष्पादक (executor) को वर्तमान में निष्पादनीय उप-कार्यों के लिए संसाधनों (आधार मॉडल का चयन और समानांतर सैंपलिंग चौड़ाई) को गतिशील रूप से आवंटित करना चाहिए। उद्देश्य औसत लागत या विलंबता को कम करना नहीं है, बल्कि इस संभावना को अधिकतम करना है कि संपूर्ण वर्कफ़्लो सफलतापूर्वक पूरा हो जाए ताकि कुल लागत $\le B$ और कुल समय $\le D$ हो।

इसे एक परिमित-क्षितिज स्टोकेस्टिक ऑनलाइन आवंटन समस्या (finite-horizon stochastic online allocation problem) के रूप में तैयार किया गया है। स्थिति (state) को पूर्ण किए गए उप-कार्यों, शेष बजट और शेष समय के सेट द्वारा परिभाषित किया जाता है। चुनौती संभावित निष्पादन पथों के कॉम्बिनेटोरियल विस्फोट (combinatorial explosion), स्टोकेस्टिक परिणामों (उप-कार्यों की सफलता/विफलता), और वर्कफ़्लो में संसाधन खपत की परस्पर निर्भरता में निहित है। मॉडलों या सैंपलिंग रणनीतियों का एक स्थिर असाइनमेंट अपर्याप्त है क्योंकि इष्टतम निर्णय विकसित होती स्थिति, शेष बाधाओं और देखे गए स्टोकेस्टिक घटनाओं पर निर्भर करता है।

कार्यप्रणाली: मोंटे कार्लो पोर्टफोलियो प्लानिंग (MCPP)

इस दुर्दम्य अनुकूलन समस्या को हल करने के लिए, लेखक मोंटे कार्लो पोर्टफोलियो प्लानिंग (MCPP) का प्रस्ताव करते हैं, जो एक हल्का, क्लोज्ड-लूप प्लानर है।

1. समस्या का स्वरूप

वर्कफ़्लो को $I = (G, M, \Phi, B, D)$ के रूप में मॉडल किया गया है, जहाँ $G$ उप-कार्य ग्राफ है, $M$ उपलब्ध मॉडलों का सेट है, और $\Phi$ प्रत्येक उप-कार्य-मॉडल जोड़ी के लिए अनुमानित सफलता प्रायिकता ($p_{v,m}$) और अपेक्षित जनरेशन लंबाई ($\ell_{v,m}$) को समाहित करता है।
लक्ष्य एक नीति $\pi$ खोजना है जो अधिकतम करता है:
$$J(\pi) = \Pr_{\pi} (T_{solve} \le D, C_{\pi} \le B)$$
सटीक डायनेमिक प्रोग्रामिंग सैद्धांतिक रूप से संभव है लेकिन घातीय अवस्था स्थान (exponential state space - पूर्ण किए गए उप-कार्यों के संयोजन) और एक्शन स्पेस (सभी तैयार नोड्स के लिए मॉडल और सैंपलिंग चौड़ाई के विकल्प) के कारण गणनात्मक रूप से दुर्दम्य है।

2. MCPP एल्गोरिदम

MCPP एक वन-स्टेप पोर्टफोलियो रोलआउट बैकअप का उपयोग करके इष्टतम निर्णय नियम का अनुमान लगाता है:

• उम्मीदवार एक्शन सेट (Candidate Action Set): प्रत्येक स्थिति में, प्लानर उम्मीदवार क्रियाओं का एक सेट $\tilde{A}(s)$ बनाता है। इस सेट में तैयार नोड्स के लिए विशिष्ट आवंटन शामिल हैं और इसे एक सरल निरंतरता नीतियों (continuation policies) के पोर्टफोलियो $\Pi_0$ द्वारा बढ़ाया जाता है। पोर्टफोलियो में प्रत्येक नीति एक "Retry-$k$" रणनीति है जो भविष्य के सभी निष्पादनीय उप-कार्यों को एक विशिष्ट मॉडल $m$ और सैंपलिंग चौड़ाई $k$ आवंटित करती है।
• मोंटे कार्लो अनुमान (Monte Carlo Estimation): प्रत्येक उम्मीदवार वर्तमान क्रिया $a$ के लिए, प्लानर वर्कफ़्लो निष्पादन का अनुकरण करके उसके मान का अनुमान लगाता है। यह $a$ को लागू करता है, स्टोकेस्टिक परिणाम का नमूना लेता है (कौन से उप-कार्य सफल होते हैं), स्थिति को अपडेट करता है, और फिर वर्कफ़्लो समाप्त होने या बाधाओं के उल्लंघन तक प्रत्येक निरंतरता नीति $\mu \in \Pi_0$ का पालन करता है।
• चयन (Selection): क्रिया $a$ का मान पोर्टफोलियो में मौजूद सभी निरंतरता नीतियों पर सफलता की अधिकतम प्रायिकता के रूप में अनुमानित किया जाता है: $\hat{Q}_{\Pi_0}(s, a) = \max_{\mu \in \Pi_0} \hat{Q}_{\mu}(s, a)$। उच्चतम अनुमानित मान वाली क्रिया का चयन किया जाता है।
• क्लोज्ड-लूप रीप्लानिंग (Closed-Loop Replanning): चुनी गई क्रिया को निष्पादित करने और वास्तविक परिणामों को देखने के बाद, प्लानर स्थिति (शेष बजट, समय और पूर्ण किए गए उप-कार्य) को अपडेट करता है और पुनः योजना बनाता है। यह सिस्टम को स्टोकेस्टिक विफलताओं और संसाधन खपत के प्रति अनुकूलित होने की अनुमति देता है।

3. सैद्धांतिक गारंटी

पेपर एक "सेफ-इम्प्रूवमेंट" (safe-improvement) विश्लेषण प्रदान करता है। यह सिद्ध करता है कि सीमित-नमूना मोंटे कार्लो त्रुटि, उम्मीदवार-सेट सन्निकटन त्रुटि, और सफलता दर/लंबाई के अनुमानों में त्रुटियों तक, MCPP नीति एक सुनिश्चित पूर्णता प्रायिकता प्रदान करती है जो पोर्टफोलियो में मौजूद सर्वश्रेष्ठ आधार नीति से कम नहीं है। यह सुनिश्चित करता है कि प्लानर कभी भी एक सरल, स्थिर रणनीति (जैसे हमेशा एक ही मॉडल और सैंपलिंग चौड़ाई का उपयोग करना) से खराब प्रदर्शन नहीं करेगा, जबकि लुकअहेड (lookahead) के माध्यम से महत्वपूर्ण लाभ की क्षमता भी प्रदान करता है।

मुख्य योगदान

1. समस्या का स्वरूप: लेखक बाधा-संचालित ऑनलाइन संसाधन आवंटन की सेटिंग पेश करते हैं, जो औसत दक्षता सीमाओं को अनुकूलित करने से हटकर विशिष्ट वर्कफ़्लो इंस्टेंस के लिए बजट और समय बाधाओं को पूरा करने की प्रायिकता को अधिकतम करने की ओर स्थानांतरित होता है।
2. एल्गोरिदम का प्रस्ताव: वे MCPP का प्रस्ताव करते हैं, जो सिम्युलेटेड रोलआउट और देखे गए परिणामों के आधार पर रीप्लान करने के माध्यम से सीधे बाधित पूर्णता प्रायिकता का अनुमान लगाने वाला एक क्लोज्ड-लूप प्लानर है। यह भविष्य के मूल्यों को अनुमानित करने के लिए सरल निरंतरता नीतियों के पोर्टफोलियो का उपयोग करके व्यापक डायनेमिक प्रोग्रामिंग से बचता है।
3. अनुभवजन्य सत्यापन (Empirical Validation): विधि का मूल्यांकन दो निर्भरता-संरचित बेंचमार्क: CodeFlow (कोड जनरेशन और वेरिफिकेशन) और ProofFlow (औपचारिक तर्क और प्रमाण जनरेशन) पर किया गया है।
4. मजबूती विश्लेषण (Robustness Analysis): पेपर प्रदर्शित करता है कि जब इनपुट अनुमान (सफलता दर और जनरेशन लंबाई) शोरयुक्त (noisy) होते हैं, तब भी MCPP प्रभावी रहता है, जो वास्तविक दुनिया की तैनाती में एक सामान्य परिदृश्य है।

प्रयोगात्मक परिणाम

CodeFlow और ProofFlow बेंचमार्क पर विभिन्न बजट ($B$) और डेडलाइन ($D$) बाधाओं का उपयोग करके प्रयोग किए गए।

• प्रदर्शन: MCPP ने Uniform (बजट का उप-कार्यों में स्थिर आवंटन) और Retry (डाउनस्ट्रीम प्लानिंग के बिना ऑनलाइन स्थानीय रिट्राय) सहित मजबूत बेसलाइनों को लगातार पछाड़ दिया।
• कठोर बाधाएं (Tight Constraints): सुधार सबसे महत्वपूर्ण तब था जब बाधाएं सख्त थीं (जैसे, B = \0.05$)। MCPP तेजी से उच्च सफलता दर प्राप्त कर सका जब डेडलाइन मध्यम रूप से व्यवहार्य हो गई, जबकि बेसलाइन काफी नीचे रही।
• एक्शन विविधता (Action Diversity): एब्लेशन अध्ययनों ने दिखाया कि प्रदर्शन बड़े मॉडल पोर्टफोलियो (कई मॉडलों का उपयोग करना) और समृद्ध रोलआउट-चौड़ाई पोर्टफोलियो (विभिन्न सैंपलिंग चौड़ाई) के साथ बेहतर होता है। यह विशिष्ट नोड्स और स्थितियों के लिए एक वैश्विक रणनीति के बजाय सही मॉडल और कंप्यूट तीव्रता चुनने के महत्व को रेखांकित करता है।
• मजबूती (Robustness): सफलता दरों के शोरयुक्त अनुमानों (गाऊसी शोर $\sigma=0.3$ के साथ) के तहत, MCPP ने केवल ~6 प्रतिशत अंकों की गिरावट दिखाई, जो अपूर्ण प्रोफाइल अनुमान के प्रति लचीलेपन को प्रदर्शित करता है।
• स्केलेबिलिटी (Scalability): विधि बड़े वर्कफ़्लो (अधिक उप-कार्यों) के लिए प्रभावी ढंग से स्केल करती है, बेसलाइनों पर अपना लाभ बनाए रखती है, विशेष रूप से उन बाधित परिदृश्यों में जहां स्थिर आवंटन अनुकूलित होने में विफल रहता है।
• दक्षता (Efficiency): ऑनलाइन प्लानिंग ओवरहेड मध्यम है (आमतौर पर मानक कॉन्फ़िगरेशन के लिए 5 सेकंड से कम), जो इसे एजेंटिक सिस्टम के वास्तविक समय निष्पादन के लिए व्यावहारिक बनाता है।

महत्व और दावे

पेपर का दावा है कि इसका प्राथमिक महत्व वास्तविक दुनिया की एजेंटिक तैनाती के इंस्टेंस-विशिष्ट सफलता की स्थिति को संबोधित करने में निहित है। जबकि पिछला कार्य "प्रदर्शन-लागत-विलंबता फ्रंटियर" (औसत दक्षता) में सुधार करने पर केंद्रित था, यह कार्य बजट और समय को कठोर बाधाओं के रूप में मानता है जो सफलता या विफलता को परिभाषित करते हैं।

लेखक तर्क देते हैं कि एक बेहतर फ्रंटियर स्वचालित रूप से विशिष्ट बाधाओं के तहत एक बेहतर एक्शन पॉलिसी में अनुवादित नहीं होता है। MCPP सीधे उपयोगकर्ता की विशिष्ट $B$ और $D$ आवश्यकताओं को पूरा करने की प्रायिकता को अनुकूलित करके इस अंतर को पाटता है। पेपर विनम्रतापूर्वक दावा करता है कि MCPP आधार नीतियों पर एक सुरक्षित सुधार (safe improvement) प्रदान करता है और बाधित वातावरण में निरंतर लाभ प्रदर्शित करता है, बिना वैश्विक इष्टतमता (global optimality) का दावा किए या वर्कफ़्लो जनरेशन की सामान्य समस्या को हल करने का दावा किए (जिसे एक अलग अपस्ट्रीम कार्य माना जाता है)। इस कार्य को एजेंटिक सिस्टम के निष्पादन चरण के लिए एक व्यावहारिक सॉल्वर के रूप में रखा गया है, यह मानते हुए कि वर्कफ़्लो संरचना और सांख्यिकीय प्रोफाइल उपलब्ध हैं।