FlowSteer: Towards Agents Designing Agentic Workflows via Reinforced Progressive Canvas Editing

तकनीकी सारांश: FlowSteer

समस्या विवरण

एजेंटिक वर्कफ़्लो (agentic workflows)—जो जटिल मानवीय कार्यों को हल करने के लिए ऑपरेटरों को ऑर्केस्ट्रेट करने वाले निष्पादनीय ग्राफ (executable graphs) हैं—का निर्माण वर्तमान में तीन महत्वपूर्ण सीमाओं का सामना कर रहा है:

1. मानव-निर्भर निर्माण: मौजूदा वर्कफ़्लो काफी हद तक मैन्युअल ड्रैग-एंड-ड्रॉप, नियम-आधारित टेम्पलेट्स, या वन-शॉट लार्ज लैंग्वेज मॉडल (LLM) प्रॉम्प्टिंग पर निर्भर करते हैं। यह दृष्टिकोण रखरखाव के लिए महंगा है और नए कार्यों, ऑपरेटर लाइब्रेरी या मॉडल बैकएंड में स्थानांतरित होने के मामले में स्केलेबिलिटी की कमी रखता है।
2. ग्राफ-स्तरीय निष्पादन फीडबैक का अभाव: वर्तमान एजेंट वातावरण आमतौर पर टेक्स्ट जनरेशन या बाहरी टूल कॉल्स के स्तर पर कार्य करते हैं। उनमें एक निष्पादनीय एब्स्ट्रैक्शन (executable abstraction) की कमी है जो वर्कफ़्लो ग्राफ के लिए संरचित, सिंटैक्स-चेक्ड फीडबैक प्रदान कर सके, जिससे एजेंट निर्माण के दौरान संरचनात्मक त्रुटियों (structural errors) का निदान या मरम्मत करने में असमर्थ रहते हैं।
3. लूप के भीतर त्रुटियों को सुधारने में अक्षमता: वन-शॉट जनरेशन या बाहरी खोज-आधारित विधियाँ कई संपादन चरणों (editing steps) में उभरने वाली त्रुटियों को पुनरावृत्ति से सुधार नहीं सकती हैं। इससे स्पार्स लर्निंग सिग्नल (sparse learning signals), शॉर्टकट व्यवहार (जैसे, समय से पहले समाप्ति), और अस्थिर लॉन्ग-होरिज़न क्रेडिट असाइनमेंट होता है।

कार्यप्रणाली: FlowSteer

FlowSteer एक नया प्रतिमान प्रस्तावित करता है: एजेंट द्वारा एजेंटिक वर्कफ़्लो का डिज़ाइन बनाना (Agent Designing Agentic Workflows), जहाँ एक एकल एजेंट अंत-से-अंत (end-to-end) उस वर्कफ़्लो को डिज़ाइन करता है जिसे एक डाउनस्ट्रीम एक्सेक्यूटर चलाता है। यह ढांचा तीन मुख्य घटकों से बना है:

1. वर्कफ़्लो कैनवास (Workflow Canvas)

एक नवीन निष्पादनीय ग्राफ-स्टेट वातावरण जो वर्कफ़्लो ग्राफ ($G_t$) को बनाए रखता है और प्रत्येक परमाणु संपादन (atomic edit) के लिए सिंटैक्स-चेक्ड निष्पादन फीडबैक लौटाता है।

• स्टेट स्पेस (State Space): एजेंट एक कैनवास के साथ इंटरैक्ट करता है जिसमें वर्तमान ग्राफ, एक ऑपरेटर लाइब्रेरी ($O$), एक प्लगेबल LLM बैकएंड ($M_{exec}$), और ऑपरेटर विवरण शामिल हैं।
• इंटरैक्शन लूप: एजेंट एक रिफ्लेक्शन ($a^{think}_t$) के बाद एक परमाणु संपादन क्रिया ($a_t$) उत्सर्जित करता है। कैनवास संपादन को निष्पादित करता है, सिंटैक्स पार्सिंग और कंस्ट्रेंट चेकिंग करता है, और सफलता स्थिति, विफलता के कारण और मरम्मत सुझावों वाला फीडबैक ($o^{exec}_t$) लौटाता है।
• ऑपरेटर्स और एक्शन्स: सिस्टम 12 कार्यात्मक ऑपरेटरों (जैसे, Plan, Decompose, Programmer, Verify, Format) और 8 एक्शन प्रकारों (add, delete, modify, set_prompt, parallel, conditional, loop, finish) का समर्थन करता है। महत्वपूर्ण रूप से, इंटरैक्शन एक दो-चरणीय तंत्र का पालन करता है: संरचनात्मक निर्णयों (ऑपरेटर जोड़ना) को सामग्री निर्णयों (प्रॉम्ट सेट करना) से अलग किया गया है, जिससे संज्ञानात्मक भार (cognitive load) कम होता है।

2. डिज़ाइनर-एक्सेक्यूटर डिकपलिंग (Designer–Executor Decoupling)

FlowSteer वर्कफ़्लो डिज़ाइन और निष्पादन को स्पष्ट रूप से अलग करता है:

• फ्लो-डायरेक्टर (डिज़ाइनर): एक हल्का पॉलिसी मॉडल ($\pi_\theta$) जो केवल वर्कफ़्लो प्रक्षेपवक्र ($\tau$) को डिज़ाइन करने के लिए जिम्मेदार है। यह कार्य को सीधे हल करने के बजाय ऑर्केस्ट्रेशन रणनीतियों (ऑपरेटर कंपोजिशन और कंट्रोल फ्लो) को सीखता है।
• एक्सेक्यूटर (बैकएंड): एक अलग, प्लगेबल LLM ($M_{exec}$) जो उत्तर ($y_q$) उत्पन्न करने के लिए अंतिम वर्कफ़्लो ग्राफ ($G_\tau$) को निष्पादित करता है।
• ट्रांसफ़रेबिलिटी (Transferability): क्योंकि पॉलिसी प्रक्षेपवक्र वितरण $P(\tau|q)$ को अनुकूलित करती है न कि स्वयं निष्पादन को, यह बिना रिट्रेनिंग के विभिन्न ऑपरेटर लाइब्रेरी और LLM बैकएंड में सामान्यीकृत (generalize) हो सकती है।

3. सुदृढ़ प्रगतिशील कैनवास संपादन (Reinforced Progressive Canvas Editing)

यह ढांचा एक मल्टी-टर्न इंटरैक्शन लूप के माध्यम से Flow-Director को प्रशिक्षित करने के लिए सुदृढीकरण शिक्षण (Reinforcement Learning - RL) का उपयोग करता है:

• प्रगतिशील निर्माण: वर्कफ़्लो को वृद्धेतर (incrementally) बनाया जाता है, जिसमें प्रति टर्न एक परमाणु संपादन होता है। यह लॉन्ग-होरिज़न निर्माण को जांच योग्य, मरम्मत योग्य स्थानीय निर्णयों में विभाजित करता है।
• रिवॉर्ड डिज़ाइन: प्रक्षेपवطीय रिवॉर्ड $R(\tau)$ एक संरचनात्मक रिवॉर्ड और एक उत्तर रिवॉर्ड को जोड़ता है।
  • संरचनात्मक रिवॉर्ड: विविधता (वेरिफिकेशन, फॉर्मेटिंग और कंट्रोल स्ट्रक्चर की उपस्थिति) की जाँच करता है।
  • कंडीशनल रिलीज़: उत्तर रिवॉर्ड तभी जारी किया जाता है जब संरचनात्मक रिवॉर्ड थ्रेशोल्ड (1.0) तक पहुँच जाता है। यह उन शॉर्टकट व्यवहारों को रोकता है जहाँ एजेंट उत्तर सीधे आउटपुट करने के लिए वर्कफ़्लो निर्माण को छोड़ देता है।
• अनुकूलन (Optimization): पॉलिसी को एक संशोधित ग्रुप रिलेटिव पॉलिसी ऑप्टिमाइज़ेशन (GRPO) ऑब्जेक्टिव का उपयोग करके एंड-टू-एंड प्रशिक्षित किया जाता है। एक प्रमुख अनुकूलन एक टोकन-लेवल मास्क है जो ग्रेडिएंट अपडेट को केवल Flow-Director द्वारा उत्पन्न टोकन तक सीमित करता है, जिसमें वातावरण फीडबैक टोकन को शामिल नहीं किया जाता है ताकि वेरिएंस और बायस को कम किया जा सके।

मुख्य योगदान

1. वर्कफ़्लो कैनवास: एक निष्पादनीय ग्राफ-स्टेट वातावरण जो एजेंट-पर्यावरण इंटरैक्शन को प्रॉम्प्ट रीराइटिंग से ग्राफ-स्तरीय ऑपरेशन्स तक ले जाता है, जो रीयल-टाइम, संरचित फीडबैक प्रदान करता है।
2. सुदृढ़ प्रगतिशील कैनवास संपादन: एक प्रशिक्षण प्रतिमान जो एक एजेंट को लूप-इन (in-loop) वर्कफ़्लो को पुनरावृत्ति से डिज़ाइन और मरम्मत करने में सक्षम बनाता है, जो लॉन्ग-होरिज़न क्रेडिट असाइनमेंट और त्रुटि रिकवरी की चुनौतियों का समाधान करता है।
3. प्लग-एंड-प्ले फ्रेमवर्क: एक प्रणाली जो विविध ऑपरेटर लाइब्रेरी और इंटरचेंजेबल LLM बैकएंड का समर्थन करती है, यह प्रदर्शित करती है कि ऑर्केस्ट्रेशन रणनीतियों को विशिष्ट निष्पादन इंजन से स्वतंत्र रूप से सीखा जा सकता है।

प्रयोगात्मक परिणाम

FlowSteer का मूल्यांकन गणितीय तर्क (GSM8K, MATH, AIME), प्रश्नोत्तर (HotPotQA, SQuAD, TriviaQA), और कोड जनरेशन (MBPP, HumanEval, APPS, DS-1000) को कवर करने वाले बारह डेटासेट्स पर छह आधुनिक LLM बैकएंड का उपयोग करके किया गया।

• प्रदर्शन: FlowSteer बेसलाइन्स को काफी पीछे छोड़ देता है, जिसमें स्टैटिक वर्कफ़्लो चयन, ऑफलाइन जनरेशन (SFT, GRPO), सर्च-आधारित विधियाँ (AFlow), और अन्य एजेंट-RL दृष्टिकोण शामिल हैं। यह कार्य सटीकता (उदाहरण के लिए, इन-डिस्ट्रीब्यूशन बेंचमार्क पर औसतन +22.65% EM) और ऑर्केस्ट्रेशन दक्षता (टोकन खपत और इंटरैक्शन टर्न) में निरंतर लाभ प्राप्त करता है।
• सामान्यीकरण (Generalization): विधि मजबूत आउट-ऑफ-डिस्ट्रीब्यूशन (OOD) सामान्यीकरण प्रदर्शित करती है, जो बिना बैकएंड फाइन-ट्यूनिंग के अनदेखे टास्क परिवारों (जैसे, AIME 2025, DS-1000) पर श्रेष्ठता बनाए रखती है।
• ट्रांसफ़रेबिलिटी: Flow-Director पॉलिसी विभिन्न LLM बैकएंड (Qwen3-8B से GPT-4o-mini और अन्य तक) में सफलतापूर्वक स्थानांतरित होती है, जो ऑर्केस्ट्रेशन रणनीति को निष्पादन क्षमता से अलग करने की पुष्टि करती है।
• एब्लेशन स्टडीज (Ablation Studies): किसी भी मुख्य घटक (एजेंट, मल्टी-टर्न इंटरैक्शन, कैनवास, या RL) को हटाने से प्रदर्शन कम हो जाता है। विशेष रूप से, कैनवास फीडबैक QA कार्यों के लिए महत्वपूर्ण है, जबकि गणित और कोड कार्यों के लिए RL आवश्यक है। टोकन-लेवल मास्क और कंडीशनल रिवॉर्ड रिलीज़ को स्थिर प्रशिक्षण और शॉर्टकट को रोकने के लिए महत्वपूर्ण दिखाया गया है।

महत्व और दावे

पेपर का दावा है कि FlowSteer "एजेंट-डिज़ाइनिंग-एजेंट" प्रणालियों के लिए अगली पीढ़ी की नींव रखता है। मैन्युअल डिज़ाइन लूप को एक एंड-टू-एंड सीखे गए प्रतिमान से बदलकर, FlowSteer सक्षम बनाता है:

• स्वायत्त वर्कफ़्लो निर्माण: ऐसे सिस्टम जो मानव हस्तक्षेप के बिना नए कार्यों और डोमेन के अनुकूल हो सकते हैं।
• मजबूती (Robustness): निर्माण के दौरान संरचनात्मक त्रुटियों को पहचानने और मरम्मत करने की क्षमता, जिससे लॉन्ग-होरिज़न कार्यों में उच्च विश्वसनीयता मिलती है।
• स्केलेबिलिटी: एक मॉड्यूलर आर्किटेक्चर जहाँ ऑर्केस्ट्रेशन नीतियों को एक बार प्रशिक्षित किया जा सकता है और विविध ऑपरेटर लाइब्रेरी और बैकएंड मॉडल पर तैनात किया जा सकता है।

लेखक इस कार्य को पूरी तरह से स्वायत्त एजेंटिक सिस्टम बनाने की दिशा में एक कदम के रूप में देखते हैं जो अपने स्वयं के निष्पादन पाइपलाइन का निर्माण करने में सक्षम हैं, जो स्टेटिक टेम्पलेट्स और वन-शॉट जनरेशन से आगे बढ़कर डायनेमिक, फीडबैक-संचालित ऑर्केस्ट्रेशन की ओर बढ़ते हैं।