तकनीकी सारांश: एजेंटिक AI सिस्टम को कॉन्फ़िगर करना सीखना (ARC)

समस्या विवरण (Problem Statement)

लार्ज लैंग्वेज मॉडल (LLM)-आधारित एजेंट सिस्टम को कॉन्फ़िगर करने में वर्कफ़्लो, टूल्स, टोकन बजट और प्रॉम्प्ट्स से बने एक विशाल कॉम्बिनेटोरियल डिज़ाइन स्पेस (combinatorial design space) में से चयन करना शामिल है। वर्तमान दृष्टिकोण स्थिर ह्यूरिस्टिक्स (heuristics) या "किचन सिंक" रणनीतियों पर निर्भर करते हैं जो क्वेरी की कठिनाई की परवाह किए बिना एक निश्चित कॉन्फ़िगरेशन लागू करते हैं। यह "एक ही आकार सबके लिए" (one-size-fits-all) वाला दृष्टिकोण दो प्राथमिक समस्याओं की ओर ले जाता है:

1. प्रदर्शन में गिरावट (Performance Degradation): लंबे संदर्भों (contexts) में अक्सर "लॉस्ट-इन-द-मिडल" (lost-in-the-middle) की घटना होती है, जहाँ मॉडल प्रासंगिक जानकारी पर ध्यान केंद्रित करने में विफल रहता है।
2. अक्षमता (Inefficiency): स्थिर प्रणालियाँ सरल क्वेरीज़ के लिए भारी, पुनरावृत्ति वाले वर्कफ़्लो (जैसे वेब सर्च के साथ मल्टी-हॉप रीजनिंग) लागू करके कंप्यूटेशनल संसाधनों को बर्बाद करती हैं, जिससे अनावश्यक विलंबता (latency) और लागत आती है।

मुख्य चुनौती यह है कि डिज़ाइन स्पेस ब्रूट-फोर्स सर्च या मैन्युअल ट्यूनिंग के लिए बहुत बड़ा है। उदाहरण के लिए, कुछ वर्कफ़्लो पैटर्न, टूल्स और बजट स्तरों के साथ एक मामूली सिस्टम हजारों संरचनात्मक कॉन्फ़िगरेशन उत्पन्न कर सकता है, जो प्रॉम्प्ट विविधताओं को शामिल करने पर $10^5$ से अधिक हो जाता है। इसके अलावा, एजेंट वर्कफ़्लो परमाणु क्रियाएं (atomic actions) नहीं हैं; वे परिवर्तनशील अवधि और लागत वाली टेम्पोरली एक्सटेंडेड (temporally extended) प्रक्रियाएं हैं, जो मानक मार्कोव डिसीजन प्रोसेस (MDP) फॉर्मुलेशन को अपर्याप्त बनाती हैं।

कार्यप्रणाली: ARC (एजेंटिक रिसोर्स एंड कॉन्फ़िगरेशन लर्नर)

लेखक ARC का प्रस्ताव करते हैं, जो एक पदानुक्रमित सुदृढीकरण शिक्षण (hierarchical reinforcement learning) ढांचा है जो एजेंट कॉन्फ़िगरेशन को एक सेमी-मार्कोव डिसीजन प्रोसेस (SMDP) के रूप में तैयार करता है। इस फॉर्मूलेशन में, प्रत्येक कॉन्फ़िगरेशन एक "ऑप्शन" (option) के रूप में कार्य करता है जो यह निर्धारित करता है कि एक एजेंट सिस्टम क्वेरी को कैसे प्रोसेस करता है।

1. SMDP फॉर्मूलेशन

मानक MDPs के विपरीत जहाँ क्रियाओं की अवधि निश्चित होती है, ARC कॉन्फ़िगरेशन को परिवर्तनशील निष्पादन समय (LLM कॉल्स की संख्या) और लागत वाले 'ऑप्शंस' के रूप में मॉडल करता है।

• स्टेट ($S$): क्वेरी के सिमेंटिक एम्बेडिंग्स और हस्तनिर्मित फीचर्स (जैसे क्वेरी की लंबाई, संख्यात्मक घनत्व) का एक संयोजन।
• ऑप्शंस ($O$): प्रत्येक ऑप्शन एक पूर्ण कॉन्फ़िगरेशन $(\omega, t, b, p)$ का प्रतिनिधित्व करता है, जहाँ $\omega$ वर्कफ़्लो है, $t$ टूल्स हैं, $b$ टोकन बजट है, और $p$ प्रॉम्प्ट है।
• रिवॉर्ड (Reward): एक उपयोगिता फलन (utility function) जो शुद्धता (correctness) को लागत के विरुद्ध संतुलित करता है: $U(q, c) = I[\hat{a} = a] - \lambda C_{cost}(c)$। रिवॉर्ड में टोकन उपयोग, रनटाइम और अवधि (LLM कॉल्स की संख्या) के लिए दंड शामिल है।

2. पदानुक्रमित नीति अपघटन (Hierarchical Policy Decomposition)

कॉम्बिनेटोरियल जटिलता को प्रबंधित करने के लिए, नीति $\pi_{arc}$ को दो स्तरों में विभाजित किया गया है:

• स्ट्रक्चर पॉलिसी ($\pi_{struct}$): वर्कफ़्लो टोपोलॉजी, टूल आवंटन और बजट स्तरों का चयन करती है।
• प्रॉम्प्ट पॉलिसी ($\pi_{prompt}$): संरचनात्मक विकल्प के आधार पर, सिमेंटिक फ्रैगमेंट की लाइब्रेरी से विशिष्ट प्रॉम्प्ट निर्देशों को ऑटोरेग्रेसिव रूप से कंपोज़ करती है।
• एक्शन मास्किंग (Action Masking): संरचनात्मक अमान्यता (जैसे सिंगल-एजेंट "डायरेक्ट" वर्कफ़्लो को टूल्स असाइन करना) को संभालने के लिए, सिस्टम प्रशिक्षण के दौरान अमान्य कॉन्फ़िगरेशन को हटाने के लिए एक्शन मास्किंग लागू करता है।

3. प्रशिक्षण पाइपलाइन (Training Pipeline)

प्रशिक्षण प्रक्रिया सुदृढीकरण लर्निंग (RL) को सुपरवाइज्ड फाइन-ट्यूनिंग (SFT) के साथ जोड़ती है:

1. RL चरण: डिज़ाइन स्पेस को एक्सप्लोर करने के लिए शेप्ड रिवार्ड्स (shaped rewards) के साथ प्रॉक्सिमल पॉलिसी ऑप्टिमाइज़ेशन (PPO) का उपयोग करता है। रिवॉर्ड फंक्शन को शुद्धता, स्टेप पेनल्टी, टोकन पेनल्टी और टूल शेपिंग के लिए टर्म्स में विभाजित किया गया है ताकि टूल आवंटन और वास्तविक उपयोग के बीच के अंतर को संबोधित किया जा सके।
2. SFT रिफाइनमेंट: जब RL अभिसरण (converge) हो जाता है, तो सिस्टम "एलीट" (elite) ट्राजेक्टरीज (उच्च रिवॉर्ड के साथ सही उत्तर) को फ़िल्टर करता है। एक सुपरवाइज्ड फाइन-ट्यूनिंग चरण फिर इन सफल रणनीतियों को पॉलिसी नेटवर्क में डिस्टिल (distill) करता है। यह चरण लर्निंग को स्थिर करता है, वेरिएंस को कम करता है, और एक प्रदर्शन फ्लोर प्रदान करता है।

4. सैद्धांतिक गारंटी (Theoretical Guarantees)

पेपर दो सैद्धांतिक परिणाम स्थापित करता है:

• अभिसरण (Convergence): SMDP फॉर्मूलेशन एक अद्वितीय इष्टतम वैल्यू फंक्शन $Q^*$ को स्वीकार करता है, जिससे यह सुनिश्चित होता है कि RL टारगेट अच्छी तरह से परिभाषित है।
• पॉलिसी कंसंट्रेशन (Policy Concentration): SFT चरण गारंटी देता है कि अंतिम नीति उच्च-रिवॉर्ड वाले कॉन्फ़िगरेशन पर केंद्रित होती है, जिससे न्यूनतम प्रदर्शन थ्रेशोल्ड सुनिश्चित होता है।

मुख्य योगदान (Key Contributions)

1. SMDP फॉर्मूलेशन: लेखकों ने एजेंट कॉन्फ़िगरेशन को एक SMDP समस्या के रूप में प्रस्तुत किया है, जो वर्कफ़्लो को परिवर्तनशील कम्प्यूटेशनल फुटप्रिंट को स्वाभाविक रूप से संभालने के लिए 'टेम्पोरली एक्सटेंडेड ऑप्शंस' के रूप में मानता है।
2. ARC फ्रेमवर्क: एक हल्का, पदानुक्रमित नीति (hierarchical policy) पेश करना जो बैकबोन LLM को अपडेट किए बिना क्वेरी-विशिष्ट कॉन्फ़िगरेशन (वर्कफ़्लो, टूल्स, बजट, प्रॉम्प्ट्स) को गतिशील रूप से चुनता है।
3. हाइब्रिड ट्रेनिंग: स्पार्स रिवार्ड्स के तहत लर्निंग को स्थिर करने और निरंतरता में सुधार करने के लिए मास्क किए गए PPO और एलीट ट्राजेक्टरीज पर SFT को जोड़ने वाला एक हाइब्रिड पाइपलाइन।
4. अनुभवजन्य सत्यापन (Empirical Validation): रीजनिंग, टूल-यूज़ और एजेंटिक बेंचमार्क का व्यापक प्रयोग जो दर्शाता है कि प्रति-क्वेरी कॉन्फ़िगरेशन सीखना एक स्थिर डिज़ाइन का बेहतर विकल्प है।

प्रयोगात्मक परिणाम (Experimental Results)

लेखकों ने Qwen 2.5 7B और Gemini 2.5 Flash Lite का उपयोग करके रीजनिंग, टूल-यूज़ और एजेंटिक बेंचमार्क पर ARC का मूल्यांकन किया।

• रीजनिंग टास्क: ARC ने बजट-मैच्ड टूल-ऑगमेंटेड LLMs की तुलना में औसत रीजनिंग सटीकता में 31.3% का सुधार किया। GSM8k पर, ARC ने 88.6% सटीकता प्राप्त की, जिसने GEPA (83.6%) और RL Episodes (85.2%) जैसे मजबूत बेसलाइन्स को पीछे छोड़ दिया।
• टूल-यूज़ टास्क: ARC ने टूल-यूज़ सटीकता में 13.95% की वृद्धि की। HotpotQA पर, इसने AutoGen (34.1%) का मुकाबला किया और सबसे मजबूत RL बेसलाइन से 6.3% बेहतर प्रदर्शन किया।
• एजेंटिक टास्क: $\tau$-Bench (Airline) पर, ARC ने Pass$^1$ सफलता दर को 9.0% से दोगुना कर 18.0% कर दिया, जबकि फिक्स्ड प्रॉम्प्ट ऑप्टिमाइज़ेशन (DSPy) ने प्रदर्शन कम कर दिया।
• दक्षता (Efficiency): ARC सटीकता-लागत ट्रेड-ऑफ में पारेटो-ऑप्टिमल (Pareto-optimal) क्षेत्रों में रहता है, जो फिक्स्ड या सर्च-आधारित बेसलाइन्स की तुलना में कम लागत पर उच्च सटीकता प्राप्त करता है।
• सामान्यीकरण (Generalization): सीखी गई नीतियों ने रीजनिंग कार्यों (जैसे GSM8k से DROP तक) में मध्यम ट्रांसफ़रेबिलिटी दिखाई और मॉडल साइज (7B से 72B) के बीच ज़ीरो-शॉट स्केलिंग दिखाई, जो इंगित करता है कि स्ट्रक्चरल प्रायर्स (structural priors) स्केल के प्रति काफी हद तक अपरिवर्तनीय हैं।

महत्व और दावे (Significance and Claims)

पेपर का दावा है कि प्रति-क्वेरी एजेंट कॉन्फ़िगरेशन सीखना "एक ही आकार सबके लिए" वाले डिज़ाइनों का एक शक्तिशाली विकल्प है। इस कार्य का महत्व यह प्रदर्शित करने में निहित है कि:

• अनुकूलन क्षमता (Adaptability): एक एजेंट सिस्टम कार्य की कठिनाई के अनुसार अपने कम्प्यूटेशनल फुटप्रिंट को गतिशील रूप से अनुकूलित कर सकता है, जिससे सटीकता और दक्षता के बीच संतुलन बनता है।
• स्केलेबिलिटी (Scalability): एक हल्का कंट्रोलर अंडरलाइंग LLM को पुन: प्रशिक्षित किए बिना एक विशाल कॉम्बिनेटोरियल डिज़ाइन स्पेस को प्रभावी ढंग से प्रबंधित कर सकता है।
• व्यावहारिकता (Practicality): RL एक्सप्लोरेशन और SFT रिफाइनमेंट का संयोजन स्पार्स रिवार्ड्स के तहत लर्निंग को स्थिर करने और निरंतरता में सुधार करने के लिए एक व्यवहार्य तरीका प्रदान करता है, जो लचीले, कंप्यूट-एफिशिएंट LLM-आधारित एजेंट सिस्टम बनाने के लिए एक व्यावहारिक दिशा प्रदान करता है।

लेखक इस बात पर जोर देते हैं कि जबकि नॉलेज-इंटेंसिव डोमेन में प्रॉम्प्ट सिमेंटिक्स हावी हो सकते हैं, ARC द्वारा प्रदान किया गया स्ट्रक्चरल ऑप्टिमाइज़ेशन संसाधन आवंटन और जटिल, मल्टी-स्टेप इंटरैक्शन को संभालने के लिए आवश्यक बना रहता है।