तकनीकी सारांश: BRANE – प्राकृतिक भाषा अभिव्यक्तियों के माध्यम से रिट्रीवल एजेंटों का निर्माण

समस्या का स्वरूप: Query2Conf

आधुनिक रिट्रीवल एजेंट (जैसे, RAG सिस्टम, रिसर्च असिस्टेंट) एक विशाल कॉन्फ़िगरेशन स्पेस को उजागर करते हैं जिसमें लार्ज लैंग्वेज मॉडल (LLM) का चयन, रिट्राइवर, रिट्रीव किए गए दस्तावेज़ों की संख्या ($k$), रीजनिंग हॉप्स की संख्या और सिंथेसिस रणनीति शामिल है। वर्तमान में, ये पाइपलाइन आमतौर पर प्रत्येक वर्कलोड के लिए एक बार मैन्युअल रूप से ट्यून की जाती हैं, जिसके परिणामस्वरूप एक स्थिर (static) कॉन्फ़िगरेशन प्राप्त होता है जो व्यक्तिगत क्वेरी के लिए उप-इष्टतम (suboptimal) होता है।

लेखक Query2Conf को सूत्रबद्ध करते हैं: एक प्राकृतिक-भाषा क्वेरी और एक लक्षित सटीकता (या लागत बजट) दिए जाने पर, एक पूर्व-निर्धारित कैटलॉग से पाइपलाइन कॉन्फ़िगरेशन का गतिशील रूप से चयन करना जो सटीकता लक्ष्य को पूरा करते हुए लागत को न्यूनतम करता है। यह समस्या तीन अनुभवजन्य अवलोकनों से प्रेरित है:

1. प्रति-क्वेरी भिन्नता (Per-query variance): एक ही वर्कलोड के भीतर, विभिन्न क्वेरियों के लिए बहुत अलग-अलग इष्टतम कॉन्फ़िगरेशन होते हैं; पूरे वर्कलोड के लिए कोई एक एकल स्थिर कॉन्फ़िगरेशन इष्टतम नहीं होता है।
2. पूर्ण-पाइपलाइन प्रभाव (Full-pipeline impact): लागत-गुणवत्ता का ट्रेड-ऑफ केवल LLM के चुनाव से अधिक, पूर्ण पाइपलाइन (रिट्राइवर, सिंथेसिस, गहराई) के बीच की अंतःक्रिया (interaction) द्वारा संचालित होता है।
3. वर्कलोड-विशिष्ट संकेत (Workload-specific signals): वे विशेषताएँ जो क्वेरीज़ को अलग करती हैं और कॉन्फ़िगरेशन विकल्पों को निर्धारित करती हैं, वे वर्कलोड-विशिष्ट होती हैं (जैसे, FinanceBench में वित्तीय मेट्रिक्स बनाम MuSiQue में मल्टी-हॉप रीजनिंग) और उन्हें जेनेरिक, निश्चित क्वेरी फीचर्स या मानक एम्बेडिंग्स द्वारा कैप्चर नहीं किया जा सकता है।

कार्यप्रणाली: BRANE फ्रेमवर्क

यह पेपर BRANE (Building Retrieval Agents via Natural language Expressions) प्रस्तावित करता है, एक फ्रेमवर्क जो तीन चरणों के माध्यम से Query2Conf को हल करता है:

1. कॉन्फ़िगरेशन प्रोफाइलिंग (Offline)

सिस्टम वर्कलोड से क्वेरीज़ का एक सेट सैंपल करता है और प्रत्येक को डिज़ाइन स्पेस में प्रत्येक संभावित कॉन्फ़िगरेशन के विरुद्ध निष्पादित करता है। यह प्रत्येक क्वेरी-कॉन्फ़िगरेशन जोड़ी के लिए शुद्धता परिणामों ($y_c(q) \in \{0,1\}$) और डॉलर लागत ($cost(q, c)$) का एक डेटासेट उत्पन्न करता है।

2. प्रेडिक्टर ट्रेनिंग (Offline)

पाइपलाइन नॉब्स (knobs) की जटिल, गैर-मोनोटोनिक अंतःक्रियाओं को सीधे मॉडल करने के बजाय, BRANE प्रत्येक कॉन्फ़िगरेशन के लिए एक हल्का प्रेडिक्टर प्रशिक्षित करता है।

• वर्कलोड-विशिष्ट लक्षण वर्णन (Workload-Specific Characterization): एक फ्रंटियर LLM (जैसे, GPT-5-mini) को क्वेरीज़ के एक छोटे नमूने के साथ प्रॉम्प्ट किया जाता है ताकि बाइनरी, वर्कलोड-विशिष्ट विशेषताओं (जैसे, involves_regional_cuisine, requires_multi_hop) का एक सेट प्रस्तावित किया जा सके। ये विशेषताएँ क्वेरी सिमेंटिक्स और कॉन्फ़िगरेशन स्पेस के बीच एक ट्रांसलेशन लेयर के रूप में कार्य करती हैं। एक सस्ता LLM फिर सभी प्रोफाइल की गई क्वेरीज़ को इन बाइनरी फीचर्स के साथ लेबल करता है, जिससे एक फीचर वेक्टर $F(q)$ बनता है।
• प्रति-कॉन्फ़िगरेशन भविष्यवाणी (Per-Configuration Prediction): प्रत्येक कॉन्फ़िगरेशन $c$ के लिए जो "फजी पारेटो प्रूनिंग" (लागत-गुणवत्ता फ्रंटियर के पास के कॉन्फ़िगरेशन को बनाए रखना) से बचता है, एक हल्का क्लासिफायर (जैसे, लॉजिस्टिक रिग्रेशन, XGBoost) शुद्धता की संभावना का अनुमान लगाने के लिए प्रशिक्षित किया जाता है: $\hat{p}_c(F(q)) \approx P(y_c(q)=1 | F(q))$।

3. इन्फरेंस-टाइम चयन (Inference-Time Selection)

रनटाइम पर, एक नई क्वेरी $q$ के लिए:

1. सिस्टम एक चर-लेवल (characterizer) LLM का उपयोग करके बाइनरी फीचर वेक्टर $F(q)$ की गणना करता है।
2. यह सभी पारेटो-ऑप्टिमल कॉन्फ़िगरेशन के लिए अनुमानित शुद्धता $\hat{p}_c(F(q))$ का मूल्यांकन करता है।
3. यह एक लैग्रेंजियन स्कोर (Lagrangian score) को मैक्सिमाइज करने वाला कॉन्फ़िगरेशन $c^*$ चुनता है:
   $$c^* = \arg\max_{c} \left( \hat{p}_c(F(q)) - \lambda \cdot \text{cost}(c) \right)$$
   जहाँ $\lambda$ एक ट्यूनेबल पैरामीटर है जो उपयोगकर्ता के सटीकता लक्ष्य को पारेटो फ्रंटियर पर एक विशिष्ट बिंदु से मैप करता है।

मुख्य योगदान

1. Query2Formulation: लेखकों ने प्रति-क्वेरी पाइपलाइन कॉन्फ़िगरेशन की समस्या को औपचारिक रूप दिया है, जो इस अवलोकन से प्रेरित है कि स्थिर वर्कलोड-स्तरीय ट्यूनिंग से महत्वपूर्ण लागत-गुणवत्ता अनुकूलन का लाभ नहीं मिल पाता है।
2. वर्कलोड-विशिष्ट लक्षण वर्णन: पेपर यह प्रदर्शित करता है कि वर्कलोड-विशिष्ट बाइनरी विशेषताओं का उपयोग करने वाले LLM, कॉन्फ़िगरेशन प्रेडिक्टर्स के इनपुट के रूप में जेनेरिक एम्बेडिंग्स और निश्चित नियम-आधारित फीचर्स की तुलना में बेहतर प्रदर्शन करते हैं।
3. BRANE फ्रेमवर्क: एक पूर्ण सिस्टम जो ऑफलाइन प्रोफाइलिंग, प्रति-कॉफ़िगरेशन प्रेडिक्टर ट्रेनिंग और लैग्रेंजियन रूटिंग के माध्यम से Query2Conf को हल करता है। यह रूटिंग के लिए बड़े मॉडल्स की एंड-टू-एंड फाइन-ट्यूनिंग की आवश्यकता को समाप्त करता है।

प्रयोगात्मक परिणाम

लेखक BRANE का मूल्यांकन तीन बेंचमार्क पर करते हैं: MuSiQue, BrowseComp-Plus, और FinanceBench, इसकी तुलना स्टैटिक कॉन्फ़िगरेशन, LLM रूटर (Carrot), नियम-आधारित रूटर (METIS, Adaptive-RAG), और एंड-टू-एंड फाइन-ट्यून्ड मॉडल्स (BERT, Qwen3-4B) से करते हैं।

• लागत-गुणवत्ता पारेटो फ्रंटियर (Cost-Quality Pareto Frontier): BRANE लगातार सर्वश्रेष्ठ स्टैटिक कॉन्फ़िगरेशन से आगे पारेटो फ्रंटियर को धकेलता है।
• लागत बचत: सर्वश्रेष्ठ स्टैटिक पाइपलाइन की सटीकता से मेल खाने के सख्त लक्ष्य पर, BRANE MuSiQue पर 89.4%, BrowseComp-Plus पर 81.7%, और FinanceBench पर 8.1% तक लागत बचत प्राप्त करता है।
• सटीकता लक्ष्य: BRANE एकमात्र ऐसा तरीका है जो तीनों बेंचमार्क में सख्त 100% सटीकता लक्ष्य तक पहुँचने के साथ-साथ लागत कम करने में सक्षम है।
• बेसलाइन्स: BRANE विस्तारित LLM-ओनली रूटर (जो उच्च सटीकता लक्ष्यों तक पहुँचने में विफल रहते हैं) और नियम-आधारित सिस्टम (जो नए वर्कलोड के लिए अच्छी तरह से सामान्यीकृत नहीं होते हैं) की तुलना में बेहतर प्रदर्शन करता है।
• मॉडल दक्षता: क्लासिकल प्रति-कॉन्फ़िगरेशन प्रेडिक्टर, जो बाइनरी विशेषताओं पर प्रशिक्षित हैं, एंड-टू-एंड फाइन-ट्यून्ड BERT और Qwen3-4B मॉडल्स की तुलना में बेहतर प्रदर्शन करते हैं, विशेष रूप से सख्त सटीकता लक्ष्यों तक पहुँचने में।

महत्व और दावे

पेपर दावा करता है कि पूर्ण रिट्रीवल पाइपलाइन का प्रति-क्वेरी कॉन्फ़िगरेशन, स्टैटिक वर्कलोड-स्तरीय ट्यूनिंग का एक व्यावहारिक विकल्प है। क्वेरी की सिमेंटिक समझ (LLM-जनरेटेड विशेषताओं के माध्यम से) को पाइपलाइन प्रदर्शन के पूर्वानुमान (हल्के क्लासिफायर के माध्यम से) से अलग करके, BRANE सटीकता से समझौता किए बिना महत्वपूर्ण लागत कटौती प्राप्त करता है। लेखक इस बात पर जोर देते हैं कि यह दृष्टिकोण आधुनिक AI पाइपलाइनों में निहित "लागत-गुणवत्ता हेडरूम" (cost-quality headroom) का लाभ उठाता है, जो वर्तमान में कॉन्फ़िगरेशन स्पेस की कॉम्बिनेटोरियल जटिलता और प्रति-क्वेरी अनुकूलन रणनीतियों की कमी के कारण अप्राप्य है। यह फ्रेमवर्क मजबूत बनाया गया है, जिसके लिए केवल एक बार ऑफलाइन प्रोफाइलिंग पास की आवश्यकता होती है और यह इंजीनियरों को बिना पुन: प्रशिक्षण (retraining) के इन्फरेंस के समय सटीकता या बजट बाधाओं को पुनः लक्षित करने की अनुमति देता है।