💻 computer science

How Many Tools Should an LLM Agent See? A Chance-Corrected Answer

यह शोध पत्र 'बिट्स-ओवर-रैंडम' (BoR) नामक एक चांस-करेक्टेड मीट्रिक पेश करता है ताकि LLM एजेंटों को प्रस्तुत किए जाने वाले टूल्स की संख्या को गतिशील रूप से अनुकूलित किया जा सके, और सुदृढीकरण लर्निंग (reinforcement learning) के माध्यम से यह प्रदर्शित करता है कि विविध बेंचमार्क में फिक्स्ड-साइज़ दृष्टिकोणों की तुलना में एडेप्टिव शॉर्टलिस्ट, टूल चयन की सटीकता और कवरेज में महत्वपूर्ण सुधार करते हैं।

मूल लेखक: Vyzantinos Repantis, Ameya Gawde, Harshvardhan Singh, Joey Blackwell II

प्रकाशित 2026-05-26

📖 6 मिनट में पढ़ें🧠 गहराई से पढ़ें

CC BY 4.0

मूल लेखक: Vyzantinos Repantis, Ameya Gawde, Harshvardhan Singh, Joey Blackwell II

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

कल्पना कीजिए कि आप एक शेफ (AI एजेंट) हैं जो एक विशिष्ट व्यंजन (उपयोगकर्ता के प्रश्न का उत्तर देना) बनाने की कोशिश कर रहे हैं। आपके पास एक विशाल पेंट्री (टूल रजिस्ट्री) है जिसमें हजारों सामग्रियां (टूल्स) हैं। खाना शुरू करने से पहले, एक सु-शेफ (रिट्रिवल सिस्टम) को यह तय करना होगा कि आपको कौन सी सामग्रियां हाथ में देनी हैं।

बड़ा सवाल जो यह पेपर पूछता है: सु-शेफ को आपके काउंटर पर कितनी सामग्रियां रखनी चाहिए?

यदि वे आपको बहुत अधिक सामग्री देते हैं: तो आप घबरा जाएंगे, भ्रमित हो जाएंगे और शायद गलत मसाला उठा लेंगे।
यदि वे आपको बहुत कम सामग्री देते हैं: तो आपके पास वह विशिष्ट सामग्री नहीं होगी जिसकी आपको वास्तव में आवश्यकता है, और व्यंजन विफल हो जाएगा।

आजकल के अधिकांश किचन एक निश्चित नियम (Fixed Rule) का उपयोग करते हैं: "हमेशा शेफ को ठीक 5 सामग्रियां दें," चाहे रेसिपी कितनी भी आसान या कठिन क्यों न हो। यह पेपर तर्क देता है कि यह एक बुरा विचार है और एक स्मार्ट, खुद-संशोधित (self-adjusting) प्रणाली का प्रस्ताव करता है।

यहाँ उनके समाधान का सरल उपमाओं (analogies) का उपयोग करके विवरण दिया गया है:

1. "निश्चित नियमों" के साथ समस्या

एक लाइब्रेरी की कल्पना करें जहाँ आपको एक विशिष्ट पुस्तक ढूँढनी है।

निश्चित नियम: लाइब्रेरियन हमेशा आपको 5 किताबों का ढेर थमा देता है।
- आसान क्वेरी: आपको "सेब" के बारे में एक किताब चाहिए थी। लाइब्रेरियन आपको 5 किताबें देता है, और पहली किताब सेब के बारे में है। बहुत बढ़िया! लेकिन आपने बाकी 4 किताबें पढ़ने में समय बर्बाद कर दिया।
- कठिन क्वेरी: आपको "18वीं सदी के दुर्लभ कवक (fungi)" के बारे में एक किताब चाहिए थी। लाइब्रेरियन आपको 5 किताबें देता है, लेकिन सही किताब लाइब्रेरी की 12वीं किताब है। आपको 0 सही किताबें मिलती हैं।

पेपर कहता है कि हमें यह मापने का एक तरीका चाहिए कि लाइब्रेरियन कितना अच्छा काम कर रहा है, न कि केवल इस आधार पर कि वह आपको कितनी किताबें देता है, बल्कि इस आधार पर कि वह बिना किसी क्रम के (at random) किताबें उठाने की तुलना में कितना बेहतर है।

2. समाधान: "बिट्स-ओवर-रैंडम" (BoR)

लेखक एक मीट्रिक पेश करते हैं जिसे Bits-over-Random (BoR) कहा जाता है। इसे एक "किस्मत का स्कोर" (luck score) समझें।

रैंडम बेसलाइन: यदि लाइब्रेरियन अंधे होकर शेल्फ से किताबें उठाता, तो सही किताब मिलने की संभावना क्या होती?
BoR स्कोर: यह मापता है कि लाइब्रेरियन उस अंधे किस्मत (blind luck) की तुलना में कितना बेहतर प्रदर्शन कर रहा है।
- यदि लाइब्रेरियन आपको 1 किताब देता है और वह सही होती है, तो यह एक बड़ी जीत है (क्योंकि रैंडम चांस के साथ केवल 1 प्रयास में सही होने की संभावना बहुत कम होती)।
- यदि लाइब्रेरियन आपको 100 किताबें देता है और सही किताब उनमें होती है, तो यह एक छोटी जीत है (क्योंकि रैंडम चांस के साथ 100 प्रयासों में सही किताब मिल ही जाती)।

जादुई ट्रिक: पेपर इस "किस्मत के स्कोर" का उपयोग एक सीखने वाले रोबोट (RL एजेंट) के लिए इनाम (reward) के रूप में करता है।

यदि रोबोट जल्दी रुक जाता है और टूल ढूंढ लेता है, तो उसे बड़ा इनाम मिलता है (क्योंकि उसने आसानी से किस्मत को मात दी)।
यदि रोबोट टूल्स की सूची में और अधिक टूल्स जोड़ता रहता है, तो इनाम प्राकृतिक रूप से छोटा होता जाता है (क्योंकि ढेर में टूल मिलना कम प्रभावशाली है; क्योंकि बड़ी संख्या में टूल्स के बीच किस्मत से सही टूल मिलना आसान है)।

इसका मतलब है कि रोबोट यह सीख जाता है कि टूल्स जोड़ना कब बंद करना है, जैसे ही उसे विश्वास हो जाता है कि उसके पास सही टूल है, बिना किसी इंसान द्वारा यह कहे कि, "5 पर रुक जाओ!"

3. परिणाम: स्मार्ट सु-शेफ

शोधकर्ताओं ने तीन अलग-अलग टेस्ट किचन में इस "स्मार्ट सु-शेफ" का "निश्चित नियम" (हमेशा 5 टूल्स) के मुकाबले परीक्षण किया:

छोटा किचन (BFCL - 370 टूल्स):
- निश्चित नियम: सुरक्षित रहने के लिए हमेशा 50 टूल्स दिखाता है। यह 90.8% बार सही टूल ढूंढ लेता है।
- स्मार्ट शेफ: औसतन केवल 7 टूल्स दिखाता है। यह अभी भी 90.3% बार सही टूल ढूंढ लेता है।
- परिणाम: स्मार्ट शेफ सफलता में लगभग कोई कमी लाए बिना भारी मात्रा में "काउंटर स्पेस" (टोकन्स) बचाता है।
विशाल गोदाम (ToolBench - 3,251 टूल्स):
- निश्चित नियम: हमेशा 5 टूल्स दिखाता है। यह 64.7% बार सही टूल ढूंढ पाता है।
- स्मार्ट शेफ: औसतन लगभग 4.4 टूल्स दिखाता है। यह 61.9% बार टूल ढूंढ पाता है।
- ट्विस्ट: वाकई कठिन सवालों पर (जहाँ सही टूल गोदाम में गहराई में छिपा है), निश्चित नियम 0% उन्हें ढूंढ पाता है। स्मार्ट शेफ, यह महसूस करते हुए कि पहले कुछ टूल्स काम नहीं कर रहे हैं, थोड़ा और गहराई तक जाता है (5.7 टूल्स दिखाकर) और उन कठिन सवालों में से 16.7% को ढूंढ निकालता है। निश्चित नियम बहुत जल्दी हार मान लेता है।

4. क्यों कम ही ज्यादा है ("क्ल्टर" या अव्यवस्था का प्रभाव)

पेपर ने यह भी परीक्षण किया कि जब AI वास्तव में टूल चुनने की कोशिश करता है तो क्या होता है।

निष्कर्ष: जब AI को टूल्स की एक लंबी सूची (जैसे 50) दिखाई जाती है, तो वह भ्रमित हो जाता है और गलत टूल चुन लेता है।
उपमा: यदि आप अपने दोस्त से पूछें, "इन 50 फोटो में से मेरा कुत्ता कौन सा है?" तो वे बहुत सारे विकल्पों के कारण गलत अनुमान लगा सकते हैं। यदि आप उन्हें केवल 2 फोटो दिखाते हैं, तो उनके सही चुनने की संभावना बहुत अधिक होती है।
प्रमाण: जब स्मार्ट शेफ ने कम टूल्स दिखाए, तो AI ने 93.1% बार सही टूल चुना। जब उसे 5 टूल्स दिखाने के लिए मजबूर किया गया (निश्चित नियम), तो उसने केवल 87.1% बार सही चुनाव किया।

सारांश

यह पेपर साबित करता है कि हमें AI को कितने टूल्स दिखाने के लिए "एक ही आकार के सभी के लिए" (one-size-fits-all) नंबर की आवश्यकता नहीं है।

पुराना तरीका: "5 टूल्स दिखाएं।" (कठिन कार्यों के लिए बहुत कम, आसान कार्यों के लिए बहुत अधिक)।
नया तरीका: "किस्मत के स्कोर" (BoR) का उपयोग करें ताकि सिस्टम को टूल्स जोड़ना तब बंद करने के लिए सिखाया जा सके जब उसके पास सफलता की अच्छी संभावना हो।
लाभ: यह कंप्यूटिंग पावर बचाता है, AI के भ्रम को कम करता है, और वास्तव में AI को उन कठिन सवालों के सही उत्तर खोजने में मदद करता है जिन्हें निश्चित नियम मिस कर देते हैं।

लेखकों ने इस विचार का परीक्षण करने के लिए एक सरल "प्रोब" रोबोट बनाया, न कि एक पूर्ण प्रोडक्शन सिस्टम, लेकिन परिणाम बताते हैं कि AI को यह तय करने देना कि उसे कितना देखना है, एक निश्चित मात्रा देखने के लिए मजबूर करने की तुलना में बहुत अधिक स्मार्ट है।

तकनीकी सारांश: एक LLM एजेंट को कितने टूल्स देखने चाहिए? एक चांस-करेक्टेड (Chance-Corrected) उत्तर

1. समस्या विवरण

लार्ज लैंग्वेज मॉडल (LLM) एजेंटों को किसी कार्य को निष्पादित करने का प्रयास करने से पहले, एक रजिस्ट्री से संभावित टूल्स की एक शॉर्टलिस्ट चुनने के लिए एक रिट्रीवल सिस्टम की आवश्यकता होती है। एक महत्वपूर्ण डिज़ाइन विकल्प खोज गहराई $K$ (प्रस्तुत किए जाने वाले टूल्स की संख्या) निर्धारित करना है। वर्तमान प्रणालियाँ आमतौर पर एक फिक्स्ड $K$ (जैसे, शीर्ष 5 या 10 टूल्स दिखाना) का उपयोग करती हैं, चाहे क्वेरी की कठिनाई कुछ भी हो। यह दृष्टिकोण दो परस्पर विरोधी चुनौतियों का सामना करता है:

बहुत कम टूल्स: सही टूल शॉर्टलिस्ट से बाहर हो सकता है, जिससे तत्काल विफलता होती है।
बहुत अधिक टूल्स: मॉडल अत्यधिक डिस्ट्रैक्टर्स (distractors) के बीच सही टूल की पहचान करने में संघर्ष करता है, और टोकन लागत काफी बढ़ जाती है (100 टूल्स के लिए लगभग 20k टोकन)।

एक विशिष्ट क्वेरी या रजिस्ट्री के लिए उपयुक्त गहराई $K$ का मूल्यांकन करने के लिए कोई मानक मीट्रिक नहीं है। मौजूदा रिट्रीवल मीट्रिक्स (जैसे $nDCG@K$) डॉक्यूमेंट रिट्रीवल के लिए डिज़ाइन किए गए हैं और वे टूल चयन की विशिष्ट बाधाओं को ध्यान में नहीं रखते हैं, जहाँ पूल का आकार छोटा (50–500 टूल्स) होता है और रैंडम चांस (random chance) सफलता में महत्वपूर्ण भूमिका निभाता है।

2. कार्यप्रणाली (Methodology)

2.1 बिट्स-ओवर-रैंडम (Bits-over-Random - BoR) मीट्रिक

यह शोध पत्र खोज गहराई के लिए एक चांस-करेक्टेड मूल्यांकन उपकरण के रूप में बिट्स-ओवर-रैंडम (BoR) मीट्रिक पेश करता है। BoR उसी गहराई पर रैंडम चयन के माध्यम से सफलता की संभावना के सापेक्ष सिस्टम की सफलता दर को मापता है।

फॉर्मूला: $BoR = \log_2(P_{obs} / P_{rand})$ $B o R = lo g_{2} (P_{o b s} / P_{r an d})$
- $P_{obs}$ : प्रेक्षित सफलता दर (उन क्वेरीज का अंश जहाँ सही टूल शीर्ष $K$ में है)।
- $P_{rand}$ : हाइपरजियोमेट्रिक डिस्ट्रीब्यूशन का उपयोग करके गणना की गई, कम से कम एक प्रासंगिक आइटम को संयोग से शामिल करने की संभावना। सिंगल-टूल क्वेरीज ( $R_q=1$ ) के लिए, $P_{rand} = K/N$ है, जहाँ $N$ रजिस्ट्री का आकार है।
व्याख्या:
- $BoR = 0$: प्रदर्शन रैंडम चांस के बराबर है।
- $BoR > 0$: प्रदर्शन रैंडम चांस से बेहतर है।
- सेल्फ-प्रूनिंग प्रॉपर्टी (Self-Pruning Property): जैसे-जैसे $K$ बढ़ता है, $P_{rand}$ भी बढ़ता है। फलस्वरूप, रिवॉर्ड सिग्नल (BoR) स्वाभाविक रूप से घटता है यदि शॉर्टलिस्ट बढ़ती है, भले ही $P_{obs}$ स्थिर रहे। यह बिना किसी इंजीनियर किए गए डेप्थ पेनल्टी के, अनावश्यक गहराई के लिए एक अंतर्निहित दंड (penalty) बनाता है।

2.2 सुदृढीकरण सीखना (Reinforcement Learning - RL) फॉर्मूलेशन

लेखक $K$ के चयन को एक मार्कोव डिसीजन प्रोसेस (MDP) के रूप में फ्रेम करते हैं ताकि BoR मीट्रिक की उपयोगिता का परीक्षण किया जा सके:

स्टेट (State): एजेंट अब तक देखे गए टूल्स के सिमिलैरिटी स्कोर, वर्तमान गहराई $k_t$ , रजिस्ट्री आकार $N$ , और BoR सीलिंग को देखता है।
एक्शन (Action): बाइनरी निर्णय: STOP (वर्तमान शॉर्टलिस्ट को LLM को प्रस्तुत करें) या CONTINUE (अगले कैंडिडेट का परीक्षण करें)।
रिवॉर्ड (Reward):
- यदि एजेंट रुकता है और सही टूल मौजूद है: रिवॉर्ड = $-\log_2(P_{rand})$ ।
- यदि सही टूल मौजूद नहीं है: रिवॉर्ड = 0।
- एक छोटा स्टेप कॉस्ट अनावश्यक अन्वेषण को हतोत्साहित करता है लेकिन किसी विशिष्ट गहराई प्राथमिकता को एनकोड नहीं करता है।
एजेंट्स: अध्ययन में मीट्रिक के गुणों की जांच करने के लिए जानबूझकर सरल एजेंटों (DQNs और टैबुलर Q-लर्निंग) का उपयोग किया गया है, न कि किसी प्रोडक्शन आर्किटेक्चर का प्रस्ताव देने के लिए।

2.3 बेसलाइन्स (Baselines)

BoR दृष्टिकोण की तुलना निम्नलिखित से की जाती है:

Fixed- $K$ : सभी क्वेरीज के लिए शीर्ष $K$ टूल्स प्रस्तुत करना।
F1 Ablation: एक F1-आधारित रिवॉर्ड ( $F1 = 2/(K+1)$ जब recall=1 हो) के साथ प्रशिक्षित एक RL एजेंट, यह परीक्षण करने के लिए कि क्या केवल चांस-करेक्शन के बिना डेप्थ अवेयरनेस ही अनुकूलित व्यवहार को प्रेरित करती है।

3. मुख्य परिणाम

मूल्यांकन तीन बेंचमार्क (BFCL, MetaTool, ToolBench), कई स्कोरर्स (BM25, MiniLM, BGE), और 20 से 3,251 टूल्स तक के रजिस्ट्री साइज को कवर करता है।

3.1 एडेप्टिव डेप्थ बनाम फिक्स्ड डेप्थ

BFCL (370 टूल्स): BoR एजेंट ने 90.3% कवरेज प्राप्त किया और औसत गहराई $K=7.4$ रही, जो $K=50$ की फिक्स्ड डेप्थ (90.8%) की कवरेज के लगभग बराबर है, जबकि इसने 7 गुना कम टूल्स प्रस्तुत किए।
ToolBench (3,251 टूल्स): $K=5$ की फिक्स्ड डेप्थ ने BoR एजेंट (61.9%) की तुलना में उच्च एग्रीगेट कवरेज (64.7%) प्राप्त किया। हालांकि, फिक्स्ड बेसलाइन "कठिन" क्वेरीज (जहाँ सही टूल 6वें से 20वें स्थान के बीच था) पर पूरी तरह विफल रही। BoR एजेंट ने इन कठिन क्वेरीज के लिए अपनी गहराई को बढ़ाकर $K=5.7$ कर दिया, जिससे उन 16.7% मामलों को रिकवर किया गया जिन्हें फिक्स्ड- $K$ पूरी तरह से मिस कर गया था।
MetaTool: BoR एजेंट ने रजिस्ट्री साइज और स्कोरर क्वालिटी के प्रति संवेदनशीलता प्रदर्शित की। एक कमजोर BM25 स्कोरर के साथ, इसने खराब रैंकिंग की भरपाई करने के लिए गहराई को काफी बढ़ा दिया ( $K=80.7$ ), जबकि F1 बेसलाइन स्कोरर की गुणवत्ता की परवाह किए बिना उथली (shallow) रही।

3.2 स्कोरर क्वालिटी और अनुकूलन

BoR रिवॉर्ड सिग्नल अंडरलाइंग स्कोरर की गुणवत्ता के अनुसार अनुकूलित होता है:

मजबूत एम्बेडिंग स्कोरर्स (MiniLM) के साथ, एजेंट ने जल्दी रुक गया ( $K \approx 1.4$ ) क्योंकि सही टूल शीर्ष पर दिखाई दिया।
कमजोर स्कोरर्स (MetaTool पर BM25) के साथ, एजेंट ने चयनात्मकता बनाए रखने के लिए खोज का विस्तार किया ( $K \approx 80.7$ ), जबकि F1 बेसलाइन अनुकूलित होने में विफल रही, जल्दी रुक गई और सही टूल को मिस कर दिया।

3.3 डाउनस्ट्रीम टूल-चॉइस वैलिडेशन

Claude Sonnet 4.6 का उपयोग करके BFCL पर, लेखकों ने सत्यापित किया कि क्या छोटी, एडेप्टिव लिस्ट्स LLM की प्रस्तुत सेट में से सही टूल को चुनने की क्षमता में सुधार करती हैं:

चॉइस एक्यूरेसी (Choice Accuracy): जब सही टूल मौजूद था, तो Claude ने BoR एजेंट की छोटी लिस्टों ( $K=2.2$ ) के साथ इसे 93.1% बार चुना, जबकि फिक्स्ड $K=5$ के साथ यह 87.1% था।
मध्यम कठिनाई (Medium Difficulty): उन क्वेरीज पर जहाँ सही टूल दूसरे से पांचवें स्थान के बीच रैंक था, BoR एजेंट ने फिक्स्ड $K=5$ (60.9%) की तुलना में चॉइस एक्यूरेसी को बढ़ाकर 76.8% कर दिया।
निष्कर्ष: डिस्ट्रैक्टर्स की संख्या (डिस्ट्रैक्टर लोड) को कम करने से LLM की निर्णय लेने की सटीकता में सुधार होता है, भले ही कुल "फाइंड" रेट एक उच्च फिक्स्ड- $K$ बेसलाइन की तुलना में थोड़ा कम हो।

4. महत्व और दावे

पेपर निम्नलिखित योगदान और महत्व का दावा करता है:

डेप्थ के लिए पहला चांस-करेक्टेड मीट्रिक: यह BoR को टूल चयन में खोज गहराई के मूल्यांकन के लिए विशेष रूप से डिज़ाइन किए गए पहले मीट्रिक के रूप में पेश करता है, जो रैंडम सफलता की संभावना के लिए सुधार करता है, एक ऐसा कारक जिसे अक्सर मानक रिट्रीवल मीट्रिक्स में अनदेखा कर दिया जाता है।
सेल्फ-प्रूनिंग रिवॉर्ड: यह प्रदर्शित करता है कि BoR स्वाभाविक रूप से एक रिवॉर्ड सिग्नल प्रदान करता है जो गहराई के साथ घटता है, जिससे एक RL एजेंट को इंजीनियर किए गए डेप्थ पेनल्टी के बिना इष्टतम स्टॉपिंग पॉइंट्स सीखने की अनुमति मिलती है।
एडेप्टिव एफिशिएंसी (Adaptive Efficiency): अध्ययन दिखाता है कि एडेप्टिव पॉलिसीज बड़े फिक्स्ड शॉर्टलिस्ट्स की तुलना में समान कवरेज प्राप्त कर सकती हैं, जबकि टोकन खपत और मॉडल कन्फ्यूजन को काफी कम करती हैं।
डायग्नोस्टिक यूटिलिटी: यह मीट्रिक टूटे हुए या कमजोर स्कोरर्स की पहचान कर सकता है (उदाहरण के लिए, जब एक एजेंट को टूल खोजने के लिए पूरी रजिस्ट्री को खोजना पड़ता है, तो यह संकेत देता है कि स्कोरर अप्रभावी है)।
डाउनस्ट्रीम प्रभाव: यह प्रमाण प्रदान करता है कि एडेप्टिव डेप्थ न केवल टूल्स को अधिक कुशलता से रिट्रीव करती है, बल्कि संज्ञानात्मक भार (cognitive load) को कम करके LLM की डाउनस्ट्रीम निर्णय लेने की क्षमता में भी सुधार करती है।

स्वीकृत सीमाएं (Limitations Acknowledged):
लेखक नोट करते हैं कि BoR मैक्सिमम रिकॉल के बजाय चयनात्मकता (selectivity) के लिए अनुकूलित होता है; इसलिए, यदि एक समान गहराई अधिकांश क्वेरीज के लिए पर्याप्त हो जाती है, तो फिक्स्ड- $K$ बेसलाइन्स कभी-कभी उच्च एग्रीगेट कवरेज प्राप्त कर सकते हैं। उपयोग किए गए RL एजेंट सरल प्रोब्स हैं, प्रोडक्शन सिस्टम नहीं, और मूल्यांकन इस बात पर केंद्रित है कि टूल प्रस्तुत किया गया है या नहीं, न कि टूल के निष्पादन तर्कों (execution arguments) की शुद्धता पर।