💻 computer science

Model-Adaptive Tool Necessity Reveals the Knowing-Doing Gap in LLM Tool Use

यह शोध पत्र टूल की आवश्यकता की एक मॉडल-अनुकूली परिभाषा प्रस्तुत करता है ताकि LLMs में एक महत्वपूर्ण "जानने-करने के अंतर" (knowing-doing gap) को उजागर किया जा सके, जो यह प्रदर्शित करता है कि टूल के उपयोग में प्राथमिक विफलता टूल की आवश्यकता कब है इसे पहचानने की कमी से नहीं, बल्कि उस आंतरिक पहचान को वास्तविक टूल-कॉलिंग क्रियाओं में अनुवादित करने में एक मिसअलाइनमेंट (misalignment) से उत्पन्न होती है।

मूल लेखक: Yize Cheng, Chenrui Fan, Mahdi JafariRaviz, Keivan Rezaei, Soheil Feiz

प्रकाशित 2026-05-15

📖 6 मिनट में पढ़ें🧠 गहराई से पढ़ें

CC BY 4.0

मूल लेखक: Yize Cheng, Chenrui Fan, Mahdi JafariRaviz, Keivan Rezaei, Soheil Feiz

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

यहाँ एक सरल भाषा और रोज़मर्रा के उदाहरणों का उपयोग करके पेपर का स्पष्टीकरण दिया गया है।

मुख्य विचार: "जानने-करने" का अंतर (The "Knowing-Doing" Gap)

कल्पना कीजिए कि आप एक रसोई में एक शेफ हैं। आपके पास एक बहुत ही समझदार सहायक (AI) है जो लगभग सब कुछ पका सकता है। कभी-कभी, शेफ को एक विशेष उपकरण की आवश्यकता होती है, जैसे ब्लेंडर या थर्मामीटर, ताकि वह किसी व्यंजन को पूरी तरह से बना सके। अन्य समय में, शेफ केवल अपने हाथों और चाकू का उपयोग कर सकता है।

यह पेपर जिस समस्या की जांच करता है वह यह है: क्या सहायक को पता है कि उसे कब उपकरण के लिए पूछना चाहिए, और क्या वह वास्तव में तब पूछता है जब उसे पता होता है कि उसे इसकी आवश्यकता है?

शोधकर्ताओं ने पाया कि AI मॉडल अक्सर "जानने-करने के अंतर" (Knowing-Doing Gap) से जूझते हैं। यह उस सहायक की तरह है जो खड़ा होकर सोच रहा है, "ओह वाह, मुझे इस स्मूदी के लिए निश्चित रूप से एक ब्लेंडर की आवश्यकता है," लेकिन फिर, ब्लेंडर उठाने के बजाय, वह बस फल को चाकू से काटने की कोशिश करता रहता है। वह जानता है कि सही क्या करना है, लेकिन वह वास्तव में उसे करने में विफल रहता है।

1. "आवश्यकता" को मापने का पुराना तरीका बनाम नया तरीका

पुराना तरीका (Model-Agnostic):
पहले, शोधकर्ता एक निश्चित नियम के आधार पर तय करते थे कि किसी कार्य के लिए उपकरण की आवश्यकता है या नहीं। उदाहरण के लिए, "यदि प्रश्न मौसम के बारे में है, तो इसे हमेशा एक उपकरण की आवश्यकता होती है।" वे सभी AI मॉडल के साथ एक जैसा व्यवहार करते थे, यह मानते हुए कि यदि एक इंसान को कैलकुलेटर की आवश्यकता है, तो हर AI को भी इसकी आवश्यकता होगी।

नया तरीका (Model-Adaptive):
लेखकों का कहना है कि यह गलत है क्योंकि AI मॉडल अलग-अलग होते हैं। एक बहुत ही स्मार्ट AI अपने दिमाग में जटिल गणित हल कर सकता है, जबकि एक छोटा AI रास्ता भटक सकता है।

उदाहरण: कल्पना कीजिए कि एक गणित की परीक्षा है। एक प्रतिभाशाली छात्र (Strong Model) अपने दिमाग में $12 \times 12$ हल कर सकता है। एक छोटा छात्र (Weak Model) को कैलकुलेटर की आवश्यकता होती है।
पेपर का नियम: कोई कार्य केवल तभी "उपकरण-आवश्यक" (tool-necessary) है जब विशिष्ट AI मॉडल उसे अपने आप लगातार हल करने में विफल रहता है। यदि AI इसे कर सकता है, तो उसे उपकरण की आवश्यकता नहीं है। यदि वह नहीं कर सकता, तो उसे आवश्यकता है।

2. प्रयोग: क्या गलत हुआ?

शोधकर्ताओं ने चार अलग-अलग AI मॉडलों का दो प्रकार के कार्यों पर परीक्षण किया: गणित (जैसे $123 + 456$ ) और तथ्य (जैसे "कौन पाँचवाँ राष्ट्रपति था?")।

उन्होंने एक बहुत बड़ी गड़बड़ी की दर पाई:

मेल न खाना (The Mismatch): 26% से 54% समय के बीच, AI ने गलत काम किया।
- उपकरणों का अत्यधिक उपयोग (Over-using tools): AI ने कैलकुलेटर मांगा जबकि वह गणित की समस्या को खुद ही हल कर सकता था।
- उपकरणों का कम उपयोग (Under-using tools): AI ने याददाश्त से कठिन प्रश्न का उत्तर देने की कोशिश की जब उसे वास्तव में जानकारी ढूँढनी चाहिए थी, और वह गलत हो गया।

3. दो-चरणीय प्रक्रिया: संज्ञान बनाम क्रिया (Cognition vs. Action)

यह समझने के लिए कि क्यों ऐसा होता है, शोधकर्ताओं ने AI की सोचने की प्रक्रिया को दो चरणों में विभाजित किया, जैसे कि एक दो-चरणीय रॉकेट:

चरण 1: संज्ञान (जानना - Cognition)
- यह आंतरिक विचार प्रक्रिया है। AI समस्या को देखता है और निर्णय लेता है, "क्या मुझे मदद की आवश्यकता है?"
- निष्कर्ष: AI का मस्तिष्क वास्तव में उत्तर जानता है। यदि आप इसके "मन" (इसके छिपे हुए डेटा स्तरों) के अंदर झाँकें, तो आप स्पष्ट रूप से एक संकेत देख सकते हैं जो कहता है, "हाँ, मुझे एक उपकरण की आवश्यकता है" या "नहीं, मैं ठीक हूँ।"
चरण 2: निष्पादन (करना - Execution)
- यह वह क्षण है जब AI तय करता है कि अगला शब्द क्या टाइप करना है। क्या वह उत्तर टाइप करेगा, या वह उपकरण खोलने का कमांड टाइप करेगा?
- निष्कर्ष: यहीं पर सिस्टम टूट जाता है। भले ही "जानने" का संकेत स्पष्ट था, लेकिन "करने" का संकेत खो गया या अनदेखा कर दिया गया।

4. "ऑर्थोगोनल" समस्या (द ट्विस्ट)

यहाँ सबसे तकनीकी लेकिन दिलचस्प हिस्सा है, जिसे सरल शब्दों में समझाया गया है:

कल्पना कीजिए कि AI का मस्तिष्क एक विशाल मानचित्र है।

एक नीला तीर इशारा कर रहा है "मुझे एक उपकरण की आवश्यकता है" की ओर।
एक लाल तीर इशारा कर रहा है "मैं एक उपकरण को कॉल करूँगा" की ओर।

AI की सोचने की प्रक्रिया के बीच में, ये दोनों तीर लगभग एक ही दिशा में इशारा करते हैं। वे संरेखित (aligned) हैं। AI जानता है कि उसे एक उपकरण की आवश्यकता है, और वह एक उपकरण को कॉल करने के बारे में सोच रहा है।

हालाँकि, बोलने से ठीक पहले के अंतिम क्षण में, कुछ अजीब होता है। नीला तीर और लाल तीर अचानक 90 डिग्री मुड़ जाते हैं और पूरी तरह से अलग दिशाओं में इशारा करते हैं। वे ऑर्थोगोनल (orthogonal) यानी लंबवत हो जाते हैं।

रूपक (Metaphor): यह उस ड्राइवर की तरह है जो मानचित्र को देख रहा है (जानता है कि उसे बाएँ मुड़ना है), लेकिन आखिरी सेकंड में, उसका हाथ गलती से स्टीयरिंग को दाएँ घुमा देता है। ज्ञान मौजूद था, लेकिन क्रिया उस ज्ञान के अनुरूप नहीं हुई।

5. निष्कर्ष: यह आत्मविश्वास की समस्या नहीं है

आप सोच सकते हैं, "शायद AI अनिश्चित है? शायद वह भ्रमित है, इसलिए उसे नहीं पता कि उपकरण को कॉल करना है या नहीं?"

शोधकर्ताओं ने इसकी जाँच की। उन्होंने पाया कि "जानने-करने का अंतर" तब भी होता है जब AI 100% आत्मविश्वासी होता है।

AI का आंतरिक संकेत कहता है, "मैं 100% आश्वस्त हूँ कि मुझे एक उपकरण की आवश्यकता है।"
लेकिन जो क्रिया वह करता है वह है, "मैं बिना किसी उपकरण के उत्तर दूँगा।"

सारांश

यह पेपर प्रकट करता है कि लार्ज लैंग्वेज मॉडल्स (LLMs) अक्सर "जानने-करने के अंतर" (Knowing-Doing Gap) से पीड़ित होते हैं।

वे सही ढंग से पहचान सकते हैं कि उन्हें कब मदद की आवश्यकता है (संज्ञान/Cognition)।
लेकिन वे उस पहचान को उपकरण का उपयोग करने की वास्तविक क्रिया (निष्पादन/Execution) में बदलने में विफल रहते हैं।
यह विफलता इसलिए होती है क्योंकि AI का वह हिस्सा जो "जानता" है और वह हिस्सा जो "कार्य करता" है, निर्णय लेने के ठीक उसी क्षण अलग हो जाते हैं।

AI एजेंटों को ठीक करने के लिए, हमें उन्हें केवल यह नहीं सिखाना है कि उन्हें कब मदद की आवश्यकता है; हमें जानने और करने के बीच टूटे हुए पुल को ठीक करना होगा।

तकनीकी सारांश: मॉडल-अनुकूलित टूल आवश्यकता (Model-Adaptive Tool Necessity) द्वारा LLM टूल उपयोग में 'जानने-करने के अंतर' (Knowing-Doing Gap) का अनावरण

समस्या विवरण (Problem Statement)

लार्ज लैंग्वेज मॉडल्स (LLMs) को तेजी से स्वायत्त एजेंटों (autonomous agents) के रूप में तैनात किया जा रहा है जिन्हें यह निर्णय लेना होता है कि प्रश्नों का उत्तर सीधे दिया जाए या बाहरी टूल्स (जैसे कैलकुलेटर, सर्च API) का उपयोग किया जाए। अनुकूली टूल उपयोग (adaptive tool use) पर पिछला शोध मुख्य रूप से "टूल आवश्यकता" को एक स्थिर, मॉडल-अज्ञेयवादी (model-agnostic) गुण के रूप में मानता आया है, जिसे आमतौर पर मानव न्यायाधीशों या शक्तिशाली LLMs द्वारा एनोटेट किया जाता है। यह दृष्टिकोण यह मान लेता है कि एक क्वेरी स्वाभाविक रूप से टूल-निर्भर या टूल-स्वतंत्र है, चाहे विशिष्ट मॉडल की क्षमताएं कुछ भी हों।

हालाँकि, वास्तविक दुनिया के कार्यान्वयन में, टूल की आवश्यकता मौलिक रूप से सूक्ष्म होती है क्योंकि विभिन्न मॉडल्स के बीच क्षमता की सीमाएं भिन्न होती हैं। एक समस्या जिसे अत्याधुनिक मॉडल अपने आंतरिक भार (internal weights) का उपयोग करके हल कर सकता है, वह एक छोटे या कमजोर मॉडल के लिए क्षमता से बाहर हो सकती है, जिससे टूल का उपयोग दूसरे के लिए अनिवार्य हो जाता है लेकिन पहले के लिए अनावश्यक। फलस्वरूप, स्थिर एनोटेशन सटीक रूप से यह वर्णन करने में विफल रहते हैं कि किसी विशिष्ट LLM को वास्तव में बाहरी सहायता की आवश्यकता कब होती है। इसके अलावा, मौजूदा कार्य इस बात का पर्याप्त निदान नहीं करते हैं कि मॉडल आवश्यकता होने पर भी टूल्स को कॉल करने में क्यों विफल रहते हैं, या उन्हें अनावश्यक रूप से क्यों कॉल करते हैं, जबकि उनके पास ऐसा करने के लिए आंतरिक ज्ञान मौजूद हो सकता है।

कार्यप्रणाली (Methodology)

लेखक एक ढांचे का प्रस्ताव करते हैं जो मॉडल-अनुकूलित टूल आवश्यकता और टूल-उपयोग प्रक्रिया के दो-चरणीय अपघटन (two-stage decomposition) पर आधारित है।

मॉडल-अनुकूलित टूल आवश्यकता की परिभाषा:
स्थिर लेबल के बजाय, टूल आवश्यकता ( $n_f(x)$ ) को एक विशिष्ट मॉडल $f$ के प्रदर्शन के आधार पर अनुभवजन्य रूप से परिभाषित किया गया है। लेखक बिना टूल एक्सेस के तापमान $T$ पर $N$ स्वतंत्र अनुमान रन (inference runs) करते हैं।

यदि मॉडल सभी $N$ रन में लगातार सही उत्तर देता है, तो क्वेरी को टूल-अनावश्यक ( $n_f(x) = 0$ ) माना जाता है।
यदि मॉडल एक बार भी विफल होता है, तो क्वेरी को टूल-आवश्यक ( $n_f(x) = 1$ ) माना जाता है।
यह परिभाषा अनिश्चितता के तहत विश्वसनीयता को पकड़ती है, यह स्वीकार करती है कि एक मॉडल जो बिना टूल्स के कभी-कभी ही सफल होता है, उसे भी बाहरी सहायता से लाभ होता है।

दो-चरणीय अपघटन (संज्ञान बनाम निष्पादन):
टूल-उपयोग प्रक्रिया को $x \to z_f(x) \to a_f(z_f(x))$ के रूप में मॉडल किया गया है, जहाँ:

संज्ञान (Cognition - $z_f$ ): यह कि क्या एक टूल की आवश्यकता है, इसकी मॉडल की आंतरिक समझ।
निष्पादन (Execution - $a_f$ ): टूल-ट्रिगर करने वाले टोकन आउटपुट करने का वास्तविक निर्णय।
एंड-टू-एंड त्रुटि को वास्तविक आवश्यकता और संज्ञान के बीच के अंतर, तथा संज्ञान और निष्पादन के बीच के अंतर में विभाजित किया गया है।

प्रोबिंग के माध्यम से यांत्रिक व्याख्यात्मकता (Mechanistic Interpretability via Probing):
लेखक दोनों चरणों का विश्लेषण करने के लिए LLM हिडन स्टेट्स पर लीनियर प्रोबिंग का उपयोग करते हैं:

संज्ञान प्रोब (Cognition Probe): हिडन स्टेट्स से मॉडल-अनुकूलित आवश्यकता लेबल की भविष्यवाणी करने के लिए एक लीनियर क्लासिफायर ( $w_c$ ) को प्रशिक्षित करता है।
एक्शन प्रोब (Action Probe): वास्तविक टूल-कॉल व्यवहार की भविष्यवाणी करने के लिए एक लीनियर क्लासिफायर ( $w_a$ ) को प्रशिक्षित करता है।
ज्यामितीय विश्लेषण (Geometric Analysis): यह निर्धारित करने के लिए कि क्या आंतरिक विश्वास और निष्पादन का इरादा संरेखित है, विभिन्न लेयर्स और टोकन स्थितियों में $w_c$ और $w_a$ के बीच कोसाइन समानता (cosine similarity) की गणना की जाती है।

ट्रैजेक्टरी ट्रेसिंग (Trajectory Tracing):
नमूनों को दो-चरणीय प्रक्रिया के माध्यम से ट्रैक किया जाता है ताकि त्रुटियों का श्रेय दिया जा सके। एक नमूने को इस आधार पर वर्गीकृत किया जाता है कि क्या त्रुटि संज्ञान चरण में, निष्पादन चरण में, या दोनों में होती है।

प्रयोगात्मक सेटअप (Experimental Setup)

मॉडेल्स: चार अलग-अलग LLMs का मूल्यांकन किया गया: Qwen3-8B, Qwen3-4B, Llama-3.1-8B-Instruct, और Llama-3.2-3B-Instruct।
डेटासेट्स:
- अंकगणित (Arithmetic): 4,000 उदाहरण, जिनमें साधारण जोड़ से लेकर मोड्यूलो और ऑपरेटर प्राथमिकता वाले जटिल बहु-चरणीय संचालन शामिल हैं।
- तथ्यात्मक QA (Factual QA): TruthfulQA (817 उदाहरण) जिसे तथ्यात्मक विश्वसनीयता का परीक्षण करने के लिए डिज़ाइन किया गया है।
मूल्यांकन: मॉडल्स का परीक्षण टूल्स (अंकगणित के लिए कैलकुलेटर, QA के लिए सर्च API) तक पहुंच के साथ किया गया। टूल-कॉल व्यवहार को ग्रीडी डिकोडिंग (greedy decoding) का उपयोग करके एकत्र किया गया।

मुख्य परिणाम (Key Results)

महत्वपूर्ण आवश्यकता-एक्शन बेमेल (Substantial Necessity-Action Mismatch):
मॉडल-अनुकूलित परिभाषा का उपयोग करते हुए, लेखकों ने पाया कि जब टूल्स वास्तव में आवश्यक होते हैं और जब मॉडल्स टूल को कॉल करते हैं, उनके बीच महत्वपूर्ण विसंगतियां हैं।
- अंकगणित: बेमेल दर 26.5% से 54.0% के बीच रही।
- तथ्यात्मक QA: बेमेल दर 30.8% से 41.8% के बीच रही।
  प्रमुख विफलता मोड मॉडल और डोमेन के अनुसार भिन्न थे; कुछ मॉडल्स ने टूल्स का अत्यधिक उपयोग किया (उन्हें कॉल किया जब वे सीधे उत्तर देने में सक्षम थे), जबकि अन्य ने उनका कम उपयोग किया (वे टूल कॉल करने में विफल रहे जब उनके पास आंतरिक ज्ञान की कमी थी)।
संज्ञान और एक्शन की लीनियर डिकोडेबिलिटी (Linear Decodability):
- संज्ञान: टूल की आवश्यकता का आंतरिक प्रतिनिधित्व हिडन स्टेट्स से लीनियर रूप से डिकोडेबल है, विशेष रूप से मिड-टू-लेट लेयर्स में। हालाँकि, यह पृथक्करणीयता (separability) कार्य-निर्भर है, जो तथ्यात्मक QA की तुलना में अंकगणित (जहाँ कठिनाई सतह संरचना से संबंधित होती है) में अधिक मजबूत है।
- एक्शन: टूल कॉल करने का निर्णय भी अत्यधिक लीनियर रूप से डिकोडेबल है, जो अक्सर लेयर्स और टोकन स्थितियों के व्यापक क्षेत्रों में फैला होता है।
ऑर्थोगोनैलिटी गैप (The Orthogonality Gap):
जबकि संज्ञान और एक्शन प्रोब व्यक्तिगत रूप से प्रभावी हैं, उनके दिशा वेक्टर ( $w_c$ और $w_a$ ) अंतिम क्वेरी टोकन की लेट लेयर्स में लगभग ऑर्थोगोनल (लंबवत) हो जाते हैं (वह क्षेत्र जो अगले-टोकन जनरेशन को संचालित करता है)। यह इंगित करता है कि टूल की आवश्यकता को पहचानने वाला आंतरिक संकेत, निर्णय के महत्वपूर्ण क्षण में टूल कॉल को ट्रिगर करने वाले संकेत से ज्यामितीय रूप से अलग (decoupled) है।
विफलता का स्थानीयकरण (जानने-करने का अंतर - The Knowing-Doing Gap):
ट्रैजेक्टरी ट्रेसिंग ने खुलासा किया कि अधिकांश एंड-टू-एंड बेमेल निष्पादन चरण (संज्ञान $\to$ एक्शन ट्रांजिशन) से उत्पन्न होते हैं, न कि संज्ञान चरण से।
- अधिकांश त्रुटियां तब होती हैं जब मॉडल आंतरिक रूप से टूल की आवश्यकता को सही ढंग से पहचानता है (सही संज्ञान) लेकिन इसे टूल कॉल करने की सिं्टैक्टिक क्रिया (syntactic action) में बदलने में विफल रहता है।
- यह बेमेल तब भी बना रहता है जब मॉडल की अपनी आवश्यकता मूल्यांकन में आंतरिक विश्वास (0 या 1 के करीब) उच्च होता है, जो यह सुझाव देता है कि समस्या अनिश्चितता नहीं बल्कि जागरूकता को क्रिया में बदलने में विफलता है।

महत्व और योगदान (Significance and Contributions)

यह पेपर दावा करता है कि निम्नलिखित योगदान देता है:

टूल आवश्यकता को पुनरपरिभाषित करना: यह अनुभवजन्य प्रदर्शन पर आधारित मॉडल-अनुकलीकृत टूल आवश्यकता की एक परिभाषा पेश करता है, जो स्थिर, मॉडल-अज्ञेयवादी एनोटेशन पर निर्भरता को चुनौती देता है।
व्यवहार संबंधी बेमेल को मापना: यह अनुभवजन्य रूप से प्रदर्शित करता है कि कई मॉडल्स और डोमेन में वास्तविक टूल आवश्यकता और देखे गए टूल-कॉल कार्यों के बीच पर्याप्त बेमेल (54% तक) है।
यांत्रिक अंतर्दृष्टि (Mechanistic Insight): प्रतिनिधित्व प्रोबिंग के माध्यम से, यह दिखाता है कि जबकि टूल आवश्यकता और निष्पादन इरादा दोनों लीनियर रूप से डिकोडेबल हैं, उनके प्रतिनिधित्व अंतिम-लेयर, लास्ट-टोकन रिजीम में लगभग ऑर्थोगोनल हो जाते हैं।
"जानने-करने के अंतर" का निदान: यह पहचानता है कि LLM टूल उपयोग में प्राथमिक बाधा यह पहचानना नहीं है कि टूल्स की आवश्यकता कब होती है, बल्कि उस पहचान को क्रिया में बदलना है।

लेखक निष्कर्ष निकालते हैं कि स्वायत्त LLM एजेंटों को बेहतर बनाने के लिए न केवल आंतरिक मेटा-कॉग्निशन को बढ़ाने की आवश्यकता है, बल्कि विशेष रूप से इस "जानने-करने के अंतर" को पाटने की आवश्यकता है ताकि यह सुनिश्चित हो सके कि आत्म-जागरूकता विश्वसनीय रूप से सही निष्पादन में परिवर्तित हो।