🤖 AI

Exploring Agentic Tool-Calling Decisions via Uncertainty-Aligned Reinforcement Learning

यह शोध पत्र TRUST को प्रस्तुत करता है, जो एक सुदृढीकरण शिक्षण (reinforcement learning) ढांचा है जो अत्यधिक आत्मविश्वास को रोकने और बहु-चरण अंतःक्रियाओं (multi-turn interactions) में अन्वेषण को बढ़ाने के लिए रिवॉर्ड डिज़ाइन में अनिश्चितता मात्रा निर्धारण (uncertainty quantification) को शामिल करके LLM एजेंट टूल-उपयोग निर्णयों में सुधार करता है।

मूल लेखक: Yijin Zhou, Linqian Zeng, Xiaoya Lu, Wenyuan Xie, Dongrui Liu, Junchi Yan, Jing Shao

प्रकाशित 2026-06-08

📖 5 मिनट में पढ़ें🧠 गहराई से पढ़ें

CC BY 4.0

मूल लेखक: Yijin Zhou, Linqian Zeng, Xiaoya Lu, Wenyuan Xie, Dongrui Liu, Junchi Yan, Jing Shao

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

कल्पना कीजिए कि आपके पास एक बहुत ही बुद्धिमान, सुशिक्षित सहायक (एक AI एजेंट) है जो आपकी समस्याओं को हल करने में मदद करने के लिए डिजिटल टूल्स के एक विशाल टूलबॉक्स का उपयोग कर सकता है। कभी-कभी, यह बहुत अच्छा होता है। लेकिन अक्सर, यह दो विशिष्ट प्रकार की मूर्खतापूर्ण गलतियाँ करता है:

"अति-उत्साही" (Over-eager) गलती: यह उस टूल को उठा लेता है जिसकी उसे आवश्यकता नहीं है या जिसे उपयोग करने की उसे अनुमति नहीं है (जैसे नल की लीकेज ठीक करने के लिए हथौड़े का उपयोग करने की कोशिश करना)।
"दिखावा करने वाली" (Fake-it) गलती: यह सीधे सवाल का जवाब देने की कोशिश करता है जबकि वास्तव में सही उत्तर प्राप्त करने के लिए उसे एक टूल का उपयोग करने की आवश्यकता होती है, जिससे वह परिणाम का अनुमान लगाने लगता है।

पेपर इसे "टूल-कॉलिंग डिसीजन फेलियर्स" (tool-calling decision failures) कहता है। जब ऐसा होता है, तो सहायक भ्रमित हो जाता है, समय बर्बाद करता है, और आपको गलत जानकारी दे सकता है जो पूरे कार्य को खराब कर सकती है।

वर्तमान समाधानों के साथ समस्या

शोधकर्ताओं ने इसे रिवॉर्ड्स (पुरस्कारों) के माध्यम से AI को सिखाकर ठीक करने की कोशिश की है। इसे एक कुत्ते को प्रशिक्षित करने जैसा समझें: "अच्छा काम किया यदि आपने टूल का उपयोग किया; बुरा काम किया यदि आपने नहीं किया।"

हालाँकि, लेखकों ने इस प्रशिक्षण में एक छिपी हुई खामी देखी। वर्तमान तरीके AI को बहुत अधिक आत्मविश्वासी बना देते हैं।

उपमा: कल्पना कीजिए कि एक छात्र परीक्षा दे रहा है। एक अच्छा छात्र जानता है कि वह कब अनिश्चित है और कह सकता है, "मैं इस उत्तर के बारे में 100% निश्चित नहीं हूँ।"
खामी: पुराने प्रशिक्षण तरीकों ने AI को गलत होने पर भी आत्मविश्वासी होना सिखाया। इसने कहना शुरू कर दिया, "मुझे 100% यकीन है कि मुझे इस टूल का उपयोग करना चाहिए!" भले ही उस टूल का उपयोग करना एक बुरा विचार था। AI ने "मुझे पता है मैं क्या कर रहा हूँ" और "मैं अनुमान लगा रहा हूँ" के बीच अंतर करने की अपनी क्षमता खो दी।

समाधान: TRUST

लेखक एक नया तरीका प्रस्तावित करते हैं जिसे TRUST (Tool-calling decision Reward with Uncertainty-Separated post-Training) कहा जाता है।

TRUST कैसे काम करता है, यहाँ एक सरल रूपक दिया गया है:

1. "कॉन्फिडेंस गैप" नियम
केवल AI को सही होने के लिए पुरस्कृत करने के बजाय, TRUST एक विशेष नियम जोड़ता है: "जब आप गलत हों तो आपको अनिश्चित होना चाहिए, और जब आप सही हों तो सुनिश्चित होना चाहिए।"

यदि AI सही टूल चुनता है, तो इसे एक बड़ा रिवॉर्ड मिलता है और यह बहुत आत्मविश्वासी (कम अनिश्चितता) महसूस करना सीखता है।
यदि AI गलत टूल चुनता है, तो इसे एक पेनल्टी (दंड) मिलती है जो इसे बहुत अनिश्चित (उच्च अनिश्चितता) महसूस करने के लिए मजबूर करती है।

इसे कार के डैशबोर्ड की तरह समझें। यदि इंजन ठीक से चल रहा है, तो "चेक इंजन" लाइट बंद है (कम अनिश्चितता)। यदि इंजन खराब है, तो लाइट चमकनी चाहिए (उच्च अनिश्चितता)। पुराने प्रशिक्षण तरीके कभी-कभी इंजन खराब होने पर भी लाइट बंद कर देते थे। TRUST यह सुनिश्चित करता है कि जब भी AI गलती करे, लाइट जोर से चमके, ताकि वह आत्मविश्वास के साथ दीवार से टकराने से बच सके।

2. "की मोमेंट" (मुख्य क्षण) कोच
एक लंबी बातचीत के हर एक सेकंड पर AI को प्रशिक्षित करना महंगा और अव्यवस्थित है। TRUST एक चतुर शॉर्टकट का उपयोग करता है।

उपमा: कल्पना कीजिए कि एक स्पोर्ट्स कोच पूरा खेल देख रहा है। हर एक प्ले पर निर्देश चिल्लाने के बजाय, कोच खेल को केवल दो या तीन महत्वपूर्ण क्षणों (जैसे पेनल्टी किक या महत्वपूर्ण पास) पर रोकता है ताकि विशिष्ट फीडबैक दे सके।
यह कैसे काम करता है: TRUST केवल उन "प्रमुख मोड़ों" को एनोटेट (लेबल) करता है जहाँ टूल के उपयोग का निर्णय लिया जाता है। फिर यह इन विशिष्ट क्षणों का उपयोग पूरे खेल को संभालने के लिए AI को सिखाने के लिए करता है। यह प्रशिक्षण को कुशल और केंद्रित बनाता है।

परिणाम

पेपर ने विभिन्न बेंचमार्क (जैसे "When2Call," "BFCL-V4," और "ToolSandbox") पर TRUST का परीक्षण किया।

बेहतर निर्णय: AI बहुत बेहतर हो गया कि कब टूल का उपयोग करना है और कब केवल बात करनी है या अधिक जानकारी मांगनी है।
कम मतिभ्रम (Hallucination): इसने उत्तर बनाना या उन टूल्स का उपयोग करना बंद कर दिया जिनका उसे उपयोग नहीं करना चाहिए।
विश्वसनीय आत्मविश्वास: सबसे महत्वपूर्ण बात यह है कि AI ने अपना "अनिश्चितता" (uncertainty) वापस पा लिया। जब वह गलत था, तो वह अनिश्चित महसूस कर रहा था। जब वह सही था, तो वह सुनिश्चित था। यह AI को बहुत अधिक विश्वसनीय बनाता है क्योंकि आप उसके आत्मविश्वास के स्तरों पर भरोसा कर सकते हैं।

संक्षेप में, TRUST केवल AI को यह नहीं सिखाता कि क्या करना है; यह उसे यह भी सिखाता है कि कैसे जानना है कि वह सही काम कर रहा है, जिससे आत्मविश्वास के साथ गलतियाँ करने से रोका जा सके।

तकनीकी सारांश: TRUST – एजेंटिक टूल-कॉलिंग के लिए अनिश्चितता-संरेखित सुदृढीकरण शिक्षण (Uncertainty-Aligned Reinforcement Learning)

समस्या विवरण

LLM-आधारित एजेंट अक्सर उप-इष्टतम (suboptimal) टूल-उपयोग निर्णय प्रदर्शित करते हैं, जो दो प्राथमिक विफलता मोडों द्वारा चिह्नित होते हैं: टूल को तब बुलाना जब वे असमर्थ या अनावश्यक हों, और आवश्यक टूल कॉल जारी किए बिना सीधे उत्तर गढ़ना (हैलुसिनेटेड डायरेक्ट आंसर्स)। मानक पाठ्य हैलुसिनेशन के विपरीत, ये निर्णय संबंधी विफलताएं मध्यवर्ती अवस्थाओं (intermediate states) को दूषित करती हैं और बहु-चरणीय इंटरैक्शन में त्रुटियों को प्रसारित करती हैं, जिससे वास्तविक दुनिया के एजेंटिक कार्यों में निष्पादन विफलता, वित्तीय लागत और सूचना रिसाव होता है।

इन मुद्दों को कम करने के लिए मौजूदा दृष्टिकोण मुख्य रूप से अनुमान-समय सुधार (inference-time corrections) या निर्णय परिणामों और संरचित चेकलिस्ट पर आधारित मोटे-दाने वाले (coarse-grained) रिवॉर्ड सिग्नल पर निर्भर करते हैं। हालांकि, ये विधियां एजेंट निर्णयों की अनिश्चितता विशेषताओं को अपर्याप्त रूप से एक्सप्लोर करती हैं। लेखक देखते हैं कि मानक निर्णय-उन्मुख सुदृढीकरण शिक्षण (RL) अनिश्चितता पृथक्करण (uncertainty separation) को कमजोर करने की प्रवृत्ति रखता है। विशेष रूप से, RL अनुकूलन अक्सर उच्च-पुरस्कार वाले नमूनों (sampled high-reward actions) में आत्मविश्वास बढ़ाता है, जबकि अनजाने में अनिश्चितता अंतराल को कम कर देता है, जिससे मॉडल गलत निर्णयों (जैसे, असमर्थ टूल कॉल) में अत्यधिक आत्मविश्वासी हो जाता है। इस घटना को "गलत निर्णय लेकिन कम अनिश्चितता" (Wrong Decision But Low Uncertainty) कहा जाता है, जो मॉडल के अंशांकन (calibration) को बाधित करता है और अधिक विश्वसनीय विकल्पों की ओर नीति अपडेट के लिए आवश्यक अन्वेषण संकेतों को कम करता है।

कार्यप्रणाली: TRUST फ्रेमवर्क

इन सीमाओं को संबोधित करने के लिए, लेखक TRUST (Tool-calling decision Reward with Uncertainty-Separated post-Training) का प्रस्ताव करते हैं, जो एक ऐसा फ्रेमवर्क है जो अनिश्चितता मात्रा का निर्धारण (Uncertainty Quantification - UQ) को सीधे रिवॉर्ड डिज़ाइन में एकीकृत करता है ताकि एक प्रतिकर्षक बल (repulsive force) के रूप में कार्य किया जा सके, जिससे सही और गलत निर्णयों के बीच स्पष्ट पृथक्करण बना रहे।

1. टर्न-लेवल UQ-एलाइन्ड रिवॉर्ड

अनिश्चितता का उपयोग केवल पोस्ट-हॉक डायग्नोस्टिक के रूप में करने के बजाय, TRUST इसे निर्णय की शुद्धता को मॉडल की निश्चितता के साथ संरेखित करने के लिए रिवॉर्ड फंक्शन में शामिल करता है।

अनिश्चितता मीट्रिक (Uncertainty Metric): यह विधि अनुक्रम पर्प्लेक्सिटी (sequence perplexity - PPL) का उपयोग करके अनिश्चितता को स्थापित करती है।
निश्चितता मार्जिन ( $m(s)$ ): प्रत्येक निर्णय बिंदु के लिए, सिस्टम नकारात्मक (गलत) निर्णयों की अपेक्षित पर्प्लेक्सिटी और ग्राउंड-ट्रुथ निर्णय के बीच मार्जिन की गणना करता है।
निश्चितता गुणांक ( $c(s)$ ): इस मार्जिन को एक सिग्मॉइड फंक्शन का उपयोग करके एक सीमित निश्चितता गुणांक में परिवर्तित किया जाता है। एक बड़ा मार्जिन इंगित करता है कि मॉडल नकारात्मक निर्णयों की तुलना में सही निर्णय के लिए कम पर्प्लेक्सिटी असाइन करता है।
रिवॉर्ड फंक्शन ( $R_{UQ}$ ): कुल रिवॉर्ड फॉर्मेट वैधता, उत्तर निरंतरता और एक्शन शुद्धता को जोड़ता है, जिसे निश्चितता गुणांक द्वारा भारित (weighted) किया जाता है:
$R_{UQ}(z) = R_{fmt}(z) + R_{ans}(z, z^*) + c(s) \cdot R_{cls}(a, a^*)$
यहाँ, $c(s) \cdot R_{cls}$ एक प्रतिकर्षक बल के रूप में कार्य करता है। यह गलत निर्णयों को उच्च अनिश्चितता (उच्च PPL) की ओर धकेलता है और सही निर्णयों को निम्न अनिश्चितता की ओर खींचता है, जिससे नीति को अनिश्चित या अविश्वसनीय निर्णयों से दूर जाने के लिए प्रोत्साहित किया जाता है।

2. ट्राजेक्टरीज के लिए एकीकृत पोस्ट-ट्रेनिंग

यह पहचानते हुए कि एजेंट की विफलताएं अक्सर बहु-टर्न ट्राजेक्टरीज के भीतर उत्पन्न होती है जहाँ शुरुआती त्रुटियां बाद की अवस्थाओं को दूषित करती हैं, TRUST इस प्रशिक्षण प्रतिमान को स्टैंडअलोन निर्णयों से विस्तारित कर पूर्ण ट्राजेक्टरीज तक ले जाता है।

लाइटवेट की-टर्न एनोटेशन (Lightweight Key-Turn Annotation): पूरी बातचीत को व्यापक रूप से लेबल करने के बजाय, यह फ्रेमवर्क विशिष्ट "की-टर्न्स" (key turns) के लिए हल्के एनोटेशन के साथ ट्राजेक्टरीज को समृद्ध करता है जहाँ अगले-एक्शन निर्णय महत्वपूर्ण होते हैं। एक लेबलिंग मॉडल प्रति ट्राजेक्टरी अधिकतम दो निर्णय-महत्वपूर्ण टर्न चुनता है, जो $\{DIRECT, TOOL, ASK, UNABLE\}$ स्पेस से ग्राउंड-ट्रुथ एक्शन असाइन करता है।
मिक्स्ड रिवॉर्ड ऑप्टिमाइज़ेशन: प्रशिक्षण एक मिश्रित रिवॉर्ड फंक्शन का उपयोग करता है जो मूल ट्राजेक्टरी-स्तरीय चेकलिस्ट रिवॉर्ड ( $R_{CM2}$ ) को जोड़ता है (जो कार्य पूर्णता और टूल निष्पादन गुणवत्ता की निगरानी करता है), जिसमें एनोटेट किए गए की-टर्न्स पर स्पार्सली (sparsely) लागू $R_{UQ}$ का उपयोग किया जाता है। यह मौजूदा प्रदर्शन-संचालित रिवॉर्ड्स को पुनर्गठित किए बिना समग्र कार्य सफलता और टर्न-स्तरीय टूल-कॉलिंग अंशांकन के संयुक्त अनुकूलन की अनुमति देता है।

मुख्य योगदान

अनिश्चितता-पृथक रिवॉर्ड डिज़ाइन: यह पेपर एक नवीन रिवॉर्ड तंत्र पेश करता है जो RL ऑब्जेक्टिव के भीतर एक प्रतिकर्षक बल के रूप में UQ का उपयोग करता है। यह स्पष्ट रूप से सही और गलत निर्णयों के बीच अनिश्चितता पृथक्करण के पतन को रोकता है, जो मानक निर्णय-उन्मुख RL की एक सामान्य विफलता मोड है।
एकीकृत प्रशिक्षण प्रतिमान: TRUST एक एकीकृत पोस्ट-ट्रेनिंग फ्रेमवर्क प्रस्तावित करता है जो टर्न-स्तरीय निर्णय अंशांकन को ट्राजेक्टरी-स्तरीय कार्य अनुकूलन के साथ एकीकृत करता है। केवल की-टर्न्स को एनोटेट करके, यह कुशल प्रशिक्षण प्राप्त करता है जो तत्काल निर्णय गुणवत्ता और दीर्घ-अवधि कार्य प्रदर्शन दोनों में सुधार करता है।
अनिश्चितता अंशांकन का अनुभवजन्य सत्यापन: यह कार्य प्रदर्शित करता है कि केवल निर्णय शुद्धता के लिए अनुकूलन करने से अनिश्चितता अंशांकन खराब हो सकता है, जबकि TRUST आंतरिक अनिश्चितता को निर्णय शुद्धता के साथ सफलतापूर्वक संरेखित करता है, जिससे त्रुटिपूर्ण निर्णयों को पहचानना आसान और उन्हें सुदृढ़ (reinforce) करना कम संभावित हो जाता है।

प्रयोगात्मक परिणाम

लेखकों ने तीन बेंचमार्क पर TRUST का मूल्यांकन किया: When2Call (टर्न-लेवल निर्णय), BFCL-V4 (मल्टी-टर्न फंक्शन कॉलिंग), और ToolSandbox (इंटरैक्टिव टूल उपयोग)।

टर्न-लेवल प्रदर्शन (When2Call): Qwen3-4B-Thinking बैकबोन पर, TRUST ने बेस मॉडल की तुलना में नॉर्मलाइज्ड सटीकता में 11.47% का सुधार किया और सर्वश्रेष्ठ बेसलाइन (बिना TRUST के GRPO) को 8.37% से पीछे छोड़ दिया। महत्वपूर्ण रूप से, इसने फॉल्स डायरेक्ट आंसर रेट (FDAR) को 5.07% तक कम कर दिया और मानक GRPO की तुलना में समग्र हैलुसिनेशन मेट्रिक को काफी कम कर दिया।
ट्राजेक्टरी-लेवल प्रदर्शन (BFCL-V4 और ToolSandbox):
- BFCL-V4 पर, TRUST ने 48.04% का समग्र स्कोर प्राप्त किया (Qwen3-4B-Thinking पर), जो बेस मॉडल से 9.43% अधिक है और 30B-A3B-Instruct जैसे बड़े मॉडलों से बेहतर प्रदर्शन करता है। मल्टी-टर्न (49.62%) और इरेलेवेंस (84.84%) परिदृश्यों में उल्लेखनीय लाभ देखे गए।
- ToolSandbox पर, TRUST ने 68.28% का स्टेट-ऑफ-द-आर्ट स्कोर प्राप्त किया (Qwen3-8B-Base पर), जो ट्राजेक्टरी-लेवल GRPO बेसलाइन से 7.07% बेहतर है और 235B पैरामीटर मॉडल के प्रदर्शन के करीब है।
अनिश्चितता अंशांकन (Uncertainty Calibration): पर्प्लेक्सिटी वितरण के विश्लेषण से पता चला कि जबकि मानक RL ने सही और गलत निर्णय वितरणों के बीच ओवरलैप को बढ़ाया (IoU 34.50% से बढ़कर 70.21% हो गया), TRUST ने एक स्पष्ट पृथक्करण बनाए रखा (IoU घटकर 35.29% रह गया), जिससे यह सुनिश्चित हुआ कि गलत निर्णयों में उच्च अनिश्चितता बनी रहे।
एब्लेशन स्टडीज (Ablation Studies): अनिश्चितता प्रतिकर्षक घटक ( $c(s)$ ) को हटाने से सबसे महत्वपूर्ण प्रदर्शन गिरावट देखी गई, जो अनसमर्थित टूल कॉल और हैलुसिनेटेड डायरेक्ट आंसर्स को दबाने में इसकी महत्वपूर्ण भूमिका की पुष्टि करती है।

महत्व और दावे

पेपर का दावा है कि TRUST एजेंटिक RL में "ओवरकॉन्फिडेंट मिस्टेक" (अत्यधिक आत्मविश्वासी गलती) की समस्या के लिए एक मजबूत समाधान प्रदान करता है। रिवॉर्ड फंक्शन में अनिश्चितता मात्रा को सीधे एकीकृत करके, TRUST यह सुनिश्चित करता है कि मॉडल का आंतरिक आत्मविश्वास निर्णय की शुद्धता के साथ संरेखित हो। यह संरेखण न केवल तत्काल टूल-कॉलिंग सटीकता में सुधार करता है, बल्कि त्रुटि प्रसार को रोककर बहु-टर्न इंटरैक्शन की विश्वसनीयता को भी बढ़ाता है।

लेखक इस बात पर जोर देते हैं कि TRUST तैनाती के दौरान बिना किसी अतिरिक्त अनुमान विलंबता (inference latency) या कम्प्यूटेशनल ओवरहेड के ये लाभ प्राप्त करता है, क्योंकि निर्णय लेने का तर्क मॉडल के वेट्स (weights) में समाहित हो जाता है। इसके अलावा, फ्रेमवर्क प्रदर्शित करता है कि सटीक टर्न-स्तरीय निर्णय प्रशिक्षण जटिल, दीर्घ-निर्भर टूल-चेन वर्कफ़्लो में सामान्यीकृत सुधारों को उत्प्रेरित कर सकता है। कार्य निष्कर्ष निकालता है कि हालांकि पर्प्लेक्सिटी-आधारित UQ और पूर्व-निर्धारित एक्शन स्पेस पर निर्भरता के संबंध में वर्तमान सीमाएं मौजूद हैं, प्रस्तावित दृष्टिकोण अधिक विश्वसनीय और आत्म-जागरूक एजेंटिक सिस्टमों की ओर एक महत्वपूर्ण कदम है।