← नवीनतम पेपर
💬 NLP

Calibrate-Then-Act: Cost-Aware Exploration in LLM Agents

यह शोध पत्र कैलिब्रेट-देन-एक्ट (CTA) फ्रेमवर्क प्रस्तुत करता है, जो LLM एजेंटों को लेटेंट एनवायरनमेंट स्टेट्स के बारे में अनुमानित प्रायर्स (priors) से सुसज्जित करता है ताकि वे लागत-अनिश्चितता ट्रेडऑफ्स (cost-uncertainty tradeoffs) के बारे में स्पष्ट रूप से तर्क कर सकें, जिससे उन्हें मानक सुदृढीकरण शिक्षण (reinforcement learning) पर निर्भर रहे बिना रिट्रीवल-ऑगमेंटेड QA और कोडिंग जैसे कार्यों में अधिक इष्टतम अनुक्रमिक निर्णय लेने की रणनीतियों को खोजने में सक्षम बनाया जा सके।

मूल लेखक: Wenxuan Ding, Nicholas Tomlin, Greg Durrett

प्रकाशित 2026-05-19
📖 5 मिनट में पढ़ें🧠 गहराई से पढ़ें
CC BY 4.0

मूल लेखक: Wenxuan Ding, Nicholas Tomlin, Greg Durrett

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

कल्पना कीजिए कि आप एक रहस्य सुलझाने की कोशिश कर रहे हैं एक जासूस के रूप में, लेकिन हर बार जब आप कोई सवाल पूछते हैं या किसी सुराग की जांच करते हैं, तो इसमें आपके बजट का थोड़ा सा हिस्सा खर्च होता है। इसके अलावा, आपको यह भी पक्का पता नहीं होता कि आपके अनुमान सही हैं या नहीं। यह एक LLM Agent (एक स्मार्ट कंप्यूटर प्रोग्राम) का दैनिक जीवन है जो वास्तविक दुनिया में समस्याओं को हल करने की कोशिश कर रहा है।

पेपर "Calibrate-Then-Act" एक विशिष्ट समस्या का समाधान करता है: हम AI एजेंटों को यह कैसे सिखाएं कि वे कब अनुमान लगाना बंद करें और कब काम करना शुरू करें, ताकि पैसा या समय बर्बाद न हो?

यहाँ सरल उपमाओं (analogies) का उपयोग करके इसका विवरण दिया गया है:

1. समस्या: "अनुमान लगाओ और जाओ" बनाम "ज़्यादा सोचो" का जाल

कल्पना कीजिए कि आप एक ताले लगे बॉक्स को खोलने की कोशिश कर रहे हैं।

  • विकल्प A (अनुमान लगाओ और जाओ - Guess-and-Go): आप बस कॉम्बिनेशन का अनुमान लगाते हैं। यदि आप सही हैं, तो आप तुरंत जीत जाते हैं। यदि आप गलत हैं, तो आप एक टर्न खो देते हैं और आपको फिर से प्रयास करना पड़ता है।
  • विकल्प B (ज़्यादा सोचो - Over-Think): आप बॉक्स को छूने से पहले ही हर एक लॉक मैकेनिज्म की जांच करने के लिए एक ताला खोलने वाले (locksmith) को काम पर रखते हैं। यह सुरक्षित है, लेकिन इसमें बहुत पैसा खर्च होता है और बहुत समय लगता है।

वर्तमान AI एजेंट इन दोनों के बीच संतुलन बनाने में खराब हैं।

  • कुछ बहुत लापरवाह हैं: वे तुरंत अनुमान लगाते हैं, भले ही उन्हें 50% यकीन हो कि वे गलत हैं, जिससे बाद में गलतियों को सुधारने में समय बर्बाद होता है।
  • कुछ बहुत अधिक सतर्क हैं: वे हर एक विवरण की जांच करते हैं (जैसे कोड की हर लाइन पर टेस्ट चलाना) भले ही वे 99% सुनिश्चित हों कि उत्तर सही है, जिससे अनावश्यक जांचों पर पैसा बर्बाद होता है।

पेपर पूछता है: क्या हम AI को संभावनाओं (odds) और लागत (cost) की गणना करना और फिर एक आदर्श बीच का रास्ता चुनना सिखा सकते हैं?

2. समाधान: "कैलिब्रेट-देन-एक्ट" (CTA)

लेखकों ने एक नया तरीका प्रस्तावित किया है जिसे Calibrate-Then-Act कहा जाता है। इसे एक जासूस को अपराध स्थल में प्रवेश करने से पहले दी जाने वाली "प्री-गेम ब्रीफिंग" की तरह समझें।

  • पुराना तरीका (Standard AI): जासूस बिना किसी जानकारी के अंदर जाता है। उसे अपना आत्मविश्वास स्तर (confidence level) खुद ही समझना पड़ता है जबकि वह पहले से ही पैसा खर्च कर रहा होता है। वे अक्सर गलत होते हैं।
  • नया तरीका (CTA): इससे पहले कि जासूस शुरू करे, एक स्मार्ट सहायक उसके कान में फुसफुसाता है: "हे, फाइल के नाम के आधार पर, इस बात की 67% संभावना है कि लॉक एक स्टैंडर्ड चाबी है और 33% संभावना है कि यह एक डिजिटल कोड है। साथ भी, ताला खोलने वाले को बुलाने की लागत 10है,औरअनुमानलगानेकीलागत10 है, और अनुमान लगाने की लागत 1 है।"

AI को यह "प्रायर" (Prior) (पहले से गणना की गई संभावनाओं का अनुमान) देकर, AI अंधाधुंध अनुमान लगाना बंद कर सकता है। अब वह गणित कर सकता है: "क्या लॉक चेक करने के लिए $10 खर्च करना सार्थक है, या मुझे बस चाबी आज़मानी चाहिए क्योंकि मुझे 67% यकीन है?"

3. उन्होंने इसका परीक्षण कैसे किया

शोधकर्ताओं ने इस विचार का तीन अलग-अलग "गेम्स" में परीक्षण किया:

  1. "पेंडोरा बॉक्स" गेम: एक सरल गणितीय पहेली जहाँ आपको तीन बॉक्सों में से एक में इनाम खोजना है। आप या तो एक बॉक्स का अनुमान लगा सकते हैं या अंदर झांकने के लिए भुगतान कर सकते हैं।
    • परिणाम: जब AI को संभावनाओं (priors) के बारे में बताया गया, तो उसने पहेली को लगभग पूरी तरह से हल कर लिया। संभावनाओं के बिना, वह अनावश्यक रूप से झांकता रहा।
  2. "प्रश्न उत्तर" (Question Answering) गेम: AI को एक सामान्य ज्ञान के प्रश्न का उत्तर देना है। वह अपनी याददाश्त से उत्तर दे सकता है (मुफ्त) या इंटरनेट पर खोज कर सकता है (समय/पैसा खर्च होता है)।
    • परिणाम: AI ने केवल तभी सर्च करना सीखा जब वह अनिश्चित था। यदि वह आश्वस्त था, तो उसने सीधे उत्तर दे दिया। इसने सटीकता को उच्च रखते हुए पैसा बचाया।
  3. "फाइल रीडिंग" गेम: AI को एक अव्यवस्थित डेटा फाइल को पढ़ने के लिए कोड लिखना है। उसे नहीं पता कि फाइल डेटा को अलग करने के लिए कॉमा (comma) का उपयोग करती है या टैब (tab) का। वह यह जांचने के लिए एक "टेस्ट" लिख सकता है (महंगा) या बस कोड लिखकर उम्मीद कर सकता है (जोखिम भरा)।
    • परिणाम: AI ने केवल तभी टेस्ट चलाना सीखा जब फाइल के नाम ने उसे एक कमजोर संकेत दिया। यदि फाइल के नाम ने एक मजबूत संकेत दिया, तो उसने टेस्ट को छोड़ दिया और तुरंत कोड लिख दिया।

4. मुख्य निष्कर्ष (The Big Takeaway)

पेपर दिखाता है कि AI एजेंट अनिवार्य रूप से "मूर्ख" नहीं हैं; बस उनके पास सही संदर्भ (context) की कमी है।

जब आप एक AI को सब कुछ शुरुआत से सीखने के लिए मजबूर करते हैं (जैसे कुत्ते को डंडे मारकर बैठने के लिए प्रशिक्षित करना), तो वह अक्सर एक कठोर आदत सीख लेता है: "हमेशा पहले जांच करो" या "कभी जांच मत करो।"

लेकिन जब आप AI को पहले से ही "संभावनाएं" (odds) देते हैं (कैलिब्रेट स्टेप), तो वह तुरंत एक मास्टर रणनीतिकार बन जाता है। वह जांच करने की लागत बनाम गलत होने के जोखिम को तौल सकता है और हर बार इष्टतम निर्णय ले सकता है।

संक्षेप में: पेपर एक अधिक स्मार्ट दिमाग का आविष्कार नहीं करता; यह बस दिमाग को चलने से पहले एक बेहतर मानचित्र और इलाके का स्पष्ट दृश्य देता है। यह AI को अधिक कुशलता से कार्य करने की अनुमति देता है, जिससे काम को सही ढंग से करते हुए पैसा और समय बचता है।

अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?

आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।

Digest आज़माएँ →

इसी तरह के और पेपर

इस विषय के सभी पेपर देखें 💬 cs.CL →