Uncertainty Quantification for LLM Function-Calling
यह शोध पत्र LLM फंक्शन-कॉलिंग के लिए अनिश्चितता परिमाणीकरण (Uncertainty Quantification - UQ) विधियों का पहला मूल्यांकन प्रस्तुत करता है, जिसमें यह पाया गया है कि हालांकि इस सेटिंग में मल्टी-सैंपल विधियां सिंगल-सैंपल विधियों की तुलना में बहुत कम लाभ प्रदान करती हैं, लेकिन फंक्शन-कॉल आउटपुट की संरचनात्मक और अर्थ संबंधी विशिष्टताओं का लाभ उठाकर उनके प्रदर्शन में महत्वपूर्ण सुधार किया जा सकता है।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
कल्पना कीजिए कि आपके पास एक अत्यंत उन्नत रोबोटिक बटलर (नौकर) है। यह बटलर निर्देशों का पालन करने में अद्भुत है, लेकिन इसमें एक खतरनाक खामी है: यह केवल बोलता नहीं है; यह कार्य करता है। यदि आप इसे "रसोई साफ करो" कहते हैं, तो यह गलती से आपकी महंगी खानदानी चीनी मिट्टी के बर्तनों को डिशवॉशर में फेंक सकता है क्योंकि इसे ठीक से पता नहीं था कि कौन से बर्तन नाजुक हैं।
यह शोध पत्र उस बटलर को यह सिखाने के बारे में है कि कैसे कहे, "ठहरिए, मुझे यकीन नहीं है कि मैंने इसे सही ढंग से समझा है या नहीं। क्या मैं आगे बढ़ने से पहले आप इसकी दोबारा जांच कर सकते हैं?"
AI की दुनिया में, इसे फंक्शन-कॉलिंग (Function-Calling) के लिए अनिश्चितता परिमाणीकरण (Uncertainty Quantification - UQ) कहा जाता है।
समस्या: "आत्मविश्वासी मूर्ख" (The "Confident Idiot")
अधिकांश लार्ज लैंग्वेज मॉडल्स (जैसे ChatGPT) सहायक और मुखर होने के लिए डिज़ाइन किए गए हैं। जब आप किसी AI को कोई कार्य करने के लिए कहते हैं—जैसे "मम्मी को $500 ट्रांसफर करो"—तो वह इसे पूरा करने के लिए एक विशिष्ट कोड (एक "फंक्शन कॉल") बनाता है।
समस्या यह है कि AI एक "आत्मविश्वासी मूर्ख" हो सकता है। यह एक ऐसा कमांड बना सकता है जो देखने में बिल्कुल सही लगता है, लेकिन उसमें एक छोटी सी, विनाशकारी त्रुटि हो सकती है (जैसे 5,000 ट्रांसफर कर देना)। क्योंकि AI अपनी ही गलती में इतना आश्वस्त होता है, उसे एहसास ही नहीं होता कि वह तबाही मचाने वाला है।
प्रयोग: "अंतर्ज्ञान" का परीक्षण करना
शोधकर्ताओं ने यह देखना चाहा कि क्या हम AI की "अंतरात्मा की आवाज़" (इसकी अनिश्चितता) को माप सकते हैं ताकि इन गलतियों को रोका जा सके। उन्होंने इस अनिश्चितता को मापने के दो मुख्य तरीकों का परीक्षण किया:
- "एक अनुमान" विधि (द स्पीडस्टर): आप AI से एक बार पूछते हैं, और आप देखते हैं कि टाइप करते समय वह कितना "हिचकिचाता" है। यदि वह बहुत कम संभावना वाले शब्दों का चयन कर रहा है, तो यह हकलाने जैसा है—यह संदेह का संकेत है।
- "बहु-मस्तिष्क मंथन" विधि (द कमेटी): आप AI से एक ही सवाल 10 अलग-अलग बार पूछते हैं। यदि सभी 10 उत्तर थोड़े अलग हैं, तो इसका मतलब है कि "कमेटी" में असहमति है, जिसका अर्थ है कि AI संभवतः भ्रमित है।
चौंका देने वाली खोज:
आप सोचेंगे कि "कमेटी" (अधिक महंगी और जटिल विधि) अधिक समझदार होगी। लेकिन शोधकर्ताओं ने पाया कि इन विशिष्ट तकनीकी कार्यों के लिए, "स्पीडस्टर" (एकल अनुमान) वास्तव में उतना ही अच्छा, या शायद बेहतर था! जटिल मंथन प्रक्रिया अधिक मूल्य नहीं जोड़ पाई क्योंकि कोडिंग में AI की गलतियाँ अक्सर बहुत विशिष्ट होती हैं और नमूनों (samples) के बीच "असहमति" के रूप में अधिक दिखाई नहीं देतीं।
समाधान: "हाइलाइटर" ट्रिक
शोधकर्ताओं ने महसूस किया कि कमांड के सभी शब्द समान नहीं होते।
कल्पना कीजिए कि आप एक रेसिपी (नुस्खा) का पालन कर रहे हैं। यदि रेसिपी कहती है, "2 बड़े चम्मच नमक डालें," और आप इस बात को लेकर अनिश्चित हैं कि यह "बड़े चम्मच" (tablespoons) है या "छोटे चम्मच" (teaspoons), तो यह एक बड़ी बात है। लेकिन यदि आप इस बात को लेकर अनिश्चित हैं कि "Add" शब्द का पहला अक्षर बड़ा (Capital) होना चाहिए या नहीं, तो इससे कोई फर्क नहीं पड़ता।
शोधकर्ताओं ने एक नई विधि बनाई जिसे SMT (सेमेंटिकली मीनिंगफुल टोकेन्स) कहा जाता है। हर एक कैरेक्टर (जैसे कॉमा, ब्रैकेट और स्पेस) पर AI के आत्मविश्वास को देखने के बजाय, उन्होंने सिस्टम को एक हाइलाइटर की तरह काम करना सिखाया। यह "उबाऊ" सिंटैक्स (कॉमा और ब्रैकेट) को अनदेखा कर देता है और केवल "उच्च-दांव वाले" (high-stakes) शब्दों पर ध्यान केंद्रित करता है—जैसे कि फंक्शन के वास्तविक नाम, संख्याएँ, या लोगों या स्थानों के विशिष्ट नाम।
परिणाम: एक सुरक्षित बटलर
केवल कमांड के "उच्च-दांव वाले" हिस्सों पर ध्यान केंद्रित करके, AI अपनी गलतियों को पहचानने में बहुत बेहतर हो गया।
संक्षेप में: यह शोध पत्र AI के चारों ओर "सुरक्षा घेरा" (guardrails) बनाने का एक ब्लूप्रिंट प्रदान करता है। यह हमें बताता है कि AI को बहुत अधिक अतिरिक्त सोचने के बजाय, हम इसे केवल उन निर्देशों के हिस्सों पर अधिक ध्यान देकर बहुत सुरक्षित बना सकते हैं जो वास्तव में मायने रखते हैं।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।