Zero-Shot Confidence Estimation for Small LLMs: When Supervised Baselines Aren't Worth Training
यह शोध पत्र यह प्रदर्शित करता है कि ज़ीरो-शॉट कॉन्फिडेंस सिग्नल, विशेष रूप से औसत टोकन लॉग-प्रोबेबिलिटी और एक नवीन रिट्रीवल-कंडीशनल सेल्फ-असेसमेंट विधि, लागत प्रभावी क्वेरी रूटिंग के लिए छोटे भाषा मॉडलों की शुद्धता का अनुमान लगाने में बिना किसी प्रशिक्षण डेटा के भी, सुपरवाइज्ड बेसलाइन्स से बेहतर प्रदर्शन करते हैं।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
कल्पना कीजिए कि आपके पास एक छोटा, सस्ता, स्थानीय AI सहायक है (जैसे आपके घर में एक स्मार्ट स्पीकर) और क्लाउड में एक विशाल, महंगा, सुपर-स्मार्ट AI सहायक है। आप पैसे बचाने के लिए अधिकांश सवालों के लिए सस्ते वाले का उपयोग करना चाहते हैं, लेकिन आपको यह जानने का एक तरीका चाहिए कि बड़े वाले से पूछने से पहले, क्या सस्ता वाला इसे सही ढंग से हल कर पाएगा। यदि सस्ता वाला अनिश्चित है, तो आप तुरंत महंगे वाले पर स्विच करना चाहते हैं।
यह पेपर यह तय करने के लिए कि कब स्विच किया जाए, सबसे अच्छा "गट चेक" (अंतर्ज्ञान) खोजने के बारे में है।
पुराना तरीका: "स्टडी गाइड" दृष्टिकोण
पहले, लोग कंप्यूटर को यह सिखाने की कोशिश करते थे कि "कठिन सवाल" को कैसे पहचाना जाए। वे उसे हजारों उदाहरण दिखाते थे और कहते थे, "यह एक आसान सवाल था, वह एक कठिन था।" कंप्यूटर सवालों के पैटर्न को पहचानना सीख जाता था।
लेखक इसे सुपरवाइज्ड बेसलाइन (या "RouteLLM") कहते हैं।
- समस्या: यह इतिहास के सवालों के लिए केवल स्टडी गाइड का उपयोग करके परीक्षा की तैयारी करने जैसा है। यदि आप परीक्षा में जाते हैं और सवाल विज्ञान के होते हैं, तो आपकी स्टडी गाइड बेकार हो जाती है। पेपर ने पाया कि जब सवालों के प्रकार बदल गए (ट्रिविया टेस्ट से सामान्य ज्ञान परीक्षण में), तो यह "स्टडी गाइड" वाला तरीका पूरी तरह विफल हो गया। यह आसान और कठिन सवालों के बीच अंतर नहीं कर सका।
नया तरीका: "इंटरनल मोनोलॉग" (आंतरिक संवाद) दृष्टिकोण
सवालों को पढ़ने के बजाय, लेखकों ने इस बात पर ध्यान दिया कि AI जवाब देते समय कैसा "महसूस" करता है। उन्होंने कुछ "ज़ीरो-शॉट" संकेतों का परीक्षण किया, जिसका अर्थ है कि उन्हें AI को अतिरिक्त डेटा के साथ प्रशिक्षित करने की आवश्यकता नहीं थी; उन्होंने बस AI को वही करने के लिए कहा जो वह पहले से ही कर रहा था।
1. "सरप्राइज मीटर" (लॉग-प्रोबेबिलिटी)
यह पेपर का मुख्य खिलाड़ी है। कल्पना कीजिए कि AI शब्द दर शब्द अपना उत्तर लिख रहा है।
- यदि AI आश्वस्त है, तो वह अगला शब्द आसानी से चुनता है, जैसे कि कहना "आकाश है..." और तुरंत सोचना "नीला।" वह हैरान नहीं है।
- यदि AI अनुमान लगा रहा है, तो वह हिचकिचाता है। वह सोच सकता है, "आकाश है... हरा? नहीं। शायद... बैंगनी?" वह अपने स्वयं के आउटपुट से हैरान है।
लेखकों ने पाया कि केवल यह मापना कि AI अपने शब्दों से कितना "हैरान" है, अविश्वसनीय रूप से अच्छा काम करता है।
- क्यों जीतता है: इसे इतिहास या विज्ञान के बारे में परवाह नहीं है। इसे केवल इस बात से फर्क पड़ता है कि AI को शब्द खोजने में कितनी कठिनाई हो रही है।
- परिणाम: यह तरीका "स्टडी गाइड" तरीके जितना ही अच्छा काम करता था जब सवाल परिचित थे, लेकिन जब सवाल बदल गए, तो "स्टडी गाइड" क्रैश हो गया, जबकि "सरprise मीटर" वास्तव में बेहतर हो गया।
2. "कॉन्फिडेंस चेक" (आत्म-मूल्यांकन)
यहाँ AI से सीधे पूछा जाता है: "क्या आप आश्वस्त हैं कि आप इस प्रश्न का सही उत्तर दे सकते हैं?"
- दिक्कत: यदि आप बिना किसी मदद के यह पूछते हैं, तो AI अक्सर गलत होता है। यह एक घबराए हुए छात्र से पूछने जैसा है, "क्या तुम्हें उत्तर पता है?" और वह जानता होने के बावजूद कहता है, "नहीं।"
- समाधान (रिट्रीवल-कंडीशनल): लेखकों ने एक चतुर ट्रिक निकाली। वे केवल AI को बाहरी जानकारी (जैसे एक पाठ्यपुस्तक) देखने देते हैं यदि वह जानकारी एक परफेक्ट मैच हो। यदि जानकारी कमजोर या गायब है, तो वे इस तथ्य को छिपा देते हैं कि उन्होंने खोज की थी। यह AI को खराब जानकारी से भ्रमित या हतोत्साहित होने से रोकता है। इसने कॉन्फिडेंस चेक में काफी सुधार किया और यह "सरप्राइज मीटर" की तुलना में बहुत तेज़ था।
मुख्य निष्कर्ष
- प्रशिक्षण न दें, बस सुनें: आपको यह बताने के लिए एक विशेष "जज" को प्रशिक्षित करने में पैसा और समय खर्च करने की आवश्यकता नहीं है कि कोई सवाल कठिन है। छोटा AI अपनी प्रतिक्रिया (अपने उत्तर पर उसकी हैरानी) के माध्यम से एक बेहतर जज है।
- "स्टडी गाइड" नाजुक है: विधियाँ जो पिछले उदाहरणों से सीखती हैं, वे विफल हो जाती हैं जब वास्तविक दुनिया बदल जाती है। "सरप्राइज मीटर" हर जगह काम करता है क्योंकि यह AI के दिमाग को मापता है, न कि सवाल के आकार को।
- फ्यूजन (मिश्रण) बुरा हो सकता है: आप सोच सकते हैं, "आइए 'सरप्राइज मीटर', 'कॉन्फिडेंस चेक' और 'स्टडी गाइड' को मिला देते हैं!" पेपर कहता है नहीं। उन्हें एक साथ मिलाने से वास्तव में परिणाम बदतर हो गए, जैसे एक बेहतरीन सॉस के साथ एक खराब सॉस मिलाकर व्यंजन को खराब कर देना।
- लागत बनाम गति:
- सरप्राइज मीटर बहुत सटीक है लेकिन इसमें थोड़ा समय लगता है (आपको पहले AI को अपना उत्तर लिखने देना होगा ताकि उसकी हैरानी की जांच की जा सके)।
- कॉन्फिडेंस चेक (नए ट्रिक के साथ) बहुत तेज़ है (आप AI के उत्तर लिखने से पहले ही चेक कर सकते हैं) और सबसे आसान सवालों को फ़िल्टर करने के लिए पर्याप्त अच्छा है।
रोज़मर्रा के उपयोग के लिए निचोड़
यदि आप एक ऐसा सिस्टम बना रहे हैं जिसमें एक सस्ता स्थानीय AI और एक महंगा क्लाउड AI उपयोग किया जाता है, तो क्लासिफायर को प्रशिक्षित करना बंद करें। बस स्थानीय AI के "सरप्राइज मीटर" को सुनें। यह मुफ्त है, यह बेहतर काम करता है जब सवाल बदलते हैं, और यह आपको प्रशिक्षण की लागत बचाने में मदद करता है। यदि आपको और भी तेज़ होना है, तो एक त्वरित पहले फिल्टर के रूप में नए "कॉन्फिडेंस चेक" ट्रिक का उपयोग करें।
पेपर निष्कर्ष निकालता है कि तथ्यात्मक सवालों के लिए, "ज़ीरो-शॉट" (बिना प्रशिक्षण के) दृष्टिकोण न केवल एक बैकअप योजना है; बल्कि यह एक बेहतर रणनीति है।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।