Trust in One Round: Confidence Estimation for Large Language Models via Structural Signals
यह शोध पत्र स्ट्रक्चरल कॉन्फिडेंस (Structural Confidence) को प्रस्तुत करता है, जो एक सिंगल-पास, मॉडल-अग्नोस्टिक फ्रेमवर्क है जो विविध डोमेन में मजबूत और कुशल कॉन्फिडेंस एस्टीमेशन प्रदान करने के लिए LLM हिडन स्टेट्स से मल्टी-स्केल स्ट्रक्चरल सिग्नल्स का लाभ उठाता है, और पारंपरिक प्रोबेबिलिटी-आधारित और सैंपलिंग-इंटेंसिव बेसलाइन्स से बेहतर प्रदर्शन करता है।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
कल्पना कीजिए कि आपके पास एक बहुत ही प्रतिभाशाली, तेज़ बोलने वाला कहानीकार (एक लार्ज लैंग्वेज मॉडल, या LLM) है। यह कहानीकार अद्भुत किस्से बुन सकता है, लेकिन कभी-कभी यह चीजें बना लेता है या तथ्यों को गलत बताता है। बड़ी समस्या यह है: आपको कैसे पता चलेगा कि वह कब सच बोल रहा है और कब वह बस मनगढ़ंत बातें बना रहा है?
आमतौर पर, हम उनकी आत्मविश्वास की जाँच करने के लिए पूछते हैं, "आप कितने आश्वस्त लग रहे हैं?" या हम उनसे कहानी को पाँच अलग-अलग तरीकों से सुनाने के लिए कहते हैं ताकि यह देखा जा सके कि विवरण आपस में मेल खाते हैं या नहीं। लेकिन यह शोध पत्र तर्क देता है कि ये तरीके त्रुटिपूर्ण हैं:
- "कितने आश्वस्त हो?" पूछना: यह एक घबराए हुए व्यक्ति से यह पूछने जैसा है कि क्या वह आत्मविश्वासी है; वे गलत होने पर भी आत्मविश्वासी लग सकते हैं।
- उन्हें कहानी पाँच बार सुनाने के लिए कहना: इसमें बहुत समय और पैसा लगता है, जैसे एक ही स्क्रिप्ट को पढ़ने के लिए पाँच अलग-अलग अभिनेताओं को केवल निरंतरता की जाँच करने के लिए काम पर रखना।
नया विचार: "आंतरिक लय" को सुनना
यह शोध पत्र एक नई विधि पेश करता है जिसे स्ट्रक्चरल कॉन्फिडेंस (Structural Confidence) कहा जाता है। यह सुनने के बजाय कि कहानीकार क्या कह रहा है या उन्हें खुद को दोहराने के लिए कहने के बजाय, लेखक इस बात पर ध्यान केंद्रित करते हैं कि कहानी के निर्माण की आंतरिक लय कैसी है।
कहानीकार के मस्तिष्क को एक पटरी पर चलती हुई ट्रेन के रूप में सोचें।
- जब ट्रेन एक चिकनी, सीधी पटरी पर होती है (आत्मविश्वासी): गति स्थिर, लयबद्ध और अनुमानित होती है। पहिए एक कम, सुसंगत स्वर में गूँजते हैं।
- जब ट्रेन भ्रमित या मतिभ्रम (hallucinating) का शिकार होती है (अनिश्चित): पटरी ऊबड़-खाबड़ हो जाती है। ट्रेन झटके लेती है, डगमगाती है और बेतहाशा कंपन करती है। पहिए चीखते हैं, और लय अराजक और ऊबड़-खाबड़ हो जाती है।
लेखकों की विधि एक सीस्मोग्राफ (seismograph) या स्टेथोस्कोप की तरह काम करती है जिसे ट्रेन की पटरियों पर रखा गया है। इसे बोले गए शब्दों की परवाह नहीं है; यह केवल उत्तर उत्पन्न करते समय मॉडल की आंतरिक प्रक्रिया के कंपन और स्थिरता को मापता है।
यह कैसे काम करता है ("वन-राउंड" ट्रिक)
यह शोध पत्र दावा करता है कि यह विधि विशेष है क्योंकि इसे मॉडल के केवल एक एकल दौर (single pass) की आवश्यकता है।
- पुराना तरीका ( "ग्रुप थिंकिंग" दृष्टिकोण): यह जाँचने के लिए कि कहानी सच है या नहीं, आप AI को कहानी 10 बार बनाने के लिए कह सकते हैं और उनकी तुलना कर सकते हैं। यह धीमा और महंगा है।
- इस शोध पत्र का तरीका ("स्टेथोस्कोप" दृष्टिकोण): आप AI को कहानी एक बार सुनाने देते हैं। जब वह ऐसा करता है, तो आपका "सीस्मोग्राफ" (एक अलग, छोटा, मुफ्त उपकरण) AI के मस्तिष्क के आंतरिक कंपनों को सुनता है। यदि कंपन सुचारू हैं, तो सिस्टम कहता है, "यह विश्वसनीय लग रहा है।" यदि कंपन ऊबड़-खाबड़ और अराजक हैं, तो यह कहता है, "सावधान रहें, यह मतिभ्रम (hallucination) हो सकता है।"
यह क्यों महत्वपूर्ण है
लेखकों ने चार अलग-अलग प्रकार के कार्यों पर इसका परीक्षण किया:
- समाचारों की तथ्य-जाँच करना (FEVER)।
- वैज्ञानिक दावों को सत्यापित करना (SciFact)।
- जीवनी के विवरणों की जाँच करना (WikiBio)।
- जटिल प्रश्नों के उत्तर देना (TruthfulQA)।
उन्होंने पाया कि उनका "सीस्मोग्राफ" तरीका:
- केवल AI के संभाव्यता स्कोर ( "आप कितने आश्वस्त हैं?" वाला तरीका) को देखने की तुलना में अधिक सटीक था।
- विषय बदलने पर (जैसे, समाचार से विज्ञान में स्विच करना) अधिक मजबूत था, जबकि अन्य तरीके अक्सर विषय बदलने पर विफल हो जाते थे।
- अन्य तरीकों की तुलना में बहुत तेज़ और सस्ता था।
निष्कर्ष
शोध पत्र का दावा है कि AI की सोचने की प्रक्रिया की आंतरिक संरचनात्मक स्थिरता (इसके "हिडन-स्टेट ट्रेजेक्टरी") को देखकर, हम एक विश्वसनीय "सत्य मीटर" प्राप्त कर सकते हैं जो वास्तविक समय में काम करता है, जिसमें बहुत कम लागत आती है, और इसके लिए AI को अतिरिक्त काम करने की आवश्यकता नहीं होती है। यह कार के इंजन को खोलने या उसे पाँच अलग-अलग बार चलाने की आवश्यकता के बिना, केवल पहियों की गूँज सुनकर यह बताने के समान है कि इंजन स्वस्थ है या नहीं।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।