Double-Calibration: Towards Reliable LLMs via Calibrating Knowledge and Reasoning Confidence
यह शोधपत्र DoublyCal को प्रस्तुत करता है, जो एक हल्के प्रॉक्सी मॉडल का उपयोग करके कैलिब्रेटेड कॉन्फिडेंस के साथ नॉलेज ग्राफ एविडेंस (ज्ञान ग्राफ साक्ष्य) उत्पन्न करता है, जिससे ब्लैक-बॉक्स LLMs की सटीकता और विश्वसनीयता बढ़ती है, और इस प्रकार LLM को ऐसे सुव्यवस्थित (वेल-कैलिब्रेटेड) पूर्वानुमान उत्पन्न करने में सक्षम बनाता है जो सहायक साक्ष्य की अनिश्चितता तक वापस जाते हैं।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
कल्पना कीजिए कि आप एक बहुत ही बुद्धिमान, लेकिन कभी-कभी अति-आत्मविश्वासी, लाइब्रेरियन (लार्ज लैंग्वेज मॉडल या LLM) से एक पेचीदा सवाल पूछ रहे हैं। वह लाइब्रेरियन बात करने में तो बहुत माहिर है, लेकिन अक्सर वह मनगढ़ंत बातें बना लेता है (hallucinate) या खुद को लेकर इतना निश्चित हो जाता है कि वह गलत होने पर भी सही होने का दावा करता है।
इसे ठीक करने के लिए, लोगों ने लाइब्रेरियन को एक संदर्भ पुस्तक (नॉलेज ग्राफ) दी ताकि वह तथ्यों की जांच कर सके। लेकिन एक नई समस्या पैदा हुई: क्या होगा अगर संदर्भ पुस्तक के कुछ पन्ने गायब हों या उसमें जानकारी भ्रमित करने वाली हो? लाइब्रेरियन एक अधूरा वाक्य पढ़ सकता है और पूरे आत्मविश्वास के साथ घोषणा कर सकता है, "मुझे उत्तर पता है!" जबकि वास्तव में उसे पता भी नहीं होता।
इस समस्या को हल करने के लिए, "डबल-कैलिब्रेशन" (Double-Calibration) नामक एक नया सिस्टम DoublyCal पेश करता है। इसे एक दो-चरणीय गुणवत्ता नियंत्रण प्रक्रिया (quality control process) के रूप में समझें जो यह सुनिश्चित करती है कि लाइब्रेरियन केवल तभी आत्मविश्वासी हो जब उसे होना चाहिए।
यह कैसे काम करता है, यहाँ सरल उपमाओं (analogies) के माध्यम से समझाया गया है:
समस्या: "आत्मविश्वासी लेकिन गलत" लाइब्रेरियन
वर्तमान में, यदि आप लाइब्रेरियन से पूछते हैं, "स्नूपी का भाई कौन है?" और उसे एक नोट मिलता है जिसमें लिखा है "बेल एक सहोदर (sibling) है," तो वह आत्मविश्वास से कह सकता है, "यह बेल है!" भले ही वह नोट अधूरा या अस्पष्ट हो। उसे यह नहीं पता कि वह नोट कितना विश्वसनीय है। वह बस अनुमान लगाता है और बहुत निश्चित होकर बोलता है।
समाधान: "दोहरा चेक" सिस्टम (DoublyCal)
लेखकों ने एक ऐसा सिस्टम बनाया है जो एक स्मार्ट सहायक की तरह काम करता है जो लाइब्रेरियन द्वारा अंतिम उत्तर देने से पहले संदर्भ पुस्तक की जांच करता है। यह सहायक दो विशिष्ट कार्य करता है:
चरण 1: साक्ष्य का अंशांकन (The "Fact-Checker")
लाइब्रेरियन के देखने से पहले, एक हल्का "प्रॉक्सी" मॉडल (सहायक) संदर्भ पुस्तक (नॉलेज ग्राफ) को देखता है।
- उपमा: कल्पना कीजिए कि सहायक एक सुराग (clue) की तलाश कर रहा है। सुराग कहता है, "स्नापी का एक भाई है जिसका नाम स्पाइक है।"
- नवाचार: सहायक केवल सुराग सौंप नहीं देता; वह उसके साथ एक कॉन्फिडेंस स्कोर (विश्वास स्कोर) भी जोड़ देता है, जैसे मौसम का पूर्वानुमान होता है।
- "यह सुराग 100% विश्वसनीय है।" (उच्च विश्वास)
- "यह सुराग संदिग्ध है; शायद यह सच है, शायद नहीं।" (कम विश्वास)
- यह कैसे किया जाता है: वे "बेयसियन स्मूथिंग" (Bayesian smoothing) नामक एक गणितीय तकनीक का उपयोग करते हैं। इसे एक सुरक्षा जाल (safety net) के रूप में समझें। यदि संदर्भ पुस्तक विरल (sparse) है (यानी उसमें कम तथ्य हैं), तो यह गणित सहायक को केवल इसलिए "100% निश्चित" कहने से रोकता है क्योंकि उसे एक छोटा सा सबूत मिल गया है। यह कॉन्फिडेंस स्कोर को ईमानदार बनाए रखता है।
चरण 2: तर्क का अंशांकन (The "Smart Librarian")
अब, सहायक मुख्य लाइब्रेरियन (LLM) को वह सुराग और उसका कॉन्फिडेंस स्कोर सौंप देता है।
- उपमा: लाइब्रेरियन सुराग पढ़ता है: "स्नापी का भाई स्पाइक है [विश्वास: 1.0]" और "स्नापी का भाई बेल है [विश्वास: 0.5]।"
- परिणाम: क्योंकि लाइब्रेरियन कॉन्फिडेंस स्कोर देख सकता है, इसलिए वह उत्तरों का भार (weigh) तय कर सकता है। वह महसूस करता है, "ठीक है, 'स्पाइक' वाला सुराग बहुत मजबूत है, लेकिन 'बेल' वाला सुराग कमजोर है।"
- निष्कर्ष: लाइब्रेरियन अंतिम उत्तर देता है ("यह स्पाइक है") और कहता है, "मैं इस बारे में बहुत आश्वस्त हूँ।" यदि सुराग कमजोर थे, तो लाइब्रेरियन अनुमान लगाने के बजाय कहेगा, "मुझे यकीन नहीं है।"
यह "डबल" कैलिब्रेशन क्यों है?
अधिकांश अन्य सिस्टम केवल दूसरा चरण करते हैं: वे लाइब्रेरियन से पूछते हैं, "आप कितने निश्चित हैं?"—लेकिन यह तब होता है जब लाइब्रेरियन पहले ही अनुमान लगा चुका होता है। लेकिन लाइब्रेरियन अपनी निश्चितता को आंकने में बुरा होता है।
DoublyCal इसे दो बार करता है:
- पहले: यह साक्ष्य (संदर्भ पुस्तक के नोट्स) को अंशांकित (calibrate) करता है ताकि तथ्य भरोसेमंद हों।
- दूसरे: यह उन भरोसेमंद तथ्यों के आधार पर अंतिम उत्तर को अंशांकित करता है।
परिणाम
इस शोध पत्र ने कठिन ट्रिविया (trivia) प्रश्नों पर इसका परीक्षण किया। उन्होंने पाया कि:
- सटीकता (Accuracy) बढ़ गई: सिस्टम ने अधिक प्रश्नों के सही उत्तर दिए क्योंकि इसने कमजोर सुरागों पर अनुमान लगाना बंद कर दिया।
- आत्मविश्वास (Confidence) कम हुआ (अच्छे अर्थ में): सिस्टम ने तब "100% निश्चित" कहना बंद कर दिया जब वह वास्तव में अनिश्चित था। यह यह स्वीकार करने में बहुत बेहतर हो गया कि उसे नहीं पता।
- यह सस्ता है: "सहायक" (प्रॉक्सी मॉडल) छोटा और तेज़ है, इसलिए इसे चलाने में बहुत अधिक पैसा या समय खर्च नहीं होता।
संक्षेप में
DoublyCal को AI के लिए एक गुणवत्ता नियंत्रण प्रबंधक (quality control manager) के रूप में समझें। बजाय इसके कि AI अनुमान लगाए और फिर पूछे, "क्या मैं सही हूँ?", यह सिस्टम पहले स्रोत सामग्री की जांच करता है, सूचना के हर टुकड़े को एक "ट्रस्ट स्कोर" (विश्वास स्कोर) देता है, और फिर AI को एक ऐसा उत्तर देने के लिए निर्देशित करता है जो उस ट्रस्ट स्कोर से मेल खाता हो। यह AI को आत्मविश्वास के साथ गलत होने से रोकता है।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।