Claim-Level Confidence Calibration for Reliable Decision Making with Large Language Models
यह शोध पत्र एक क्लोज्ड-बॉक्स फ्रेमवर्क का प्रस्ताव करता है जो LLM प्रतिक्रियाओं को परमाणु दावों (atomic claims) में विभाजित करता है और विश्वसनीय, दावा-स्तरीय आत्मविश्वास स्कोर उत्पन्न करने के लिए इन्फरेंस-टाइम संकेतों का उपयोग करते हुए पोस्ट-हॉक अंशांकन (post-hoc calibration) लागू करता है, जिससे उच्च-जोखिम वाले डोमेन में अधिक कार्रवाई योग्य निर्णय लेने और लक्षित सत्यापन को सक्षम बनाया जा सके।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
आर्टिफिशियल इंटेलिजेंस के तेजी से बदलते परिदृश्य में, लार्ज लैंग्वेज मॉडल्स टेक्स्ट जेनरेट करने, सवालों के जवाब देने और जटिल कार्यों में सहायता करने के लिए शक्तिशाली उपकरण बन गए हैं। हालाँकि, एक निरंतर चुनौती बनी हुई है: ये सिस्टम कभी-कभी आत्मविश्वास से भरे दिखने वाले उत्तर देते हैं जो तथ्यात्मक रूप से गलत होते हैं, जिसे 'हैलुसिनेशन' (hallucination) नामक घटना कहा जाता है। उन उपयोगकर्ताओं के लिए जो महत्वपूर्ण निर्णयों के लिए इन मॉडल्स पर भरोसा करते हैं, खतरा केवल गलत होने में नहीं है, बल्कि पूर्ण निश्चितता के साथ गलत होने में है। इसे संबोधित करने के लिए, शोधकर्ताओं ने लंबे समय से मॉडल की अनिश्चितता को मापने के तरीके खोजे हैं, जो मूल रूप से सिस्टम से यह पूछना है कि वह अपने स्वयं के आउटपुट के बारे में कितना आश्वस्त है। पारंपरिक तरीके अक्सर पूरे उत्तर के लिए एक एकल कॉन्फिडेंस स्कोर प्रदान करते हैं, ठीक वैसे ही जैसे मौसम का पूर्वानुमान पूरे दिन के लिए एक ही संभावना देता है। फिर भी, एक एकल उत्तर में सटीक तथ्यों और सूक्ष्म त्रुटियों का मिश्रण हो सकता है, जिससे एक एकल समग्र स्कोर उन लोगों के लिए बहुत अधिक अस्पष्ट हो जाता है जिन्हें कार्य करने से पहले विशिष्ट विवरणों को सत्यापित करने की आवश्यकता होती है।
त्सिंहहुआ विश्वविद्यालय और अन्य संस्थानों के तौग़रुल अब्बासली और सहयोगियों द्वारा किया गया एक नया अध्ययन इस समस्या के प्रति अधिक सूक्ष्म दृष्टिकोण प्रस्तावित करता है। उत्तर को टेक्स्ट के एक एकल ब्लॉक के रूप में मानने के बजाय, शोधकर्ताओं ने प्रत्येक उत्तर को इसकी सूचना की सबसे छोटी, स्वतंत्र इकाइयों में तोड़ने का एक तरीका विकसित किया है, जिसे वे 'एटॉमिक क्लेम' (atomic claims) कहते हैं। इसके बाद वे इन व्यक्तिगत दावों के लिए एक विशिष्ट कॉन्फिडेंस स्कोर निर्धारित करते हैं। टीम ने प्रमुख डेवलपर्स के सिस्टम सहित कई आधुनिक लैंग्वेज मॉडल्स पर, दो अलग-अलग प्रकार के प्रश्न सेटों का उपयोग करके इस तकनीक का परीक्षण किया: एक सामान्य तथ्यात्मक ज्ञान पर केंद्रित था और दूसरा मॉडल्स को गलत आधारों (false premises) को स्वीकार करने के लिए फंसाने के लिए डिज़ाइन किया गया था। उनके निष्कर्ष बताते हैं कि दावे के स्तर पर विश्वास को अलग करने और कैलिब्रेट करने से, निर्णय लेने वालों के लिए एक बहुत अधिक विश्वसनीय संकेत बनाना संभव है। यह दृष्टिकोण उपयोगकर्ताओं को उत्तर के उन हिस्सों को स्वीकार करने की अनुमति देता है जो अत्यधिक सत्य होने की संभावना रखते हैं, जबकि विशिष्ट वाक्यों को आगे की समीक्षा या अस्वीकृति के लिए फ्लैग (flag) करता है, जो उच्च-जोखिम वाले वातावरण में सुरक्षित और अधिक भरोसेमंद आर्टिफिशियल इंटेलिजेंस की ओर एक व्यावहारिक मार्ग प्रदान करता है।
शोधकर्ताओं के कार्य का मुख्य हिस्सा एक मल्टी-स्टेप पाइपलाइन है जो लैंग्वेज मॉडल्स की आंतरिक कार्यप्रणाली को संशोधित करने की आवश्यकता के बिना संचालित होता है। सबसे पहले, सिस्टम उपयोगकर्ता के प्रश्न का एक उत्तर जेनरेट करता है। इसके बाद, एक सहायक टूल इस उत्तर को छोटे, स्व-निहित कथनों में तोड़ देता है, जैसे कि "आइंस्टीन ने सापेक्षता का सिद्धांत प्रस्तावित किया" या "यह 1905 में हुआ था।" एक बार जब उत्तर को विघटित कर दिया जाता है, तो सिस्टम प्रत्येक कथन का व्यक्तिगत रूप से मूल्यांकन करता है। यह निर्धारित करने के लिए कि मॉडल प्रत्येक दावे के प्रति कितना आश्वस्त होना चाहिए, सिस्टम दो प्राथमिक संकेतों का उपयोग करता है। पहला संकेत मॉडल के अपने स्वयं के आत्म-मूल्यांकन या मौखिक विश्वास से आता है, जहाँ मॉडल को यह बताने के लिए प्रेरित किया जाता है कि वह कितना आश्वस्त है। दूसरा संकेत निरंतरता (consistency) पर निर्भर करता है; सिस्टम उत्तर के कई संस्करण बनाता है और जाँचता है कि क्या वही दावा उन सभी में दिखाई देता है। यदि कोई दावा विभिन्न प्रयासों में दोहराया जाता है, तो उसे अधिक विश्वसनीय माना जाता है। इन दो संकेतों को फिर प्रत्येक विशिष्ट दावे के लिए अंतिम कॉन्फ bersama (final confidence score) उत्पन्न करने के लिए संयोजित किया जाता है।
यह सुनिश्चित करने के लिए कि ये स्कोर सार्थक हों, शोधकर्ताओं ने 'पोस्ट-हॉक कैलिब्रेशन' (post-hoc calibration) नामक एक सांख्यिकीय प्रक्रिया लागू की। यह चरण कच्चे कॉन्फिडेंस नंबरों को समायोजित करता है ताकि वे वास्तविकता के अनुरूप हों। उदाहरण के लिए, यदि सिस्टम दावों के एक सेट के लिए 90 प्रतिशत का कॉन्फिडेंस असाइन करता है, तो कैलिब्रेशन यह सुनिश्चित करता है कि लगभग 90 प्रतिशत दावे वास्तव में सही हों। अध्ययन में इस फ्रेमवर्क का परीक्षण छह अलग-अलग लैंग्वेज मॉडल्स पर किया गया, जिनमें ओपन-सोर्स सिस्टम से लेकर प्रोप्राइटरी कमर्शियल मॉडल्स तक शामिल थे, और हजारों प्रश्नों का उपयोग किया गया। परिणामों ने दिखाया कि यह क्लेम-लेवल दृष्टिकोण, उन तरीकों की तुलना में जो केवल प्रतिक्रिया को एक संपूर्ण इकाई के रूप में देखते थे, कॉन्फिडेंस एस्टीमेशन में त्रुटि दर को काफी कम कर देता है। तथ्यात्मक प्रश्नों पर, कैलिब्रेटेड स्कोर बहुत अधिक सटीक हो गए, जिसका अर्थ है कि जब सिस्टम कहता था कि वह 90 प्रतिशत सुनिश्चित है, तो वह वास्तव में 90 प्रतिशत समय सही था। यह सटीकता एक मानव उपयोगकर्ता को एक ठोस निर्णय लेने की अनुमति देती है: वे उच्च-विश्वास वाले दावों पर तुरंत भरोसा कर सकते हैं जबकि कम-विश्वास वाले दावों को सत्यापन के लिए निर्देशित कर सकते हैं।
हालाँकि, अध्ययन ने एक स्पष्ट सीमा की भी पहचान की जहाँ यह पद्धति अपनी सीमाओं का सामना करती है। जब प्रश्न गलत आधारों (false premises) के साथ डिज़ाइन किए गए थे—ऐसे जाल जो किसी गलत चीज़ को तथ्य मान लेते हैं—तो मॉडल्स ने अक्सर प्रवाहपूर्ण, आत्मविश्वासी लेकिन पूरी तरह से गलत दावे उत्पन्न किए। इन प्रतिकूल परिदृश्यों में, क्लेम-लेवल कॉन्फिडेंस स्कोर कभी-कभी त्रुटि का पता लगाने में विफल रहे क्योंकि मॉडल अपनी गलती के प्रति आंतरिक रूप से सुसंगत था। शोधकर्ताओं ने पाया कि जबकि उनकी विधि मिश्रित उत्तरों (जिनमें सही और गलत दोनों जानकारी शामिल है) को छाँटने में उत्कृष्ट थी, लेकिन यह उस मॉडल को दूर करने में सक्षम नहीं थी जो एक मौलिक तथ्य के बारे में आत्मविश्वास से गलत था। ऐसे मामलों में, अध्ययन सुझाव देता है कि केवल कॉन्फिडेंस स्कोर पर्याप्त नहीं हैं; इन गहरे-जड़ वाले दोषों को पकड़ने के लिए एक बाहरी जांच, जैसे कि साक्ष्य की खोज या दूसरे सिस्टम द्वारा क्रॉस-एग्जामिनेशन आवश्यक है।
इस कार्य का व्यावहारिक निहितार्थ यह है कि हम पेशेवर सेटिंग्स में आर्टिफिशियल इंटेलिजेंस के साथ कैसे बातचीत करेंगे, इसमें एक बदलाव आएगा। एक अस्पष्ट विश्वास के आधार पर पूरे उत्तर को स्वीकार या अस्वीकार करने के बजाय, निर्णय लेने वाले अब विश्वसनीयता के एक विस्तृत मानचित्र पर भरोसा कर सकते हैं। उदाहरण के लिए, AI द्वारा तैयार की गई एक मेडिकल रिपोर्ट को उसके सामान्य ढांचे के लिए स्वीकार किया जा सकता है, जबकि विशिष्ट दवा की खुराक या रोगी के इतिहास के विवरण को उनके व्यक्तिगत कॉन्फिडेंस स्कोर के आधार पर मानव समीक्षा के लिए फ्लैग किया जा सकता है। शोधकर्ता इस बात पर जोर देते हैं कि यह तकनीक "क्लोज्ड-बॉक्स" मॉडल्स के साथ भी काम करती है, जहाँ आंतरिक तंत्र छिपे होते हैं, जिससे यह वर्तमान में उपयोग किए जा रहे सबसे उन्नत कमर्शियल सिस्टमों के लिए भी लागू होती है। हालांकि यह विधि हलुसिनेशन की समस्या को पूरी तरह से हल नहीं करती है, विशेष रूप से जब मॉडल्स को गलत धारणाओं द्वारा मूर्ख बनाया जाता है, फिर भी यह अनिश्चितता के प्रबंधन के लिए एक मजबूत उपकरण प्रदान करती है। लैंग्वेज मॉडल के आउटपुट को सत्यापन योग्य टुकड़ों में तोड़कर, यह अध्ययन एक तरीका प्रदान करता है जिससे उच्च-जोखिम वाले निर्णयों को इस स्पष्ट समझ के साथ लिया जा सके कि किस पर भरोसा किया जा सकता है और किसके लिए आगे की जांच की आवश्यकता है।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।