A Trust-Aware Framework for Hallucination Detection and Accuracy Paradox Analysis in Large Language Models
यह शोध पत्र TrustSLM प्रस्तुत करता है, जो एक ट्रस्ट-अवेयर फ्रेमवर्क है जो भ्रम (hallucinations) का पता लगाने, अति-आत्मविश्वासी त्रुटियों के सटीकता विरोधाभास (accuracy paradox) की पहचान करने और सुरक्षित AI परिनियोजन के लिए एक नियंत्रित परहेज नीति (controlled abstention policy) के माध्यम से प्रतिक्रियाओं को विनियमित करने के लिए विश्वसनीयता मेट्रिक्स का उपयोग करके कई लार्ज लैंग्वेज मॉडल्स के आउटपुट को एकत्रित करता है।
मूल पेपर CC BY 4.0 (https://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
कल्पना कीजिए कि आप एक विशाल, जादुई पुस्तकालय में घूम रहे हैं जहाँ किताबें आपसे बात कर सकती हैं। ये साधारण किताबें नहीं हैं; ये "लार्ज लैंग्वेज मॉडेल्स" (LLMs) हैं, जो लगभग हर लिखी गई चीज़ से प्रशिक्षित सुपर-स्मार्ट एआई (AI) लाइब्रेरियन हैं। वे आपके सवालों के जवाब दे सकते हैं, कहानियाँ लिख सकते हैं और अविश्वसनीय गति से समस्याओं को हल कर सकते हैं। लेकिन यहाँ एक पेंच है: ये एआई लाइब्रेरियन उन प्रतिभाशाली अभिनेताओं की तरह हैं जिन्होंने एक नाटक की लय (rhythm) तो याद कर ली है, लेकिन हमेशा पटकथा की सच्चाई को नहीं। कभी-कभी, जब उन्हें उत्तर नहीं पता होता, तो वे यह नहीं कहते, "मुझे नहीं पता।" इसके बजाय, वे आत्मविश्वास के साथ एक ऐसी कहानी गढ़ लेते हैं जो एकदम सही लगती है, खूबसूरती से बहती है और पूरी तरह वास्तविक महसूस होती है, भले ही वह पूरी तरह से मनगढ़ंत हो। एआई की दुनिया में, इसे "हैलुसिनेशन" (hallucination) कहा जाता है।
इससे भी बुरा यह है कि इन एआई अभिनेताओं अक्सर उस समस्या से ग्रस्त होते हैं जिसे शोधकर्ता "एक्यूरेसी पैराडॉक्स" (Accuracy Paradox) कहते हैं। यह एक फैंसी तरीका है यह कहने का कि एआई 100% आश्वस्त हो सकता है कि वह सही है, भले ही वह 100% गलत हो। यह एक ऐसे मौसम विज्ञानी की तरह है जो मेगाफोन के साथ चिल्लाता है, "कल निश्चित रूप से बारिश होगी!" भले ही आसमान साफ और धूप वाला हो। यदि आप आसमान की जाँच करने के बजाय उनकी आवाज़ की ऊँचाई पर भरोसा करते हैं, तो आप भीग सकते हैं। यह एक बड़ी समस्या है क्योंकि हम इन एआई लाइब्रेरियन का उपयोग चिकित्सा सलाह, कानूनी सहायता और स्कूल के काम जैसे गंभीर कार्यों के लिए करने लगे हैं। यदि एआई आपको गलत दवा या गलत कानून के बारे में आत्मविश्वास के साथ गलत जानकारी देता है, तो इसके परिणाम गंभीर हो सकते हैं। इसलिए, बड़ा सवाल केवल यह नहीं है कि "क्या एआई बात कर सकता है?" बल्कि यह है कि "क्या हम उसकी बातों पर भरोसा कर सकते हैं?"
यह ठीक वही पहेली है जिसे रथिनम टेक्निकल कैंपस के शोधकर्ताओं की एक टीम ने हल करने का प्रयास किया। उन्होंने एआई लाइब्रेरियन को खुद ठीक करने की कोशिश नहीं की; इसके बजाय, उन्होंने एक नया प्रकार का "ट्रस्ट इंस्पेक्टर" (Trust Inspector) बनाया जिसे TrustSLM कहा जाता है। इसे एक सुपर-स्मार्ट रेफरी के रूप में सोचें जो एआई और आपके बीच खड़ा है। एआई के बोलने से पहले, यह रेफरी एक चतुर तकनीक का उपयोग करके उसके उत्तर की जाँच करता है: यह तीन अलग-अलग एआई मॉडल को एक ही समय में एक ही प्रश्न का उत्तर देने के लिए कहता है। फिर, रेफरी गवाहों के बयानों की तुलना करने वाले जासूस की तरह उनके उत्तरों की तुलना करता है।
यदि तीनों एआई एक ही उत्तर पर सहमत होते हैं, तो रेफरी आश्वस्त महसूस करता है। यदि वे सभी अलग-अलग, अजीबोगरीब कहानियाँ सुनाने लगते हैं, तो रेफरी को पता चल जाता है कि कुछ गड़बड़ है। लेकिन रेफरी केवल सहमति ही नहीं देखता; वह "कॉन्फिडेंस ट्रैप्स" (confidence traps) की भी जाँच करता है। वह पूछता है, "क्या यह एआई अपनी आवाज़ को ज़ोरदार बना रहा है जबकि सबूत कमजोर हैं?" यदि उत्तर 'हाँ' है, तो रेफरी "एक्यूरेसी पैराडॉक्स" को पहचान लेता है और एआई को आपसे झूठ बोलने से रोक देता है।
शोधकर्ताओं ने अपने नए TrustSLM सिस्टम का परीक्षण कई पेचीदा सवालों पर किया, जिसमें वे सवाल भी शामिल थे जो एआई को झूठ बोलने के लिए उकसाते हैं (जैसे कि काल्पनिक ऐतिहासिक घटनाओं के बारे में पूछना) और वे जो सावधानीपूर्वक सोचने की मांग करते हैं (जैसे विज्ञान के सवाल)। उन्होंने पाया कि बिना इस नए सिस्टम के, एआई मॉडल अक्सर अति-आत्मविश्वासी और गलत थे। लेकिन जब उन्होंने इसमें TrustSLM रेफरी को जोड़ा, तो सिस्टम बहुत अधिक स्मार्ट हो गया। इसने झूठ पकड़ना शुरू कर दिया और "एक्यूरेसी पैराडॉक्स" के मामलों को पहचान लिया, और जब वह सुनिश्चित नहीं था तो उत्तर देने से मना कर दिया, और केवल तभी 'ग्रीन लाइट' दी जब उत्तर वास्तव में विश्वसनीय लग रहा था।
वास्तव में, उनके प्रयोगों ने दिखाया कि TrustSLM सिस्टम "अति-आत्मविश्वासी गलत उत्तरों" की संख्या को काफी कम कर सकता है। उदाहरण के लिए, "SciFact" नामक एक टेस्ट पर, सिस्टम का ट्रस्ट स्कोर एक डगमगाते 0.64 से बढ़कर एक मजबूत 0.81 हो गया। इसने यह भी सीखा कि जब उत्तर कठिन हो तो "मैं निश्चित नहीं हूँ" (एक "हेज" या hedge) कहना और जब एआई स्पष्ट रूप से भ्रमित (hallucinating) हो तो "मैं उत्तर नहीं दूँगा" (एक "एब्स्टेंशन" या abstention) कहना। शोधकर्ता सुझाव देते हैं कि इस दृष्टिकोण के लिए एआई को बदलने की आवश्यकता नहीं है; यह बस एक सुरक्षा परत जोड़ता है जो पूरे सिस्टम को सुरक्षित और अधिक ईमानदार बनाता है। यह एक तेज़ कार में सीटबेल्ट लगाने जैसा है: कार अभी भी तेज़ चलती है, लेकिन अब आपके पास बहुत बेहतर मौका है कि अगर चीजें गलत होती हैं तो आप सुरक्षित रहें।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।