Unconditional Truthfulness: Learning Unconditional Uncertainty of Large Language Models
यह शोध पत्र अटेंशन मैप्स (attention maps), टोकन प्रोबेबिलिटीज (token probabilities) और पुनरावर्ती रूप से गणना किए गए अनिश्चितता स्कोर (recurrently computed uncertainty scores) पर एक रिग्रेशन मॉडल को प्रशिक्षित करके लार्ज लैंग्वेज मॉडल की अनिश्चितता को मापने की एक नवीन विधि प्रस्तावित करता है ताकि कई डेटासेट्स और मॉडल्स में मतिभ्रम (hallucinations) का प्रभावी ढंग से पता लगाया जा सके और चयनात्मक पीढ़ी (selective generation) में सुधार किया जा सके।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
कल्पना कीजिए कि आप एक बहुत ही बुद्धिमान, तेज़ बोलने वाले रोबोट को कहानी सुनाते हुए सुन रहे हैं। वह रोबोट वाक्य बनाने में माहिर है, लेकिन कभी-कभी वह उन चीजों के बारे में भी बहुत आत्मविश्वासी हो जाता है जो वास्तव में गलत होती हैं (इन्हें "हैलुसिनेशन" या भ्रम कहा जाता है)।
समस्या यह है कि रोबोट को पता नहीं चलता कि वह झूठ बोल रहा है। वह बस बोलना जारी रखता है, और यदि वह अपनी एक गलती पर बहुत अधिक आत्मविश्वास दिखाने लगता है, तो वह उस गलती के ऊपर अपनी पूरी कहानी का निर्माण करता है। यह "टेलीफोन" खेल की तरह है जहाँ पहला व्यक्ति एक गलत तथ्य फुसफुसाता है, और बाकी सभी लोग उसे बढ़ते हुए आत्मविश्वास के साथ दोहराते हैं।
समस्या: रोबोट का अंधा बिंदु (Blind Spot)
रोबोट के झूठ पकड़ने के वर्तमान तरीके आमतौर पर उसके द्वारा बोले गए प्रत्येक शब्द के लिए उसके "कॉन्फिडेंस स्कोर" (आत्मविश्वास स्कोर) को देखते हैं। लेकिन यह पेचीदा है। यदि रोबोट कहता है, "आसमान हरा है," तो वह अगले शब्द, "घास," के बारे में अभी भी बहुत आत्मविश्वासी हो सकता है, क्योंकि वह बस अपने स्वयं के तर्क का पालन कर रहा है। उसे यह एहसास नहीं होता कि पूरा वाक्य एक झूठ पर आधारित है।
शोधकर्ता इस समस्या को "कंडीशनल डिपेंडेंसी" (conditional dependency) कहते हैं। रोबोजन का अगले शब्द के लिए आत्मविश्वास पूरी तरह से पिछले शब्द पर निर्भर करता है, भले ही पिछला शब्द एक गलती ही क्यों न हो।
समाधान: TAD (ट्रेनेबल अटेंशन-बेस्ड डिपेंडेंसी)
शोधकर्ताओं ने TAD नामक एक नया टूल बनाया है। TAD को एक अति-बुद्धिमान संपादक (editor) के रूप में समझें जो रोबोट के बगल में बैठा है, और रोबोट को एक-एक करके शब्द लिखते हुए देख रहा है।
यह संपादक कैसे काम करता है, इसके लिए कुछ सरल उपमाएँ यहाँ दी गई हैं:
- "दृष्टि" (अटेंशन/ध्यान): जब रोबोट बोलता है, तो वह क्या कहना है यह तय करने के लिए पिछले शब्दों को "देखता" है। शोधकर्ताओं ने महसूस किया कि जब रोबोट सच बोल रहा होता है, तो उसकी "दृष्टि" (अटेंशन) स्थिर और केंद्रित होती है। लेकिन जब वह भ्रम (hallucinating) पैदा करना शुरू करता है, तो उसकी दृष्टि डगमगा जाती है या भ्रमित हो जाती है। TAD इस दृष्टि पर बारीकी से नज़र रखता है।
- "श्रृंखला प्रतिक्रिया" (Recurrence): संपादक केवल वर्तमान शब्द को नहीं देखता। वह पिछले शब्दों की अनिश्चितता को याद रखता है। यदि रोबोट शब्द #1 पर लड़खड़ाया था, तो संपादक शब्द #2, #3 और #4 को संदिग्ध के रूप में चिह्नित करेगा, भले ही रोबोट उनके बारे में आत्मविश्वासी सुनाई दे रहा हो। यह एक ऐसे शिक्षक की तरह है जो जानता है कि यदि किसी छात्र ने गणित की समस्या का पहला चरण गलत किया है, तो अंतिम उत्तर भी गलत होने की संभावना है, चाहे छात्र ने उसे कितनी भी सफाई से क्यों न लिखा हो।
- "दो-चरणीय प्रशिक्षण" (Two-Stage Training): इस संपादक को सिखाने के लिए, शोधकर्ताओं ने दो-चरणीय प्रक्रिया का उपयोग किया।
- चरण 1: उन्होंने संपादक को केवल रोबोट के कच्चे आत्मविश्वास (raw confidence) का उपयोग करके गलतियाँ पहचानने के लिए सिखाया।
- चरण 2: उन्होंने संपादक को अपने चरण 1 के "अंतर्ज्ञान" (gut feeling) का उपयोग करके और भी बेहतर तरीके से सीखने दिया। यह एक खेल का अभ्यास करने जैसा है: पहले आप बुनियादी चालें सीखते हैं, फिर आप एक पूरा खेल खेलते हैं जहाँ आपको अपने पिछले कदमों पर प्रतिक्रिया देनी होती है।
उन्होंने इसका परीक्षण कैसे किया
उन्होंने दस अलग-अलग प्रकार के कार्यों पर इस संपादक का परीक्षण किया, समाचार लेखों का सारांश बनाने से लेकर कठिन सामान्य ज्ञान के प्रश्नों तक, और तीन अलग-अलग रोबोट वर्ज़न (LLaMA, Gemma, और Qwen) का उपयोग किया।
- परिणाम: TAD अन्य सभी तरीकों की तुलना में रोबोट के झूठ पकड़ने में बहुत बेहतर था। यह विशेष रूप से तब अच्छा था जब कोई लंबी कहानी पटरी से उतर रही हो।
- दक्षता (Efficiency): अन्य तरीकों के विपरीत, जिनमें रोबोट को उत्तर देने के लिए पाँच बार "सोचना" पड़ता है (जो धीमा और महंगा है), TAD बहुत तेज़ है। यह रोबोट की सोचने की प्रक्रिया में केवल लगभग 5% अतिरिक्त समय जोड़ता है। यह रोबोट को पूरी कहानी फिर से लिखने के लिए कहने के बजाय एक त्वरित दूसरी नज़र डालने जैसा है।
मुख्य निष्कर्ष (Bottom Line)
पेपर का दावा है कि कंप्यूटर मॉडल को यह सिखाकर कि रोबोट अपने पिछले शब्दों को कैसे देखता है, और वाक्य में पहले हुई गलतियों को याद रखकर, हम एक बहुत बेहतर "झूठ पकड़ने वाला यंत्र" (lie detector) बना सकते हैं। यह AI को सुरक्षित और अधिक विश्वसनीय बनाता है, विशेष रूप से लंबे उत्तरों के लिए, और वह भी बहुत अधिक समय गंवाए बिना।
यह पेपर क्या दावा नहीं करता है
- यह दावा नहीं करता कि यह हर स्थिति में हर प्रकार के AI के लिए काम करता है (इसका परीक्षण विशिष्ट मॉडलों और कार्यों पर किया गया था)।
- यह दावा नहीं करता कि यह कोई चिकित्सा उपकरण या कानूनी न्यायाधीश है।
- यह दावा नहीं करता कि AI फिर कभी गलती नहीं करेगा; यह केवल यह दावा करता है कि यह टूल गलतियों को पकड़ने में बेहतर है ताकि उन्हें फ़िल्टर किया जा सके।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।