Pre-Generation Hallucination Detection in Large Language Models via Soft-Target Attention Probing
यह शोध पत्र एक प्री-जनरेशन हॉलुसिनेशन डिटेक्शन फ्रेमवर्क प्रस्तुत करता है जो जोखिम अनुमान को अनुभवजन्य त्रुटि दरों पर आधारित सॉफ्ट-टारगेट सुपरविजन के माध्यम से हल की जाने वाली समस्या के रूप में और प्रॉम्प्ट रिप्रेजेंटेशन को चुनिंदा रूप से एकत्रित करने के लिए अनुकूलित अटेंशन प्रोबिंग के माध्यम से स्वरूपित करके मौजूदा विधियों में सुधार करता है, जिससे कई बेंचमार्क और मॉडलों में श्रेष्ठ डिटेक्शन गुणवत्ता प्राप्त होती है।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
कल्पना कीजिए कि आप एक शिक्षक हैं जो एक छात्र का निबंध आखिरी वाक्य लिखने से पहले ही ग्रेड कर रहे हैं। आमतौर पर, आप निबंध खत्म होने तक इंतजार करते हैं ताकि देख सकें कि छात्र ने तथ्य गढ़े तो नहीं (हैलुसिनेशन किया है)। लेकिन क्या होगा अगर आप उनके सोचने के दौरान ही उनके मस्तिष्क में झाँक सकें, यह अनुमान लगा सकें कि वे झूठ बोलने वाले हैं, और उन्हें एक फर्जी कहानी लिखने में समय बर्बाद करने से पहले ही रोक सकें?
यही इस शोध पत्र का मूल विचार है: लार्ज लैंग्वेज मॉडल (LLM) के अपना उत्तर पूरा करने से पहले ही झूठ बोलने के जोखिम का पता लगाना।
यहाँ लेखक इस समस्या के कठिन हिस्सों को सरल उपमाओं के साथ समझा रहे हैं।
1. समस्या: "एक-फ्लिप" (One-Flip) सिक्के की गलती
कल्पना कीजिए कि आप जानना चाहते हैं कि एक सिक्का "निष्पक्ष" है या "मिलावटी"।
- पुराना तरीका (बाइनरी लेबल): आप सिक्के को एक बार उछालते हैं। यह 'हेड्स' (Heads) आता है। आप तुरंत निष्कर्ष निकालते हैं, "यह सिक्का हमेशा हेड्स ही लाता है!" और फिर आप एक रोबोट को उस एकल उछाल के आधार पर "हेड्स" की भविष्यवाणी करने के लिए प्रशिक्षित करते हैं।
- वास्तविकता: सिक्का वास्तव में इस तरह मिलावटी है कि वह 70% बार हेड्स और 30% बार टेल्स (Tails) लाता है। आपका वह एक उछाल बस एक भाग्यशाली (या दुर्भाग्यपूर्ण) नमूना था। यदि आप इसे दोबारा उछालते हैं, तो यह टेल्स आ सकता है।
- शोध पत्र का अंतर्दृष्टि: लेखक कहते हैं कि AI से सवाल पूछना उस सिक्के को उछालने जैसा है। AI एक ही सवाल के जवाब में सही उत्तर 70% बार दे सकता है और गलत उत्तर 30% बार, यह इस पर निर्भर करता है कि वह कैसे "सोचता" है (उसकी आंतरिक यादृच्छिकता/randomness)।
- पुराने डिटेक्टरों की खामी: पिछले उपकरण AI द्वारा दिए गए केवल एक उत्तर (ग्रीडी आंसर) को देखते थे और कहते थे, "यह झूठ है" या "यह सच है।" यह अविश्वसनीय और शोर भरा है क्योंकि यह उस 30% संभावना को अनदेखा करता है कि यदि अलग तरह से पूछा जाता तो AI सच बोल सकता था।
2. समाधान: "सॉफ्ट टारगेट" (मौसम का पूर्वानुमान)
यह पूछने के बजाय कि, "क्या यह विशिष्ट उत्तर एक झूठ है?" (हाँ/नहीं), लेखक पूछते हैं, "इस विषय पर इस AI के झूठ बोलने की प्रायिकता (Probability) क्या है?"
- उन्होंने इसे कैसे किया: उन्होंने AI से एक ही सवाल 10 बार पूछा।
- 6 बार इसने गलत उत्तर दिया।
- 4 बार इसने सही उत्तर दिया।
- नया लेबल: साधारण "झूठ" (1) या "सच" (0) के बजाय, उन्होंने 0.6 का एक सॉफ्ट टारगेट बनाया (60% जोखिम)।
- यह क्यों काम करता है: यह एक मौसम के पूर्वानुमान की तरह है। यह कहने के बजाय कि "बारिश होगी" या "नहीं होगी", पूर्वानुमान कहता है कि "बारिश होने की 60% संभावना है।" यह डिटेक्टर को AI के "मिजाज" और विश्वसनीयता की बहुत अधिक समृद्ध और सटीक तस्वीर देता है। शोध पत्र गणितीय रूप से सिद्ध करता है कि कई प्रयासों का यह औसत, AI की झूठ बोलने की वास्तविक प्रवृत्ति का अनुमान लगाने का सबसे सटीक तरीका है।
3. टूल: "अटेंशन प्रोबिंग" (जासूस का आवर्धक लेंस)
एक बार जब उनके पास बेहतर "जोखिम स्कोर" (सॉफ्ट टारगेट) आ गया, तो उन्हें AI के मन (उसके आंतरिक स्तरों) को पढ़ने के लिए एक तरीके की आवश्यकता थी।
- पुराना तरीका (लीनियर प्रोबिंग): कल्पना कीजिए कि आप लोगों की एक पूरी भीड़ को देखते हैं और यह अनुमान लगाने के लिए कि क्या कोई अपराध हुआ है, उनके चेहरों का औसत लेते हैं। आप उस विशिष्ट व्यक्ति को मिस कर सकते हैं जो संदिग्ध लग रहा है क्योंकि आप सभी का औसत ले रहे हैं।
- नया तरीका (अटेंशन प्रोबिंग): यह एक जासूस की तरह है जिसके पास आवर्धक लेंस (Magnifying Glass) है। डिटेक्टर यह सीखता है कि सवाल के उन विशिष्ट शब्दों पर ध्यान केंद्रित (Zoom in) करना है जो झूठ बोलने के लिए सबसे अधिक जिम्मेदार हो सकते हैं।
- उदाहरण: यदि सवाल है "ऑस्ट्रेलिया की राजधानी कौन है?", तो डिटेक्टर "ऑस्ट्रेलिया" शब्द पर तीव्रता से ध्यान केंद्रित करना सीख जाता है और "कौन" शब्द को अनदेखा कर देता है।
- परिणाम: यह "ज़ूम इन" करने वाला तरीका, औसत लेने वाले तरीके की तुलना में, झूठ के जोखिम को पहचानने में बहुत बेहतर था, विशेष रूप से खुले अंत वाले (open-ended) प्रश्नों के लिए।
4. सही समय: झूठ को जल्दी पकड़ना
लेखकों ने यह भी देखा कि AI की जांच कब करनी चाहिए।
- उन्होंने पाया कि AI का "मस्तिष्क" (इसके आंतरिक स्तर) उसके सोचने की प्रक्रिया के बीच में ही संभावित झूठ के संकेत दिखाने लगता है, न कि केवल अंत में।
- लाभ: आपको यह जानने के लिए कि वह झूठ बोलने वाला है, AI के पूरा वाक्य लिखने का इंतजार करने की आवश्यकता नहीं है। आप इसे बीच में ही रोक सकते हैं, जिससे समय और कंप्यूटर पावर दोनों की बचत होती है।
परिणामों का सारांश
इस शोध पत्र का परीक्षण पांच अलग-अलग AI मॉडलों और तीन प्रकार के प्रश्नों (जैसे छोटे तथ्य या बहु-चरणीय पहेलियाँ) पर किया गया।
- विजेता: सॉफ्ट टारगेट (त्रुटि की प्रायिकता देखना) + अटेंशन प्रोबिंग (प्रमुख शब्दों पर ज़ूम करना) + अर्ली डिटेक्शन (विचार के बीच में जांच करना) का संयोजन सबसे अच्छा तरीका था।
- सीमा: यह छोटे, संरचित उत्तरों (जैसे "राजधानी क्या है?") के लिए बहुत अच्छा काम करता है। हालाँकि, बहुत लंबे, जटिल कहानियों या बहु-चरणीय तर्क के लिए, जैसे-जैसे AI लिखता है, उसकी अनिश्चितता बढ़ती जाती है, इसलिए उन विशिष्ट कठिन कार्यों के लिए अंत तक प्रतीक्षा करना (पोस्ट-जनरेशन) अभी भी सुरक्षित है।
संक्षेप में: यह शोध पत्र हमें सिखाता है कि हमें AI के उत्तर के केवल एक स्नैपशॉट से निर्णय लेना बंद कर देना चाहिए। इसके बजाय, हमें कई संभावनाओं को देखकर उसके "झूठ बोलने के जोखिम" का अनुमान लगाना चाहिए, प्रश्न के जोखिम भरे हिस्सों को खोजने के लिए एक स्मार्ट "आवर्धक लेंस" का उपयोग करना चाहिए, और समस्या को AI के टाइप करना पूरा करने से पहले ही पकड़ लेना चाहिए।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।