From Text Metrics to Model Internals: A Study of Whisper ASR Hallucination Detection
यह शोध पत्र टेक्स्ट-आधारित, एलएलएम-आधारित (LLM-based), और आंतरिक डिकोडर स्टेट प्रोबिंग प्रतिमानों के माध्यम से व्हिस्पर लार्ज v3 (Whisper large v3) में मतिभ्रम (hallucination) का पता लगाने की जांच करता है, जिसमें यह पाया गया है कि जबकि संदर्भ ट्रांसक्रिप्ट के बिना आंतरिक अवस्था प्रोबिंग (internal state probing) सबसे मजबूत व्यक्तिगत प्रदर्शन प्रदान करती है, टेक्स्ट और आंतरिक-अवस्था आउटपुट को संयोजित करने वाला एक लेट-फ्यूजन मेटा-क्लासिफायर (late-fusion meta-classifier) सर्वोत्तम समग्र पहचान परिणाम प्राप्त करता है।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
कल्पना कीजिए कि आपके पास विस्पर (Whisper) नाम का एक सुपर-स्मार्ट रोबोट लाइब्रेरियन है। इसका काम लोगों की बातों को सुनना और जो उन्होंने कहा उसे ठीक-ठीक लिखना है। आमतौर पर, यह अद्भुत काम करता है। लेकिन कभी-कभी, जब ऑडियो कठिन होता है, तो विस्पर बहुत आत्मविश्वासी हो जाता है और हैलुसिनेशन (hallucination) करने लगता है। यह ऐसे वाक्य लिख देता है जो सुनने में बिल्कुल सही और धाराप्रवाह लगते हैं, लेकिन वास्तव में वे कभी बोले ही नहीं गए थे। यह एक ऐसे छात्र की तरह है, जो जब किसी सवाल का जवाब नहीं जानता, तो आत्मविश्वास के साथ एक लंबा और शानदार निबंध लिख देता है जो पूरी तरह से मनगढ़ंत होता है।
यह शोध पत्र एक जासूसी कहानी है कि कैसे विस्पर के झूठ पकड़ने का पता लगाया जाए। पोलैंड के शोधकर्ताओं ने इन नकली ट्रांसक्रिप्शन को पकड़ने के तीन अलग-अलग तरीकों का परीक्षण किया, जिसके लिए उन्होंने वास्तविक मानवीय भाषण के एक डेटासेट का उपयोग किया जहाँ उन्हें पहले से पता था कि कौन से हिस्से झूठ हैं।
उन्होंने इस जांच को यहाँ समझाया है, जिसे रोजमर्रा के उदाहरणों से समझा जा सकता है:
1. "ग्रामर पुलिस" (टेक्स्ट-आधारित डिटेक्शन)
विचार: यह तरीका केवल उन शब्दों को देखता है जो विस्पर ने लिखे हैं। यह पूछता है: "क्या यह वाक्य अजीब लग रहा है? क्या यह खुद को बहुत अधिक दोहरा रहा है? क्या यह बहुत सघन (dense) है?"
- चुनौती: इस काम को पूरी तरह से करने के लिए, ग्रामर पुलिस को आमतौर पर विस्पर के उत्तर की तुलना करने के लिए एक हाथ में मूल स्क्रिप्ट (ground truth) पकड़ने की आवश्यकता होती है।
- परिणाम: जब उनके पास मूल स्क्रिप्ट थी, तो वे झूठ पकड़ने में बहुत माहिर थे। लेकिन जब उन्होंने स्क्रिप्ट के बिना (केवल आउटपुट को देखकर) इसे करने की कोशिश की, तो वे बहुत संभलकर रहने लगे। वे झूठ को फ्लैग करना बंद कर दिया क्योंकि वे गलती करने से डर रहे थे। उन्हें एहसास हुआ कि बिना किसी संदर्भ (reference) के, केवल टेक्स्ट को देखना पर्याप्त नहीं है।
2. "सुपर-ब्रेन" (LLM-आधारित डिटेक्शन)
विचार: यह तरीका एक दूसरे, और भी अधिक स्मार्ट AI (जैसे GPT-4 या Gemini) का उपयोग करता है जो विस्पर के आउटपुट को पढ़ता है और कहता है, "हे, यह नकली लग रहा है!"
- चौती: भले ही ये सुपर-ब्रेन्स बहुत बुद्धिमान हैं, लेकिन वे संघर्ष करते रहे। जब शोधकर्ताओं ने तुलना करने के लिए उन्हें मूल स्क्रिप्ट दी, तो उन्होंने ठीक-ठाक प्रदर्शन किया। लेकिन जब उन्होंने बिना स्क्रिप्ट के इसे करने की कोशिश की, तो वे पूरी तरह विफल रहे। वे एक वास्तविक गलतफहमी और एक पूर्ण मनगढ़ंत रचना के बीच अंतर नहीं कर सके।
- सबक: भाषा के मामले में "स्मार्ट" होना, ऑडियो की विशिष्ट त्रुटियों को पहचानने में कुशल होने के समान नहीं है। इसके अलावा, इन बड़े AI का उपयोग करना धीमा और महंगा है, जैसे कि एक अकेले सुरक्षा गार्ड के बजाय जासूसों की एक टीम को काम पर रखना।
3. "एक्स-रे विजन" (इंटरनल स्टेट प्रोबिंग)
विचार: विस्पर ने जो शब्द लिखे हैं उन्हें देखने के बजाय, यह तरीका विस्पर के काम करते समय उसके दिमाग के अंदर झांकता है। यह जाँचता है कि प्रक्रिया के हर चरण में विस्पर के "विचार" (आंतरिक डेटा) क्या हैं।
- उपमा: कल्पना कीजिए कि आप एक जादूगर को देख रहे हैं। "टेक्स्ट" वाला तरीका तब तक इंतजार करता है जब तक जादू खत्म न हो जाए ताकि देखा जा सके कि खरगोश असली है या नहीं। "एक्स-रे" वाला तरीका जादूगर के हाथों को तब देखता है जब वह टोपी से खरगोश बाहर निकाल रहा होता है। यदि हाथ कांप रहे हैं या खरगोश संदिग्ध रूप से प्लास्टिक जैसा दिख रहा है, तो आप खरगोश के प्रकट होने से पहले ही जान जाते हैं कि यह एक चाल है।
- परिणाम: यह विजेता रहा। विस्पर के मस्तिष्क की मध्य परतों (middle layers) को देखकर, शोधकर्ताओं ने पाया कि "झूठ" के संकेत वहां दर्ज (encoded) थे। उन्होंने एक ऐसा डिटेक्टर बनाया जो मूल स्क्रिप्ट की आवश्यकता के बिना भी हैल्यूसिनेशन को पकड़ सकता था। यह सबसे विश्वसनीय "जीरो-शॉट" (मतलब, यह तब भी काम करता है जब आपके पास उत्तर कुंजी न हो) तरीका था।
ग्रैंड फिनाले: "ड्रीम टीम" (फ्यूजन)
शोधकर्ताओं ने महसूस किया कि "ग्रामर पुलिस" और "एक्स-रे विजन" समस्या को अलग-अलग दृष्टिकोण से देख रहे थे।
- ग्रामर पुलिस लंबे, स्पष्ट झूठ पकड़ने में अच्छे थे।
- एक्स-रे विजन सूक्ष्म, छोटे झूठ पकड़ने में अच्छे थे।
- कभी-कभी, वे दोनों एक ही छोटे, एकल-शब्द वाले झूठ (जैसे कि एक यादृच्छिक "the" या "was" जोड़ना) को भी मिस कर देते थे।
इसलिए, उन्होंने एक मेटा-क्लासिफायर (Meta-Classifier) बनाया। इसे एक कोच के रूप में सोचें जो ग्रामर पुलिस और एक्स-रे विजन दोनों की बात सुनता है। कोच उनकी रिपोर्ट लेता है और अंतिम निर्णय करता है।
- परिणाम: इस टीम वाले दृष्टिकोण ने कुल मिलाकर सबसे अधिक झूठ पकड़े। यह अध्ययन में सर्वश्रेष्ठ प्रदर्शन करने वाला तरीका था।
मुख्य निष्कर्ष
- टेक्स्ट-ओनली तरीके तब बहुत अच्छे होते हैं जब आपके पास मूल स्क्रिप्ट हो, लेकिन जब वह नहीं होती, तो वे विफल हो जाते हैं।
- बड़े AI (LLM) तरीके बहुत भारी होते हैं और बिना मूल स्क्रिप्ट के संघर्ष करते हैं।
- मॉडल के अंदर देखना (Internal States) वास्तविक समय में हैल्यूसिनेशन को पकड़ने का सबसे शक्तिशाली तरीका है, जिसके लिए किसी संदर्भ की आवश्यकता नहीं होती।
- इन्हें मिलाना सबसे अच्छा परिणाम देता है, लेकिन इसका मतलब है कि आप मूल स्क्रिप्ट के बिना काम करने की क्षमता खो देते हैं।
शोध पत्र निष्कर्ष निकालता है कि हालांकि इन "आत्मविश्वासी झूठ" को पकड़ने के लिए मॉडल के अंदर देखना सबसे आशाजनक समाधान है, इसके लिए मॉडल के मस्तिष्क तक सीधी पहुँच की आवश्यकता होती है। शोधकर्ता आशा करते हैं कि इस विचार को भविष्य में केवल विस्पर ही नहीं, बल्कि अन्य AI मॉडलों पर भी लागू किया जा सकेगा।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।