HALAS: A Human-Annotated Dataset of Hallucinations of Modern ASR Systems
यह शोध पत्र HALAS को प्रस्तुत करता है, जो वास्तविक अर्निंग कॉल्स (earnings calls) से प्राप्त आधुनिक ASR सिस्टम में स्वाभाविक रूप से होने वाले मतिभ्रम (hallucinations) का पहला मानव-एनोटेटेड डेटासेट है, जो यह प्रकट करता है कि वर्तमान पहचान विधियाँ कम प्रदर्शन करती हैं और मतिभ्रम शमन के मूल्यांकन के लिए एक कठोर बेंचमार्क स्थापित करता है।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
कल्पना कीजिए कि आपके पास एक बहुत ही बुद्धिमान, उच्च-तकनीकी लेखक (scribe) है जिसका नाम "ASR" (ऑटोमैटिक स्पीच रिकग्निशन) है। इस लेखक को लोगों की बातें सुनने और वे जो कहते हैं उसे ठीक वैसे ही लिखने के लिए काम पर रखा गया है। आमतौर पर, यह लेखक अद्भुत होता है। लेकिन कभी-कभी, जब ऑडियो थोड़ा कठिन हो जाता है या लेखक थक जाता है, तो यह हैलुसिनेट (hallucinate) करने लगता है।
इस संदर्भ में, हैलुसिनेशन का अर्थ भूत देखना नहीं है; इसका अर्थ है लेखक का आत्मविश्वास के साथ ऐसे शब्द लिखना जो कभी बोले ही नहीं गए थे। यह बिना किसी के कहे "धन्यवाद" जोड़ सकता है, एक वाक्य को तीन बार दोहरा सकता है, या एक पूरा नया वाक्य बना सकता है जो बातचीत का अर्थ बदल देता है।
यहाँ इस शोध पत्र (paper) में शोधकर्ताओं ने जो किया है, उसका सरल विवरण दिया गया है, जिसमें रोजमर्रा के उपमाओं (analogies) का उपयोग किया गया है:
1. समस्या: "मौन" परीक्षण (The "Silent" Test)
पहले, वैज्ञानिक इन हैलुसिनेशन्स को ठीक करने के लिए लेखकों को नकली समस्याओं पर टेस्ट करते थे। वे लेखक को केवल शोर (static noise) या सन्नाटा सुनाते थे और देखते थे कि क्या वह शब्द बना लेता है।
- उपमा: यह एक शेफ की स्टेक पकाने की क्षमता को परखने जैसा है, यह पूछकर कि क्या वह पत्थर पका सकता है। यदि वे असफल होते हैं, तो आप जानते हैं कि वे पत्थर नहीं पका सकते, लेकिन आपको यह नहीं पता कि क्या वे असली, कठिन मांस को संभाल सकते हैं।
- वास्तविकता: शोधकर्ताओं ने महसूस किया कि वास्तविक दुनिया की बातचीत (जैसे एक व्यस्त कार्यालय में लोग एक-दूसरे के ऊपर बोल रहे हों) नकली शोर से अलग होती है। उन्हें यह देखने की आवश्यकता थी कि वास्तविक दुनिया में लेखक कैसा व्यवहार करते हैं।
2. समाधान: HALAS ("हैलुसिनेशन हॉल ऑफ फ़ेम")
टीम ने HALAS नामक एक नया डेटासेट बनाया। इसे "गलतियों का हॉल ऑफ शेम" या "हॉल ऑफ फ़ेम" समझें, लेकिन विशेष रूप से उन चीजों के लिए जो लेखकों ने खुद बनाई हैं।
- इसे कैसे बनाया गया: उन्होंने कॉर्पोरेट अर्निंग कॉल्स (जहाँ लोग पैसे और व्यवसाय के बारे में बात करते हैं) से 119 घंटों की वास्तविक रिकॉर्डिंग ली।
- "कठिन" चयन: उन्होंने केवल रैंडम क्लिप्स नहीं चुने। उन्होंने उन क्षणों को देखा जहाँ सात अलग-अलग शीर्ष स्तर के लेखकों (scribes) ने अलग-अलग उत्तर दिए थे।
- उपमा: कल्पना करें कि सात अलग-अलग लोगों से एक धुंधली फोटो का वर्णन करने के लिए कहा गया है। यदि वे सभी अलग-अलग चीजें कहते हैं, तो वह फोटो देखने में बहुत कठिन होने की संभावना है। शोधकर्ताओं ने उन "धुंधले" क्षणों को चुना क्योंकि वहीं लेखकों द्वारा चीजें बनाने की सबसे अधिक संभावना थी।
- मानवीय स्पर्श: उन्होंने ऑडियो और लेखक के आउटपुट को सुनने के लिए 10 मानव विशेषज्ञों को काम पर रखा। यदि लेखक ने ऐसा शब्द लिखा जो ऑडियो में नहीं था, तो मानव विशेषज्ञ ने उसे "हैलुसिनेशन" के रूप में चिह्नित किया।
3. उन्होंने क्या पाया: "भूतिया शब्द" (The "Ghost Words")
जब उन्होंने डेटा का विश्लेषण किया, तो उन्हें कुछ आश्चर्यजनक पैटर्न मिले:
- हर कोई करता है: उनके द्वारा परीक्षण किए गए सातों सबसे उन्नत AI मॉडल इन गलतियों को करते हैं। कोई भी पूर्ण नहीं था।
- "पसंदीदा" गलतियाँ: लेखक रैंडम गलतियाँ नहीं करते थे। वे बार-बार एक ही तरह की गलतियाँ करते थे।
- उपमा: यह उस छात्र की तरह है जो बार-बार वाक्य के अंत में पूर्णविराम लगाना भूल जाता है। वे "you," "okay," "thank you," या "yeah" जैसे शब्द लिख सकते हैं, भले ही किसी ने वे शब्द न कहे हों। सभी हैलुसिनेशन्स में से लगभग 55% केवल ये कुछ सामान्य वाक्यांश थे।
- कम त्रुटि, उच्च जोखिम: कभी-कभी लेखक 95% शब्द सही लिखता है (एक कम "वर्ड एरर रेट"), लेकिन जो 5% वह गलत करता है, वे पूरी तरह से झूठ (हैलुसिनेशन) होते हैं। यह खतरनाक है क्योंकि टेक्स्ट ज्यादातर सही दिखता है, इसलिए आप झूठ पर ध्यान नहीं दे पाएंगे।
- गंभीरता: कुछ गलतियाँ मामूली थीं (जैसे "um" या "uh" जोड़ना), लेकिन कुछ गंभीर थीं (वाक्य का अर्थ बदलना या कही गई बात का खंडन करना)।
4. परीक्षण: क्या हम झूठ पकड़ सकते हैं?
शोधकर्ताओं ने इन हैलुसिनेशन्स को पकड़ने के लिए HALAS का उपयोग किया।
- "प्रॉक्सी" परीक्षण: उन्होंने सरल गणितीय उपकरणों (जैसे यह जांचना कि टेक्स्ट कितना लंबा है या मूल ऑडियो के कितना समान है) का उपयोग करने का प्रयास किया।
- परिणाम: ये उपकरण ठीक थे, लेकिन बहुत अच्छे नहीं। वे स्पष्ट, पागलपन भरी गलतियों को पकड़ सकते थे, लेकिन सूक्ष्म गलतियों को मिस कर गए।
- "AI बनाम AI" परीक्षण: उन्होंने काम की जांच करने के लिए अन्य AI (जैसे लार्ज लैंग्वेज मॉडल्स) का उपयोग करने का प्रयास किया।
- परिणाम: आश्चर्यजनक रूप से, "रेफरेंस-फ्री" तरीके (जो लेखक के आंतरिक मस्तिष्क संकेतों को देखते हैं बजाय इसके कि 'सही उत्तर' से तुलना की जाए) उन तरीकों से बेहतर काम करते थे जिनके पास "सही उत्तर" सामने मौजूद था।
- स्कोर: सबसे अच्छा डिटेक्शन मेथड जिसे उन्होंने पाया, वह केवल लगभग 53% हैलुसिनेशन्स को ही सही पकड़ पाया। इसका मतलब है कि बेहतरीन उपकरणों के साथ भी, हम अभी भी लेखकों द्वारा बोले गए झूठों के लगभग आधे हिस्से को मिस कर रहे हैं।
मुख्य निष्कर्ष (The Bottom Line)
यह शोध पत्र HALAS को पेश करता है, जो पहला वास्तविक दुनिया का "हैलुसिनेशन डेटासेट" है जहाँ मनुष्यों ने सावधानीपूर्वक चिह्नित किया है कि AI स्पीच-टू-टेक्स्ट सिस्टम कहाँ झूठ बोलते हैं।
उन्होंने पाया कि:
- यहाँ तक कि सबसे स्मार्ट AI लेखक भी वास्तविक बातचीत में शब्द बना लेते हैं।
- वे बार-बार एक ही विशिष्ट गलतियाँ करते हैं।
- वर्तमान उपकरण इन झूठों को पकड़ने में बहुत अच्छे नहीं हैं, खासकर जब बाकी का टेक्स्ट सही दिखता है।
शोध पत्र निष्कर्ष निकालता है कि HALAS अब यह परीक्षण करने के लिए एक नया "गोल्ड स्टैंडर्ड" है कि हम इन AI हैलुसिनेशन्स को कितनी अच्छी तरह पकड़ सकते हैं, जो हमें नकली शोर के बजाय वास्तविक, जटिल मानवीय भाषण की ओर ले जाता है।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।