Exploring Audio Hallucination in Egocentric Video Understanding
यह शोध पत्र एक व्यवस्थित मूल्यांकन ढांचा और एक क्यूरेटेड डेटासेट प्रस्तुत करता है जो यह प्रकट करता है कि अत्याधुनिक ऑडियो-विजुअल भाषा मॉडल ईगोसेंट्रिक वीडियो समझ में महत्वपूर्ण ऑडियो मतिभ्रम (हैलुसिनेशन) से ग्रस्त हैं, जो अक्सर वास्तविक ऑडियो के बजाय दृश्य संकेतों से ध्वनियों का अनुमान लगाते हैं, जिससे मल्टीमॉडल प्रणालियों में मजबूत विश्वसनीयता मूल्यांकन की महत्वपूर्ण आवश्यकता पर प्रकाश पड़ता है।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
कल्पना कीजिए कि आपने अपने सीने पर एक कैमरा पहना हुआ है, जो आपके अपने दृष्टिकोण से आपका दिन रिकॉर्ड कर रहा है। इसे "एगोसेंट्रिक" (egocentric) वीडियो कहा जाता है। कभी-कभी, कैमरा हिल जाता है, आपके हाथ से ढक जाता है, या एक खाली दीवार की ओर इशारा करता है। इन क्षणों में, आपकी आँखें भ्रमित हो सकती हैं, लेकिन आपके कान अभी भी कड़ी मेहनत कर रहे होते हैं।
यह शोध पत्र कंप्यूटरों को इन वीडियो को सुनना सिखाने के बारे में है, लेकिन शोधकर्ताओं ने एक मज़ेदार और खतरनाक समस्या की खोज की है: कंप्यूटर उन चीज़ों को "सुन" रहे हैं जो वहाँ मौजूद ही नहीं हैं।
यहाँ उनके निष्कर्षों का सरल उपमाओं (analogies) का उपयोग करके विवरण दिया गया है:
1. समस्या: कंप्यूटर सुनने के बजाय "कमरे को पढ़" रहा है
एक अत्याधुनिक एआई मॉडल (एक सुपर-स्मार्ट कंप्यूटर मस्तिष्क) को एक जासूस के रूप में सोचें जो एक वीडियो के आधार पर रहस्य सुलझाने की कोशिश कर रहा है।
- आदर्श जासूस: ऑडियो टेप सुनता है और कहता है, "मुझे एक कुत्ते के भौंकने की आवाज़ सुनाई दे रही है।"
- दोषपूर्ण जासूस (इस पेपर वाला AI): वीडियो देखता है, कुत्ते की तस्वीर देखता है, और तुरंत कहता है, "मुझे कुत्ते के भौंकने की आवाज़ सुनाई दे रही है," भले ही ऑडियो टेप पूरी तरह से शांत हो या उसमें केवल हवा का शोर हो।
शोधकर्ता इसे "ऑडियो हैलुसिनेशन" (Audio Hallucination) कहते हैं। यह एक ऐसे व्यक्ति की तरह है, जो नींबू की तस्वीर देखने पर ज़बरदस्ती दावा करता है कि उसे खटास की गंध आ रही है, भले ही वह एक ऐसे कमरे में हो जहाँ कोई गंध ही नहीं है। AI इस बात के लिए इतना जुनूनी है कि वह जो देखता है, उसके आधार पर आवाज़ों का आविष्कार कर देता है।
2. प्रयोग: "ध्वनि प्रश्नोत्तरी" (The Sound Quiz)
इसे साबित करने के लिए, शोधकर्ताओं ने एक विशेष परीक्षण बनाया, जो इन AI जासूसों के लिए एक पॉप क्विज़ की तरह है।
- सेटअप: उन्होंने लोगों के वास्तविक जीवन के वीडियो (जैसे खाना बनाना या चलना) के 300 वीडियो लिए और उन्हें 10 सेकंड के छोटे क्लिप्स में विभाजित किया।
- प्रश्न: उन्होंने AI से 1,000 विशिष्ट प्रश्न पूछे।
- प्रकार A (सत्य): "अभी क्या आवाज़ हो रही है?" (जैसे, "क्या ब्लेंडर चल रहा है?")
- प्रकार B (जाल/ट्रैप): "फुफकारने (hissing) की आवाज़ कहाँ से आ रही है?" (जब वीडियो में फुफकारने की बिल्कुल भी आवाज़ नहीं है)।
वे देखना चाहते थे कि क्या AI कहेगा, "वहाँ कोई फुफकारने की आवाज़ नहीं है," या क्या वह झूठ बोलेगा और कहेगा, "ओह, वह शायद गैस स्टोव है," सिर्फ इसलिए क्योंकि उसने वीडियो में एक स्टोव देखा।
3. परिणाम: AI जाल में फंस गया
परिणाम काफी खराब रहे। यहाँ तक कि सबसे स्मार्ट AI मॉडल (जैसे Qwen2.5 Omni) भी बहुत खराब प्रदर्शन कर रहे थे।
- वास्तविक ध्वनियों के बारे में पूछने पर: AI लगभग 56% से 63% उत्तर सही दे पाया। वह वास्तव में जो हो रहा था, उसका वर्णन करने में ठीक था।
- नकली ध्वनियों के बारे में पूछने पर (जाल): AI की सटीकता गिरकर 27% से 39% के बीच रह गई।
उपमा: एक छात्र के टेस्ट लेने की कल्पना करें। यदि आप उनसे पूछते हैं, "आसमान का रंग क्या है?" तो वे सही उत्तर देते हैं। लेकिन यदि आप उनसे पूछते हैं, "अदृश्य हाथी का रंग क्या है?" तो वे आत्मविश्वास से कहते हैं, "यह नीला है," क्योंकि वे अनुमान लगा रहे हैं कि एक हाथी कैसा दिखना चाहिए, बजाय इसके कि वे यह स्वीकार करें कि वे उसे देख नहीं सकते।
AI मूल रूप से यह स्वीकार करने के बजाय कि "मुझे वह सुनाई नहीं दे रहा है," दृश्यों के आधार पर अनुमान लगाकर "खाली जगहों को भर रहा है।"
4. "नकली सुनने" के दो प्रकार
- "मुख्य पात्र" की गलती (Foreground): AI वह आवाज़ सुनता है जो वीडियो में मौजूद व्यक्ति को करनी चाहिए।
- उदाहरण: वीडियो में कोई ब्लेंडर का उपयोग कर रहा है। AI कहता है, "मुझे एक यांत्रिक भिनभिनाहट (mechanical whirring) सुनाई दे रही है।" भले ही ऑडियो टूटा हुआ हो या शांत हो, AI मान लेता है कि आवाज़ वहीं है क्योंकि ब्लेंडर चल रहा है।
- "बैकग्राउंड नॉइज़" की गलती (Background): AI वातावरण से ऐसी आवाज़ें सुनता है जो वहाँ नहीं हैं।
- उदाहरण: वीडियो में एक शांत रसोई दिखाई दे रही है। AI कहता है, "मुझे बाहर पक्षियों के चहचहाने की आवाज़ सुनाई दे रही है," सिर्फ इसलिए क्योंकि उसे एक खिड़की दिखाई दी।
5. यह क्यों महत्वपूर्ण है
यह पेपर निष्कर्ष निकालता है कि वर्तमान में, ये AI मॉडल अविश्वसनीय श्रोता हैं। वे अपने कानों की तुलना में अपनी आँखों पर बहुत अधिक भरोसा करते हैं।
यदि आप इस तकनीक का उपयोग वास्तविक दुनिया के परिदृश्य में (जैसे किसी रोबोट को शोर भरी कार्यशाला या दृष्टिबाधित व्यक्ति के परिवेश को समझने में मदद करने के लिए) करते हैं, तो रोबोट को लग सकता है कि उसे चेतावनी का सायरन सुनाई दे रहा है, जबकि वास्तव में वह केवल एक लाल बत्ती देख रहा होता है। शोधकर्ता कहते हैं कि इन मॉडलों पर दुनिया को ध्वनि के माध्यम से समझने के लिए भरोसा करने से पहले हमें बेहतर "कान-जांच" (ear-checking) प्रणालियों की आवश्यकता है।
संक्षेप में: यह पेपर दिखाता है कि आज के सबसे स्मार्ट वीडियो-AI ऐसे लोगों की तरह हैं जो होंठों को पढ़ने में इतने अच्छे हैं कि वे आवाज़ सुनना ही भूल जाते हैं, और अक्सर उन आवाज़ों को बना लेते हैं जो उनके द्वारा देखी गई तस्वीर के अनुकूल होती हैं।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।