← नवीनतम पेपर
⚡ electrical engineering

Real-Time Voice AI Hears but Does Not Listen

यह शोध पत्र यह प्रकट करता है कि अग्रणी रियल-टाइम वॉयस एआई सिस्टम एक "इमोशनल इंटेलिजेंस गैप" (भावनात्मक बुद्धिमत्ता अंतराल) प्रदर्शित करते हैं, जहाँ संकट, भय या कटाक्ष जैसे स्वर संकेतों को सटीक रूप से पहचानने के बावजूद, वे महत्वपूर्ण निर्णय लेते समय शाब्दिक शब्द सामग्री के पक्ष में इन वितरण पैटर्नों की निरंतर अनदेखी करते हैं।

मूल लेखक: Martijn Bartelds, Federico Bianchi, James Zou

प्रकाशित 2026-06-25
📖 6 मिनट में पढ़ें🧠 गहराई से पढ़ें

मूल लेखक: Martijn Bartelds, Federico Bianchi, James Zou

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

कल्पना कीजिए कि आप एक बहुत ही बुद्धिमान, तेज़ बोलने वाले रोबोट से बात कर रहे हैं जो आपकी आवाज़ सुन सकता है और तुरंत आपसे बात भी कर सकता है। आप सोच सकते हैं, "बहुत बढ़िया! यह मुझे सुन रहा है, इसलिए यह समझ जाता है कि मैं कैसा महसूस कर रहा हूँ।" लेकिन यह शोध पत्र एक चौंकाने वाला सच उजागर करता है: ये रोबोट आपकी आवाज़ सुनते तो हैं, लेकिन वे वास्तव में उसे "सुनते" (समझते) नहीं हैं।

यहाँ शोधकर्ताओं द्वारा की गई खोज का सरल विवरण दिया गया है।

"स्क्रिप्ट बनाम आवाज़" की समस्या

एक बातचीत को सूचना के दो चैनलों के रूप में सोचें:

  1. स्क्रिप्ट (शब्द): जो आप वास्तव में कह रहे हैं।
  2. डिलीवरी (आवाज़): आप उसे कैसे कह रहे हैं (आपका लहजा, पिच, गति और भावना)।

आमतौर पर, इंसान दोनों का उपयोग करते हैं। यदि कोई कहता है, "मैं ठीक हूँ," लेकिन वह रो रहा है और कांप रहा है, तो हम जानते हैं कि वह ठीक नहीं है। हम शब्दों के बजाय आवाज़ पर भरोसा करते हैं।

शोधकर्ताओं ने दुनिया के चार सबसे उन्नत रियल-टाइम वॉयस AI सिस्टम (OpenAI, Google और Alibaba से) का परीक्षण किया कि क्या वे भी ऐसा ही करते हैं। उन्होंने तीन पेचीदा स्थितियाँ बनाईं जहाँ शब्द और आवाज़ एक-दूसरे के विपरीत कहानी बताते थे।

तीन परीक्षण परिदृश्य

1. रोता हुआ कॉलर (कल्याण जांच/Welfare Check)

  • स्थिति: एक व्यक्ति डिस्पैचर को कॉल करता है और कहता है, "सब कुछ ठीक है, कोई आपात स्थिति नहीं है," लेकिन वह अनियंत्रित रूप से सुबक रहा है।
  • इंसान क्या करते हैं: हम रोने की आवाज़ सुनते हैं और सोचते हैं, "कुछ गलत है! मदद की ज़रूरत है।"
  • AI ने क्या किया: AI ने आँसुओं को नज़रअंदाज़ कर दिया। इसने केवल "सब कुछ ठीक है" शब्दों को सुना और फोन काट दिया। इसने ऐसे व्यवहार किया जैसे रोने वाली आवाज़ का अस्तित्व ही न हो।

2. डरा हुआ बैंक ग्राहक (वायर धोखाधड़ी जांच)

  • स्थिति: एक व्यक्ति कहता है, "हाँ, कृपया पैसे भेज दें," लेकिन उसकी आवाज़ डर से कांप रही है, जैसे कि उसे बोलने के लिए मजबूर किया जा रहा हो।
  • इंसान क्या करते हैं: हम डर को सुनते हैं और सोचते हैं, "इस व्यक्ति को डराया जा रहा है! ट्रांसफर रोक दें!"
  • AI ने क्या किया: AI ने डर को सुना लेकिन फिर भी पैसे का ट्रांसफर अप्रूव कर दिया। इसने ऐसे व्यवहार किया जैसे आवाज़ शांत थी और केवल शब्द ही मायने रखते थे।

3. व्यंग्यपूर्ण स्वयंसेवक (भर्ती कॉल)

  • स्थिति: एक व्यक्ति कहता है, "मुझे शामिल करें!" लेकिन वह इसे एक उपहासपूर्ण, व्यंग्यात्मक लहजे में कह रहा है।
  • इंसान क्या करते हैं: हम व्यंग्य को सुनते हैं और सोचते हैं, "वे वास्तव में शामिल नहीं होना चाहते।"
  • AI ने क्या किया: AI ने उन्हें साइन अप कर दिया। इसने शब्दों को शाब्दिक रूप से लिया और मज़ाक को पूरी तरह से समझने में विफल रहा।

बड़ी हैरानी: वे सुन सकते हैं, लेकिन वे अनदेखा करना चुनते हैं

सबसे चौंकाने वाला हिस्सा तब आया जब शोधकर्ताओं ने AI से सीधे पूछा: "क्या यह व्यक्ति डरा हुआ लग रहा है?" या "क्या यह व्यक्ति व्यंग्यात्मक लग रहा है?"

  • परिणाम: चार में से तीन AI ने सीधे पूछे जाने पर डर, रोने और व्यंग्य को सही ढंग से पहचान लिया। उन्होंने साबित कर दिया कि उनके पास भावना को सुनने के लिए "कान" थे।
  • ट्विस्ट: भले ही वे जानते थे कि कॉलर डरा हुआ या रो रहा था, फिर भी उन्होंने वास्तविक बातचीत में गलत निर्णय लिया।

यह एक सुरक्षा गार्ड की तरह है जो स्पष्ट रूप से देख सकता है कि एक व्यक्ति के पास हथियार है (अनुभूति) लेकिन फिर भी उसे दरवाज़े से अंदर जाने देता है क्योंकि उस व्यक्ति ने कहा "मैं मिलनसार हूँ" (क्रिया)। AI भावना को सुनता है लेकिन आवाज़ के साथ ऐसा व्यवहार करता है जैसे वह केवल टेक्स्ट का एक मौन ट्रांसक्रिप्ट हो।

"लहजा और उम्र" का भ्रम

शोधकर्ताओं ने यह भी परीक्षण किया कि क्या AI किसी व्यक्ति के लहजे या उम्र का अनुमान उसकी आवाज़ के आधार पर लगा सकता है।

  • परीक्षण: उन्होंने एक वयस्क की आवाज़ की रिकॉर्डिंग बजाई जो 5 साल के बच्चे के लिए लिखी गई स्क्रिप्ट पढ़ रहा था।
  • परिणाम: अधिकांश AI ने अनुमान लगाया कि बोलने वाला एक 5 साल का बच्चा है। उन्होंने आवाज़ की गहरी, परिपक्व ध्वनि को नज़रअंदाज़ कर दिया और केवल शब्दों "मम्मी, क्या मुझे जूस मिल सकता है?" को देखा।
  • उपमा: यह एक ऐसी किताब पढ़ने जैसा है जहाँ फ़ॉन्ट बहुत छोटा और बचकाना है, लेकिन उसे पढ़ने वाली आवाज़ एक गहरी, भारी पुरुष स्वर की है। AI ने आवाज़ को नज़रअंदाज़ कर दिया और केवल शब्दों के आधार पर मान लिया कि पाठक एक बच्चा है।

"भावनात्मक बुद्धिमत्ता अंतराल" (Emotional Intelligence Gap)

लेखक इस समस्या को "इमोशनल इंटेलिजेंस गैप" कहते हैं।

एक ऐसी कार की कल्पना करें जिसमें एक सटीक GPS (टेक्स्ट) है लेकिन एक टूटा हुआ रियरव्यू मिरर (आवाज़) है। कार जानती है कि सड़क कहाँ जाती है, लेकिन वह अपने पीछे के लोगों या बाधाओं को नहीं देख सकती। ये AI सिस्टम शब्दों को प्रोसेस करने में बेहतरीन हैं, लेकिन वे वर्तमान में आवाज़ के भावनात्मक भार के प्रति अंधे हैं।

क्या हम निर्देशों से इसे ठीक कर सकते हैं?

शोधकर्ताओं ने AI को बेहतर सुनने के लिए "सिखाने" की कोशिश की, जैसे कि विशेष निर्देश देना: "ध्यान दें कि कॉलर कैसा लग रहा है।"

  • परिणाम: इससे थोड़ी मदद मिली, लेकिन पर्याप्त नहीं। कभी-कभी AI ने सुना, लेकिन अक्सर इसने आवाज़ को नज़रअंदाज़ कर दिया और स्क्रिप्ट का पालन किया। यह एक विचलित ड्राइवर को "सड़क पर ध्यान दें" कहने जैसा है, लेकिन वे लगातार मैप को देखते रहते हैं।

मुख्य निष्कर्ष

शोध पत्र निष्कर्ष निकालता है कि हालांकि ये वॉयस AI शक्तिशाली हैं, लेकिन वे वर्तमान में उन स्थितियों के लिए असुरक्षित हैं जहाँ शब्दों से अधिक लहजा मायने रखता है। यदि आप उनका उपयोग आपातकालीन कॉल, सुरक्षा जांच या संवेदनशील बातचीत के लिए कर रहे हैं, तो आप यह उम्मीद नहीं कर सकते कि वे मानवीय भावना को "समझ" पाएंगे। वे शब्दों को सुनते हैं, लेकिन दिल की बात नहीं सुनते।

अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?

आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।

Digest आज़माएँ →