कल्पना कीजिए कि आप एक हलचल भरे कॉफी शॉप में बैठे हैं, और आपने दो लोगों को बात करते हुए सुना। आप जो कुछ भी उन्होंने कहा, उसे बिल्कुल वैसा ही लिख सकते हैं, शब्द दर शब्द, जैसे कि एक कोर्ट स्टैनोग्राफर करता है। लेकिन यदि आप बाद में केवल उस ट्रांसक्रिप्ट को पढ़ते हैं, तो आप वह सब कुछ मिस कर देंगे जो वास्तव में महत्वपूर्ण था: जैसे किसी व्यक्ति की आवाज़ का घबराहट से कांपना, एक साधारण "मैं ठीक हूँ" में छिपी व्यंग्यात्मकता, या उस लहजे में अचानक आया बदलाव जब उन्हें एहसास हुआ कि उनसे झूठ बोला जा रहा है। मानवीय भाषण एक दो-परतीय संकेत (double-layered signal) है। पहला स्तर है टेक्स्ट (text): वे शब्द और व्याकरण जो शाब्दिक अर्थ वहन करते हैं। दूसरा स्तर है ध्वनिक संकेत (acoustic signal): आवाज़ का संगीत, जिसमें पिच, गति, वॉल्यूम और वे सूक्ष्म कंपन और सांसें शामिल हैं जो भावना, पहचान और इरादे को प्रकट करती हैं।

लंबे समय तक, वह तकनीक जो हमसे बात करने की कोशिश कर रही है—वॉइस एआई (Voice AI)—पहले स्तर को सटीक बनाने के प्रति जुनूनी रही है। हमने ऐसी प्रणालियाँ बनाई हैं जो भाषण को अविश्वसनीय सटीकता के साथ टेक्स्ट में बदल सकती हैं या हमें एक रोबोटिक आवाज़ में टेक्स्ट पढ़कर सुना सकती हैं। लेकिन वैज्ञानिक अब जो बड़ा सवाल पूछ रहे हैं वह यह है: क्या ये मशीनें वास्तव में दूसरे स्तर को सुन सकती हैं? क्या वे समझ सकती हैं कि कांपती हुई आवाज़ में कहा गया "हाँ" वास्तव में "ना" का संकेत है, या एक हंसी स्वाभाविक है बनाम मजबूर? यदि हम इन मशीनों का परीक्षण केवल इस आधार पर करते हैं कि वे एक स्क्रिप्ट कितनी अच्छी तरह पढ़ती हैं, तो हम इस तथ्य को अनदेखा कर सकते हैं कि वे वास्तविक मानवीय बातचीत को समझने में बेहद खराब हैं। यह वह अंतर है जिसे ह्यूम एआई रिसर्च (Hume AI Research) का एक नया अध्ययन भरने का प्रयास कर रहा है, जो सरल टेक्स्ट स्कोर से आगे बढ़कर यह देखता है कि एआई वास्तविक मानवीय बातचीत की अव्यवस्थित, भावनात्मक और शोर भरी वास्तविकता को कितनी अच्छी तरह संभालता है।

---

"वास्तविक दुनिया" का वॉयस टेस्ट: क्यों आपका एआई 'टोन-डेफ' हो सकता है

वर्तमान वॉइस एआई की स्थिति को एक ऐसे छात्र की तरह समझें जिसने हर शब्दकोश की परिभाषा रट ली है लेकिन वास्तव में कभी कोई बातचीत नहीं की है। वह एक कविता को पूरी तरह से सुना सकता है, लेकिन यदि आप उसे बिना किसी भाव के कोई चुटकुला सुनाएं, तो शायद वह उसे समझ न पाए। इसे ठीक करने के लिए, ह्यूम एआई के शोधकर्ताओं ने एक नई, विशाल रिपोर्ट कार्ड बनाई है जिसे RW-Voice-EQ Bench कहा जाता है। इन एआई प्रणालियों को एक एकल ग्रेड (जैसे "A" या "B") देने के बजाय, उन्होंने उनके कौशल का एक विस्तृत प्रोफाइल तैयार करने का निर्णय लिया, जिसमें चार बहुत अलग क्षेत्रों में उनकी क्षमताओं की जांच की गई: टेक्स्ट-टू-स्पीच (TTS), स्पीच-टू-स्पीच (STS), स्पीच अंडरस्टैंडिंग (SU), और ऑटोमैटिक स्पीच रिकग्निशन (ASR)।

यहाँ बताया गया है कि जब उन्होंने इन प्रणालियों को कड़ी परीक्षा में डाला तो क्या पाया।

1. द वॉयस एक्टर टेस्ट (टेक्स्ट-टू-स्पीच)

कल्पना कीजिए कि आप एक अभिनेता से एक दुखी पात्र, फिर एक कॉमेडियन, और फिर एक समाचार एंकर की भूमिका निभाने के लिए कह रहे हैं। एक अच्छा अभिनेता अपनी पहचान खोए बिना इन भूमिकाओं के बीच स्विच कर सकता है। शोधकर्ताओं ने 31 अलग-अलग एआई वॉयस सिस्टम का परीक्षण किया कि क्या वे भी ऐसा कर सकते हैं।

बड़ा आश्चर्य? कोई भी एक एआई हर चीज़ में सर्वश्रेष्ठ नहीं था। यह ऐसा ही है जैसे यह कहना कि एक धावक स्वतः ही सबसे अच्छा तैराक भी है। कुछ एआई स्वाभाविक और अभिव्यंजक (एक महान कहानीकार की तरह) लगने में शानदार थे, लेकिन जब पात्र भावुक हुआ तो अपनी आवाज़ की निरंतरता बनाए रखने में बहुत खराब रहे। अन्य एआई जटिल संख्याओं और चिकित्सा शब्दों को सही ढंग से पढ़ने में बहुत मजबूत थे, लेकिन जब उन्हें चुटकुला सुनाने के लिए कहा गया तो वे रोबोटिक और सपाट लगे।

उदाहरण के लिए, अध्ययन में पाया गया कि Gemini 3.1 Flash अभिनय और भावनाओं को व्यक्त करने में एक सितारा था, जबकि Fish Audio S2 एक पात्र के चिल्लाने या फुसफुसाने के दौरान भी आवाज़ को स्थिर रखने में चैंपियन था। सबक यह है कि "स्वाभाविकता" और "अभिव्यक्ति" अलग-अलग कौशल हैं। सिर्फ इसलिए कि एक एआई सुनने में अच्छा लगता है, इसका मतलब यह नहीं कि वह अभिनय कर सकता है, और सिर्फ इसलिए कि वह अभिनय कर सकता है, इसका मतलब यह नहीं कि स्क्रिप्ट लंबी होने पर वह अजीब नहीं लगेगा।

2. "कमरे को पढ़ने" का टेस्ट (स्पीच-टू-स्पीच)

यहीं पर चीजें पेचीदा हो जाती हैं। कल्पना कीजिए कि आप एक कस्टमर सर्विस बॉट से बात कर रहे हैं। आप कहते हैं, "हाँ, मुझे अपना सब्सक्रिप्शन रद्द करना अच्छा लगेगा," लेकिन आप इसे घबराहट और हिचकिचाहट के स्वर में कहते हैं। एक बुद्धिमान इंसान उस घबराहट को सुनकर पूछेगा, "क्या आप सुनिश्चित हैं?" एक मूर्ख बॉट बस कह सकता है, "ठीक है, रद्द कर दिया गया।"

शोधकर्ताओं ने परीक्षण किया कि क्या एआई एजेंट वास्तव में आवाज़ के लहजे का उपयोग कर सकते हैं, न कि केवल शब्दों का। उन्होंने पाया कि ऑडियो तक पहुंच होने का मतलब यह नहीं है कि एआई उसका उपयोग करेगा। कई प्रणालियाँ अभी भी ऐसे व्यवहार कर रही थीं जैसे वे एक ट्रांसक्रिप्ट पढ़ रही हों, इस बात को अनदेखा करते हुए कि उपयोगकर्ता डरा हुआ या क्रोधित लग रहा था।

हालाँकि, कुछ प्रणालियों ने बेहतर प्रदर्शन किया। Gemini 3.1 Flash Live शीर्ष प्रदर्शन करने वाला रहा, जिससे पता चला कि वह वास्तव में यह महसूस कर सकता है कि उपयोगकर्ता हिचकिचा रहा है या शत्रुतापूर्ण है और उसके अनुसार अपनी प्रतिक्रिया बदल सकता है। लेकिन यहाँ एक पेंच है: यहाँ तक कि सर्वश्रेष्ठ प्रणालियाँ भी कभी-कभी अप्राकृतिक लगती थीं जब वे शांत होने की कोशिश कर रही होती थीं। यह एक ऐसे व्यक्ति की तरह है जो बेहतरीन सलाह देता है लेकिन तनाव होने पर उसकी आवाज़ एक रोबोट जैसी हो जाती है। अध्ययन बताता है कि एक एआई को वास्तव में सहायक होने के लिए, उसे न केवल भावना को सुनने में, बल्कि सही लहजे के साथ बोलने में भी कुशल होना चाहिए, और वर्तमान में, बहुत कम ऐसे हैं जो दोनों में अच्छे हैं।

3. डिटेक्टिव टेस्ट (स्पीच अंडरस्टैंडिंग)

इस खंड में, शोधकर्ताओं ने एआई को एक जासूस की तरह माना जो एक रहस्य सुलझाने की कोशिश कर रहा है। उन्होंने एआई को ऑडियो क्लिप सुनने के लिए कहा और ऐसे प्रश्न पूछे जैसे: "क्या यह व्यक्ति खुश है या दुखी?" "क्या यह वही व्यक्ति है जो दोनों क्लिप में बोल रहा है?" या "क्या यह आवाज़ असली है या नकली?"

परिणाम मिले-जुले रहे। एआई एक एकल क्लिप से विशिष्ट भावनाओं का नाम बताने में (जैसे "हताश" बनाम "चिड़चिड़ा" का अनुमान लगाना) आश्चर्यजनक रूप से खराब थे। लेकिन, जब उन्हें दो क्लिप की तुलना करने के लिए कहा गया: "इन दोनों में से कौन सा अधिक क्रोधित लग रहा है?" तो वे बहुत बेहतर हो गए। यह सुझाव देता है कि एआई भावनाओं को लेबल करने की तुलना में भावनाओं की तुलना करने में बेहतर हैं।

साथ ही, नकली आवाजों (सिंथेटिक स्पीच) को पकड़ने के मामले में, एआई अक्सर धोखा खा जाते थे। वे एक कंप्यूटर-जनरेटेड आवाज़ को "बहुत मानवीय" मान लेते थे। अध्ययन में पाया गया कि केवल आवाज़ों की जाँच के लिए बनाए गए विशेष उपकरण (जैसे ध्वनि के लिए फिंगरप्रिंट स्कैनर) सामान्य-उद्देश्य वाले एआई जासूसों की तुलना में बहुत बेहतर थे। यह स्पष्ट है कि आपको काम के लिए विशेषज्ञ की आवश्यकता है, न कि एक सामान्यवादी की।

4. "अराजकता" का टेस्ट (ऑटोमैटिक स्पीच रिकग्निशन)

अंत में, शोधकर्ताओं ने परीक्षण किया कि जब दुनिया अव्यवस्थित हो, तो एआई कितनी अच्छी तरह कही जा रही बातों को लिख सकता है। उन्होंने साफ, शांत रिकॉर्डिंग का उपयोग नहीं किया। इसके बजाय, उन्होंने भारी लहजे (accents), हंसते या रोते हुए लोगों, बैकग्राउंड म्यूजिक और शोर भरी भीड़ वाले ऑडियो का उपयोग किया।

परिणामों ने दिखाया कि जो "साफ" टेस्ट हम आमतौर पर लीडरबोर्ड पर देखते हैं, वे हमें झूठ बोल रहे हैं। एक प्रणाली जो शांत, मानक टेस्ट पर परफेक्ट स्कोर प्राप्त करती है, वह बुरी तरह विफल हो सकती है जब कोई व्यक्ति तेज लहजे के साथ बोलता है या हंस रहा होता है।

• लहजा (Accents): एआई गैर-देशी अंग्रेजी बोलने वालों के साथ सबसे अधिक संघर्ष करता है। देशी और गैर-देशी बोलने वालों के बीच प्रदर्शन का अंतर बहुत बड़ा था, जो बताता है कि एआई देशी वक्ताओं के बोलने के तरीके के प्रति पक्षपाती है।
• भावना (Emotion): आश्चर्यजनक रूप से, एआई को गुस्से या दुख वाली स्पीच की तुलना में खुश, उत्साहित स्पीच (जैसे हंसी) को ट्रांसक्राइब करने में अधिक कठिनाई हुई। ऐसा लगता है कि एआई मुख्य रूप से न्यूट्रल आवाजों पर प्रशिक्षित है और जब लोग वास्तव में आनंदित होते हैं, तो वह भ्रमित हो जाता है।
• शोर (Noise): बैकग्राउंड म्यूजिक को अनदेखा करना एआई के लिए आसान था, लेकिन बैकग्राउंड चैटर (जैसे भीड़भाड़ वाला रेस्टोरेंट) ने इसे क्रैश कर दिया।

ElevenLabs Scribe समग्र रूप से शीर्ष पर आया, लेकिन वह भी हर चीज़ में परफेक्ट नहीं था। अध्ययन निष्कर्ष निकालता है कि हम एआई के सुनने के स्तर को आंकने के लिए केवल एक नंबर को नहीं देख सकते। हमें यह जानना होगा कि वह लहजे, भावनाओं और शोर को अलग-अलग कैसे संभालता है।

बड़ी तस्वीर

इस पेपर का मुख्य निष्कर्ष यह है कि वॉइस एआई एक एकल कौशल नहीं है; यह कई अलग-अलग कौशलों का एक संग्रह है। आप केवल यह नहीं कह सकते कि "यह एआई स्मार्ट है" या "यह एआई डम्ब है।" आपको पूछना होगा: क्या यह अभिनय करने में अच्छा है? क्या यह माहौल को समझने में अच्छा है? क्या यह नकली आवाजों को पहचानने में अच्छा है? क्या यह शोर के बीच सुनने में अच्छा है?

शोधकर्ता सुझाव देते हैं कि हमें इन प्रणालियों को एक एकल ग्रेड देने के बजाय उनके "प्रोफाइल" को देखना शुरू करना चाहिए। एक प्रणाली एक महान कहानीकार हो सकती है लेकिन एक खराब श्रोता हो सकती है। दूसरा एक अच्छा श्रोता हो सकता है लेकिन सुनने में रोबोट जैसा लग सकता है। जैसे-जैसे हम इन आवाजों का उपयोग ग्राहक सेवा से लेकर साथ (companionship) के लिए करने लगे हैं, इन विशिष्ट शक्तियों और कमजोरियों को समझना ही एकमात्र तरीका है जिससे हम जान सकें कि क्या एआई वास्तव में वास्तविक दुनिया के लिए तैयार है। पेपर सुझाव देता है कि जब तक हम उन्हें इन अव्यवस्थित, वास्तविक दुनिया की स्थितियों में टेस्ट नहीं करते, हम केवल अनुमान लगा रहे हैं कि वे वास्तव में कितने प्रभावी होंगे।