How Reliable Are Multimodal Signals of Conversational State? Evidence from Remote Dyadic Collaborative Tasks

कल्पना कीजिए कि आप एक ऐसा रोबोट बनाने की कोशिश कर रहे हैं जो "कमरे को पढ़" सके। आप चाहते हैं कि उसे पता चले कि लोग तनाव में हैं, या कोई बातचीत पर हावी हो रहा है, या कोई सोचने में संघर्ष कर रहा है। ऐसा करने के लिए, वैज्ञानिक देखते हैं कि लोग कैसे बात करते हैं, वे कैसी आवाज़ें निकालते हैं, और वे किन शब्दों का चुनाव करते हैं। इस क्षेत्र को मल्टीमॉडल विश्लेषण (multimodal analysis) कहा जाता है, जो केवल एक फैंसी तरीका है यह कहने का कि "एक साथ कई अलग-अलग सुरागों को देखना।" बड़ा सवाल यह है कि, क्या ये सुराग विश्वसनीय हैं? यदि एक रोबोट एक विशिष्ट प्रकार के पहेली खेल से तनाव को पहचानना सीखता है, तो क्या यह तब भी काम करेगा जब लोग बस अपने सप्ताहांत के बारे में चैट कर रहे हों? या क्या रोबक केवल इसलिए भ्रमित हो जाता है क्योंकि उसने गलत चीज़ सीखी है? यह वह पहेली है जिसका सामना शोधकर्ता कंप्यूटर को मानवीय बातचीत समझने के लिए सिखाने के दौरान करते हैं। उन्हें यह जानने की आवश्यकता है कि क्या वे संकेत वास्तव में हमारे महसूस करने के वास्तविक संकेतक हैं, या वे केवल आकस्मिक पैटर्न हैं जो तनाव जैसा दिखते हैं।

इस शोध पत्र में, तहिया चौधरी नामक एक शोधकर्ता इन सुरागों की जांच करने वाले एक जासूस की तरह काम करती हैं। वह यह देखने के लिए एक तीन-भाग वाला परीक्षण सेट करती हैं कि कौन से संकेत सबसे भरोसेमंद हैं। वह तीन चीजों को देखती हैं: सटीकता (Accuracy) (क्या सुराग सही चीज की भविष्यवाणी करता है?), सामान्यीकरण (Generalizability) (क्या यह विभिन्न स्थितियों में काम करता है?), और विश्वसनीयता (Reliability) (क्या सुराग सुसंगत है, या यह केवल बोलने वाले के आधार पर बदल जाता है?)। वह इन सुरागों का परीक्षण ज़ूम (Zoom) पर नौ अलग-अलग कार्यों पर काम करने वाले 53 जोड़ों (dyads) पर करती हैं, जिसमें मानचित्र पहेलियाँ हल करने से लेकर चुटकुले साझा करने तक शामिल हैं।

यहाँ उन्हें क्या मिला, और यह पता चलता है कि कहानी में एक मोड़ (plot twist) है।

सबसे पहले, उन्होंने शब्दों (भाषाई विशेषताओं/linguistic features) को देखा। सटीकता के मामले में ये समूह के "स्टार एथलीट" थे। यदि लक्ष्य यह अनुमान लगाना था कि एक व्यक्ति कितनी मानसिक मेहनत का उपयोग कर रहा है, तो उनके द्वारा चुने गए शब्द सबसे अच्छे भविष्यवक्ता थे। यह एक ऐसे जासूस की तरह है जो केवल अपनी शब्दावली सुनकर संदिग्ध के मूड का अनुमान लगा सकता है। हालाँकि, ये शब्द "यात्री" होने में बहुत खराब थे। जब शोधकर्ता ने उन्हें एक नए प्रकार के कार्य पर परखा, तो सटीकता गिर गई। यह पता चला कि शब्द वास्तव में "तनाव" को नहीं माप रहे थे; वे केवल उस एक विशिष्ट खेल के लिए आवश्यक विशिष्ट शब्दावली को माप रहे थे। यदि आपने किसी को मानचित्र पहेली हल करने के लिए कहा, तो वे मानचित्र के शब्दों का उपयोग करेंगे; यदि आपने उन्हें चुटकुला सुनाने के लिए कहा, तो वे चुटकुलों के शब्दों का उपयोग करेंगे। रोबोट को लगा कि वह तनाव को माप रहा है, लेकिन वास्तव में वह उस विशिष्ट दिन के लिए शब्दकोश को याद कर रहा था।

इसके बाद, उन्होंने ध्वनियों (ध्वनिक विशेषताओं/acoustic features) की जांच की। लंबे समय से, वैज्ञानिकों ने सोचा था कि आपकी आवाज़ का पिच या आप कितनी ज़ोर से बोलते थे, यह ठोस संकेत हैं कि आपका मस्तिष्क कितनी मेहनत कर रहा है। यह यह मानने जैसा है कि जब ड्राइवर तनाव में होता है, तो कार का इंजन हमेशा तेज़ आवाज़ करता है। लेकिन जब चौधरी ने अपने परीक्षण चलाए, तो उन्होंने एक बड़ा भ्रम पाया। इससे पहले कि वह व्यक्ति के आधार पर डेटा को समायोजित करतीं, ध्वनियाँ विश्वसनीय लग रही थीं। लेकिन जैसे ही उन्होंने डेटा को "नॉर्मलाइज़" (normalize) किया—अर्थात, यह पूछना कि, "यदि यही व्यक्ति एक अलग कार्य करता है, तो क्या ध्वनि बदलेगी?"—विश्वसनीयता गायब हो गई। ध्वनियाँ वास्तव में व्यक्ति के अद्वितीय वॉयस बॉक्स और बोलने की शैली को माप रही थीं, न कि उनके तनाव स्तर को। यह एक ऐसे जासूस की तरह था जिसे एहसास हुआ कि "सुराग" वास्तव में संदिग्ध की ऊंचाई है, जो खुशी या दुख के आधार पर नहीं बदलती। एक बार जब उन्होंने "कौन" को हटा दिया, तो "कैसे" गायब हो गया।

अंत में, उन्होंने परस्पर क्रिया (interaction features) को देखा। ये वे सुराग हैं जो बताते हैं कि लोग कैसे बारी लेते हैं, कौन किसको बीच में टोकता है, और कौन बातचीत को नियंत्रित करता है। ये सुराग सबसे ईमानदार थे। वे नहीं बदलते जब उन्होंने वक्ता की पहचान के लिए डेटा को समायोजित किया क्योंकि वे दो लोगों के बीच के संबंध के बारे में हैं, न कि स्वयं लोगों के बारे में। हालांकि वे अपने आप में तनाव की भविष्यवाणी करने में सबसे सटीक नहीं थे, लेकिन वे एकमात्र ऐसे थे जो विभिन्न कार्यों में सुसंगत रहे। एक विशिष्ट इंटरैक्शन सुराग सामने आया: फ्लोर डोमिनेंस (floor dominance)। यह इस बात का माप है कि कौन "फ्लोर" (बोलने का अधिकार) को थामे हुए है। अध्ययन में पाया गया कि जब एक व्यक्ति जोड़े में बातचीत पर हावी होता है, तो दूसरे व्यक्ति के मानसिक भार (mental load) को अधिक ढोने की संभावना काफी बढ़ जाती है। यह एक सी-सॉ (seesaw) की तरह है: यदि एक व्यक्ति अपने छोर पर ज़ोर से दबाव डाल रहा है (बहुत अधिक बात कर रहा है), तो दूसरा व्यक्ति मानसिक काम के साथ तालमेल बिठाने के लिए संघर्ष कर रहा होगा।

शोध पत्र ने "संवादात्मक शक्ति" (conversational power - कौन शक्तिशाली या शक्तिहीन महसूस करता है) की भविष्यवाणी करने का भी प्रयास किया, लेकिन यहाँ रोबोट पूरी तरह से विफल रहा। चाहे किसी भी सुराग का उपयोग किया जाए, कंप्यूटर केवल उतनी ही बार सही अनुमान लगा सका जितना कि एक सिक्का उछालने पर होता है। यह सुझाव देता है कि पूरे कार्य के सारांश के आधार पर शक्ति का अनुमान लगाना बहुत धुंधला है; शक्ति की वास्तविक गतिशीलता बहुत सूक्ष्म है और बहुत तेज़ी से बदलती है जिसे इन व्यापक मापों द्वारा पकड़ा जा सके।

तो, हमें समझने वाले रोबोट बनाने के लिए क्या सबक मिलता है? पेपर सुझाव देता है कि हमें "आसान" सुरागों पर भरोसा करना बंद करना चाहिए। हम केवल लोगों द्वारा उपयोग किए जाने वाले शब्दों पर भरोसा नहीं कर सकते, क्योंकि वे विषय के साथ बदलते हैं। हम उनकी आवाज़ की ध्वनियों पर भरोसा नहीं कर सकते, क्योंकि वे व्यक्ति के साथ बदलती हैं। सबसे विश्वसनीय संकेत इस बात से आता है कि लोग एक-दूसरे के साथ कैसे परस्पर क्रिया करते हैं—विशेष रूप से, कौन बोल रहा है और कौन सुन रहा है। यदि हम वास्तविक दुनिया में काम करने वाली प्रणालियाँ बनाना चाहते हैं, जहाँ कार्य बदलते हैं और अलग-अलग लोग आते हैं, तो हमें इन इंटरैक्शन पैटर्न पर ध्यान केंद्रित करने की आवश्यकता है और यह सुनिश्चित करने की आवश्यकता है कि हम गलती से व्यक्ति की आवाज़ को उनके मानसिक स्तर के बजाय नहीं माप रहे हैं। अध्ययन निष्कर्ष निकालता है कि इससे पहले कि हम किसी संकेत पर भरोसा करें, हमें यह जांचना होगा कि क्या वह "पहचान परीक्षण" (identity test) में जीवित रहता है और क्या यह नई स्थितियों में काम करता है, अन्यथा हम केवल ऐसे रोबोट बना रहे हैं जो यह अनुमान लगाने में बहुत अच्छे हैं कि कौन बोल रहा है, लेकिन यह नहीं कि वे क्या महसूस कर रहे हैं।