Illusion of Alignment: Detecting Hidden Disagreement in Collaborative Dialogue
यह शोध पत्र सहयोगात्मक संवाद में "संरेखण के भ्रम" (इल्यूजन ऑफ एलाइनमेंट) की घटना को प्रस्तुत करता है, जहाँ स्पष्ट सहमति के बावजूद छिपे हुए मतभेद बने रहते हैं, और इन अनकहे संघर्षों का पता लगाने के लिए एक नैदानिक ढांचे और मॉडल (IoA-Prober-8B) का प्रस्ताव करता है जिसे नए IoA-Suite डेटासेट पर प्रशिक्षित किया गया है, जिससे मानव बैठकों के परिणामों और मल्टी-एजेंट कार्य प्रदर्शन दोनों में सुधार होता है।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
कल्पना कीजिए कि आप दोस्तों के एक ग्रुप चैट में हैं, जहाँ एक सरप्राइज पार्टी की योजना बनाई जा रही है। हर कोई "हाँ, चलो करते हैं!" और "बहुत बढ़िया लग रहा है!" टाइप कर रहा है। बातचीत एक खुशनुमा इमोजी के साथ समाप्त होती है, और सभी को लगता है कि वे पूरी तरह से एक ही बात पर सहमत हैं। लेकिन यहाँ एक ट्विस्ट है: जहाँ आप एक बीच पार्टी (beach party) के बारे में सोच रहे थे, वहीं आपका एक दोस्त स्नोबॉल फाइट (बर्फ के गोले वाली लड़ाई) की कल्पना कर रहा था, और दूसरा एक शांत मूवी नाइट की योजना बना रहा था। आप सभी ने शब्दों पर सहमति जताई, लेकिन आपके दिमाग बिल्कुल अलग-अलग सॉफ्टवेयर पर चल रहे थे। आर्टिफिशियल इंटेलिजेंस और कंप्यूटर साइंस की दुनिया में, यह एक बड़ी समस्या है। वैज्ञानिक "कोलेबोरेटिव डायलॉग" (सहयोगात्मक संवाद) का अध्ययन करते हैं, जो बस एक फैंसी तरीका है यह कहने का कि "लोग (या रोबोट) मिलकर काम करने के लिए बातचीत कर रहे हैं।" वे जानते हैं कि कभी-कभी, भले ही बातचीत सहज और सहमतिपूर्ण दिखाई दे, प्रतिभागी गुप्त रूप से एक-दूसरे के लक्ष्यों या धारणाओं को गलत समझ सकते हैं। यह अदृश्य अंतर खतरनाक है क्योंकि इससे बाद में प्रोजेक्ट विफल हो सकता है, भले ही सबको लगा हो कि वे बहुत अच्छा कर रहे हैं।
यह शोध पत्र, जिसका शीर्षक "इल्यूजन ऑफ एलाइनमेंट: डिटेक्टिंग हिडन डिसएग्रीमेंट इन कोलेबोरेटिव डायलॉग" है, एक चालाकी भरी समस्या को संबोधित करता है जिसे "इल्यूजन ऑफ एलाइनमेंट" (IoA) कहा जाता है। यह मशीन में एक भूत की तरह है: एक ऐसी स्थिति जहाँ एक टीम दिखने में संरेखित (aligned) लगती है क्योंकि उन्होंने सही शब्द कहे थे, लेकिन वास्तव में वे विपरीत दिशाओं में जा रहे होते हैं। लेखकों का समूह, जो त्सिंगहुआ विश्वविद्यालय (Tsinghua University) से है, ने महसूस किया कि वर्तमान एआई उपकरण इन भूतों को पहचानने में बहुत खराब हैं। यदि आप एक एआई से पूछें, "क्या इन लोगों के बीच असहमति थी?" और टेक्स्ट में कोई बहस नहीं दिखती, तो एआई कहेगा, "नहीं, सब ठीक है!" लेकिन एआई उस छिपी हुई तल्खी को मिस कर देता है। शोधकर्ताओं का तर्क है कि इन छिपे हुए मतभेदों को पकड़ने के लिए, आप केवल ट्रांसक्रिप्ट को नहीं देख सकते; आपको पर्दे के पीछे झाँककर देखना होगा कि प्रत्येक व्यक्ति वास्तव में क्या सोच रहा था।
इस समस्या को हल करने के लिए, टीम ने एक चतुर तरकीब निकाली। एक एआई से यह अनुमान लगाने के बजाय कि क्या कोई असहमति थी, उन्होंने एआई को एक जासूस की तरह काम करने के लिए बनाया जो "डायग्नोस्टिक मल्टीपल-चॉइस प्रश्नों" की एक श्रृंखला पूछता है। कल्पना कीजिए कि एआई एक मीटिंग का ट्रांसक्रिप्ट पढ़ता है और फिर पूछता है, "ठीक है, जब आपने 'लर्न टॉर्च' (learn Torch) कहा, तो क्या आपका मतलब पुराने स्कूल वाले लुआ (Lua) संस्करण से था या आधुनिक पायटॉर्च (PyTorch) संस्करण से?" यदि दोनों प्रतिभागी अलग-अलग उत्तर चुनते हैं, तो बाम—एआई ने छिपी हुई असहमति को पकड़ लिया है। यह वैसा ही है जैसे यह पता लगाना कि दो लोग "बैंक पर मिलने" के लिए सहमत हुए हैं, लेकिन एक का मतलब नदी के किनारे (bank) से था और दूसरे का मतलब पैसे लेने वाली जगह से।
टीम ने इस विचार का परीक्षण करने के लिए IoA-Suite नामक एक विशाल प्लेग्राउंड बनाया। उन्होंने चिकित्सा, कानून और सॉफ्टवेयर इंजीनियरिंग जैसे छह अलग-अलग क्षेत्रों को कवर करते हुए 1,200 नकली बैठकें बनाईं। इन बैठकों में, उन्होंने गुप्त रूप से छिपे हुए मतभेद (जैसे "टॉर्च" वाला उदाहरण) डाले और यह सुनिश्चित किया कि पात्र उनके बारे में ज़ोर से बहस न करें। फिर, उन्होंने विभिन्न सुपर-स्मार्ट एआई मॉडल से इन छिपे हुए जाल को खोजने के लिए कहा। परिणाम चौंकाने वाले थे: यहाँ तक कि सबसे अच्छे, सबसे महंगे एआई मॉडल भी छिपे हुए मतभेदों को केवल आधे समय ही खोज पाए (49.5% F1 स्कोर)। यह स्पष्ट है कि बिना बोले किसी के सोचने के बारे में अंदाजा लगाना कंप्यूटरों के लिए वास्तव में बहुत कठिन है।
शोधकर्ताओं ने अपना विशेष एआई, जिसे IoA-Prober-8B कहा जाता है, एक विशिष्ट रेसिपी का उपयोग करके प्रशिक्षित किया, जिसमें उसे सही प्रश्न पूछना सिखाया गया। यह नया मॉडल थोड़ा बेहतर हुआ, जिसने 51.8% का स्कोर प्राप्त किया। लेकिन असली जादू तब हुआ जब उन्होंने वास्तविक मानव बैठकों पर इसका परीक्षण किया। उन्होंने 43 वास्तविक लोगों की 18 वास्तविक कामकाजी बैठकों के ट्रांसक्रिप्ट लिए। जब उन्होंने वास्तविक बातचीत पर IoA-Prober चलाया, तो इसने औसतन प्रति बैठक 2.89 छिपे हुए मतभेद सामने किए। प्रतिभागियों ने पुष्टि की कि ये वास्तविक मतभेद थे जिन्हें उन्होंने बैठक के दौरान व्यक्त नहीं किया था, भले ही उन्हें लगा था कि वे सहमत थे। यह पता चलता है कि "इल्यूजन ऑफ एलाइनमेंट" केवल एक कंप्यूटर ग्लिच नहीं है; यह एक वास्तविक मानवीय आदत है जिसमें हम सभी फंस जाते हैं।
अंत में, टीम ने दिखाया कि इन भ्रमों को ठीक करना वास्तव में मदद करता है। जब उन्होंने कोडिंग कार्यों पर काम करने वाले रोबोटों के समूहों (या "मल्टी-एजेंट" सिस्टम) की मदद करने के लिए अपने नए एआई का उपयोग किया, तो रोबोटों ने कम गलतियाँ कीं और समस्याओं को बेहतर ढंग से हल किया। यह पेपर सुझाव देता है कि सही "डायग्नोस्टिक प्रश्न" पूछकर, हम टीमों को उनकी झूठी सहमति की भावना से जगा सकते हैं, इससे पहले कि वे विफल हो जाएं। यह एक याद दिलाता है कि सिर्फ इसलिए कि हर कोई "हाँ" कहता है, इसका मतलब यह नहीं है कि हर कोई एक ही चीज़ का अर्थ समझ रहा है।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।