TIDES: A Longitudinal Bilingual Dataset for Modeling Multi-Party Social Dynamics
यह शोध पत्र TIDES को प्रस्तुत करता है, जो एक सेमेस्टर के दौरान 12 विश्वविद्यालय टीमों का एक उच्च-रिज़ॉल्यूशन वाला अनुदैर्ध्य द्विभाषी डेटासेट है, जो यह प्रदर्शित करता है कि हालांकि इसके सामाजिक-संरचनात्मक एनोटेशन पर फाइन-ट्यूनिंग करने से अगले-वक्ता की भविष्यवाणी में महत्वपूर्ण सुधार होता है, लेकिन यह अनिवार्य रूप से उत्पन्न बहु-पक्षीय बातचीत की स्वाभाविकता या सुसंगतता को नहीं बढ़ाता है।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
कल्पना कीजिए कि आप एक चहल-पहल वाले कॉफी शॉप में कदम रख रहे हैं। आप दोस्तों के एक समूह को हंसते, बहस करते और एक रोड ट्रिप की योजना बनाते हुए सुनते हैं। आपको यह जानने की ज़रूरत नहीं है कि उनका नाम क्या है ताकि आप अनुमान लगा सकें कि अगला कौन बोलेगा; आपको बस उनकी लय को सुनना है। एक व्यक्ति अपना वाक्य पूरा करता है, रुकता है, और दूसरा एक चुटकुले के साथ उसमें कूद पड़ता है। इस लय को टर्न-टेकिंग (बारी लेना) कहा जाता है, और यही वह अदृश्य गोंद है जो किसी भी बातचीत को एक साथ जोड़े रखता है। लंबे समय तक, कंप्यूटर प्रोग्राम (जिन्हें लार्ज लैंग्वेज मॉडल्स या LLMs कहा जाता है) आमने-सामने की बातचीत करने में बहुत अच्छे रहे हैं, जैसे दो लोगों के बीच एक टेक्स्ट मैसेज। लेकिन जब आप इसमें एक पूरा समूह डाल देते हैं, तो ये कंप्यूटर भ्रमित हो जाते हैं। वे एक वास्तविक समूह के बिखरे हुए और बदलते स्वरूप को समझने में संघर्ष करते हैं, जहाँ भूमिकाएँ बदलती रहती हैं, अंदरूनी चुटकुले विकसित होते हैं, और बातचीत हर बार अलग तरह से बहती है। वैज्ञानिक ऐसी AI बनाना चाहते हैं जो इन समूहों में स्वाभाविक रूप से शामिल हो सके, लेकिन ऐसा करने के लिए, उन्हें यह अध्ययन करना होगा कि वास्तविक मनुष्य समय के साथ वास्तव में कैसे व्यवहार करते हैं, न कि केवल छोटे, बनावटी प्रयोगों में।
यहीं पर TIDES नामक एक नया अध्ययन आता है। शोधकर्ताओं के एक दल, जो KAIST से थे, ने अनुमान लगाना बंद करने और देखना शुरू करने का निर्णय लिया। उन्होंने एक पूरे सेमेस्टर के दौरान 12 वास्तविक विश्वविद्यालय छात्र टीमों को उनके प्रोजेक्ट्स पर काम करते हुए ट्रैक किया। उन्हें कोई नकली स्क्रिप्ट देने के बजाय, उन्होंने छात्रों को बस अपना काम करने दिया, और 88 अलग-अलग बैठकों से 75,000 से अधिक बोले गए वाक्यों को रिकॉर्ड किया। उन्होंने केवल यह नहीं सुना कि क्या कहा गया; उन्होंने यह भी ट्रैक किया कि कौन क्या कर रहा था, यह नोट करते हुए कि कब एक छात्र "लीडर", "आलोचक" या "समस्या समाधानकर्ता" बना, जैसे-जैसे हफ्ते बीतते गए। यह एक पूरे रियलिटी शो के सीजन को फिल्माने जैसा है, लेकिन ड्रामा के बजाय, यह इस बारे में है कि टीमें वास्तव में मिलकर समस्याओं को कैसे हल करती हैं।
इसके बाद टीम ने एक कंप्यूटर मॉडल को इन रिकॉर्डिंग्स को देखना और यह भविष्यवाणी करना सिखाया कि अगला कौन बोलेगा। परिणाम आश्चर्यजनक रूप से अच्छे थे। जब मॉडल ने इस वास्तविक दुनिया के डेटा से सीखा, तो वह अगला बोलने वाले का अनुमान लगाने में बहुत बेहतर हो गया—उसकी सफलता दर 50% से बढ़कर 64.5% हो गई। इसने आज उपलब्ध कुछ सबसे महंगे और शक्तिशाली AI मॉडलों को भी पीछे छोड़ दिया, और वह भी आधे से भी कम ट्रेनिंग डेटा के साथ। मॉडल ने सीखा कि एक टीम के शुरुआती दिनों में (जब हर कोई अजीब महसूस करता है और चीजों को समझने की कोशिश कर रहा होता है), बातचीत अराजक और कठिन होती है। लेकिन जैसे-जैसे टीम परिपक्व होती है और अपनी लय पकड़ लेती है, पैटर्न स्पष्ट हो जाता है, और AI अगले बोलने वाले को मीलों दूर से ही देख सकता है।
हालाँकि, इस कहानी में एक मोड़ है। शोधकर्ताओं ने एक महत्वपूर्ण प्रश्न पूछा: सिर्फ इसलिए कि AI अनुमान लगा सकता है कि अगला कौन बोलेगा, क्या इसका मतलब यह है कि वह उस व्यक्ति के बोलने के तरीके को इस तरह लिख सकता है कि वह स्वाभाविक लगे? उन्होंने AI को बातचीत के लिए नए वाक्य बनाने के लिए कहकर इसका परीक्षण किया। यहाँ, परिणाम थोड़े निराशाजनक थे। भले ही AI बातचीत के ढांचे का अनुमान लगाने में बहुत अच्छा था, लेकिन इसके द्वारा लिखे गए वाक्य मानव श्रोताओं को कठोर और रोबोटिक लगे। लोगों ने उन "वैनिला" (अछूते) AI मॉडल्स को पसंद किया, जो अधिक स्वाभाविक लगते थे, भले ही वे अगला कौन बोलेगा, यह अनुमान लगाने में खराब थे।
यह एक मजेदार विसंगति का सुझाव देता: AI ने नृत्य के कदमों (कौन कब चलता है) को पूरी तरह से सीख लिया, लेकिन उसने अभी तक संगीत (चीजों को मानवीय रूप में कैसे कहा जाए) को नहीं सीखा है। अध्ययन बताता है कि समूह की सामाजिक संरचना को समझना एक बड़ा कदम है, लेकिन इसका मतलब यह नहीं है कि AI अपने आप एक बेहतर बातचीत करने वाला बन जाएगा। यह एक रोबोट को फुटबॉल के नियम इतने अच्छे से सिखाने जैसा है कि वह जानता है कि गेंद कब पास करनी है, लेकिन जब वह वास्तव में गेंद को किक करता है, तो वह अभी भी अपने ही पैरों से लड़खड़ा जाता है। शोधकर्ता निष्कर्ष निकालते हैं कि हालांकि हम समूह की बातचीत के प्रवाह को मॉडल करने में बेहतर हो रहे हैं, लेकिन हमें अभी भी एक लंबा रास्ता तय करना है इससे पहले कि AI वास्तव में एक मानव टीम में शामिल हो सके और उनके साथ एक साथी की तरह बातचीत कर सके।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।