FriendBench: Benchmarking Dyadic Familiarity Inference in Humans and Multimodal Large Language Models
यह शोधपत्र 'फ्रेंडबेंच' (FriendBench) का परिचय देता है, जो 20 सेकंड के आइस-ब्रेकर क्लिप्स से द्विपक्षीय परिचितता (dyadic familiarity) का अनुमान लगाने के लिए एक बेंचमार्क है, जो यह प्रकट करता है कि जहाँ शीर्ष मल्टीमॉडल मॉडल मानवीय सटीकता के बराबर पहुँचते हैं, वहीं वे विभिन्न संकेतों पर निर्भर करते हैं और जोड़ों को अजनबी के रूप में वर्गीकृत करने की ओर झुकाव प्रदर्शित करते हैं, जबकि मनुष्य भाषण से परे दृश्य व्यवहार संबंधी संकेतों का अनूठे रूप से लाभ उठाते हैं।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
कल्पना कीजिए कि आप एक कमरे में प्रवेश कर रहे हैं जहाँ दो लोग आपस में बात कर रहे हैं। आप उनके नाम नहीं जानते, और आपने यह भी नहीं सुना है कि वे क्या कह रहे हैं। फिर भी, कुछ ही सेकंडों के भीतर, आप अक्सर यह बता सकते हैं कि वे आपस में हाल-चाल साझा करते हुए पक्के दोस्त हैं या दो अजनबी जो झिझक के साथ बातचीत शुरू करने की कोशिश कर रहे हैं। इस सुपरपावर को सोशल इंटेलिजेंस (सामाजिक बुद्धिमत्ता) कहा जाता है। यह केवल शब्दों को सुनने के बजाय, लोगों के हिलने-डुलने, रुकने और एक-दूसरे को देखने के तरीके से किसी स्थिति के "वाइब" (माहौल) को समझने की क्षमता है। दशकों से, वैज्ञानिक इस बात का अध्ययन कर रहे हैं कि मनुष्य यह कैसे करते हैं, लेकिन अब, हम एक बड़ा सवाल पूछ रहे हैं: क्या कंप्यूटर भी ऐसा कर सकते हैं? जैसे-जैसे हम AI साथी, मीटिंग असिस्टेंट और देखभाल करने वाले रोबोट बना रहे हैं, इन मशीनों को मानवीय रिश्तों को उतना ही अच्छी तरह समझना होगा जितना कि हम समझते हैं। लेकिन उन्हें सिखाने के लिए, हमें पहले एक निष्पक्ष परीक्षण की आवश्यकता है ताकि यह देखा जा सके कि वे वास्तव में कमरे के माहौल को "पढ़" रहे हैं या केवल अनुमान लगा रहे हैं।
यहाँ फ्रेंडबेंच (FriendBench) आता है, जो ठीक इसी को परखने के लिए डिज़ाइन किया गया एक नया प्रयोग है। शोधकर्ताओं ने एक डिजिटल "आइस-ब्रेकर" चुनौती तैयार की। उन्होंने 96 जोड़ों को लिया और उनके एक ही मज़ेदार सवाल का जवाब देते हुए 20 सेकंड के क्लिप रिकॉर्ड किए: "आप उड़ना पसंद करेंगे या अदृश्य होना?" कुछ जोड़े पहले से ही दोस्त या परिवार के थे (परिचित), जबकि अन्य पहली बार मिल रहे थे (अजनबी)। क्योंकि सभी ने एक ही सवाल का जवाब दिया था, इसलिए उनके द्वारा इस्तेमाल किए गए शब्दों से उत्तर का पता नहीं चल सकता था। एकमात्र सुराग उनके बात करने और व्यवहार करने के तरीके में थे।
शोधकर्ताओं ने फिर दो समूहों से इस रहस्य को सुलझाने के लिए कहा: स्वयंसेवकों की एक बड़ी भीड़ और सात प्रमुख तकनीकी कंपनियों के 26 अलग-अलग AI मॉडल। उन्होंने AI और मनुष्यों का तीन तरीकों से परीक्षण किया: केवल टेक्स्ट ट्रांसक्रिप्ट पढ़कर, ऑडियो सुनकर, और वीडियो देखकर।
यहाँ उन्हें क्या पता चला। सबसे पहले, टेक्स्ट-केवल संस्करण सभी के लिए एक बंद रास्ता साबित हुआ। लोगों को देखे या सुने बिना, न तो इंसान और न ही AI रैंडम अनुमान लगाने से बेहतर कुछ कर सके। यह समझ में आता है क्योंकि बातचीत के विषय को रिश्ते को छिपाने के लिए नियंत्रित किया गया था।
जब उन्होंने ध्वनि जोड़ी, तो चीजें बेहतर हुईं। मनुष्य और सर्वश्रेष्ठ AI मॉडल दोनों में सुधार हुआ, जिससे पता चला कि आवाज़ का लहजा और ठहराव वास्तविक सुराग देते हैं। लेकिन असली जादू तब हुआ जब उन्होंने वीडियो जोड़ा। जब मनुष्य लोगों के चेहरे और शारीरिक भाषा (बॉडी लैंग्वेज) को देख सकते थे, तो वे काफी अधिक समझदार हो गए। उन्होंने उन दृश्य संकेतों का उपयोग अपनी सटीकता को और बढ़ाने के लिए किया। हालाँकि, AI मॉडल एक सीमा पर आकर रुक गए। हालाँकि सर्वश्रेष्ठ AI मॉडल वीडियो क्लिप में मानव भीड़ जितनी सटीक हो गए, लेकिन वे उस स्तर तक उसी तरह नहीं पहुँचे।
AI मॉडल वास्तव में उस तरह से दोस्ती को नहीं "देख" रहे थे जैसे मनुष्य देखते हैं। इसके बजाय, वे एक पैटर्न पर निर्भर थे: वे लगभग हर समय "अजनबी" होने का अनुमान लगाते थे। चूंकि परीक्षण में दोस्तों और अजनबियों की संख्या बराबर थी, इसलिए इस पक्षपात (बायस) ने अनजाने में उनके समग्र स्कोर को ऊंचा रखा, लेकिन इसका मतलब था कि वे दोस्तों को पहचानने में विफल रहे। दूसरी ओर, मनुष्य संतुलित रहे, और उन्होंने दोस्तों और अजनबियों दोनों की सही पहचान की।
संक्षेप में, सर्वश्रेष्ठ AI मॉडल अब इस कार्य पर मानवीय सटीकता का मुकाबला कर सकते हैं, लेकिन वे इसे एक ऐसी रणनीति पर निर्भर होकर कर रहे हैं जो यह मान लेती है कि हर कोई एक अजनबी है, न कि मानवीय सामाजिक नृत्य (सोशल डांस) को वास्तव में समझकर। वे आवाज़ तो सुन लेते हैं, लेकिन वे अभी तक शारीरिक भाषा को पूरी तरह से पढ़ नहीं पा रहे हैं। यह सुझाव देता है कि भले ही AI सामाजिक कार्यों में अच्छा हो रहा है, लेकिन मानवीय रिश्तों को हमारे तरीके से वास्तव में समझने के लिए इसे अभी एक लंबा रास्ता तय करना है।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।