SIV-Bench: A Video Benchmark for Social Interaction Understanding and Reasoning
यह शोध पत्र SIV-Bench प्रस्तुत करता है, जो एक व्यापक वीडियो बेंचमार्क है जिसमें 2,792 क्लिप और 5,455 प्रश्न-उत्तर जोड़े शामिल हैं, जिसे सामाजिक संपर्क कार्यों पर मल्टीमॉडल लार्ज लैंग्वेज मॉडल्स का मूल्यांकन करने के लिए डिज़ाइन किया गया है, जो यह प्रकट करता है कि जहाँ वर्तमान मॉडल दृश्य समझ में उत्कृष्ट हैं, वहीं वे मानवीय विचार प्रक्रियाओं के साथ मिसअलाइनमेंट के कारण सामाजिक स्थिति के तर्क और गतिशीलता की भविष्यवाणी करने में संघर्ष करते हैं।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
कल्पना कीजिए कि आप एक रोबोट को एक अच्छा दोस्त बनना सिखाने की कोशिश कर रहे हैं। आप उसे एक कुत्ते की तस्वीर दिखा सकते हैं, और वह आपको बता सकता है "यह एक कुत्ता है।" आप उसे कार दुर्घटना का एक वीडियो दिखा सकते हैं, और वह कह सकता है "कार पेड़ से टकरा गई।" लेकिन क्या होगा जब आप उसे दो लोगों के बहस करने का या दोस्तों के समूह के एक चुटकुले पर हंसने का वीडियो दिखाते हैं? क्या रोबोट समझ पाएगा कि वे क्यों बहस कर रहे हैं, या वे क्या महसूस कर रहे हैं, या वे आगे क्या करेंगे?
यही वह समस्या है जिसे SIV-Bench नामक पेपर हल करने की कोशिश कर रहा है।
समस्या: रोबोट "सामाजिक रूप से अनभिज्ञ" हैं
लेखकों का तर्क है कि जबकि AI मॉडल (रोबोट और चैटबॉट्स के पीछे के "दिमाग") दुनिया को देखने और उसका वर्णन करने में बहुत अच्छे हो रहे हैं, वे मानवीय सामाजिक अंतःक्रियाओं को समझने में बहुत खराब हैं।
इसे इस तरह सोचें: एक AI जन्मदिन की पार्टी का वीडियो पूरी तरह से वर्णित कर सकता है ("वहाँ एक केक है, एक बच्चा मोमबत्तियाँ बुझा रहा है, और लोगों ने टोपियाँ पहनी हुई हैं")। लेकिन यदि आप उससे पूछें, "क्या बच्चा खुश है या शर्मिंदा है?" या "चाचा बच्चे को गुस्से वाली नज़र से क्यों देख रहे हैं?", तो AI अक्सर गलत हो जाता है। वह क्रियाओं को तो देखता है, लेकिन उनके पीछे की कहानी को नहीं समझ पाता।
समाधान: सामाजिक AI के लिए एक "ड्राइवर लाइसेंस"
इसे ठीक करने के लिए, शोधकर्ताओं ने एक नया परीक्षण बनाया जिसे SIV-Bench कहा गया है। इसे एक कठोर "ड्राइवर लाइसेंस" परीक्षा के रूप में समझें, लेकिन यह परीक्षण यह नहीं करता कि एक कार सड़क पर कैसे चलती है, बल्कि यह परीक्षण करता है कि क्या एक AI एक जटिल सामाजिक स्थिति के माध्यम से "ड्राइव" कर सकता है।
यह परीक्षण एक सरल विचार पर आधारित है: सामाजिक संबंध विभिन्न प्रकार के खेलों की तरह हैं।
- परिवार/दोस्त: आप चीजें स्वतंत्र रूप से साझा करते हैं (जैसे पिज्जा साझा करना)।
- बॉस/कर्मचारी: एक व्यक्ति आदेश देता है, दूसरा पालन करता है (जैसे कोच और खिलाड़ी)।
- अजनबी/व्यापार: आप मूल्य के आधार पर चीजों का व्यापार करते हैं (जैसे कॉफी खरीदना)।
यह परीक्षण इंटरनेट (जैसे टिकटॉक और यूट्यूब) से 2,792 वास्तविक वीडियो क्लिप्स का उपयोग करता है जिसमें 14 अलग-अलग प्रकार के संबंध (माता-पिता, जोड़े, सहकर्मी, आदि) दिखाए गए हैं। प्रत्येक वीडियो के लिए, उन्होंने 5,455 प्रश्न बनाए ताकि यह देखा जा सके कि क्या AI इस परीक्षण में पास हो सकता है।
परीक्षा के तीन स्तर
परीक्षण को तीन स्तरों में विभाजित किया गया है, जो ऊपर जाने पर कठिन होता जाता है:
स्तर 1: "आप क्या देखते हैं?" का परीक्षण (सामाजिक दृश्य समझ)
- कार्य: "आदमी ने क्या पहना है?" या "महिला अपने हाथ से क्या कर रही है?"
- परिणाम: AI इसमें काफी अच्छा है। यह एक ऐसे रोबोट की तरह है जो मेनू पढ़ सकता है। वह शब्दों और वस्तुओं को स्पष्ट रूप से देखता है।
स्तर 2: "वे क्या सोच रहे हैं?" का परीक्षण (सामाजिक अवस्था तर्क)
- कार्य: "शिक्षक छात्र को देखकर क्यों मुस्कुरा रहा है?" या "ये दो लोग दोस्त हैं या दुश्मन?"
- परिणाम: यहीं पर AI संघर्ष करता है। वह अक्सर भ्रमित हो जाता है। उदाहरण के लिए, वह एक बॉस को कर्मचारी पर चिल्लाते हुए देख सकता है और सोच सकता है कि वे केवल "सहकर्मी" हैं जो ज़ोर-ज़ोर से बात कर रहे हैं, जिससे वह शक्ति के समीकरण (power dynamic) को समझने में चूक जाता है। यह एक ऐसे रोबोट की तरह है जो तूफान को देखता है लेकिन यह नहीं समझ पाता कि लोग डरे हुए हैं।
स्तर 3: "आगे क्या होगा?" का परीक्षण (सामाजिक गतिशीलता भविष्यवाणी)
- कार्य: "यदि बॉस नहीं चिल्लाता, तो कर्मचारी क्या करता?" या "आगे क्या होगा?"
- परिणाम: यह सबसे कठिन हिस्सा है। AI को सामाजिक नियमों के आधार पर एक अलग वास्तविकता की कल्पना करनी होती है या भविष्य की भविष्यवाणी करनी होती है। वह अक्सर यहाँ विफल हो जाता है क्योंकि वह वास्तव में मानवीय नियमों को "समझता" नहीं है।
निष्कर्ष: परीक्षण ने क्या खुलासा किया
जब शोधकर्ताओं ने आज के सबसे स्मार्ट AI मॉडलों पर यह परीक्षण चलाया, तो उन्हें कुछ आश्चर्यजनक बातें पता चलीं:
- बड़े दिमाग मदद करते हैं, लेकिन सब कुछ हल नहीं करते: सबसे बड़े, सबसे शक्तिशाली AI मॉडल छोटे मॉडलों की तुलना में बेहतर प्रदर्शन करते हैं, लेकिन सबसे "स्मार्ट" वाले भी सामाजिक प्रश्नों में अक्सर विफल रहते हैं। वे उस छात्र की तरह हैं जिसने पाठ्यपुस्तक तो रट ली है लेकिन वास्तविक दुनिया में नहीं जिया है।
- "संबंध" का भ्रम: AI द्वारा की गई सबसे बड़ी गलती संबंधों को मिलाना था। वह अक्सर "बॉस और कर्मचारी" को "सहकर्मियों" के साथ, या "माता-पिता और बच्चे" को "दोस्तों" के साथ भ्रमित कर देता था। वह एक सख्त शिक्षक और एक सख्त माता-पिता के बीच अंतर नहीं कर सका।
- शब्द मायने रखते हैं: शोधकर्ताओं ने पाया कि यदि वे AI को ऑडियो (लोग क्या कह रहे हैं) या सबटाइटल देते हैं, तो वह कठिन प्रश्नों में बहुत बेहतर हो जाता है। यह एक छात्र को हिंट शीट देने जैसा है; शब्दों के बिना, AI अक्सर विजुअल शोर में खो जाता है।
- "मानवीय अंतर": सबसे अच्छे AI मॉडल भी वास्तविक मनुष्यों से बहुत पीछे थे। जब मनुष्यों ने परीक्षण दिया, तो उन्होंने लगभग 74% सही उत्तर दिए। सबसे अच्छे AI ने लगभग 62% सही उत्तर दिए। यह अंतर दिखाता है कि AI अभी भी उस महत्वपूर्ण "सामाजिक अंतर्ज्ञान" (social intuition) को मिस कर रहा है जो मनुष्यों में स्वाभाविक रूप से होता है।
निष्कर्ष
पेपर यह निष्कर्ष निकालता है कि जबकि AI दुनिया को देखने में बेहतर हो रहा है, वह अभी भी लोगों को समझने की प्रक्रिया में है। वह दृश्य का वर्णन कर सकता है, लेकिन वह अक्सर भावनात्मक और सामाजिक कहानी को चूक जाता है।
लेखकों को उम्मीद है कि इस परीक्षण (SIV-Bench) को जारी करके, अन्य वैज्ञानिक इसका उपयोग ऐसे AI बनाने के लिए करेंगे जो न केवल स्मार्ट है, बल्कि सामाजिक रूप से बुद्धिमान भी है—ऐसा AI जो वास्तव में मानवीय भावनाओं, संबंधों और व्यवहारों को समझ सके, न कि केवल सतह पर जो दिखता है उसके आधार पर अनुमान लगा सके।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।