Social Norm Reasoning in Multimodal Language Models: An Evaluation
यह शोध पत्र टेक्स्ट और इमेज-आधारित परिदृश्यों में पांच मल्टीमॉडल लार्ज लैंग्वेज मॉडल्स (MLLMs) की नॉर्म रीजनिंग क्षमताओं का मूल्यांकन करता है, जिससे यह पता चलता है कि जहाँ GPT-4o और Qwen-2.5VL अन्य मॉडल्स की तुलना में बेहतर प्रदर्शन करते हैं और मल्टी-एजेंट सिस्टम के लिए आशाजनक संकेत दिखाते हैं, वहीं सभी मॉडल्स जटिल नियमों (norms) के साथ संघर्ष करते हैं और इमेज की तुलना में टेक्स्ट पर बेहतर प्रदर्शन करते हैं।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
कल्पना कीजिए कि आप एक रोबोट को एक अच्छा पड़ोसी बनना सिखा रहे हैं। आप केवल यह नहीं चाहते कि वह चलना या बात करना सीख जाए; आप चाहते हैं कि उसे पता हो कि दरवाज़ा कब खटखटाना है, कूड़ा कब उठाना है, और किसी बुजुर्ग व्यक्ति को अपनी सीट कब देनी है। समाज के इन अलिखित नियमों को सामाजिक मानदंड (Social Norms) कहा जाता है।
यह शोध पत्र पाँच अलग-अलग "सुपर-ब्रेन" (AI मॉडल) के लिए एक रिपोर्ट कार्ड की तरह है, यह देखने के लिए कि वे कहानियाँ पढ़कर और चित्रों को देखकर इन नियमों को सीखने में कितने अच्छे हैं।
यहाँ उनके "स्कूल के दिन" का विवरण दिया गया है:
1. परीक्षण: पढ़ना बनाम देखना
शोधकर्ताओं ने AI दिमागों को दो प्रकार का होमवर्क दिया:
- पढ़ने का परीक्षण: उन्होंने AI को सामाजिक स्थितियों का वर्णन करने वाली छोटी कहानियाँ (जैसे छोटे कॉमिक स्क्रिप्ट) दीं।
- दृश्य परीक्षण (Visual Test): उन्होंने उन्हीं कहानियों को चार-पैनल वाले कॉमिक स्ट्रिप्स में बदल दिया और AI से उन चित्रों को देखकर यह समझाने को कहा कि वहाँ क्या हो रहा है।
सवाल पेचीदा थे। उन्होंने केवल यह नहीं पूछा कि "क्या किसी ने नियम तोड़ा?" बल्कि उन्होंने गहरे सवाल पूछे जैसे:
- "क्या उस व्यक्ति की सही काम करने के लिए प्रशंसा की गई?"
- "क्या गलत काम करने के लिए उसे डांटा गया?"
- "क्या किसी को नियम तोड़ने वाले को न डांटने के लिए दोषी ठहराया गया?" (यह एक बहुत ही जटिल नियम है जिसे मेटा-नॉर्म (Meta-norm) कहा जाता है—मूल रूप से, नियमों को लागू करने का नियम)।
2. छात्र (AI मॉडल)
पाँच अलग-अलग AI "छात्रों" ने परीक्षा दी:
- GPT-4o: शीर्ष छात्र, जो अपनी बुद्धिमत्ता और बहुमुखी प्रतिभा के लिए जाना जाता है।
- Qwen-2.5VL: एक मुफ्त उपयोग वाला मॉडल जो एक बहुत ही मजबूत उप-विजेता साबित हुआ।
- Gemini 2.0 Flash: एक तेज़ मॉडल, लेकिन थोड़ा असंगत।
- Intern-VL3: एक ठोस प्रदर्शन करने वाला, लेकिन सबसे अच्छा नहीं।
- Meta LLaaMA-4 Maverick: वह छात्र जिसे सबसे अधिक संघर्ष करना पड़ा, विशेष रूपकर चित्रों के साथ।
3. परिणाम: "टेक्स्ट बनाम इमेज" का अंतर
यहाँ एक बड़ा आश्चर्य था, जैसे यह पता चलना कि एक छात्र गणित में जीनियस है लेकिन कला की कक्षा में बहुत बुरा है:
- पढ़ना आसान था: जब AI को कहानियाँ पढ़नी थीं, तो वे लगभग पूर्ण थे। GPT-4o का स्कोर 98.75% था! ऐसा लग रहा था जैसे वे एक उपन्यास पढ़ रहे हों और मानवीय व्यवहार की हर बारीकी को समझ रहे हों।
- चित्र कठिन थे: जब AI को कॉमिक स्ट्रिप्स देखनी थीं, तो उनके स्कोर गिर गए। GPT-4o ने अच्छा प्रदर्शन किया (92.5%), लेकिन अन्य अधिक संघर्ष करते दिखे। ऐसा लगता है कि AI शब्दों को समझने में तो माहिर हैं, लेकिन वे चित्रों में हो रही चीज़ों से भ्रमित हो जाते हैं। वे शायद एक सूक्ष्म चेहरे के भाव या इशारे को मिस कर देते हैं जो दृश्य का अर्थ बदल देता है।
4. पेचीदा सवाल
AI को कुछ विशिष्ट नियमों को समझने में बहुत कठिनाई हुई:
- "मेटा-नॉर्म" का जाल: सबसे कठिन सवाल "उन लोगों को दंडित करने के बारे में था जिन्होंने नियम तोड़ने वाले को दंडित नहीं किया।" कल्पना कीजिए कि एक शिक्षक एक छात्र को बुली (धौंस जमाने वाले) की रिपोर्ट न करने के लिए डांट रहा है। AI यहाँ बहुत भ्रमित हो गए। यह किसी को 'चिकन गेम' समझाने जैसा है जिसने कभी कार नहीं देखी हो; तर्क की परतें बहुत गहरी थीं।
- "प्रशंसा" की समस्या: कॉमिक स्ट्रिप्स में, AI के लिए केवल चित्र देखकर यह बताना कठिन था कि किसी की प्रशंसा की जा रही है या नहीं। वे डांट को आसानी से पहचान सकते थे (जैसे कोई गुस्से में दिख रहा हो), लेकिन एक "थम्स अप" या मुस्कान को अक्सर अनदेखा कर दिया जाता था।
5. निष्कर्ष
इसका भविष्य के लिए क्या अर्थ है?
यदि हम ऐसे रोबोट बनाना चाहते हैं जो एक कमरे में प्रवेश करें और बिना लाखों विशिष्ट नियमों के प्रोग्राम किए हुए ठीक से व्यवहार करना जान जाएँ, तो हमें इन AI दिमागों का उपयोग करना होगा।
- अच्छी खबर: ये मॉडल सामाजिक नियमों को समझने में पहले से ही बहुत अच्छे हैं जब वे उनके बारे में पढ़ते हैं। GPT-4o वर्तमान चैंपियन है, लेकिन Qwen-2.5VL एक शानदार, मुफ्त विकल्प है जिसे शोधकर्ता अभी भी उपयोग कर सकते हैं।
- बुरी खबर: वे अभी भी जटिल चित्रों को देखते समय भ्रमित हो जाते हैं, विशेष रूपकर जब नियम परतों में और जटिल होते हैं।
संक्षेप में: ये AI मॉडल उन प्रतिभाशाली छात्रों की तरह हैं जो शिष्टाचार की पाठ्यपुस्तक को पूरी तरह से पढ़ सकते हैं लेकिन वास्तविक जीवन में सामाजिक नृत्य को देखते समय लड़खड़ा सकते हैं। शोधकर्ता अब उन्हें केवल नियमों को "देखने" के बजाय "देखने" (visualize) में बेहतर बनाने में मदद कर रहे हैं, ताकि हमारे भविष्य के रोबोट वास्तव में विनम्र, सुरक्षित और सामाजिक रूप से जागरूक पड़ोसी बन सकें।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।