VideoNorms: Benchmarking Cultural Awareness of Video Language Models
यह शोधपत्र VideoNorms को प्रस्तुत करता है, जो मानव-AI सहयोग के माध्यम से अमेरिकी और चीनी टीवी शो से प्राप्त 3,000 से अधिक सांस्कृतिक मानदंड एनोटेशन का एक डेटासेट है, जो यह प्रकट करता है कि वर्तमान VideoLLMs चीनी सांस्कृतिक संदर्भों और गैर-मौखिक साक्ष्यों के साथ अधिक संघर्ष करते हैं, जो सांस्कृतिक रूप से आधारित प्रशिक्षण और मूल्यांकन की आवश्यकता को रेखांकित करता है।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
कल्पना कीजिए कि आप एक रोबोट को मानवीय व्यवहार समझना सिखा रहे हैं। आप उसे दो लोगों के मिलने का एक वीडियो दिखाते हैं और उससे पूछते हैं, "क्या वे विनम्रता दिखा रहे हैं?" आर्टिफिशियल इंटेलिजेंस की दुनिया में, यह एक बहुत बड़ी चुनौती है। हमने "वीडियो लार्ज लैंग्वेज मॉडल्स" (VideoLLMs) बनाए हैं—सुपर-स्मार्ट कंप्यूटर जो वीडियो देख सकते हैं और जो वे देखते हैं उसके बारे में बात कर सकते हैं। लेकिन इनमें से अधिकांश रोबोटों को दुनिया के केवल एक विशिष्ट कोने के डेटा पर प्रशिक्षित किया गया है, जो मुख्य रूप से संयुक्त राज्य अमेरिका है। वे एक बिल्ली या कार को पहचानने में माहिर हैं, लेकिन वे अक्सर समाज के अदृश्य नियमों के मामले में लड़खड़ा जाते हैं: वे अलिखित स्क्रिप्ट जिनका हम हाथ मिलाने, माफी मांगने या अलविदा कहने के दौरान पालन करते हैं। ठीक वैसे ही जैसे एक पर्यटक जिसे यह नहीं पता होता कि कुछ देशों में बाएं हाथ से इशारा करना असभ्य है, वैसे ही ये AI मॉडल किसी व्यवहार को सामान्य मान सकते हैं जब वास्तव में दूसरे संस्कृति में वह एक बड़ी सामाजिक चूक हो सकती है। यह शोध एक महत्वपूर्ण प्रश्न पूछता है: क्या ये वीडियो देखने वाले रोबोट विभिन्न समाजों के सांस्कृतिक "वाइब" (vibe) को समझ सकते हैं, या वे केवल वही अनुमान लगा रहे हैं जो उन्होंने अमेरिकी फिल्मों में देखा है?
इसका उत्तर देने के लिए, शोधकर्ताओं की एक टीम ने VIDEONORMS नामक एक नया परीक्षण बनाया। इस डेटासेट को एक विशाल, वैश्विक "अंतर पहचानें" (spot the difference) खेल के रूप में सोचें, लेकिन छिपी हुई वस्तुओं को खोजने के बजाय, AI को यह पहचानना होता है कि लोग सामाजिक नियमों का पालन कर रहे हैं या उन्हें तोड़ रहे हैं। शोधकर्ताओं ने केवल AI से अनुमान लगाने के लिए नहीं कहा; उन्होंने एक "मानव-AI टीम" बनाई। सबसे पहले, एक सुपर-शक्तिशाली AI (जिसे Gemini कहा जाता है) ने अमेरिका और चीन के लोकप्रिय टीवी शो के हजारों 15-सेकंड के क्लिप देखे और जो उसे लगा कि सामाजिक नियम क्या थे, उसे लिखा। फिर, वास्तविक मानव विशेषज्ञों ने—वे लोग जो उन विशिष्ट संस्कृतियों में पले-बढ़े थे—संपादक के रूप में कार्य करने के लिए कदम बढ़ाया। उन्होंने AI के काम की जांच की, गलतियों को सुधारा और शरीर की भाषा (body language) और लहजे (tone) के बारे में विवरण जोड़े जिन्हें रोबोट शायद मिस कर गया होगा। इस प्रक्रिया के परिणामस्वरूप 3,000 से अधिक मानव-सत्यापित निर्णयों की एक विशाल लाइब्रेरी तैयार हुई कि टीवी शो के पात्र विनम्र थे या अशिष्ट।
जब शोधकर्ताओं ने इस नए डेटासेट पर सात अलग-अलग ओपन-सोर्स वीडियो AI मॉडल का परीक्षण किया, तो उन्हें रोबोट की सांस्कृतिक बुद्धिमत्ता में कुछ आश्चर्यजनक कमियां मिलीं। पहला, मॉडल चीनी मानदंडों की तुलना में अमेरिकी सामाजिक मानदंडों को समझने में बहुत बेहतर थे। यह ऐसा है जैसे रोबोट ने अमेरिकी संस्कृति की परीक्षा के लिए कड़ी मेहनत की हो लेकिन चीन के लिए अपनी किताबें मुश्किल से ही खोली हों। विशेष रूप से, मॉडल यह अनुमान लगाने में संघर्ष करते थे कि चीनी पात्र नियम का पालन कर रहा था, और अक्सर इस बात को लेकर भ्रमित हो जाते थे कि उस संदर्भ में "विनम्रता" कैसी दिखती है। दूसरा, यदि संकेत गैर-मौखिक (non-verbal) था, तो रोबोट यह समझाने में बहुत कठिनाई महसूस करते थे कि कोई चीज़ अशिष्ट या विनम्र क्यों थी। यदि किसी पात्र ने अपने हाथ बांध लिए या नजरें चुराईं, तो AI अक्सर उस संकेत को पकड़ने में विफल रहा, जबकि वह "सॉरी" या "थैंक यू" जैसे मौखिक संकेतों को पकड़ने में बहुत बेहतर था।
अध्ययन ने यह भी परीक्षण किया कि क्या केवल AI को "बड़ा" या अधिक स्मार्ट बनाने से इन समस्याओं को ठीक किया जा सकता है। उन्होंने बड़े मॉडल का उपयोग किया और उन्हें अधिक वीडियो फ्रेम खिलाए, लेकिन परिणामों में बहुत सुधार नहीं हुआ। यह सुझाव देता है कि समस्या केवल इस बारे में नहीं है कि रोबोट ने कितना डेटा याद किया है; बल्कि यह इस बारे में है कि उसके पास किस प्रकार का डेटा है। शोधकर्ताओं ने यह भी सिद्ध किया कि आप दृश्य को समझने के लिए केवल स्क्रिप्ट (बोले गए शब्द) को पढ़कर संतुष्ट नहीं हो सकते; आपको वास्तव में वीडियो देखना होगा। सांस्कृतिक संदर्भ को सही ढंग से समझने के लिए दृश्य संकेत (visual cues) आवश्यक हैं।
संक्षेप में, यह शोध प्रकट करता है कि हालांकि हमारे वीडियो देखने वाले AI दुनिया को देखने में बेहतर हो रहे हैं, लेकिन उन्हें विभिन्न संस्कृतियों में मनुष्यों के व्यवहार के विविध तरीकों को वास्तव में समझने के लिए अभी एक लंबा रास्ता तय करना है। रोबोट वर्तमान में उन पर्यटकों की तरह हैं जो शब्दकोश तो जानते हैं लेकिन स्थानीय रीति-रिवाजों को नहीं सीखे हैं, और उन्हें बड़ा बनाना ही उन्हें सड़क के नियमों को नहीं सिखाएगा। वास्तव में सांस्कृतिक रूप से जागरूक AI बनाने के लिए, हमें उन्हें मानव कहानियों की एक बहुत व्यापक विविधता पर प्रशिक्षित करने की आवश्यकता है, न कि केवल हॉलीवुड की कहानियों पर।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।