Reading Between the Frames: Interpreting Implicit and Non-literal Meaning in Social Media Videos
यह शोध पत्र DrivelHub+ प्रस्तुत करता है, जो 1,000 एनोटेटेड (annotated) सोशल मीडिया वीडियो का एक बेंचमार्क है जिसे वीडियो-लैंग्वेज मॉडल्स की सतही दृश्य विवरणों से परे निहित, गैर-शाब्दिक और सांस्कृतिक रूप से प्रासंगिक अर्थों को समझने की क्षमता का मूल्यांकन करने के लिए डिज़ाइन किया गया है।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
कल्पना कीजिए कि आप एक विशाल, शोर-शराबे वाले पुस्तकालय में टहल रहे हैं जहाँ किताबें वास्तव में छोटी वीडियो क्लिप्स हैं। इस पुस्तकालय में, एक वीडियो किसी व्यक्ति को बस कागज का एक टुकड़ा फाड़ते हुए दिखा सकता है। एक बुनियादी रोबोट लाइब्रेरियन आसानी से दृश्य का वर्णन कर सकता है: "एक व्यक्ति कागज फाड़ रहा है।" लेकिन एक मानव पाठक उसी वीडियो को देखकर हंस सकता है, यह महसूस करते हुए कि कागज को एक विशिष्ट पैटर्न में फाड़ा जा रहा है जो गुप्त रूप से एक प्रसिद्ध ऐतिहासिक व्यक्ति का मजाक उड़ा रहा है। आप क्या देखते हैं और आपका मतलब क्या है के बीच का यह अंतर ही मल्टीमॉडल एआई (Multimodal AI) नामक क्षेत्र का मूल है। "मल्टीमॉडल" का सीधा सा अर्थ है कि कंप्यूटर एक साथ कई इंद्रियों—दृष्टि, ध्वनि और पाठ—को समझने की कोशिश कर रहा है, न कि केवल शब्दों को पढ़ने या केवल चित्रों को देखने की। बड़ा सवाल जो शोधकर्ता पूछ रहे हैं वह यह है: क्या ये स्मार्ट कंप्यूटर साधारण वर्णन करने से आगे बढ़कर वास्तविक व्याख्याकार बन सकते हैं? क्या वे चुटकुले समझ सकते हैं, कटाक्ष पकड़ सकते हैं, या छिपे हुए सांस्कृतिक संदर्भ को समझ सकते हैं, या वे केवल सतह का वर्णन करने तक ही सीमित हैं?
यह ठीक वही पहेली है जिसे "रीडिंग बिटवीन द फ्रेम्स" (Reading Between the Frames) नामक एक नए शोध पत्र में सुलझाने का प्रयास किया गया है। लेखक एक नई चुनौती पेश करते हैं जिसे ड्रिवेलहब+ (DrivelHub+) कहा जाता है, जो वीडियो एआई के लिए एक उच्च-दांव वाले परीक्षण की तरह है। उन्होंने टिकटॉक और इंस्टाग्राम जैसे सोशल मीडिया प्लेटफॉर्म से 1,000 लघु, वास्तविक दुनिया के वीडियो एकत्र किए। ये केवल यादृच्छिक क्लिप नहीं हैं; ये "ड्रिवेलोलॉजिकल" (drivelological) वीडियो हैं। "ड्रिवेल" (drivel) को ऐसे निरर्थक अर्थ में समझें जिसका वास्तव में नीचे एक गुप्त, चतुर अर्थ छिपा हो। एक वीडियो पहली नज़र में मूर्खतापूर्ण या भ्रमित करने वाला लग सकता है, लेकिन वह वास्तव में एक स्तरित चुटकुला, व्यंग्य का एक अंश, या एक तीखी सामाजिक टिप्पणी हो सकता है जो अर्थपूर्ण होने के लिए दृश्य संकेतों, समय (timing) और सांस्कृतिक ज्ञान के मिश्रण पर निर्भर करता है।
शोधकर्ताओं ने यह देखने के लिए एक दो-चरणीय खेल तैयार किया कि क्या वर्तमान एआई मॉडल इसे पास कर सकते हैं। पहले, उन्होंने एआई को सरल अंग्रेजी में वीडियो को व्याख्या करने के लिए कहा। क्या कंप्यूटर कह सकता था, "ओह, यह सिर्फ कागज फाड़ते हुए एक आदमी नहीं है; यह प्राचीन दंडों के बारे में एक काला मजाक है"? दूसरा, उन्होंने एक रिट्रीवल (retrieval) खेल खेला। उन्होंने एआई को एक वीडियो दिया और विकल्पों की एक सूची में से सही छिपे हुए अर्थ को खोजने के लिए कहा, या इसके विपरीत। वे देखना चाहते थे कि क्या एआई का आंतरिक "मस्तिष्क" वास्तव में उस मूर्खतापूर्ण वीडियो और उसके गहरे अर्थ के बीच के संबंध को समझता है, या वह केवल सतही समानताओं के आधार पर अनुमान लगा रहा है।
परिणाम थोड़े वास्तविकता का अहसास कराने वाले थे। शोध पत्र बताता है कि जबकि आज के सबसे उन्नत वीडियो एआई मॉडल स्क्रीन पर क्या हो रहा है इसका वर्णन करने में बेहतर हो रहे हैं, वे "क्यों" के साथ संघर्ष करते हैं। वे अक्सर पंचलाइन (punchline) को चूक जाते हैं। उदाहरण के लिए, जब किसी कलाकार को कैनवास को वर्टिकल से हॉरिजॉन्टल में बदलते हुए दिखाया जाता है ताकि मॉडल के बहुत चौड़ा होने के बारे में मजाक किया जा सके, तो एक शीर्ष-स्तरीय एआई कलाकार के गुस्से का सही वर्णन तो कर सकता है लेकिन कैनवास के आकार के बारे में दृश्य रूपक (visual pun) को पूरी तरह से समझने में विफल हो सकता है। अध्ययन बताता है कि ये मॉडल वस्तुओं और क्रियाओं को पहचानने में तो बेहतरीन हैं, लेकिन वे निहित, गैर-शाब्दिक अर्थ को समझने के लिए "फ्रेमों के बीच पढ़ने" में अभी भी बहुत खराब हैं। यहाँ तक कि वे मॉडल भी जो उत्तर देने से पहले "सोच" सकते हैं, कभी-कभी विशिष्ट दृश्य संकेतों को सांस्कृतिक चुटकुले से जोड़ने में विफल रहते हैं।
संक्षेप में, यह शोध पत्र तर्क देता है कि हम अभी भी ऐसे एआई से बहुत दूर हैं जो वास्तव में सोशल मीडिया के हास्य और व्यंग्य को "समझ" सके। मॉडल आपको बता सकते हैं कि क्या दिखाया गया है, लेकिन वे अक्सर यह अनुमान लगाने में विफल रहते हैं कि क्या अर्थ है। लेखक निष्कर्ष निकालते हैं कि इस अंतर को पाटने के लिए केवल बेहतर दृष्टि से अधिक की आवश्यकता है; इसके लिए इस बात की गहरी समझ की आवश्यकता है कि कैसे विभिन्न संकेत—जैसे कि आवाज का लहजा, वीडियो में एक विशिष्ट कट, या एक सांस्कृतिक संदर्भ—मिलकर उस अर्थ का निर्माण करते हैं जो स्पष्ट रूप से नहीं बताया गया है। तब तक, एआई चुटकुले का वर्णन तो कर सकता है, लेकिन संभावना है कि वह खुद हंसने वालों में से नहीं होगा।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।