CaRGo-T: Causal Reasoning Graph-of-Thought improves Multimodal Humor Comprehension
यह शोध पत्र CaRGo-T पेश करता है, जो एक कॉज़ल रीजनिंग ग्राफ-ऑफ-थॉट फ्रेमवर्क है जो जटिल इकाई और प्रासंगिक संबंधों को एक हल्के, कोड-आधारित ग्राफ संरचना के रूप में प्रदर्शित करके मल्टीमॉडल ह्यूमर कॉम्प्रिहेन्शन और डिटेक्शन को बढ़ाता है, जो विविध डेटासेट्स पर मौजूदा बेसलाइन्स की तुलना में महत्वपूर्ण प्रदर्शन सुधार प्रदर्शित करता है।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
हास्य सबसे मानवीय चीजों में से एक है, फिर भी यह मशीनों के लिए समझने में सबसे कठिन चीजों में से एक बना हुआ है। जब कोई व्यक्ति किसी चुटकुले या मज़ेदार तस्वीर पर हंसता है, तो वे केवल शब्दों या छवियों को प्रोसेस नहीं कर रहे होते हैं; वे सामाजिक संकेतों, सांस्कृतिक मानदंडों और अप्रत्याशित संबंधों के एक जटिल जाल को नेविगेट कर रहे होते हैं। एक कंप्यूटर आसानी से पहचान सकता है कि एक तस्वीर में एक व्यक्ति ऊंची हील पहने हुए है, लेकिन वह अक्सर यह समझने में संघर्ष करता है कि वह विशिष्ट छवि मज़ेदार क्यों हो सकती है। वहां तक पहुँचने के लिए, मशीन को घटनाओं की सूक्ष्म श्रृंखला को समझना होगा: व्यक्ति फैशन के लिए जूते पहनता है, लेकिन जूते शारीरिक दर्द का कारण बनते हैं, जो इरादे और वास्तविकता के बीच एक टकराव पैदा करता है। इस प्रकार के तर्क के लिए केवल वस्तुओं को पहचानने से अधिक की आवश्यकता होती; इसके लिए कारण और प्रभाव की समझ, इस बात की समझ कि कैसे एक क्रिया दूसरी क्रिया की ओर ले जाती है, और कैसे वे लिंक एक आश्चर्यजनक या विडंबनापूर्ण परिणाम बना सकते हैं, की आवश्यकता होती है।
वर्षों तक, वैज्ञानिकों ने बड़े कंप्यूटर सिस्टम, जिन्हें विजन-लैंग्वेज मॉडल कहा जाता है, को इन कार्यों को संभालने के लिए सिखाने की कोशिश की है। ये सिस्टम इस तरह डिज़ाइन किए गए हैं कि वे एक साथ एक छवि को देख सकें और टेक्स्ट पढ़ सकें, प्रश्नों के उत्तर दे सकें या जो वे देखते हैं उसका वर्णन कर सकें। हालांकि वे कई कामों में अविश्वसनीय रूप से अच्छे हो गए हैं, लेकिन वे व्यंग्य (satire), कटाक्ष (sarcasm) या मीम्स (memes) का सामना करने पर अक्सर लड़खड़ा जाते हैं। वे अक्सर मुद्दा चूक जाते हैं क्योंकि वे छवि और टेक्स्ट को तथ्यों की एक साधारण सूची के रूप में देखते हैं न कि छिपे हुए तर्क वाली एक कहानी के रूप में। वे जूतों और पैरों का वर्णन तो कर सकते हैं, लेकिन वे उस बेचैनी को देखने में विफल रहते हैं जो उस दृश्य को हास्यपूर्ण बनाती है। शोधकर्ताओं ने कंप्यूटर को उत्तर देने से पहले "ज़ोर से सोचने" (think out loud) के लिए कहकर इसे ठीक करने की कोशिश की, एक ऐसी विधि जहाँ मशीन अपने चरणों को लिखती है। हालाँकि, इन प्रयासों के परिणामस्वरूप अक्सर अस्पष्ट या दोहराव वाले स्पष्टीकरण मिलते हैं जो वास्तव में उस जटिल संबंधों को नहीं पकड़ पाते जिन्हें समझने के लिए चुटकुले की आवश्यकता होती है।
शोधकर्ताओं के एक दल ने अब इन मशीनों को हंसी के पीछे के तर्क को देखने में मदद करने के लिए एक अलग तरीका प्रस्तावित किया है। उन्होंने एक नई विधि पेश की जिसे CARGO-T कहा जाता है, जिसका अर्थ है 'कॉज़ल रीजनिंग ग्राफ-ऑफ-थॉट' (Causal Reasoning Graph-of-Thought)। कंप्यूटर को प्राकृतिक भाषा में अपने विचार समझाने के लिए एक पैराग्राफ लिखने के बजाय, शोधकर्ताओं ने उसे कारण और प्रभाव का एक संरचित मानचित्र बनाने के लिए कहा। उन्होंने कंप्यूटर को दृश्य को एक सरल, कोड जैसी स्क्रिप्ट में अनुवाद करने का निर्देश दिया जो वस्तुओं, लोगों और घटनाओं को स्पष्ट रूप से जोड़ती है। इस स्क्रिप्ट में, कंप्यूटर केवल यह नहीं कहता कि "एक व्यक्ति जूते पहने हुए है"; यह एक पंक्ति लिखता है कि "जूते पहनना बेचैनी का कारण बनता है।" फिर यह इस बेचैनी को फैशन दिखने के लक्ष्य से जोड़ता है, जिससे तर्क की एक स्पष्ट श्रृंखला बनती है जो स्पष्ट रूप से दिखाती है कि हास्य कहाँ निहित है। यह दृष्टिकोण मॉडल को तत्वों के बीच विशिष्ट संबंधों को व्यवस्थित करने के लिए मजबूर करता है, जिससे "मज़ेदार" की एक अस्पष्ट भावना को घटनाओं के एक ठोस क्रम में बदल दिया जाता है।
यह परीक्षण करने के लिए कि क्या यह विधि काम करती है, शोधकर्ताओं ने इसे हास्यपूर्ण छवियों और टेक्स्ट के चार अलग-अलग संग्रहों पर आजमाया। इन डेटासेट्स में व्यंग्यात्मक चित्र, इंटरनेट मीम्स और कटाक्षपूर्ण कैप्शन के साथ जुड़ी छवियां शामिल थीं। उन्होंने अपनी नई विधि की तुलना कंप्यूटर को तर्क देने के मानक तरीकों के विरुद्ध की, जैसे कि "ज़ोर से सोचने" की तकनीक जहाँ मशीन एक पैराग्राफ लिखती है, या अन्य विधियाँ जो छवि का सारांश देने का प्रयास करती हैं। परिणामों ने एक स्पष्ट सुधार दिखाया। जब इस नई विधि का उपयोग किया गया, तो कंप्यूटर की यह समझने की क्षमता कि कुछ मज़ेदार क्यों था, पुराने तरीकों की तुलना में एक से बीस प्रतिशत तक बढ़ गई। उन कार्यों में जहाँ कंप्यूटर को केवल यह तय करना था कि कोई छवि मज़ेदार है या नहीं, सटीकता में एक से तीन प्रतिशत का सुधार हुआ। ये संख्याएँ छोटी लग सकती हैं, लेकिन आर्टिफिशियल इंटेलिजेंस की दुनिया में, जहाँ सिस्टम पहले से ही कई चीजों में बहुत अच्छे हैं, जटिल मानवीय अवधारणाओं को समझने में एक छोटा सा लाभ भी महत्वपूर्ण है।
शोधकर्ताओं ने इस प्रक्रिया के दौरान कंप्यूटर द्वारा वास्तव में क्या लिखा जा रहा था, इस पर भी बारीकी से नज़र डाली। उन्होंने पाया कि उनकी विधि द्वारा उत्पन्न कोड-जैसे तर्क मानचित्रों में अन्य विधियों द्वारा लिखे गए पैराग्राफों की तुलना में अधिक अद्वितीय और उपयोगी जानकारी थी। जब उन्होंने यह जांचा कि तर्क के चरण वास्तव में सही उत्तर तक कितनी अच्छी तरह ले जा सकते हैं, तो नई विधि का स्कोर अधिक रहा। यह सुझाव देता है कि कंप्यूटर को कारण-प्रभाव संबंधों को एक संरचित तरीके से मैप करने के लिए मजबूर करके, वह पहेली को हल करने के लिए आवश्यक विशिष्ट तर्क तक पहुँचने में सक्षम था। अध्ययन इंगित करता है कि समस्या केवल यह नहीं थी कि कंप्यूटर को अधिक डेटा की आवश्यकता थी, बल्कि उसे पहले से मौजूद जानकारी को व्यवस्थित करने के एक बेहतर तरीके की आवश्यकता थी। हास्य को स्थिर तथ्यों के संग्रह के बजाय जुड़ी हुई घटनाओं की एक श्रृंखला के रूप में मानकर, सिस्टम अंततः दुनिया को उस तरह देखना शुरू कर सका जैसे एक इंसान देखता है, यानी उन सूक्ष्म विसंगतियों को पहचानना जो हमें हंसाते हैं।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।