Learning to Detect Cross-Modal Negation: An Analysis of Latent Representations and an Attention-Based Solution
यह शोध पत्र मानक विजन-लैंग्वेज मॉडल लेटेंट स्पेस में क्रॉस-मोडल नेगेशन डिटेक्शन की गैर-पृथक्करणीयता (non-separability) को उजागर करते हुए और महत्वपूर्ण प्रदर्शन लाभ प्राप्त करने के लिए भाषाई संदर्भ और स्व-पर्यवेक्षित वीडियो प्रतिनिधित्व का लाभ उठाने वाले एक नवीन क्रॉस-मोडल अटेंशन आर्किटेक्चर का प्रस्ताव देते हुए, क्रॉस-मोडल नेगेशन डिटेक्शन की चुनौती को संबोधित करता है।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
चित्रों और शब्दों की दुनिया में "नॉट" (Not) का रहस्य
कल्पना कीजिए कि आप एक रोबोट को दुनिया को समझना सिखाने की कोशिश कर रहे हैं। आप उसे एक धूप वाले समुद्र तट की तस्वीर दिखाते हैं और कहते हैं, "यह एक धूप वाला समुद्र तट है।" आसान है, है ना? रोबot पिक्सेल को देखता है, उन्हें अपने डेटाबेस से मिलाता है, और कहता है, "समझ गया।" लेकिन क्या होता है जब आप कहते हैं, "यह धूप वाला समुद्र तट नहीं है"? अचानक, रोबोट भ्रमित हो जाता है। वह सूरज, रेत और पानी को देखता है, लेकिन आपके शब्द उसे उन सबको अनदेखा करने के लिए कह रहे हैं। यह निषेध (negation) का पेचीदा मामला है—कुछ ऐसा कहने की क्रिया जो यह बताती है कि कोई चीज़ अनुपस्थित, असत्य, या जो दिख रही है उसके विपरीत है।
आर्टिफिशियल इंटेलिजेंस की दुनिया में, विज़न-लैंग्वेज मॉडल्स (VLMs) नामक विशेष सिस्टम होते हैं। उन्हें ऐसे सुपर-स्मार्ट छात्रों के रूप में सोचें जिन्होंने इंटरनेट पर मौजूद हर किताब पढ़ी है और हर फोटो देखी है। वे जो देखते हैं उसका वर्णन करने में बहुत अच्छे हैं, लेकिन वे "शून्य" या "कुछ नहीं" की अवधारणा के साथ संघर्ष करते हैं। यदि कोई राजनेता टैक्स कटौती दिखाने वाले चार्ट के सामने खड़ा होकर कहता है, "मैं टैक्स कटौती नहीं करने जा रहा हूँ," तो एक इंसान तुरंत विरोधाभास को समझ जाता है। हालाँकि, रोबोट शायद सिर्फ चार्ट और राजनेता को देखेगा और "नॉट" (not) को पूरी तरह से मिस कर देगा। मशीनों को यह सीखने में कैसे मदद मिले कि वे विभिन्न प्रकार के मीडिया—जैसे शब्दों को वीडियो के साथ मिलाकर—में इन "नॉट्स" को कैसे पहचान सकती हैं, यह आज वैज्ञानिकों के लिए एक बहुत बड़ी पहेली है। यदि हम मशीनों को यह नहीं सिखा सकते कि जो गायब है या जिसे नकारा गया है उसे कैसे समझा जाए, तो वे मानवीय बातचीत के सबसे महत्वपूर्ण हिस्सों को हमेशा गलत समझेंगे, खासकर राजनीति जैसे गंभीर स्थानों में।
जासूसी कहानी: अदृश्य "नॉट" की तलाश
इस शोध पत्र में, फ्रैंकफर्ट की गोएथे यूनिवर्सिटी के शोधकर्ताओं की एक टीम ने इस रहस्य को सुलझाने के लिए जासूस बनने का फैसला किया। वे जानना चाहते थे: क्या वर्तमान AI सिस्टम वास्तव में अपने मस्तिष्क में निषेध (negation) को "देख" सकते हैं, या यह केवल एक भूत है जो उनके डेटा में मौजूद ही नहीं है?
यह पता लगाने के लिए, उन्होंने 3,222 राजनीतिक वीडियो क्लिप्स और उनके साथ जुड़े टेक्स्ट का एक विशाल संग्रह इकट्ठा किया। उन्होंने एक सुपर-स्मार्ट AI (जिसे Qwen2.5-VL कहा जाता है) का उपयोग एक डिजिटल एनोटेटर के रूप में किया, जिसने यह लेबल किया कि लोग कहाँ "ना", "अस्वीकार", या "विरोध" कह रहे हैं। फिर, उन्होंने यह देखने के लिए परीक्षणों की एक श्रृंखला चलाई कि क्या AI के आंतरिक "मस्तिष्क मानचित्र" (जिन्हें लेटेंट रिप्रेजेंटेशन कहा जाता है) "निषेध" (negation) को "पुष्टि" (affirmation) से अलग कर सकते हैं।
बड़ी हैरानी: मशीन में छिपा भूत
शोधकर्ता उम्मीद कर रहे थे कि उन्हें AI के दिमाग में "निषेध" के लिए एक स्पष्ट, विशिष्ट क्षेत्र मिलेगा, ठीक वैसे ही जैसे उसके पास "बिल्लियों" या "कारों" के लिए एक स्पष्ट क्षेत्र होता है। वे गलत थे। जब उन्होंने डेटा देखा, तो उन्होंने पाया कि निषेध AI के मन में कोई स्पष्ट आकार या क्लस्टर नहीं बनाता है। यह इंद्रधनुष में एक विशिष्ट रंग को खोजने की कोशिश करने जैसा है जो वास्तव में एक अलग बैंड के रूप में मौजूद नहीं है; यह बस बाकी सब चीजों के साथ मिला हुआ है।
उन्होंने "निषेध" वाले वीडियो को "गैर-निषेध" वाले वीडियो से अलग करने के लिए मानक गणितीय उपकरणों का उपयोग किया। परिणाम निराशाजनक थे: AI का प्रदर्शन एक रैंडम अनुमान (जैसे सिक्का उछालना) से बेहतर नहीं था। यहाँ तक कि जब उन्होंने क्रियाओं को समझने के लिए डिज़ाइन किए गए फैंसी नए वीडियो मॉडल (जिन्हें JEPA कहा जाता है) का उपयोग किया, तब भी "निषेध" का संकेत अदृश्य ही रहा। शोधकर्ताओं ने निष्कर्ष निकाला कि वर्तमान AI सिस्टम स्वाभाविक रूप से "नॉट" को एक स्वतंत्र विशेषता के रूप में एनकोड नहीं करते हैं। "नॉट" वह चीज़ नहीं है जिसे AI देखता है; यह एक संबंध है जो केवल तभी अस्तित्व में आता है जब आप चित्र और शब्दों को एक साथ देखते हैं।
समाधान: जादुई पुल
यदि AI खुद "नॉट" को नहीं ढूंढ सकता, तो हम इसे कैसे ठीक करें? टीम ने एक नए प्रकार का "पुल" बनाया जिसे क्रॉस-मोडल अटेंशन आर्किटेक्चर कहा जाता है। कल्पना कीजिए कि दो दोस्त एक पहेली सुलझाने की कोशिश कर रहे हैं। एक दोस्त के पास केवल चित्र है, और दूसरे के पास केवल शब्द हैं। यदि वे अकेले काम करते हैं, तो वे असफल हो जाते हैं। लेकिन यदि वे एक मेज पर बैठते हैं और लगातार एक-दूसरे के संकेतों की ओर इशारा करते हैं, यह कहते हुए, "हे, उस चित्र के उस हिस्से को देखते समय इस शब्द को देखो," तो वे पहेली सुलझा सकते हैं।
यह नया सिस्टम AI को एक ही समय में टेक्स्ट और वीडियो की तुलना करने के लिए मजबूर करता है। वीडियो और टेक्स्ट को अलग-अलग देखने के बजाय, AI यह पूछना सीखता है, "क्या यह शब्द इस छवि के अर्थ को बदल देता है?" इस पुल का निर्माण करके, शोधकर्ताओं ने एक भारी सुधार देखा। उनके नए मॉडल ने एक मानक परीक्षण (F1 स्कोर) पर केवल टेक्स्ट या केवल वीडियो देखने वाले मॉडलों की तुलना में 7.03% अधिक स्कोर किया। इसने साबित कर दिया कि "नॉट" को समझने के लिए, आपको इंद्रियों को मिलाना होगा।
असममितता: किसे किसकी ज़रूरत है?
सबसे दिलचस्प खोजों में से एक निषेध के काम करने के तरीके में एक अजीब असंतुलन था। शोधकर्ताओं ने पाया कि शाब्दिक निषेध (शब्दों में "ना" कहना) अक्सर अपने आप में पूर्ण होता है। यदि कोई लिखता है "मैं खुश नहीं हूँ," तो शब्द पूरा अर्थ रखते हैं, भले ही चित्र असंबंधित हो।
हालाँकि, दृश्य निषेध (वीडियो में "ना" दिखाना) पूरी तरह से निर्भर है। एक खाली कमरे का वीडियो अपने आप में "पार्टी नहीं है" का अर्थ नहीं देता। इसका मतलब "पार्टी नहीं है" तभी होता है जब टेक्स्ट या संदर्भ आपको पार्टी की तलाश करने के लिए कहता है। शोधकर्ताओं ने पाया कि दृश्य निषेध, टेक्स्ट पर सिमेंटिक रूप से निर्भर (semantically dependent) है। उनके डेटा में, दृश्य निषेध उन मामलों में पूरी तरह से अनुपस्थित था जहाँ टेक्स्ट और वीडियो असंबंधित थे या जब वीडियो बिना टेक्स्ट सहायता के अकेला खड़ा था। शब्दों के मार्गदर्शन के बिना, वीडियो केवल एक खाली कमरे की तस्वीर है। AI ने सीखा कि दृश्य "ना" को समझने के लिए, उसे पहले टेक्स्ट को सुनना ही होगा।
मानव बनाम मशीन परीक्षण
अपने काम की दोबारा जांच करने के लिए, शोधकर्ताओं ने एक बहुत ही स्मार्ट AI (उसी Qwen मॉडल) को एक जज के रूप में कार्य करने और वीडियो को लेबल करने के लिए कहा। फिर उन्होंने AI के लेबल की तुलना मानव विशेषज्ञों से की।
- जब AI ने केवल टेक्स्ट को देखा, तो वह निषेध को पहचानने में काफी अच्छा था, और मनुष्यों के साथ लगभग 53% बार सहमत हुआ।
- लेकिन जब AI ने टेक्स्ट और वीडियो दोनों को देखा, तो उसका प्रदर्शन वास्तव में गिर गया, और वह मनुषians के साथ 20% से भी कम बार सहमत हुआ।
यह एक महत्वपूर्ण सुराग था। इससे पता चला कि वीडियो जोड़ने से AI को बेहतर समझने में मदद नहीं मिली; वास्तव में, विजुअल शोर (visual noise) ने उसे भ्रमित कर दिया। इसने पुष्टि की कि वर्तमान AI मॉडल इन इंद्रियों को अपने आप मिलाने के लिए तैयार नहीं हैं। उन्हें इस मिश्रण को समझने के लिए एक विशेष आर्किटेक्चर (जैसे कि उन्होंने बनाया हुआ पुल) की आवश्यकता है।
भविष्य के लिए इसका क्या अर्थ है
यह शोध पत्र यह दावा नहीं करता कि उसने निषेध की समस्या को हमेशा के लिए हल कर दिया है। इसके बजाय, यह एक बहुत ही स्पष्ट निदान प्रदान करता है: आप कंप्यूटर को केवल अधिक चित्र या अधिक शब्द दिखाकर "नॉट" को समझना नहीं सिखा सकते। निषेध की अवधारणा मानक AI दिमागों के लिए पकड़ में आने के लिए बहुत फिसलन भरी है।
मुख्य बात यह है कि निषेध एक क्रॉस-मोडल घटना (cross-modal phenomenon) है। यह टेक्स्ट और इमेज के बीच के स्थान में रहती है, न कि उनमें से किसी एक के अंदर। ऐसा AI बनाने के लिए जो वास्तव में मानवीय संचार को समझ सके—विशेष रूप से राजनीति जैसे जटिल क्षेत्रों में जहाँ लोग एक बात कहते हैं और दूसरी चीज़ दिखाते हैं—हमें ऐसे सिस्टम की आवश्यकता है जिन्हें विभिन्न प्रकार की जानकारी की लगातार तुलना और विषमता करने के लिए डिज़ाइन किया गया हो। शोधकर्ताओं ने दिखाया कि ध्यान (attention) के इस "पुल" का निर्माण करके, हम अंततः मशीनों को सन्नाटे को सुनने और अनुपस्थिति को देखने का तरीका सिखाना शुरू कर सकते हैं।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।