What "Not" to Detect: Negation-Aware VLMs via Structured Reasoning and Token Merging
यह शोध पत्र CoVAND प्रस्तुत करता है, जो उच्च गुणवत्ता वाले निषेध (negation) डेटा को उत्पन्न करने के लिए एक डेटासेट पाइपलाइन है, और NegToMe, जो एक हल्का टोकन मर्जिंग मॉड्यूल है जो निषेध संकेतों को संरचनात्मक रूप से संरक्षित करता है ताकि सकारात्मक पूर्वाग्रह (affirmative bias) को प्रभावी ढंग से कम किया जा सके और विजन-लैंग्वेज मॉडल्स में निषेध-जागरूक प्रदर्शन में महत्वपूर्ण सुधार किया जा सके।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
कल्पना कीजिए कि आपके पास एक बहुत ही बुद्धिमान, सुपर-फास्ट रोबोट सहायक है जिसका नाम VisionBot है। VisionBot तस्वीरों को देखने और उनमें क्या है यह बताने में अद्भुत है। यदि आप इसे कुत्ते की फोटो दिखाते हैं, तो यह कहता है, "कुत्ता!" यदि आप इसे बिल्ली दिखाते हैं, तो यह कहता है, "बिल्ली!"
लेकिन VisionBot में एक गंभीर व्यक्तित्व दोष है: यह अत्यधिक आशावादी है।
समस्या: "हाँ-में-हाँ मिलाने वाला" रोबोट
यदि आप VisionBot से पूछते हैं, "क्या इस तस्वीर में एक कुत्ता है?" तो वह एक ढूंढ लेता है।
लेकिन यदि आप पूछते हैं, "क्या यहाँ एक कुत्ता है जिसने टोपी नहीं पहनी है?" और तस्वीर में मौजूद कुत्ता टोपी पहने हुए है, तो VisionBot भ्रमित हो जाता है। क्योंकि वह "कुत्ता" खोजने के लिए इतना उत्सुक है, वह "टोपी नहीं पहनी है" वाले हिस्से को अनदेखा कर देता है। वह बस कुत्ते को देखता है और कहता है, "हाँ, मुझे कुत्ता मिल गया!"
इसे Affirmative Bias (सकारात्मक पूर्वाग्रह) कहा जाता है। रोबोट उन चीजों को देखने का इतना आदी है जो वहां हैं, कि वह उन चीजों को समझने के तरीके को भूल जाता जो वहां नहीं हैं। वास्तविक जीवन में, यह खतरनाक है। कल्पना कीजिए कि एक डॉक्टर रोबोट से पूछता है, "क्या कोई ट्यूमर है जो घातक (malignant) नहीं है?" यदि रोबोट "नहीं" वाले हिस्से को अनदेखा कर देता है, तो वह डॉक्टर को बता सकता है कि ट्यूमर खतरनाक है जबकि वास्तव में वह सुरक्षित है।
इस टूटे हुए रोबोट को ठीक करने के लिए शोधकर्ताओं की एक टीम ने दो मुख्य तरीकों से निर्णय लिया: उसे एक नई भाषा सिखाकर और उसे चश्मे की एक नई जोड़ी देकर।
समाधान 1: "सख्त शिक्षक" (COVAND डेटासेट)
उपमा: कल्पना कीजिए कि आप एक बच्चे को पढ़ना सिखा रहे हैं। आप उसे केवल उन किताबों के साथ दिखाते हैं जिनमें सुखद वाक्य होते हैं जैसे "बिल्ली चटाई पर है।" बच्चा "बिल्ली" और "चटाई" को पहचानना तो सीख जाता है, लेकिन वह कभी नहीं सीख पाता कि "कोई बिल्ली नहीं" का क्या अर्थ है।
शोधकर्ताओं ने महसूस किया कि रोबोट का प्रशिक्षण डेटा (वे किताबें जो उसने पढ़ी थीं) सकारात्मक वाक्यों से भरा हुआ था और नकारात्मक वाक्यों से लगभग खाली था। इसे ठीक करने के लिए, उन्होंने एक नया, विशेष पुस्तकालय बनाया जिसे COVAND कहा गया।
- उन्होंने इसे कैसे बनाया: उन्होंने केवल रैंडम वाक्य नहीं लिखे। उन्होंने एक "Chain-of-Thought" (विचारों की श्रृंखला) पद्धति का उपयोग किया, जो कि रोबोट से बोलने से पहले कदम-दर-कदम सोचने के लिए पूछने जैसा है।
- देखना: "इस बॉक्स में क्या है? एक नीला हेलमेट पहने हुए लड़का।"
- आविष्कार करना: "ठीक है, चलिए एक वाक्य बनाते हैं कि उसके पास क्या नहीं है। 'एक लड़का जिसके पास लाल हेलमेट नहीं है।'"
- सत्यापन करना: "रुको, क्या यह वाक्य वास्तव में तस्वीर से मेल खाता है? हाँ, क्योंकि उसके पास नीला हेलमेट है, लाल नहीं।"
- परिणाम: उन्होंने हजारों ऐसे "चालाकी भरे" उदाहरण बनाए जहाँ रोबोट को "के साथ" और "के बिना" के बीच अंतर सीखना होता है। यह रोबोट को उसके "निषेध (negation) की मांसपेशियों" के लिए एक विशेष जिम वर्कआउट देने जैसा है।
समाधान 2: "ग्लू गन" (NEGTOME मॉड्यूल)
उपमा: कल्पना कीजिए कि रोबोट शब्दों को मशीन गन की तरह पढ़ता है: नहीं... लेटा... हुआ... बिस्तर... पर।
क्योंकि शब्द अलग-अलग हैं, रोबोट "लेटा" और "बिस्तर" पर ध्यान केंद्रित कर सकता है और "नहीं" को भूल सकता है। यह एक साइन बोर्ड पढ़ने जैसा है जिस पर लिखा है "प्रवेश निषेध" (Do Not Enter), लेकिन आपका दिमाग केवल "प्रवेश" (Enter) को रजिस्टर करता है क्योंकि वह सबसे बड़ा शब्द है।
शोधकर्ताओं ने महसूस किया कि रोबोट वाक्यांशों को बहुत आसानी से तोड़ रहा है। इसलिए, उन्होंने NEGTOME (Negation Token Merging) नामक एक मॉड्यूल का आविष्कार किया।
- यह कैसे काम करता है: NEGTOME को सुपर-ग्लू के रूप में सोचें। जब रोबोट "नहीं" और "लेटा" शब्दों को देखता है, तो NEGTOME उन्हें एक एकल, अटूट ब्लॉक में चिपका देता है: [नहीं-लेटा]।
- बढ़ावा: उन्होंने उन्हें केवल चिपकाया ही नहीं; उन्होंने उस चिपके हुए ब्लॉक पर एक नियॉन साइन भी लगा दिया। उन्होंने रोबട്ട് को बताया, "हे, यह [नहीं-लेटा] ब्लॉक बहुत महत्वपूर्ण है! इस पर अतिरिक्त ध्यान दें!"
- परिणाम: अब, जब रोबोट "नहीं लेटा" देखता है, तो वह दो अलग-अलग शब्द नहीं देखता। वह एक एकल अवधारणा देखता है जिसका अर्थ "लेटा हुआ" का विपरीत है। वह गलती से "नहीं" को अनदेखा नहीं कर सकता क्योंकि "नहीं" उस शब्द से भौतिक रूप से चिपका हुआ है जिसे वह बदल रहा है।
गुप्त नुस्खा: "फाइन-ट्यूनिंग" (LoRA)
आप सोच सकते हैं, "ठीक है, लेकिन क्या हमें पूरे रोबोट को फिर से बनाना होगा?"
नहीं। शोधकर्ताओं ने LoRA (Low-Rank Adaptation) नामक एक चतुर तकनीक का उपयोग किया।
उपमा: कल्पना कीजिए कि रोबोट लाखों किताबों के साथ एक विशाल, महंगी लाइब्रेरी है। आपको कुछ गलतियों को सुधारने के लिए पूरी लाइब्रेरी को फिर से लिखने की आवश्यकता नहीं है। आपको बस उन विशिष्ट पृष्ठों पर एक छोटा, स्टिकी नोट लगाना है जिन्हें बदलने की आवश्यकता है।
उन्होंने इन "स्टिकी नोट्स" (छोटे अपडेट) को केवल रोबोट के मस्तिष्क के सबसे गहरे, सोचने वाले हिस्सों में जोड़ा। इसने रोबोट के कुल मस्तिष्क के 0.1% से भी कम हिस्से को बदला, लेकिन इसने एक बड़ा अंतर पैदा किया।
परिणाम: एक स्मार्ट रोबोट
इस प्रशिक्षण के बाद, रोबोट "ना" कहने में बहुत बेहतर हो गया।
- पहले: यदि आप उसे "बिना स्केटबोर्ड वाले व्यक्ति" की तस्वीर दिखाते, तो वह स्केटबोर्ड वाले व्यक्ति की ओर इशारा करता और कहता, "हाँ!" (False Positive)।
- बाद में: वह तस्वीर को देखता है, स्केटबोर्ड देखता है, महसूस करता है कि प्रॉम्प्ट में "बिना" कहा गया था, और कहता है, "नहीं, वह सही व्यक्ति नहीं है।"
उन्होंने कठिन पहेलियों पर इसका परीक्षण किया जहाँ रोबोट को उन चीजों को खोजना था जो वहां नहीं थीं।
- स्कोर: उनकी पद्धति ने रोबोट की सटीकता को बहुत अधिक मात्रा में (एक कठिन परीक्षण पर 10.8 अंक तक) सुधारा।
- बोनस: यह केवल प्रशिक्षण चित्रों पर ही नहीं काम किया। यह नई, अनदेखी तस्वीरों और यहाँ तक कि मेडिकल एक्स-रे (जहाँ "कोई ट्यूमर नहीं" और "ट्यूमर" के बीच अंतर बताना जीवन-मरण का प्रश्न है) पर भी काम कर गया।
सारांश
यह पेपर AI को "NOT" (नहीं) शब्द को समझना सिखाने के बारे में है।
- समस्या: AI बहुत सकारात्मक है और "नहीं" को अनदेखा कर देता है।
- समाधान:
- नया डेटा: स्मार्ट तर्क का उपयोग करके "नहीं" वाले उदाहरणों से भरा एक विशेष डेटासेट (COVAND) बनाया।
- नई तकनीक: एक "ग्लू" (NEGTOME) बनाया जो "नहीं" को उन शब्दों से चिपका देता है जिन्हें वह बदलता है ताकि AI उसे अनदेखा न कर सके।
- दक्षता: यह सब उन्होंने पूरे AI को फिर से बनाने के बजाय छोटे, सस्ते अपडेट (LoRA) के साथ किया।
परिणामस्वरूप, एक ऐसा VisionBot मिला जो अंततः एक "खुश कुत्ते" और एक "नहीं खुश कुत्ते" के बीच अंतर कर सकता है, जिससे यह वास्तविक दुनिया के उपयोग के लिए बहुत सुरक्षित और विश्वसनीय बन जाता है।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।