ST-Veto: Spatio-Temporal Token Veto for Diffusion MLLMs via Taylor Prediction and Visual Grounding
यह शोध पत्र ST-Veto का प्रस्ताव करता है, जो एक प्रशिक्षण-मुक्त विधि है जो द्वितीय-क्रम टेलर भविष्यवाणी (second-order Taylor prediction) और विजुअल ग्राउंडिंग का लाभ उठाकर डिफ्यूजन मल्टीमॉडल लार्ज लैंग्वेज मॉडल्स को बेहतर बनाती है, ताकि ऑर्डर-अग्नोस्टिक जनरेशन प्रक्रिया के दौरान अस्थिर या कमजोर रूप से ग्राउंड किए गए टोकन को वीटो किया जा सके, जिससे बिना किसी अतिरिक्त प्रशिक्षण या लागत के तर्क सटीकता में उल्लेखनीय सुधार होता है।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
एक ऐसी दुनिया की कल्पना करें जहाँ कंप्यूटर केवल शब्दों को पढ़ते या चित्रों को देखते ही नहीं हैं, बल्कि वे वास्तव में यह समझ सकते हैं कि पहेलियों को सुलझाने के लिए वे एक साथ कैसे फिट होते हैं। यह "विज़न लैंग्वेज मॉडल्स" (Vision Language Models) का रोमांचक क्षेत्र है, जो एक प्रकार का आर्टिफिशियल इंटेलिजेंस है जो एक सुपर-स्मार्ट जासूस की तरह काम करता है, जो जो देखता है उसे अपने ज्ञान के साथ जोड़ता है। लंबे समय तक, ये जासूस एक व्यक्ति की तरह काम करते थे जो एक कहानी को एक बार में एक शब्द करके, शुरू से अंत तक लिखता है। इस पद्धति को "ऑटोरिग्रेसिव" (autoregressive) जनरेशन कहा जाता है, जो कदम-दर-कदम सोचने के लिए बेहतरीन है, लेकिन इसमें एक बड़ी खामी है: यदि जासूस शुरुआत में कोई गलती कर देता है, तो वे पूरी कहानी को फिर से लिखे बिना उसे आसानी से ठीक नहीं कर सकते। वे बस पहली गलती के ऊपर और गलतियाँ जोड़ते जाते हैं।
हाल ही में, वैज्ञानिकों ने इन AI जासूसों के काम करने का एक नया तरीका खोजा है, जिसे "डिफ्यूजन" (diffusion) कहा जाता है। एक कहानी को शुरू से लिखने के बजाय, कल्पना करें कि AI खाली जगहों (या "मास्क") से भरे एक पन्ने के साथ शुरू करता है और धीरे-धीरे उन्हें भरता है, बार-बार अपने अनुमानों को परिष्कृत करता है। यह एक धुंधली फोटो को देखने जैसा है जो धीरे-धीरे स्पष्ट होती जाती है। यह नई विधि तेज़ है और AI को एक ही समय में पूरी तस्वीर देखने और चलते हुए गलतियों को सुधारने की अनुमति देती है। लेकिन यहाँ एक पेंच है: जबकि यह नई विधि गति के मामले में बहुत अच्छी है, यह कभी-कभी इस बात को लेकर भ्रमित हो जाती है कि क्या पहले भरा जाए। यह एक ऐसा शब्द चुन सकती है जो सुनने में तो सही लगे लेकिन वास्तव में चित्र से मेल न खाता हो, या यह एक ऐसे अनुमान पर अटक सकती है जो हर सेकंड अपना मन बदलता रहता है। बड़ा सवाल यह था कि हम इस नए प्रकार के AI को बिना धीमा किए या उसे नए करतब सिखाए, स्पष्ट रूप से सोचने और सच्चाई पर टिके रहने में कैसे मदद कर सकते हैं?
यहाँ आता है ST-Veto, एक चतुर नई रणनीति जिसे शोधकर्ताओं ने इन "डिफ्यूजन" AI मॉडल्स को बेहतर ढंग से सोचने में मदद करने के लिए प्रस्तावित किया है। AI की प्रक्रिया को दोस्तों के एक समूह के रूप में सोचें जो रात के खाने के लिए ऑर्डर देने का निर्णय ले रहे हैं। पुराने तरीके में, वे एक व्यंजन चुनते, उसे तय करते और अगले की ओर बढ़ जाते। नई डिफ्यूजन विधि में, वे सभी एक साथ विचार चिल्लाते हैं, और फिर धीरे-धीरे सबसे अच्छे विचारों पर सहमत होते हैं। समस्या यह है कि कभी-कभी एक दोस्त "पिज्जा!" चिल्लाता है क्योंकि यह सुनने में मजेदार लगता है, लेकिन फिर एक सेकंड बाद वह अपना मन बदलकर "सलाद" कर लेता है, या शायद उसे "पिज्जा" शब्द बहुत पसंद है लेकिन मेनू पर दिख रही तस्वीर स्पष्ट रूप से एक बर्गर की है।
ST-Veto एक बुद्धिमान रेफरी की तरह काम करता है जो पूरे समूह को देखता है। यह तय करने के लिए कि कौन से विचार सुरक्षित रखने योग्य हैं और किन्हें बाहर फेंक देना चाहिए, यह दो विशेष उपकरणों का उपयोग करता है। सबसे पहले, यह स्थिरता (stability) की जाँच करता है। यह पूछता है, "क्या यह विचार अभी-अभी आया है, या यह सुसंगत रहा है?" यदि कोई शब्द बार-बार अपना मन बदल रहा है (जैसे एक दोस्त जो पहले "पिज्जा" कहता है, फिर "टाकोस", और फिर वापस "पिज्जा" कहता है), तो रेफरी एक गणितीय ट्रिक जिसका नाम "टेलर प्रेडिक्शन" (Taylor prediction) है, का उपयोग उस अस्थिरता को पहचानने के लिए करता है और कहता है, "नहीं, यह बहुत डगमगा रहा है, चलो कोई दूसरा विकल्प आजमाते हैं।" दूसरा, यह विजुअल ग्राउंडिंग (visual grounding) की जाँच करता है। यह चित्र को देखता है और पूछता है, "क्या यह शब्द वास्तव में जो हम देख रहे हैं उससे मेल खाता है?" यदि AI "कांटा" (fork) कहना चाहता है लेकिन चित्र स्पष्ट रूप से एक "चाकू" (knife) दिखा रहा है, तो रेफरी "अटेंशन" (attention) का उपयोग यह देखने के लिए करता है कि क्या AI वास्तव में चाकू की ओर देख रहा है, और वह "कांटा" शब्द को वीटो कर देता है।
पेपर दिखाता है कि इस "वीटो-एंड-स्वैप" (Veto-and-Swap) पद्धति का उपयोग करके, AI अपने डगमगाते या बेमेल अनुमानों को सुरक्षित और अधिक सटीक विकल्पों के साथ बदल सकता है, और इसके लिए किसी अतिरिक्त प्रशिक्षण या प्रक्रिया को धीमा करने की आवश्यकता नहीं है। जब शोधकर्ताओं ने कठिन तर्क पहेलियों पर परीक्षण किया जिसमें चित्र और पाठ दोनों शामिल थे, तो ST-Veto ने AI को पहले की तुलना में 9% अधिक सही परिणाम प्राप्त करने में मदद की। यह AI को चश्मा देने जैसा है जो उसे यह देखने में मदद करता है कि कौन से विचार ठोस हैं और कौन से केवल दिवास्वप्न हैं, जिससे विज्ञान की समस्याओं को हल करने या जटिल दृश्यों का वर्णन करने में भी स्मार्ट उत्तर मिलते हैं। सबसे अच्छी बात यह है कि यह एक मुफ्त अपग्रेड है जो अभी काम करता है, जो इन शक्तिशाली नए AI मॉडल्स को उनके निर्माण के तरीके को बदले बिना बहुत अधिक विश्वसनीय बनाता है।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।