PatchGate: Narrowing the Verbalization Gap with Intrinsic Object Inventories in Frozen Vision-Language Models
पैचगेट (PatchGate) एक प्रशिक्षण-मुक्त ढांचा है जो डिकोडर परतों से आंतरिक, प्रॉम्प्ट-मुक्त पैच-स्तरीय वस्तु साक्ष्य निकालकर और डिकोडिंग लॉजिट्स को कैलिब्रेट करने के लिए उनका उपयोग करके, बिना किसी बाहरी डिटेक्टर या फाइन-ट्यूनिंग के, दृश्य वस्तुओं के कवरेज में सुधार करते हुए और मतिभ्रम (hallucinations) को कम करते हुए फ्रोजन विजन-लैंग्वेज मॉडल्स में वर्बलाइजेशन गैप को कम करता है।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
आर्टिफिशियल इंटेलिजेंस के तेजी से विकसित होते क्षेत्र में, विजन-लैंग्वेज मॉडल्स (दृष्टि-भाषा मॉडल) नामक एक विशिष्ट वर्ग उभरा है जो कंप्यूटर क्या देखते हैं और वे कैसे बोलते हैं, के बीच एक सेतु का काम करता है। इन मॉडल्स को बड़ी मात्रा में छवियों और टेक्स्ट पर प्रशिक्षित किया जाता है, जिससे वे एक तस्वीर को देखकर उसका विवरण दे सकते हैं, उसकी सामग्री के बारे में प्रश्नों के उत्तर दे सकते हैं, या किसी दृश्य की व्याख्या कर सकते हैं। इन उपकरणों को वास्तविक दुनिया में वास्तव में उपयोगी बनाने के लिए, उनके विवरण सटीक और पूर्ण होने चाहिए। उन्हें ऐसी वस्तुएं नहीं बनानी चाहिए जो वहां मौजूद नहीं हैं, जिसे 'हैलुसिनेशन' (भ्रम) नामक गलती कहा जाता है, और न ही उन्हें उन चीजों को अनदेखा करना चाहिए जो स्पष्ट रूप से दिखाई दे रही हैं, जिसे 'ओमिशन' (चूक) नामक विफलता कहा जाता है। हाल तक, इन त्रुटियों को ठीक करने के लिए अक्सर विशाल मॉडल्स को शुरू से फिर से प्रशिक्षित करने या अतिरिक्त, विशेष सॉफ्टवेयर जोड़ने की आवश्यकता होती थी जो दूसरी जोड़ी आंखों के रूप में कार्य करे। यह दृष्टिकोण गणनात्मक रूप से महंगा और धीमा था, जिससे इन प्रणालियों को बेहतर बनाने या तैनात करने की गति सीमित हो जाती थी।
सियोल नेशनल यूनिवर्सिटी और अन्य संस्थानों के शोधकर्ताओं की एक टीम ने 'पैचगेट' (PatchGate) नामक एक नई विधि पेश की है जो बिना मॉडल के मूल प्रशिक्षण को बदले या बाहरी उपकरण जोड़े, इन विश्वसनीयता संबंधी मुद्दों का समाधान करती है। मॉडल को नए तथ्य सिखाने के बजाय, शोधकर्ताओं ने यह खोजा कि मॉडल के बोलने से पहले उसके अपने आंतरिक विचारों को कैसे सुना जाए। उन्होंने पाया कि मॉडल द्वारा कैप्शन का एक भी शब्द उत्पन्न करने से पहले ही, इसकी आंतरिक परतें (layers) छवि में मौजूद वस्तुओं की एक विस्तृत, मौन सूची रखती हैं। इस छिपे हुए साक्ष्य को पढ़कर और पीढ़ी प्रक्रिया के दौरान मॉडल के विकल्पों को धीरे से निर्देशित करने के लिए इसका उपयोग करके, वे इस प्रणाली को देखने के मामले में अधिक ईमानदार और रिपोर्ट करने में अधिक संपूर्ण बनाने में सक्षम रहे।
इस खोज का मुख्य आधार इन मॉडल्स द्वारा सूचना को संसाधित करने के तरीके को समझना है। जब एक विजन-लैंग्वेज मॉडल किसी छवि को देखता है, तो वह चित्र को 'पैच' नामक छोटे ग्रिड जैसे खंडों में विभाजित करता है। जैसे ही मॉडल इन पैच को अपने कृत्रिम न्यूरॉन्स की गहरी परतों के माध्यम से संसाधित करता है, वह लंबे समय पहले कि वह वाक्य लिखने के लिए प्रतिबद्ध होता है, वस्तुओं की उपस्थिति का बोध बनाना शुरू कर देता है। शोधकर्ताओं ने महसूस किया कि इस आंतरिक अवस्था में वस्तुओं की एक "प्रॉम्प्ट-फ्री" सूची होती है—जिसका अर्थ है कि मॉडल ने मानव द्वारा दृश्य को वर्णित करने के लिए कहने से पहले ही, केवल दृश्य डेटा के आधार पर ट्रेन, झंडा या व्यक्ति जैसी चीजों की पहचान कर ली है। हालांकि, जब मॉडल अंततः बोलना शुरू करता है, तो वह कभी-कभी इन आंतरिक संकेतों को अनदेखा कर देता है, जिससे विवरण छूट जाते हैं, या वह आत्मविश्वास से ऐसी वस्तुओं का आविष्कार कर देता है जिनका कोई दृश्य समर्थन नहीं होता।
इसे ठीक करने के लिए, शोधकर्ताओं ने एक दो-चरणीय ढांचा विकसित किया है जो मॉडल के आउटपुट के लिए एक वास्तविक समय के संपादक (real-time editor) के रूप में कार्य करता है। सबसे पहले, उन्होंने 'विजुअल एविडेंस एक्सट्रैक्शन' (दृश्य साक्ष्य निष्कर्षण) नामक एक प्रक्रिया बनाई। इस चरण में मॉडल की बाद की प्रसंस्करण परतों में झाँककर विशिष्ट वस्तुओं के लिए सबसे मजबूत संकेतों को पढ़ा जाता है। यह इस बात की एक संक्षिप्त सूची बनाता है कि छवि में वास्तव में क्या शामिल है, और प्रत्येक संभावित वस्तु को उसके दृश्य डेटा द्वारा कितने मजबूती से समर्थित है, इसके आधार पर एक विश्वास स्कोर (confidence score) प्रदान करता है। यह बिना किसी टेक्स्ट प्रॉम्प्ट या बाहरी डिटेक्टर के होता है; मॉडल बस अपने स्वयं के आंतरिक मानचित्र को पढ़ रहा होता है। यदि मॉडल ट्रेन पर एक झंडा देखता है, तो यह चरण उस साक्ष्य को उच्च विश्वास के साथ दर्ज करता है। यदि मॉडल कोई ट्रक नहीं देखता है, तो ट्रक के लिए साक्ष्य कमजोर या अस्तित्वहीन रहता है।
दूसरा चरण, जिसे 'विजुअल-एविडेंस इनक्लूजन-एक्सक्लूजन डिकोडिंग' कहा जाता है, मॉडल के लेखन को निर्देशित करने के लिए इस आंतरिक संक्षिप्त सूची का उपयोग करता है। जैसे ही मॉडल तय करता है कि अगला शब्द कौन सा उत्पन्न करना है, यह प्रणाली आंतरिक साक्ष्य की जांच करती है। यदि मॉडल ऐसी वस्तु का उल्लेख करने वाला है जिसके लिए मजबूत दृश्य समर्थन है लेकिन जिसका अभी तक उल्लेख नहीं किया गया है—जैसे कि दिखाई देने वाला आकाश जिसे मॉडल बार-बार छोड़ रहा है—तो यह प्रणाली उस शब्द को एक हल्का बढ़ावा (boost) देती है, जिससे उसके चुने जाने की संभावना बढ़ जाती है। इसके विपरीत, यदि मॉडल कुछ ऐसा कहने वाला है जिसका कोई दृश्य समर्थन नहीं है, जैसे कि एक काल्पनिक ट्रक जो वहां नहीं है, तो यह प्रणाली एक दंड (penalty) लागू करती है, जिससे उस शब्द के आने की संभावना कम हो जाती है। यह प्रक्रिया एक साथ होती है, जो उन चीजों को भी ठीक करती है जिन्हें मॉडल छोड़ देता है और उन चीजों को भी जो वह बनाता है, यह सब छवि के एक ही पास (pass) के भीतर होता है।
इस विधि को लागू करने के परिणाम महत्वपूर्ण थे। इमेज कैपशनिंग के लिए एक मानक बेंचमार्क पर परीक्षण करते समय, इस प्रणाली ने दृश्य वस्तुओं के कवरेज में 13.4 प्रतिशत का सुधार किया, जिसका अर्थ है कि इसने वास्तव में तस्वीरों में मौजूद चीजों का बहुत अधिक सफलतापूर्वक उल्लेख किया। साथ ही, इसने काल्पनिक वस्तुओं की दर को 12 प्रतिशत कम कर दिया, जिससे विवरण अधिक विश्वसनीय बन गए। महत्वपूर्ण रूप से, ये सुधार बिना मॉडल को पुन: प्रशिक्षित किए, बिना किसी बाहरी ऑब्जेक्ट-डिटेक्शन सॉफ्टवेयर को जोड़े, और गणना के समय में बहुत मामूली वृद्धि के साथ प्राप्त किए गए। यह विधि मॉडल के अपने 'लेटेंट नॉलेज' (सुप्त ज्ञान) का लाभ उठाकर काम करती है, जो यह सिद्ध करती है कि विश्वसनीयता की समस्याओं के उत्तर अक्सर सिस्टम के भीतर ही मौजूद होते हैं, जो केवल सही ढंग से एक्सेस और उपयोग किए जाने की प्रतीक्षा कर रहे होते हैं।
यह दृष्टिकोण इस प्रचलित विचार को चुनौती देता है कि हैलुसिनेशन को ठीक करने के लिए अधिक जटिल सिस्टम बनाने या बाहरी सत्यापनकर्ताओं को जोड़ने की आवश्यकता है। इसके बजाय, यह सुझाव देता है कि मॉडल को वास्तविकता के साथ जोड़ने का सबसे प्रभावी तरीका उसके अंतिम शब्दों को उस साक्ष्य के साथ संरेखित करना है जो उसने आंतरिक रूप से पहले ही एकत्र कर लिया है। मॉडल की आंतरिक अवस्था को एक 'ब्लैक बॉक्स' के रूप में नहीं, बल्कि सत्यापन योग्य डेटा के एक स्रोत के रूप में मानकर, शोधकर्ताओं ने प्रदर्शित किया कि एक स्थिर (frozen), पूर्व-प्रशिक्षित मॉडल को सावधानीपूर्वक, प्रशिक्षण-मुक्त हस्तक्षेप के माध्यम से काफी अधिक विश्वसनीय बनाया जा सकता है। ये निष्कर्ष आर्टिफिशियल इंटेलिजेंस को न केवल प्रवाहपूर्ण, बल्कि दृश्य जगत के प्रति वफादार बनाने के लिए एक व्यावहारिक मार्ग प्रदान करते हैं।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।