Mitigating Visual Degradation in MLLMs via Spatial-Spectral Visual Anchor Learning
यह शोध पत्र स्पैटियल-स्पेक्ट्रल विजुअल एंकर लर्निंग (SSVAL) का प्रस्ताव करता है, जो एक ऐसी विधि है जो मल्टीमॉडल लार्ज लैंग्वेज मॉडल्स के इन्फरेंस के दौरान रिप्रेजेंटेशन डेविएशन और विजुअल डिग्रेडेशन को कम करने के लिए विजुअल एंकर प्रॉम्प्ट इंजेक्शन और सहायक स्पैटियल-फ्रीक्वेंसी अलाइनमेंट लॉस का उपयोग करती है।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
एक ऐसी दुनिया की कल्पना करें जहाँ कंप्यूटर एक ही समय में "देख" और "बोल" सकते हैं। यह मल्टीमॉडल लार्ज लैंग्वेज मॉडल्स (MLLMs) का क्षेत्र है, जो एक प्रकार की कृत्रिम बुद्धिमत्ता (AI) है जो छवियों को समझने की क्षमता को मानव भाषा बोलने की क्षमता के साथ जोड़ती है। इसे एक रोबोट को एक बिखरे हुए कमरे की तस्वीर देखना सिखाने जैसा समझें और फिर वह बिल्कुल सटीक वर्णन कर सके कि क्या हो रहा है, या "सोफे के नीचे कितनी बिल्लियाँ छिपी हैं?" जैसे प्रश्नों के उत्तर दे सके। ऐसा करने के लिए, कंप्यूटर एक "विज़न एनकोडर" (उसकी आँखें) का उपयोग करता है ताकि वह छवि को देख सके और एक "लार्ज लैंग्वेज मॉडल" (उसका मस्तिष्क) का उपयोग जानकारी को प्रोसेस करने और बोलने के लिए करता है। चुनौती यह है कि ये दोनों हिस्से स्वाभाविक रूप से एक ही भाषा नहीं बोलते, इसलिए वैज्ञानिक इस अंतर को पाटने के लिए एक विशेष अनुवादक (ट्रांसलेटर) का उपयोग करते हैं। हालाँकि ये AI सिस्टम अविश्वसनीय रूप से स्मार्ट हो गए हैं, फिर भी वे एक पेचीदा समस्या से जूझते हैं: जैसे-जैसे कंप्यूटर किसी छवि के बारे में गहराई से सोचता है, ऐसा लगता है कि वह विवरणों को भूल जाता है, ठीक वैसे ही जैसे आप किसी कहानी के धागे को खो सकते हैं यदि आप बिना किसी नोटबुक के उसे बहुत लंबे समय तक याद रखने की कोशिश करते हैं।
यह शोध पत्र AI विज़न में "भूलने" की इसी विशिष्ट समस्या पर प्रहार करता है। शोधकर्ताओं ने पाया कि भले ही इन मॉडल्स के पास अपनी "आँखों" में एक स्पष्ट तस्वीर होती है, लेकिन जैसे-जैसे जानकारी AI के मस्तिष्क की कई परतों के माध्यम से यात्रा करती है, वह धुंधली और विकृत होती जाती है। उन्होंने एक सामान्य विचार का परीक्षण किया: क्या होगा यदि हम AI को सोचने के दौरान एक आदर्श संदर्भ फोटो (एक शक्तिशाली बाहरी विज़न मॉडल से) को देखते रहने के लिए मजबूर करें? आश्चर्यजनक रूप से, उन्होंने पाया कि यह काम नहीं आया; संदर्भ फोटो सामने होने के बावजूद भी AI भ्रमित हो गया और विवरण खो बैठा। इसके बजाय, उन्होंने एक नई विधि प्रस्तावित की जिसे "स्पेशियल-स्पेक्ट्रल विज़ुअल एंकर लर्निंग" (SSVAL) कहा जाता है। इसे AI को "विज़ुअल एंकर प्रॉम्प्ट्स" (जादुई, चिपचिपे नोट्स) का एक सेट देने के रूप में समझें जिन्हें वह प्रशिक्षण के दौरान लिखना सीखता है। ये नोट्स संदर्भ फोटो से सटीक विवरणों को सोख लेते हैं और फिर एक स्थिर मार्गदर्शक, या "एंकर" के रूप में कार्य करते हैं, जो AI का ध्यान स्थिर रखता है, जिससे सूचना को भटकने से रोका जा सके।
कियानलोंग यांग और उनकी टीम के नेतृत्व में शोधकर्ताओं ने पाया कि यह "चिपचिपे नोट" वाला दृष्टिकोण पिछले तरीकों की तुलना में काफी बेहतर काम करता है। उन्होंने अपने सिस्टम का परीक्षण कई चुनौतीपूर्ण बेंचमार्क पर किया, जो AI विज़न के लिए मानकीकृत परीक्षणों की तरह हैं। उदाहरण के लिए, 7-बिलियन पैरामीटर वाले लैंग्वेज मॉडल के साथ एक विशिष्ट सेटअप का उपयोग करते समय, उनकी विधि ने एक सूक्ष्म दृश्य परीक्षण (CV-Bench2D) पर स्कोर 58.97% से बढ़ाकर 65.44% कर दिया। स्थानिक तर्क (MMVP) की जाँच के लिए डिज़ाइन किए गए एक अन्य परीक्षण पर, स्कोर 33.47% से बढ़कर 41.33% हो गया। पेपर सुझाव देता है कि इन एंकर के रूप में सीखे गए प्रॉम्प्ट्स का उपयोग करके, और कुछ अतिरिक्त प्रशिक्षण जांचों के साथ जो छवि को विभिन्न "कोणों" (स्थानिक) और "आवृत्तियों" (जैसे कि एक चिकनी पेंटिंग और एक ऊबड़-खाबड़ स्केच के बीच का अंतर) से देखती हैं, AI अपनी दृश्य स्मृति को अंत तक तेज रखता है।
यहाँ मुख्य खोज यह है कि केवल AI को एक बेहतर चित्र दिखाना पर्याप्त नहीं है; इसे एक स्थिर आंतरिक संदर्भ बिंदु की आवश्यकता है जिसे वह अपनी सोच की हर प्रक्रिया के दौरान अपने साथ लेकर चले। टीम ने दिखाया कि उनका तरीका, SSVAL, न केवल AI को विवरणों को बेहतर ढंग से याद रखने में मदद करता है, बल्कि यह भी करता है कि वह बिना कंप्यूटर को बहुत धीमा या भारी बनाए। वास्तव में, सोचने के चरण के दौरान सिस्टम में जोड़ा गया अतिरिक्त "वजन" बहुत कम है—केवल लगभग 1.55% अधिक पैरामीटर्स और गणना शक्ति में नगण्य वृद्धि। इसका मतलब है कि AI बिना किसी बड़े मस्तिष्क या तेज़ प्रोसेसर के जो वह देखता है उसके बारे में स्मार्ट हो सकता है। परिणाम बताते हैं कि यह दृष्टिकोण प्रभावी रूप से दृश्य जानकारी के क्षरण को रोकता है, जिससे AI वस्तुओं के स्थान और गिनती के बारे में जटिल प्रश्नों के उत्तर पहले की तुलना में बहुत अधिक सटीकता के साथ दे पाता है।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।