Clustering and Token Denoising for Faster and More Robust VLMs
यह शोध पत्र ClustRS प्रस्तुत करता है, जो एक प्रशिक्षण-मुक्त (training-free) एल्गोरिदम है जो अटेंशन-वेटेड क्लस्टरिंग और रेसिडुअल श्रिंकेज डिनोइजिंग को संयोजित करता है, जो विजुअल टोकन को 97% तक काफी कम कर देता है और साथ ही इमेज नॉइज़ के प्रति मजबूती को बढ़ाता है तथा ScienceQA-IMG और MM-VET जैसे VLM बेंचमार्क पर प्रदर्शन को बनाए रखता है या सुधारता है।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
एक ऐसे कंप्यूटर की कल्पना करें जो एक तस्वीर देख सकता है और फिर उसके बारे में सवालों के जवाब दे सकता है, किसी दृश्य का वर्णन कर सकता है, या जो वह देखता है उसके आधार पर कोई पहेली हल कर सकता है। यह आधुनिक विजुअल-लैंग्वेज मॉडल्स (दृश्य-भाषा मॉडलों) का वादा है, जो एक प्रकार का आर्टिफिशियल इंटेलिजेंस है जो छवियों को समझने की क्षमता को मानव जैसा टेक्स्ट उत्पन्न करने की क्षमता के साथ जोड़ता है। इन प्रणालियों के काम करने के लिए, उन्हें पहले एक छवि को डिजिटल बिल्डिंग ब्लॉक्स की एक लंबी सूची में अनुवादित करना होगा, जिन्हें 'टोकेन्स' कहा जाता है, जिसे कंप्यूटर का मस्तिष्क फिर उत्तर बनाने के लिए प्रोसेस करता है। छवि जितनी विस्तृत होगी, यह सूची उतनी ही लंबी होती जाएगी। हालांकि यह बड़ी सटीकता की अनुमति देता है, लेकिन यह एक विशाल बाधा (बॉटलनेक) भी पैदा करता है: इन सैकड़ों टोकेन्स को प्रोसेस करने के लिए अत्यधिक कंप्यूटिंग शक्ति की आवश्यकता होती है, जिससे इन स्मार्ट सिस्टमों को स्मार्टफोन या ड्रोन जैसे छोटे उपकरणों पर चलाना कठिन हो जाता है। शोधकर्ता लंबे समय से इस सूची को छोटा करने के तरीके खोज रहे हैं, यानी अनावश्यक हिस्सों को हटाते हुए महत्वपूर्ण हिस्सों को बनाए रखना, लेकिन मौजूदा तरीके अक्सर तब संघर्ष करते हैं जब छवियां अपूर्ण या शोर (नॉइज़) वाली होती हैं, जो कि अधिकांश वास्तविक दुनिया की तस्वीरों की वास्तविकता है।
शोधकर्ताओं की एक टीम ने बिना जटिल एआई मॉडलों को शुरू से फिर से प्रशिक्षित किए बिना, इस समस्या को हल करने के लिए एक नया, हल्का तरीका विकसित किया है। उनका दृष्टिकोण, जिसे वे ClustRS कहते हैं, इमेज टोकेन्स की सूची के लिए एक अत्यधिक कुशल संपादक की तरह कार्य करता है। केवल छवि के सबसे स्पष्ट हिस्सों को चुनने या विविध हिस्सों को रखने की कोशिश करने के बजाय, उनकी प्रणाली पहले समान सूचनाओं के टुकड़ों को एक साथ समूहित करती है। इसके बाद, यह प्रत्येक समूह से केवल एक प्रतिनिधि चुनती है, यह सुनिश्चित करते हुए कि अंतिम सूची छवि के विभिन्न विचारों को कवर करती है बिना खुद को दोहराए। महत्वपूर्ण रूप से, यह समूहीकरण प्रक्रिया वास्तविक दुनिया की तस्वीरों में अक्सर होने वाले दृश्य "स्टैटिक" या शोर (जैसे दानेदार होना या धुंधलापन) को अनदेखा करने के लिए डिज़ाइन की गई है, जिससे सिस्टम को दूषित डेटा द्वारा गुमराह होने से रोका जा सके।
सर्वश्रेष्ठ प्रतिनिधियों को चुनने के बाद, यह विधि एक दूसरा, परिष्करण (रिफाइनिंग) चरण लागू करती है। यह चुने हुए टोकेन्स को लेती है और त्रुटियों को सुधारने के लिए उनके समूह की औसत विशेषताओं का उपयोग करके शोर को धीरे से सुचारू (स्मूथ) करती है। यह प्रक्रिया पूरी तरह से स्वचालित है और इसमें किसी अतिरिक्त प्रशिक्षण की आवश्यकता नहीं होती है, जिसका अर्थ है कि इसे मौजूदा मॉडलों पर तुरंत लागू किया जा सकता है। शोधकर्ताओं ने इस तकनीक का परीक्षण मानक बेंचमार्क पर किया जो इन मॉडलों के दृश्य संबंधी तर्क करने की क्षमता को मापते हैं, जिसमें जटिल दृश्यों का वर्णन करने या वैज्ञानिक प्रश्नों के उत्तर देने जैसे कार्य शामिल हैं। उन्होंने पाया कि उनकी विधि पिछले तकनीकों की तुलना में काफी बेहतर प्रदर्शन करती है, विशेष रूप से तब जब छवियां शोर से अत्यधिक विकृत हों या जब अनुमत टोकेन्स की संख्या नाटकीय रूप से कम कर दी गई हो। सबसे चरम परीक्षणों में, जहाँ सिस्टम को सामान्य सैकड़ों के बजाय केवल सोलह टोकेन्स के साथ काम करने के लिए मजबूर किया गया था, उनकी विधि ने उच्च सटीकता बनाए रखी जबकि अन्य विफल हो गए, जिससे यह सिद्ध हुआ कि जानकारी को चुनने और साफ करने का स्मार्ट तरीका केवल अधिक डेटा होने से अधिक मूल्यवान है।
इस दृष्टिकोण की सफलता इस बात पर प्रकाश डालती है कि हम कुशल आर्टिफिशियल इंटेलिजेंस को कैसे बना सकते हैं। कठिन परिस्थितियों को संभालने के लिए मॉडलों को बड़ा या अधिक जटिल बनाने के बजाय, शोधकर्ताओं ने दिखाया कि समूहीकरण और सफाई की एक सरल, दो-चरणीय प्रक्रिया मौजूदा प्रणालियों को बहुत अधिक मजबूत बना सकती है। उनके निष्कर्ष बताते हैं कि इन मॉडलों को वास्तविक दुनिया में वास्तव में उपयोगी बनाने के लिए, जहाँ छवियां शायद ही कभी पूर्ण होती हैं और कंप्यूटिंग शक्ति अक्सर सीमित होती है, ध्यान संसाधित की जा रही जानकारी की मात्रा पर नहीं, बल्कि उसकी गुणवत्ता और लचीलेपन पर होना चाहिए। यह प्रदर्शित करके कि इन सुधारों को पुन: प्रशिक्षण की भारी लागत के बिना प्राप्त किया जा सकता है, यह कार्य शक्तिशाली दृश्य बुद्धिमत्ता को रोजमर्रा के उपकरणों की एक विस्तृत श्रृंखला पर तैनात करने का मार्ग प्रशस्त करता है।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।