Visual Saliency Steering Distillation for Multimodal Chain-of-Thought Reasoning
यह शोध पत्र विजुअल सैलिएंसी स्टीयरिंग डिस्टिलेशन (VSSD) प्रस्तावित करता है, जो एक ऐसी विधि है जो अटेंशन मैप्स और सिंगुलर वैल्यू डिकंपोजिशन का लाभ उठाकर स्टीयरिंग वेक्टर्स उत्पन्न करती है जो इंटर-लेयर डिस्टिलेशन को निर्देशित करते हैं, जिससे सूक्ष्म क्रॉस-मोडल अंतरों को संरक्षित करके छोटे मॉडलों में मल्टीमॉडल चेन-ऑफ-थॉट रीजनिंग को बढ़ाया जाता है।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
कल्पना कीजिए कि आप एक रोबोट को रहस्य सुलझाना सिखाने की कोशिश कर रहे हैं। आप उसे एक तस्वीर और एक सवाल देते हैं, और आप चाहते हैं कि वह जवाब देने से पहले एक इंसान वाले जासूस की तरह कदम-दर-कदम सोचे। इसे "मल्टीमॉडल चेन-ऑफ-थॉट" (Multimodal Chain-of-Thought) तर्क कहा जाता है। यह कुछ वैसा ही है जैसे किसी दोस्त को एक नक्शा और एक पहेली दिखाने के बाद, उन्हें अपनी सोचने की प्रक्रिया समझाने के लिए कहना: "पहले, मैं यहाँ एक पहाड़ देख रहा हूँ, जिसका अर्थ है कि यह ऊँचाई पर है, इसलिए तापमान ठंडा होना चाहिए..." इसका लक्ष्य विज्ञान, गणित और तर्क की समस्याओं को हल करने के लिए रोबोट द्वारा देखी गई चीज़ों (छवि) को पढ़े गए शब्दों (टेक्स्ट) के साथ जोड़ना है।
हालाँकि, इसमें एक पेच है। जब हम इन रोबोट्स को रोज़मर्रा के उपकरणों पर चलाने के लिए छोटा और तेज़ बनाने की कोशिश करते हैं, तो वे कभी-कभी भ्रमित हो जाते हैं। यदि आप उन्हें दो बहुत समान तस्वीरें और थोड़े अलग सवाल दिखाते हैं, या दो बहुत समान सवाल और थोड़ी अलग तस्वीरें दिखाते हैं, तो रोबोट का दिमाग विवरणों को आपस में मिला देता है। यह एक शोर भरे कमरे में फुसफुसाहट सुनने की कोशिश करने जैसा है; बारीक, महत्वपूर्ण अंतर मिश्रण में खो जाते हैं, और रोबोट सोच सकता है कि दो अलग-अलग पहेलियाँ वास्तव में एक ही पहेली हैं। यह शोध पत्र इसी विशिष्ट समस्या पर काम करता है: यह कैसे मदद की जाए कि छोटे, कुशल रोबोट बिना सुपर-कंप्यूटर वाले दिमाग के उन सूक्ष्म, महत्वपूर्ण अंतरों को देख सकें।
युन्नान विश्वविद्यालय के शोधकर्ता हाओ यांग, जिन वांग और ज़ुएजे झेंग ने एक चतुर नया तरीका प्रस्तावित किया है जिसे विजुअल सैलिएंसी स्टीयरिंग डिस्टिलेशन (VSSD) कहा जाता है। रोबोट के दिमाग को एक बहु-स्तरीय कारखाने के रूप में सोचें। आमतौर पर, जब रोबोट एक तस्वीर और एक सवाल को देखता है, तो वह उन्हें जल्दी ही आपस में मिला देता है। लेकिन इस मिश्रण की प्रक्रिया में, रोबोट अनजाने में उन सूक्ष्म, महत्वपूर्ण विवरणों को भी मिटा देता है जो एक पहेली को दूसरी से अलग करते हैं।
इसे ठीक करने के लिए, टीम ने रोबोट के दिमाग को "जगाने" के लिए एक तरीका ईजाद किया है। उनका यह जादू का खेल इस प्रकार काम करता है:
सबसे पहले, वे रोबोट को एक तस्वीर और एक सवाल देखने के लिए कहते हैं, और फिर वे एक विशेष उपकरण का उपयोग करके यह पता लगाते हैं कि रोबोट तस्वीर के किन हिस्सों पर ध्यान दे रहा है। एक बार जब उन्हें महत्वपूर्ण स्थान पता चल जाते हैं, तो वे एक "परटर्बड" (विकृत) छवि बनाते हैं। यह एक फोटो लेने और फिर सावधानीपूर्वक सबसे महत्वपूर्ण सुरागों को धुंधला करने या छिपाने जैसा है, जिससे केवल बैकग्राउंड का शोर बचता है। यह एक जासूस को अपराध स्थल की फोटो दिखाने जैसा है जहाँ संदिग्ध का चेहरा एक काले वर्ग से ढका हुआ है।
इसके बाद, वे मूल, स्पष्ट फोटो और "धुंधली" फोटो के प्रति रोबोट की प्रतिक्रिया की तुलना करते हैं। रोबोट की प्रतिक्रिया में अंतर उन्हें ठीक-ठीक बताता है कि महत्वपूर्ण सुरागों को छिपाने पर क्या जानकारी खो गई थी। वे सिंगुलर वैल्यू डिकंपोजिशन (SVD) नामक एक गणितीय ट्रिक का उपयोग करते हैं—इसकी कल्पना एक हाई-टेक कंपास के रूप में करें—जो उस एकल सबसे महत्वपूर्ण "दिशा" को खोजने में मदद करती है जो खोए हुए सुराग की ओर संकेत करती है। इस दिशा को स्टीयरिंग वेक्टर कहा जाता है।
अंत में, वे इस "कंपास" को प्रशिक्षण के दौरान रोबोट के मस्तिष्क की परतों में इंजेक्ट करते हैं। यह रोबोट को हर बार जानकारी प्रोसेस करते समय एक हल्की सी धकेल देने जैसा है, जो धीरे से कह रहा है, "हे, इन दो समान चीजों के बीच के अंतर पर ध्यान दो!" यह प्रक्रिया, जिसे इंटर-लेयर डिस्टिलेशन कहा जाता है, रोबोट को उन सूक्ष्म विवरणों के प्रति अति-संवेदनशील होने के लिए प्रशिक्षित करती है जिन्हें वह आमतौर पर अनदेखा कर देता है।
टीम ने दो चुनौतीपूर्ण डेटासेट्स पर इस नए तरीके का परीक्षण किया: ScienceQA, जिसमें 21,000 से अधिक विज्ञान संबंधी प्रश्न छवियों के साथ हैं, और M3CoT, जो उसी चुनौती का एक कठिन संस्करण है। परिणाम उत्साहजनक थे। ScienceQA पर, उनके नए मॉडल, VSSDLarge ने 93.40% की सटीकता प्राप्त की, जिसने GPT-4 तकनीक का उपयोग करने वाले LLaVA सहित अन्य उन्नत मॉडलों (जिसने 92.53% स्कोर किया था) को पीछे छोड़ दिया। यहाँ तक कि उनका छोटा मॉडल, VSSDBase (223 मिलियन पैरामीटर्स के साथ), भी 89.67% का स्कोर लेकर समान आकार के अन्य मॉडलों से बेहतर प्रदर्शन कर गया।
जब उन्होंने कठिन M3CoT डेटासेट पर परीक्षण किया, तो VSSD मॉडल ने 73.19% की औसत सटीकता प्राप्त की, जो उनके द्वारा तुलना किए गए अन्य सभी फाइन-ट्यून्ड मॉडलों से बेहतर थी। शोधकर्ताओं ने यह देखने के लिए एक विशिष्ट परीक्षण भी चलाया कि क्या उनका तरीका "भ्रमित करने वाले" मामलों (जहाँ चित्र या टेक्स्ट लगभग समान होते हैं) में मदद करता है। उन्होंने पाया कि उनके तरीके के बिना, समान वस्तुओं के आंतरिक प्रतिनिधित्व लगभग एक समान थे (कुछ मामलों में कोसाइन समानता 0.999 थी)। लेकिन VSSD के साथ, रोबोट ने उन्हें बेहतर ढंग से पहचानना सीख लिया, जिससे वह समानता स्कोर कम हो गया और यह साबित हुआ कि वह वास्तव में अंतर बता सकता है।
शोध पत्र ने यह साबित करने के लिए कुछ "क्या-होता-अगर" प्रयोग भी चलाए कि उनका तरीका वास्तव में काम कर रहा है। जब उन्होंने "परटर्बड इमेज" चरण को हटा दिया, तो मॉडल का प्रदर्शन काफी गिर गया। जब उन्होंने "स्टीयरिंग" प्रक्रिया (इंटर-लेयर डिस्टिलेशन) को रोक दिया, तो सटीकता और भी गिरकर M3CoT पर 61.57% हो गई। यह सुझाव देता है कि "धुंधली फोटो" वाला ट्रिक और "कंपास धकेल" दोनों ही आवश्यक हैं ताकि रोबोट उन सूक्ष्म, महत्वपूर्ण अंतरों को पहचानना सीख सके।
संक्षेप में, लेखक सुझाव देते हैं कि रोबोट को जानबूझकर गायब जानकारी के साथ भ्रमित करके और फिर एक गणितीय कंपास का उपयोग करके खोए हुए विवरणों को पुनः प्राप्त करना सिखाकर, वे छोटे, कुशल AI मॉडल्स को जटिल विजुअल पहेलियों को हल करने में बहुत बेहतर बना सकते हैं। उन्होंने केवल अनुमान नहीं लगाया; उन्होंने इसे मापा, और आंकड़े बताते हैं कि उनका दृष्टिकोण रोबोटों को जंगल और पेड़ों दोनों को देखने में मदद करता है, भले ही पेड़ लगभग एक जैसे दिखते हों।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।