VAD: Attributing Visual Evidence for Target Reconstruction in Multimodal On-Policy Distillation
यह शोध पत्र विज़ुअल एट्रिब्यूशन डिस्टिलेशन (VAD) को प्रस्तुत करता है, जो एक काउंटरफैक्चुअल एल्गोरिदम है जो मल्टीमॉडल ऑन-पॉलिसी डिस्टिलेशन में मिश्रित टीचर सिग्नल्स से विज़ुअली एट्रिब्यूटेबल सुधारों को अलग करता है ताकि अधिक प्रभावी, साक्ष्य-संरेखित प्रशिक्षण लक्ष्यों का पुनर्निर्माण किया जा सके जो फाइन-ग्रेन्ड विज़ुअल बेंचमार्क पर मौजूदा विधियों से बेहतर प्रदर्शन करते हैं।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
कल्पना कीजिए कि आप एक रोबोट को जासूस बनना सिखा रहे हैं। आपके पास एक बहुत ही बुद्धिमान शिक्षक है जो अपराध स्थल को पूरी तरह से देख सकता है, और एक छात्र रोबोट है जो केस सुलझाने की कोशिश कर रहा है। शिक्षक सुरागों को देखता है और कहता है, "संदिग्ध ने लाल टोपी पहनी है!" लेकिन कभी-कभी, शिक्षक का दिमाग थोड़ा शोर भरा हो सकता है। शायद शिक्षक यह भी सोच रहा है, "संदिग्ध ने लाल टोपी पहनी है, और मुझे लाल टोपियाँ भी बहुत पसंद हैं, और आज मौसम अच्छा है।" यदि आप शिक्षक के शब्दों की हूबहू नकल करते हैं, तो छात्र 'लाल टोपी' तो सीख जाएगा, लेकिन वह गलती से मौसम या शिक्षक के पसंदीदा रंग के बारे में भी बात करने लगना शुरू कर सकता है। यह "सोर्स-मिक्सड" (स्रोत-मिश्रित) जानकारी की समस्या है: छात्र को सही उत्तर के साथ अतिरिक्त, भ्रमित करने वाला शोर भी मिल जाता है।
आर्टिफिशियल इंटेलिजेंस की दुनिया में, विशेष रूप से मल्टीमॉडल लार्ज लैंग्वेज मॉडल्स (AI जो चित्र देख सकता है और टेक्स्ट पढ़ सकता है) में, शोधकर्ता इस बात पर ध्यान केंद्रित करने की कोशिश कर रहे हैं कि मॉडल दृश्य विवरणों (visual details) पर अधिक ध्यान दें। एक सामान्य विधि है जिसे "ऑन-पॉलिसी डिस्टिलेशन" (On-Policy Distillation) कहा जाता है। इसे ऐसे समझें जैसे छात्र रोबोट एक पहेली सुलझाने की कोशिश कर रहा है, और हर बार जब वह कहीं अटक जाता है या कोई अनुमान लगाता है, तो शिक्षक उसी पहेली को देखता है (लेकिन एक स्पष्ट दृश्य के साथ) और छात्र के अगले कदम को सही करता है। लक्ष्य छात्र को स्मार्ट बनाना है, उसे सही रास्ता दिखाकर। हालाँकि, यदि शिक्षक का सुधार "किसी विशिष्ट विवरण को देखें" और "बस मेरी सामान्य राय" का एक मिला-जुला रूप है, तो छात्र भ्रमित हो सकता है। यही कारण है कि शोधकर्ता इस बात पर ध्यान देते हैं: वे जानना चाहते हैं कि शिक्षक की सलाह का कौन सा हिस्सा वास्तव में दृश्य प्रमाण (चित्र) से आता है और कौन सा हिस्सा केवल शिक्षक की अपनी आदतों या भाषा के पैंतरेबाजी से आता है।
यहाँ एक नई विधि आती है जिसे VAD (विजुअल एट्रिब्यूशन डिस्टिलेशन) कहा जाता है, जो शिक्षक की सलाह के लिए एक "सत्य फिल्टर" (truth filter) के रूप में कार्य करती है। शिक्षक के पूरे सुधार की अंधाधुंध नकल करने के बजाय, VAD एक चतुर "क्या होगा अगर" वाला प्रश्न पूछती है। यह छात्र के वर्तमान अनुमान को लेती है और शिक्षक से दो चीजें पूछती है: "यदि मैं आपको पूरा, स्पष्ट चित्र दिखाऊं तो आप क्या कहेंगे?" और "यदि मैं उस विशिष्ट सुराग को धुंधला (blur) कर दूँ जिसके बारे में हम बात कर रहे हैं, तो आप क्या कहेंगे?" इन दोनों उत्तरों की तुलना करके, VAD सटीक रूप से गणना कर सकती है कि शिक्षक की सलाह दृश्य सुराग के कारण कितनी बदली है।
कल्पना कीजिए कि शिक्षक एक शेफ है जो छात्र को सूप की रेसिपी सुधार कर बता रहा है। शिक्षक कहता है, "थोड़ा और नमक डालें, और साथ ही, सूप को नीले कटोरे में परोसा जाना चाहिए।" VAD एक जादुई परीक्षण की तरह है जो पूछता है: "यदि हम नीला कटोरा छिपा दें, तो क्या शिक्षक अभी भी कहेगा कि 'नमक डालें'?" यदि शिक्षक बिना कटोरे के भी "नमक डालें" कहता है, तो VAD समझ जाता है कि "नीला कटोरा" वाली टिप्पणी केवल अतिरिक्त बकवास थी, न कि दृश्य की आवश्यकता। VAD उस "नीले कटोरे" वाले हिस्से को हटा देता है और केवल "नमक डालें" वाले हिस्से को रखता है ताकि छात्र को सिखाया जा सके। यह एक स्वच्छ, स्पष्ट पाठ को फिर से तैयार करता है जो पूरी तरह से उस चीज़ पर केंद्रित है जिसे चित्र वास्तव में सिद्ध करता है।
शोधकर्ताओं ने इस विचार का परीक्षण दो अलग-अलग आकार के AI मॉडलों (एक जिसमें 4 बिलियन पैरामीटर्स हैं और एक जिसमें 9 बिलियन हैं) पर किया, जो उच्च-रिज़ॉल्यूशन फोटो में छोटे विवरणों को पहचानने से लेकर जटिल वास्तविक दृश्यों में वस्तुओं को पहचानने तक, छह अलग-अलग दृश्य पहेलियों पर आधारित थे। उन्होंने पाया कि VAD पिछली विधियों की तुलना में काफी बेहतर था। 4-बिलियन मॉडल के लिए, इसने अगली सबसे अच्छी विधि की तुलना में औसत सटीकता में लगभग 2.4 अंक का सुधार किया, और 9-बिलियन मॉडल के लिए, इसमें 2.8 अंकों का सुधार हुआ। वास्तव में, VAD के साथ प्रशिक्षित छोटा 4-बिलियन मॉडल, उन विशाल, क्लोज्ड-सोर्स मॉडलों से बेहतर प्रदर्शन करता है जो बहुत बड़े और अधिक महंगे हैं।
यह शोध बताता है कि "दृश्य प्रमाण" को "शिक्षक के शोर" से अलग करके, AI चित्र पर अधिक भरोसा करना और शिक्षक की आदतों पर कम भरोसा करना सीख जाता है। जब छात्र ने गलती की (जैसे कि एक पैटर्न को "चेकर्ड" समझना जबकि वह वास्तव में "स्ट्राइप्ड" था), तो VAD गलत उत्तर से छात्र को दूर धकेलने और सही उत्तर की ओर ले जाने के लिए दृश्य संकेतों का उपयोग करने में विशेष रूप रूप से कुशल था। अध्ययन से पता चलता है कि यह "काउंटरफैक्चुअल" (प्रति-तथ्यात्मक) दृष्टिकोण—कि बिना प्रमाण के क्या होता है इसकी तुलना करना—केवल शिक्षक के पूर्ण, अव्यवस्थित सुधार की नकल करने की तुलना में एक बहुत बेहतर लर्निंग टारगेट बनाता है। हालांकि यह विधि कोई जादुई छड़ी नहीं है (यह अभी भी दृश्यों के एक जोड़े पर निर्भर करती है और हर प्रकार के शोर को पूरी तरह से अलग नहीं कर सकती), इसके परिणाम दृढ़ता से सुझाव देते हैं कि शिक्षक की सलाह को फ़िल्टर करने और पुनर्गठित करने का यह तरीका AI विजन को अधिक सटीक और विश्वसनीय बनाने के लिए एक शक्तिशाली नया उपकरण है।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।