Continual Video-MLLM Adaptation over Evolving Domains
यह शोध पत्र डिस्ट्रीब्यूशन-अवेयर एक्सपर्ट रूटिंग (DAER) का प्रस्ताव देता है, जो एक पैरामीटर-कुशल ढांचा है जो निरंतर विकसित होते डोमेन के अनुकूल होने और कैटास्ट्रोफिक फॉरगेटिंग एवं क्रॉस-डोमेन इंटरफेरेंस को रोकने के लिए इंट्रा- और इंटर-डोमेन रूटिंग तंत्रों के साथ डोमेन-आइसोलेटेड लाइटवेट एक्सपर्ट्स का उपयोग करता है ताकि वीडियो-MLLMs सक्षम हो सकें।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
कल्पना कीजिए कि आप एक बहुत ही बुद्धिमान रोबोट को वीडियो के माध्यम से दुनिया को समझना सिखा रहे हैं। यह रोबोट, एक "वीडियो मल्टीमॉडल लार्ज लैंग्वेज मॉडल" (Video-MLLM), एक शानदार छात्र की तरह है जिसने पहले से ही हर किताब पढ़ ली है और हर फिल्म देख ली है। वह बिल्ली द्वारा लेजर पॉइंटर का पीछा करने या तूफान में कार चलाने के बारे में सवालों के जवाब देना जानता है। लेकिन समस्या यह है कि वास्तविक दुनिया में, नए प्रकार के वीडियो एक साथ नहीं आते; वे एक-एक करके, दिन-ब-दिन आते हैं। शायद आज ट्रैफिक कैमरे हैं, कल कार्टून हैं, और अगले दिन भौतिक विज्ञान (physics) के प्रयोग हैं।
समस्या यह है कि जब आप रोबोट को कुछ नया सिखाते हैं, तो वह अक्सर कल सीखी हुई चीज़ों को भूल जाता है। इसे "कैटस्ट्रोफिक फॉरगेटिंग" (catastrophic forgetting) कहा जाता है। यह एक ऐसे छात्र की तरह है जो गणित की परीक्षा के लिए पढ़ता है, पास हो जाता है, लेकिन फिर तुरंत पढ़ना भूल जाता है क्योंकि वह नए गणित पर बहुत अधिक ध्यान केंद्रित कर रहा है। इसे ठीक करने के पिछले प्रयासों में रोबोट को एक बड़े, साझा मस्तिष्क में सब कुछ सिखाने की कोशिश की गई, जिससे बहुत अधिक भ्रम पैदा हुआ, या उन्होंने पुराने वीडियो को बाद में दिखाने के लिए बचाने की कोशिश की, जिससे बहुत अधिक मेमोरी खर्च होती है। वैज्ञानिक एक ऐसा तरीका चाहते थे जिससे रोबोट अपने पुराने कौशल को खोए बिना या पुराने वीडियो के विशाल पुस्तकालय की आवश्यकता के बिना नई चीजें सीख सके।
यहाँ शोधकर्ताओं की एक नई टीम आई जिसने DAER (डिस्ट्रीब्यूशन-अवेयर एक्सपर्ट रूटिंग) नामक एक चतुर समाधान निकाला। सोचिए कि रोबोट का मस्तिष्क एक विशाल, जमी हुई लाइब्रेरी है जो कभी नहीं बदलती। लाइब्रेरी में किताबें फिर से लिखने के बजाय, DAER विशेषज्ञ "स्टडी ग्रुप्स" या "एक्सपर्ट टीमों" का एक सेट बनाता है जो लाइब्रेरी के बाहर बैठते हैं। प्रत्येक टीम वीडियो के एक विशिष्ट प्रकार के लिए समर्पित है, जैसे कि एक "ट्रैफिक टीम," एक "कार्टून टीम," या एक "साइंस टीम।"
जब एक नया वीडियो आता है, तो सिस्टम केवल यह अनुमान नहीं लगाता कि किस टीम का उपयोग करना है। इसके बजाय, यह MMD (मैक्सिमम मीन डिसक्रीपेंसी) नामक एक विशेष "डिटेक्टिव" टूल का उपयोग करता है। कल्पना कीजिए कि यह टूल एक "सूँघने वाला यंत्र" है जो वीडियो की "वाइब" (vibe) को सूंघ सकता है। यदि वीडियो से व्यस्त राजमार्ग की गंध आती है, तो स्निफर उसे ट्रैफिक टीम की ओर निर्देशित करता है। यदि इसमें कोई मज़ेदार कार्टून है, तो यह उसे कार्टून टीम के पास भेज देता है। यह सुनिश्चित करता है कि ट्रैफिक टीम केवल कारों के बारे में सीखे और कार्टूनों से भ्रमित न हो, और इसके विपरीत भी। यह सीखने की प्रक्रिया को साफ रखता है और रोबोट को अपनी यादों को मिलाने से रोकता है।
लेकिन क्या होगा यदि रोबोट को वीडियो देखते समय उसके श्रेणी का नाम नहीं पता होता? कोई बात नहीं। सिस्टम के पास एक दूसरा डिटेक्टिव है जो वीडियो को एक विशेष "डिस्क्रिमिनेटिव स्पेस" (एक फैंसी तरीका, जिसका अर्थ है कि यह वीडियो के अनूठे फिंगरप्रिंट को देखता है) में देखता है ताकि यह पता लगाया जा सके कि कौन सी विशेषज्ञ टीम कार्यभार संभाल लेगी। इससे भी बेहतर यह है कि यदि दो प्रकार के वीडियो बहुत समान हैं (जैसे कि ट्रैफिक वीडियो के दो अलग प्रकार), तो सिस्टम स्थान बचाने के लिए उनके स्टडी ग्रुप्स को धीरे से मर्ज कर सकता है, ताकि रोबोट बहुत अधिक टीमों के साथ भारी न हो जाए।
शोधकर्ताओं ने इस विचार का परीक्षण एक कठिन चुनौती पर किया: रोबोट को दस बहुत अलग प्रकार के वीडियो प्रश्नों को सिखाना, जिनमें "ट्रैफिक कैसा है?" से लेकर "यह जादू का खेल क्यों मज़ेदार है?" तक शामिल हैं। उन्होंने इस पद्धति का परीक्षण करने के लिए दो शक्तिशाली रोबोट दिमागों का उपयोग किया। परिणाम प्रभावशाली थे। एक मजबूत रोबोट ब्रेन (InternVideo2.5-8B) पर, उनके तरीके ने औसत सटीकता को 64.38% से बढ़ाकर 67.59% कर दिया। इससे भी महत्वपूर्ण बात यह है कि इसने रोबोट को पुराना सीखने से रोकने में मदद की। जहाँ अन्य तरीकों ने रोबोट को उसके ज्ञान का 1.81% भुला दिया, वहीं DAER ने भूलने की दर को घटाकर -0.14% कर दिया, जिसका अर्थ है कि रोबोट ने सब कुछ पूरी तरह से याद रखा और पुराने कार्यों में थोड़ा बेहतर भी हुआ।
टीम ने यह भी दिखाया कि उनका तरीका बहुत अधिक कुशल है। जबकि एक पिछले शीर्ष तरीके को 302.30 मिलियन ट्रेन करने योग्य पैरामीटर की आवश्यकता थी और एक वीडियो को प्रोसेस करने में 1.46 सेकंड लगते थे, DAER को केवल 139.54 मिलियन पैरामीटर और 1.33 सेकंड की आवश्यकता थी। इसका मतलब है कि रोबोट तेजी से सीखता है, कम ऊर्जा का उपयोग करता है, और इसे चलाने के लिए बहुत बड़े कंप्यूटर की आवश्यकता नहीं है।
संक्षेप में, यह पेपर सुझाव देता है कि मुख्य मस्तिष्क को स्थिर रखकर और डेटा की "गंध" द्वारा निर्देशित विशेष टीमों का उपयोग करके, हम AI को एक बदलते हुए संसार में अपनी बुद्धि खोए बिना निरंतर रूप से सीखना सिखा सकते हैं। शोधकर्ताओं ने पाया कि यह दृष्टिकोण एक एकल मस्तिष्क को साझा करने या केवल पुराने वीडियो को फिर से चलाने की तुलना में बेहतर काम करता है, जो वीडियो रोबोटों को हर दिन स्मार्ट बनने के लिए एक स्थिर और कुशल तरीका प्रदान करता है।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।