Projector Is All You Train
यह शोध पत्र यह प्रदर्शित करता है कि 3D मल्टीमॉडल लार्ज लैंग्वेज मॉडल्स के लिए, केवल प्रोजेक्टर को प्रशिक्षित करना और लैंग्वेज मॉडल बैकबोन को फ्रीज़ रखना, मजबूत प्रदर्शन प्राप्त करने, क्षमता विचलन (capability drift) से बचने और जॉइंट ट्रेनिंग की तुलना में ट्रेनिंग थ्रूपुट को दोगुना करने के लिए पर्याप्त है।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
आर्टिफिशियल इंटेलिजेंस की तेजी से बदलती दुनिया में, शोधकर्ता कंप्यूटर को न केवल शब्दों के माध्यम से, बल्कि दृष्टि, ध्वनि और त्रि-आयामी (3D) आकृतियों के माध्यम से दुनिया को समझना सिखा रहे हैं। एक ऐसे कंप्यूटर की कल्पना करें जो एक कुर्सी, एक कार या एक मूर्ति के डिजिटल मॉडल को देख सके और फिर उसके बारे में बातचीत कर सके, सवालों के जवाब दे सके या उसकी विशेषताओं का वर्णन कर सके। इन प्रणालियों को बनाने के लिए, वैज्ञानिक आमतौर पर दो शक्तिशाली उपकरणों को मिलाते हैं: एक विशाल भाषा मॉडल (language model), जो मानव भाषा को समझने और उत्पन्न करने वाला इंजन है, और एक विशेष एनकोडर (encoder), जो कच्चे 3D डेटा को उस प्रारूप में अनुवादित करता है जिसे भाषा मॉडल पढ़ सके। इन दोनों हिस्सों को जोड़ने के लिए एक सेतु (bridge) की आवश्यकता होती है, जो एक छोटा लेकिन महत्वपूर्ण घटक है जो 3D जानकारी को भाषा मॉडल की आंतरिक भाषा में अनुवादित करता है।
वर्षों से, इन प्रणालियों को बनाने के लिए मानक दृष्टिकोण यह रहा है कि सेतु और भाषा इंजन दोनों को एक साथ प्रशिक्षित किया जाए। विचार यह था कि भाषा मॉडल को वास्तव में 3D आकृतियों को समझने के योग्य बनाने के लिए, इन नई वस्तुओं को दिखाना सिखाते समय इसके आंतरिक सेटिंग्स में बदलाव करना आवश्यक होगा। यह प्रक्रिया अत्यधिक गणनात्मक रूप से महंगी और समय लेने वाली है, जिसमें अक्सर भारी मात्रा में कंप्यूटिंग शक्ति की आवश्यकता होती है। हालांकि, रमेन वीआर (Ramen VR) और यूनिवर्सिटी ऑफ कैलिफोर्निया, बर्कले के शोधकर्ताओं द्वारा किए गए एक हालिया अध्ययन ने इस लंबे समय से चली आ रही धारणा को चुनौती दी है। उन्होंने एक सरल लेकिन गहन प्रश्न पूछा: क्या भाषा इंजन को बदलना वास्तव में आवश्यक है, या क्या हम केवल सेतु को सारा कठिन कार्य करने के लिए प्रशिक्षित कर सकते हैं?
शोधकर्ताओं ने सरल ज्यामितीय आकृतियों से लेकर जटिल फर्नीचर और वाहनों तक, वस्तुओं के 3D मॉडल का उपयोग करके इस परिकल्पना का परीक्षण करने का निर्णय लिया। उन्होंने कई अलग-अलग, पूर्व-मौजूद भाषा मॉडल लिए—कुछ जो केवल टेक्स्ट के लिए डिज़ाइन किए गए थे, अन्य जो पहले से ही छवियों को समझने में सक्षम थे—और उन्हें एक 3D एनकोडर के साथ जोड़ा। फिर उन्होंने दो अलग-अलग प्रशिक्षण प्रयोग चलाए। पहले में, उन्होंने पारंपरिक पद्धति का पालन किया, जिसमें सेतु और भाषा इंजन दोनों को एक साथ समायोजित किया गया। दूसरे में, उन्होंने भाषा इंजन को पूरी तरह से स्थिर (frozen) छोड़ दिया, उसकी आंतरिक सेटिंग्स को अछूता रखा, और केवल 3D डेटा को भाषा मॉडल से जोड़ने के लिए सेतु को प्रशिक्षित किया। उन्होंने इन प्रयोगों को शक्तिशाली ग्राफिक्स कार्डों पर सोलह घंटों तक चलाया, और सावधानीपूर्वक ट्रैक किया कि परिणामी प्रणालियाँ वस्तुओं की पहचान करने और उनका वर्णन करने में कितनी कुशल रहीं।
परिणाम चौंकाने वाले थे। वे सिस्टम जिन्होंने भाषा इंजन को स्थिर रखते हुए केवल सेतु को प्रशिक्षित किया था, वे उन सिस्टमों के समान ही अच्छा प्रदर्शन करते थे, और कई मामलों में उनसे बेहतर भी थे, जो दोनों घटकों को एक साथ प्रशिक्षित करते थे। जब उनकी वस्तुओं को श्रेणियों की सूची से पहचानने और देखी गई चीजों का विस्तृत विवरण लिखने की क्षमता का परीक्षण किया गया, तो "केवल-सेतु" (bridge-only) मॉडलों ने स्कोर हासिल किया जो क्षेत्र के सर्वश्रेष्ठ मौजूदा सिस्टमों के बराबर था। शायद अधिक आश्चर्यजनक रूप से, "केवल-सेतु" मॉडल दोगुना तेजी से सीखे। क्योंकि उन्हें प्रशिक्षण के दौरान विशाल भाषा इंजन को अपडेट नहीं करना पड़ा, इसलिए वे समान समय में दोगुने उदाहरणों को प्रोसेस कर सके, जिससे वे उच्च स्तर का प्रदर्शन अधिक दक्षता के साथ प्राप्त कर सके।
अध्ययन ने दोनों भागों को एक साथ प्रशिक्षित करने की पारंपरिक पद्धति के एक छिपे हुए नुकसान को भी उजागर किया। जब शोधकर्ताओं ने 3D डेटा के साथ संयुक्त रूप से प्रशिक्षित होने के बाद भाषा इंजनों का परीक्षण किया, तो उन्होंने पाया कि मॉडल वह भूलने लगे थे जो वे पहले से जानते थे। जटिल निर्देशों का पालन करने, गणित की समस्याओं को हल करने या द्वि-आयामी छवियों में स्थानिक संबंधों के बारे में तर्क करने की उनकी क्षमता काफी कम हो गई थी। कुछ मामलों में, मॉडल नए 3D प्रशिक्षण से इतने भ्रमित हो गए कि वे सुसंगत पाठ उत्पन्न करने या बुनियादी कमांड का पालन करने में भी असमर्थ हो गए। "केवल-सेतु" दृष्टिकोण ने इस समस्या को पूरी तरह से टाल दिया; क्योंकि भाषा इंजन को कभी छुआ ही नहीं गया, इसलिए इसने अपनी मूल क्षमताओं को बनाए रखते हुए 3D आकृतियों को समझने की नई क्षमता प्राप्त कर ली।
यह निष्कर्ष संकेत देता है कि बुद्धिमान प्रणालियों को बनाने का एक अधिक मॉड्यूलर और कुशल तरीका है। हर बार जब डेटा का एक नया प्रकार पेश किया जाता है, तो AI के पूरे मस्तिष्क को पुन: प्रशिक्षित करने के बजाय, शोधकर्ता बस उस डेटा को मौजूदा मस्तिष्क से जोड़ने के लिए एक नया सेतु बना सकते हैं। इसका अर्थ यह है कि उसी शक्तिशाली भाषा मॉडल को ध्वनि, वीडियो या 3D डेटा के एनकोडर्स से स्वतंत्र रूप से जोड़ा जा सकता है, बिना इस जोखिम के कि एक नया कौशल किसी अन्य कौशल को मिटा देगा। शोधकर्ता निष्कर्ष निकालते हैं कि संवेदी इनपुट के नए प्रकारों के लिए बड़े भाषा मॉडलों को अनुकूलित करने के लिए, मुख्य भाषा इंजन को पुन: प्रशिक्षित करने की जटिल प्रक्रिया अनावश्यक है। सफलता की कुंजी इंजन को बदलने में नहीं, बल्कि एक बेहतर सेतु बनाने में निहित है।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।