When More Foundation Models Means Less: Diagnosing and Addressing Multi-View Fusion Failure
यह शोध पत्र यह पहचानता है कि कई फाउंडेशन मॉडल्स को अंधाधुंध रूप से मिलाना अक्सर रेडंडेंसी (अतिरेक) और मिसअलाइनमेंट (असंगति) के कारण प्रदर्शन को कम कर देता है, और KAGES का प्रस्ताव करता है, जो एक लेबल-अवेयर, कुशल ग्रीडी चयन विधि है जो एक कॉम्पैक्ट, कार्य-संरेखित एनकोडर सबसेट के साथ बेहतर डाउनस्ट्रीम सटीकता प्राप्त करने के लिए व्यू-सेट संरचना को अनुकूलित करती है।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
आर्टिफिशियल इंटेलिजेंस के आधुनिक युग में, शोधकर्ताओं के पास पूर्व-प्रशिक्षित कंप्यूटर प्रोग्रामों का एक विशाल पुस्तकालय उपलब्ध है, जिन्हें अक्सर फाउंडेशन मॉडल्स (foundation models) कहा जाता है। ये विशाल प्रणालियाँ हैं जिन्होंने भारी मात्रा में डेटा का अध्ययन करके पैटर्न को पहचानना, भाषा को समझना या छवियों की व्याख्या करना पहले से ही सीख लिया है। इन्हें उन विशेषज्ञ उपकरणों के रूप में सोचें जिन्हें तेज तो किया गया है लेकिन अभी तक किसी विशिष्ट कार्य पर लागू नहीं किया गया है। वर्षों तक, इन उपकरणों के साथ किसी नई समस्या को हल करने का मानक दृष्टिकोण उन्हें यथासंभव अधिक से अधिक मिलाना था, जो इस धारणा पर आधारित था कि अधिक जानकारी हमेशा बेहतर परिणाम देती है। तर्क सरल था: यदि एक उपकरण किसी चित्र को एक तरीके से देखता है और दूसरा उसे दूसरे तरीके से देखता है, तो उन्हें एक साथ रखने से एक पूर्ण, सर्वव्यापी दृश्य निर्मित होना चाहिए। यह विचार, जिसे मल्टी-व्यू लर्निंग (multi-view learning) के रूप में जाना जाता है, लंबे समय से इस बात का आधार रहा है कि वैज्ञानिक सूचना के विभिन्न स्रोतों को मिलाकर स्मार्ट प्रणालियाँ बनाने का प्रयास कैसे करते हैं।
हालाँकि, एक नया अध्ययन इस मौलिक विश्वास को चुनौती देता है। बीजिंग यूनिवर्सिटी ऑफ पोस्ट्स एंड टेलीकम्युनिकेशंस के शोधकर्ताओं ने पाया कि जब आप इन पूर्व-प्रशिक्षित विशेषज्ञों की एक बड़ी संख्या को मिलाना शुरू करते हैं, तो अधिक जोड़ने से परिणाम आवश्यक रूप से बेहतर नहीं होते हैं। वास्तव में, एक निश्चित बिंदु के बाद, एक और उपकरण जोड़ना वास्तव में सिस्टम को बदतर बना सकता है। टीम ने पाया कि सर्वोत्तम प्रदर्शन आमतौर पर इन मॉडलों के एक बड़े, अनियंत्रित संग्रह के बजाय, एक छोटे, विशिष्ट समूह को चुनकर प्राप्त किया जाता है। उन्होंने देखा कि जबकि मिश्रण में जोड़े गए पहले कुछ मॉडल नए और उपयोगी विचार प्रदान करते हैं, बाद के जुड़ाव अक्सर उस जानकारी को दोहराते हैं जो सिस्टम के पास पहले से ही है या ऐसे भ्रमित करने वाले संकेत पेश करते हैं जिनका वर्तमान कार्य से कोई लेना-देना नहीं है। यह घटना एक वक्र (curve) बनाती है जहाँ प्रदर्शन तेजी से बढ़ता है, एक शिखर पर पहुँचता है, और फिर जैसे-जैसे अधिक मॉडलों को मिश्रण में शामिल करने के लिए मजबूर किया जाता है, गिरने लगता है।
इस समस्या को हल करने के लिए, शोधकर्ताओं ने KAGES नामक एक नई विधि विकसित की, जो इन AI मॉडलों के लिए एक स्मार्ट सेलेक्टर (selector) के रूप में कार्य करती है। हर उपलब्ध उपकरण को अंधाधुंध मिलाने के बजाय, KAGES सावधानीपूर्वक मूल्यांकन करता है कि किन विशिष्ट मॉडलों को संयोजित किया जाना चाहिए और कितने का उपयोग किया जाना चाहिए। यह इस बात को मापता है कि मॉडलों के एक समूह से प्राप्त संयुक्त जानकारी किसी विशिष्ट कार्य के सही उत्तरों के साथ कितनी अच्छी तरह मेल खाती है, इसके लिए उन्हें पहले से टेस्ट करने हेतु एक नया सिस्टम प्रशिक्षित करने की आवश्यकता नहीं होती है। यह विधि लालची (greedily) तरीके से अगले सबसे अच्छे मॉडल को जोड़ती है जो सबसे अधिक नई, उपयोगी जानकारी प्रदान करता है और उन मॉडलों से बचती है जो या तो केवल ज्ञात जानकारी को दोहराते हैं या शोर (noise) पैदा करते हैं। यह दृष्टिकोण सिस्टम को ठीक उसी समय अतिरिक्त मॉडल जोड़ना बंद करने की अनुमति देता है जब अतिरिक्त जानकारी मददगार होना बंद हो जाती है, जिससे यह सुनिश्चित होता है कि अंतिम संयोजन संक्षिप्त और अत्यधिक प्रभावी है।
टीम ने छवियों में वस्तुओं को पहचानने, बनावट (textures) को पहचानने और यहाँ तक कि भाषा को समझने सहित विभिन्न प्रकार के कार्यों में इस विचार का परीक्षण किया। हर मामले में, उन्होंने पाया कि "अधिक ही बेहतर है" वाली धारणा विफल रही। कुछ कार्यों में, प्रदर्शन केवल तीन या चार मॉडलों के संयोजन के बाद अपने शिखर पर पहुँच गया, और अधिक जोड़ने से सटीकता गिरने लगी। उदाहरण के लिए, ट्रैफिक साइन पहचानने के कार्यों में, सिस्टम मॉडलों के एक बहुत छोटे सेट के साथ सबसे अच्छा प्रदर्शन करता है, जबकि जियोलोकेशन (geolocation) के कार्य में, एक एकल मॉडल पहले से ही इतना अच्छा था कि अन्य जोड़ने से कोई लाभ नहीं हुआ और कभी-कभी प्रदर्शन को नुकसान भी पहुँचा। शोधकर्ताओं ने यह भी नोट किया कि मॉडलों की आदर्श संख्या उपलब्ध डेटा की मात्रा पर निर्भर करती है; अधिक डेटा के साथ, सिस्टम प्रदर्शन घटने से पहले कुछ अधिक मॉडलों को संभाल सकता है, लेकिन शिखर हमेशा आश्चर्यजनक रूप से छोटी संख्या के साथ प्राप्त होता है।
परिणामों ने दिखाया कि KAGES अन्य विधियों की तुलना में लगातार बेहतर प्रदर्शन करता है, जिनमें वे भी शामिल हैं जिन्होंने सभी उपलब्ध मॉडलों को मिलाने का प्रयास किया या वे जिन्होंने केवल उन मॉडलों को चुना जो एक-दूसरे से भिन्न थे। उपलब्धता की मात्रा के बजाय संयोजन की गुणवत्ता पर ध्यान केंद्रित करके, KAGES उस 'स्वीट स्पॉट' (sweet spot) को खोजने में सक्षम रहा जहाँ मॉडल सबसे प्रभावी ढंग से एक साथ काम करते हैं। कई मामलों में, इसने एक आदर्श, सैद्धांतिक सेलेक्टर के लगभग बराबर प्रदर्शन किया जिसे सबसे अच्छा संयोजन खोजने के लिए प्रत्येक संभावित संयोजन का परीक्षण करना पड़ता, लेकिन इसने इसे बहुत तेज़ी से और प्रत्येक परीक्षण के लिए नए सिस्टम को प्रशिक्षित किए बिना किया। यह खोज बताती है कि शक्तिशाली AI सिस्टम बनाने का भविष्य अधिक उपकरण एकत्र करने में नहीं, बल्कि सही विशेषज्ञों के सावधानीपूर्ण, बुद्धिमान चयन में निहित है। जैसे-जैसे उपलब्ध AI मॉडलों का पुस्तकालय बढ़ता जा रहा है, विशेषज्ञों की एक आदर्श छोटी टीम को चुनने की क्षमता पहले से कहीं अधिक महत्वपूर्ण हो जाएगी, जो विशाल संसाधनों के प्रबंधन की चुनौती को परिशुद्धता और दक्षता के अवसर में बदल देगी।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।