KALE: Kernel Alignment with Loss Equilibration for Stable CLIP-DINOv2 Alignment at Web Scale
यह शोध पत्र KALE को प्रस्तुत करता है, जो एक अनुकूली लॉस-इक्विलिब्रेशन (loss-equilibration) नियंत्रक है जो शोर वाले वेब-स्केल डेटा पर फिक्स्ड-वेट कर्नेल अलाइनमेंट की विफलता को दूर करने के लिए अलाइनमेंट टर्म को गतिशील रूप से रीस्केल करता है, जिससे स्थिर CLIP-DINOv2 प्रशिक्षण सक्षम होता है जो टेक्स्ट-एनकोडर अनुकूलता को बनाए रखते हुए ज़ीरो-शॉट प्रदर्शन में महत्वपूर्ण सुधार करता है।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
कल्पना कीजिए कि आप एक रोबोट को दुनिया देखना सिखाने की कोशिश कर रहे हैं। आपके पास दो बहुत अलग शिक्षक हैं। पहला, जिसे हम "चैट" (Chat) कहेंगे, एक भाषा विशेषज्ञ है जिसने पूरा इंटरनेट पढ़ा है। वह शब्दों को समझने और उन्हें चित्रों से जोड़ने में अद्भुत है, लेकिन यदि आप उससे किसी विशेष प्रकार की पत्ती के सूक्ष्म अंतर या किसी बारीक बनावट को पहचानने के लिए कहेंगे, तो शायद वह चूक जाए क्योंकि उसका ध्यान बड़ी तस्वीर पर अधिक है। दूसरा शिक्षक, "विज़न" (Vision), एक मौन कलाकार है जिसने बिना एक भी शब्द पढ़े लाखों छवियों का अध्ययन किया है। वह हर सूक्ष्म विवरण, हर छाया और हर पैटर्न को देखता है, लेकिन वह जो देखता है उसके बारे में बात नहीं कर सकता।
लंबे समय तक, वैज्ञानिकों ने चैट को बेहतर बनाने के लिए उसे केवल अधिक चित्र दिखाने की कोशिश की। लेकिन हाल ही में, उन्होंने एक अलग तरकीब आजमाई: उन्होंने चैट को विज़न के देखने के तरीके की नकल करने के लिए कहा। वे चैट की भाषा समझने की क्षमता को विज़न की बारीक विवरणों को पहचानने की क्षमता के साथ मिलाना चाहते थे। जब उन्होंने इसे छवियों के एक साफ, व्यवस्थित पुस्तकालय (जैसे कि एक संग्रहालय का कैटलॉग) के साथ किया, तो यह बहुत अच्छा रहा। लेकिन जब उन्होंने इसे इंटरनेट के बिखरे हुए, अराजक और शोर-शसे भरे डेटा के साथ करने की कोशिश की, तो यह तरकीब विफल हो गई। रोबोट भ्रमित हो गया, "नकल करने" का संकेत इतना कमजोर हो गया कि वह गायब हो गया, और प्रशिक्षण काम करना बंद कर गया। यह शोध पत्र इस बारे में है कि कैसे शोधकर्ताओं ने इस गड़बड़ी को ठीक किया, जिससे रोबोट अपनी बोलने की क्षमता खोए बिना इंटरनेट से सीखना सीख सका।
समस्या: एक तूफान में फुसफुसाहट
शोधकर्ताओं ने KUEA नामक एक विधि से शुरुआत की, जो एक सख्त शिक्षक की तरह रोबोट को कहता था, "विज़न की शैली की नकल करो, लेकिन अपनी मूल आवाज़ मत भूलना।" एक साफ डेटासेट पर, यह पूरी तरह से काम करता था। लेकिन जब उन्होंने इसे CC12M जैसे एक विशाल, शोर-शसे भरे डेटासेट पर आजमाया (जिसमें वेब से ली गई 12 मिलियन छवियां शामिल हैं), तो कुछ अजीब हुआ।
कल्पना कीजिए कि आप एक जेट इंजन के शोर के बगल में खड़े होकर एक फुसफुसाहट (विज़न की नकल करने का "संरेखण" निर्देश) सुनने की कोशिश कर रहे हैं। साफ डेटासेट पर, जेट इंजन शांत था, इसलिए फुसफुसाहट स्पष्ट थी। लेकिन वेब के शोर वाले डेटा पर, जेट इंजन इतना तेज हो गया कि फुसफुसाहट पूरी तरह से दब गई। गणित ने दिखाया कि वह "फुसफुसाहट" कुल शोर का 0.2% से भी कम योगदान दे रही थी। वह प्रभावी रूप से मौन थी। यदि आप इस नए डेटा पर वही पुराने निर्देशों (एक निश्चित भार/वेट) का उपयोग करते, तो रोबोट नए शिक्षक को अनदेखा कर देता और बिल्कुल वैसा ही रहता, कुछ भी नया नहीं सीखता।
समाधान: KALE कंट्रोलर
इसे ठीक करने के लिए, लेखकों ने KALE (Kernel Alignment with Loss Equilibration) नामक एक नया सिस्टम पेश किया। KALE को एक सुपर-स्मार्ट वॉल्यूम नॉब (आवाज़ नियंत्रित करने वाला बटन) के रूप में समझें जो वास्तविक समय में खुद को स्वचालित रूप से समायोजित करता है।
"फुसफुसाहट" की आवाज़ को एक बार सेट करके छोड़ देने के बजाय, KALE फुसफुसाहट और गर्जना दोनों को सुनता है। यदि इसे सुनाई देता है कि फुसफुसाहट मूल आवाज़ की तुलना में बहुत धीमी होती जा रही है, तो यह फुसफुसाहट की आवाज़ बढ़ा देता है। यदि फुसफुसाहट बहुत तेज हो जाती है और मूल आवाज़ को दबाने लगती है, तो यह उसे कम कर देता है।
परिणाम नाटकीय थे। संतुलन बनाने के लिए, सिस्टम को पुराने सेटिंग की तुलना में लगभग 47,000 गुना अधिक वॉल्यूम बढ़ाना पड़ा। एक निश्चित संख्या यह नहीं कर सकती थी; इसे एक गतिशील नियंत्रक (डायनामिक कंट्रोलर) की आवश्यकता थी जो वेब डेटा की अराजकता के प्रति प्रतिक्रिया दे सके।
परिणाम: एक नए प्रकार का रोबोट
एक बार जब उन्होंने KALE कंट्रोलर चालू किया और 3.3 मिलियन छवियों पर रोबोट को प्रशिक्षित किया, तो परिणाम प्रभावशाली थे। नया रोबोट न केवल बेहतर देखना सीख गया; उसने पहले की तुलना में बेहतर तरीके से देखना और बोलना भी सीख लिया।
- उसने अपनी आवाज़ बनाए रखी: रोबोट ने टेक्स्ट समझने या छवियों को शब्दों से मिलाने (इमेज-टेक्स्ट रिट्रीवल) की अपनी क्षमता नहीं खोई।
- वह अधिक सटीक हो गया: मानक विज़न कार्यों पर परीक्षण करते समय, रोबोट का "जीरो-शॉट" प्रदर्शन (बिना पूर्व प्रशिक्षण के यह अनुमान लगाने की क्षमता कि वह क्या देख रहा है) 11 अलग-अलग परीक्षणों में औसतन +2.00% सुधर गया। यह पिछले सर्वश्रेष्ठ तरीके से बेहतर था, जो केवल +1.29% सुधरा था।
- वह विवरणों में बेहतर हो गया: SVHN नामक एक विशिष्ट परीक्षण पर (जिसमें सड़क के संकेतों में नंबरों को पढ़ना शामिल है), रोबरी की सटीकता +5.73% बढ़ गई, जिसने पिछला रिकॉर्ड तोड़ दिया।
हालाँकि, लेखक अपने दावों को लेकर बहुत सावधान थे। उन्होंने नोट किया कि जबकि कुछ परीक्षण बहुत ठोस थे, अन्य (जैसे जटिल दृश्यों में वस्तुओं को गिनना) थोड़े "अनिश्चित" (jittery) थे, जिसका अर्थ है कि हर बार प्रयोग चलाने पर परिणाम थोड़े बदल जाते थे। इस कारण से, उन्होंने अपने अंतिम निष्कर्ष उन परीक्षणों पर केंद्रित किए जो स्थिर और सुसंगत थे।
बारीक विवरण: यह केवल वॉल्यूम के बारे में नहीं है
शोध पत्र में यह भी पता चला कि वॉल्यूम बढ़ाना ही काफी नहीं था; आपको कार को सावधानी से चलाना भी होगा। उन्होंने पाया कि रोबोट को एक विशिष्ट "लर्निंग रेट" (सीखने की गति) की आवश्यकता थी। यदि वे बहुत तेज़ चलते (2×10⁻⁴ की लर्निंग रेट), तो रोबोट क्रैश हो जाता, सब कुछ भूल जाता और बेकार हो जाता। यदि वे बहुत धीरे चलते या गति स्थिर रखते, तो भी रोबोट ठीक से नहीं सीख पाता। सही तरीका एक ऐसा शेड्यूल था जो तेज़ शुरू होता था और धीरे-धीरे धीमा होता जाता था, लेकिन कभी पूरी तरह से रुकता नहीं था, जिससे रोबोट स्थिर रहता था।
इसका क्या अर्थ है
मुख्य बात यह है कि आप एक ऐसे तरीके को जो एक साफ, व्यवस्थित डेटासेट पर काम करता है, सीधे इंटरनेट के बिखरे हुए और अराजक डेटा पर नहीं थोप सकते। शोर सब कुछ बदल देता है। एक ऐसा कंट्रोलर बनाकर, जो सीखने की प्रक्रिया को लगातार पुन: संतुलित करता है, लेखकों ने एक भाषा-देखने वाले रोबोट को वेब के अनियंत्रित डेटा का उपयोग करके सिखाना संभव बना दिया। उन्होंने केवल एक बेहतर सेटिंग नहीं खोजी; उन्होंने प्रशिक्षण प्रक्रिया को इतना स्थिर बनाने का एक तरीका खोजा कि वह अराजकता में भी जीवित रह सके, यह साबित करते हुए कि सही "वॉल्यूम नॉब" के साथ, सबसे शोर वाला डेटा भी रोबोट को हाई डेफिनिशन में दुनिया देखना सिखा सकता है।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।