Multimodal Alignment Through Joint Kernel Entropic Gromov--Wasserstein Optimal Transport
यह शोध पत्र जॉइंट कर्नेल एंट्रोपिक ग्रोमोव-वासरस्टीन ऑप्टिमल ट्रांसपोर्ट (JK-EGW) का प्रस्ताव करता है, जो एक स्केलेबल फ्रेमवर्क है जो सूक्ष्म-स्तरीय एफिनिटी कर्नेल्स पर एक क्वाड्रेटिक ऑप्टिमल ट्रांसपोर्ट ऑब्जेक्टिव को न्यूनतम करके कई मोडैलिटीज को एक साझा लेटेंट स्पेस में संरेखित करता है, जिससे डेटा-दुर्लभ परिदृश्यों में बेहतर रिट्रीवल प्रदर्शन प्राप्त होता है और सैंपल कॉम्प्लेक्सिटी पर सैद्धांतिक गारंटी मिलती है।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
कल्पना कीजिए कि आप एक रोबोट को दुनिया को समझना सिखाने की कोशिश कर रहे हैं, लेकिन आपने उसे दो बहुत अलग तरह की आँखें दी हैं। एक आँख दुनिया को चित्रों के रूप में देखती है, जो रंगों और आकारों से भरी है, जबकि दूसरी आँख दुनिया को शब्दों के रूप में देखती है, जो वाक्यों और अर्थों से भरी है। समस्या यह है कि ये दोनों "आँखें" पूरी तरह से अलग भाषाएँ बोलती हैं। एक कुत्ते का चित्र और शब्द "कुत्ता" (dog) डेटा के दो अलग ब्रह्मांडों में रहते हैं। रोबोट को स्मार्ट बनाने के लिए, आपको इस पुल को बनाना होगा, एक साझा मानसिक स्थान जहाँ एक कुत्ते का चित्र और शब्द "कुत्ता" एक-दूसरे को पहचान सकें और समझ सकें कि वे एक ही चीज़ हैं। यही "मल्टीमॉडल एलाइनमेंट" (multimodal alignment) की चुनौती है।
आमतौर पर, वैज्ञानिक इस पुल को बनाने के लिए रोबोट को लाखों युग्मित उदाहरण (जैसे एक कुत्ते के चित्र के बगल में "कुत्ता" शब्द) खिलाते हैं और उसे परीक्षण और त्रुटि (trial and error) के माध्यम से सीखने देते हैं। लेकिन क्या होगा यदि आपके पास लाखों जोड़े नहीं हैं? क्या होगा यदि आपके पास केवल कुछ ही हैं? और क्या होगा यदि रोबोट के पास पहले से ही शक्तिशाली, पूर्व-प्रशिक्षित (pre-trained) आँखें हैं जो चित्र देखने या शब्द पढ़ने में माहिर हैं, लेकिन वे बस एक-दूसरे से बात करना नहीं जानतीं? यहीं पर यह शोध पत्र काम आता है। यह उस पेचीदा स्थिति से निपटता है जहाँ आपके पास उन्हें जोड़ने के लिए बहुत कम डेटा है, लेकिन शक्तिशाली, पूर्व-प्रशिक्षित उपकरण मौजूद हैं। यह "ऑप्टिमल ट्रांसपोर्ट" (Optimal Transport) नामक एक गणितीय विचार का उपयोग करता है, जो रेत के ढेर को एक आकार से दूसरे आकार में ले जाने के सबसे कुशल तरीके को खोजने जैसा है, ताकि यह पता लगाया जा सके कि इन विभिन्न डेटा प्रकारों को कैसे पुनर्व्यवस्थित किया जाए ताकि वे उनके अद्वितीय आकार को खोए बिना एक साथ फिट हो सकें।
इस शोध पत्र के लेखक, यिक्सुआन फ्लोरेंस वू (Yixuan Florence Wu), यिलुन झू (Yilun Zhu), और नैचेन शी (Naichen Shi), एक नई विधि प्रस्तावित करते हैं जिसे JK-EGW (Joint Kernel Entropic Gromov–Wasserstein Optimal Transport) कहा जाता है। इसे एक सुपर-स्मार्ट मैचमेकर (जोड़ी बनाने वाला) समझें। कच्चे फीचर्स की तुलना करने के बजाय (जैसे किसी फोटो के पिक्सेल काउंट की तुलना किसी शब्द के अक्षर काउंट से करना), JK-EGW चीजों के बीच के संबंधों को देखता है। यह पूछता है: "क्या एक काले कुत्ते का यह चित्र उस दूसरे काले कुत्ते के चित्र के समान महसूस होता है? क्या यह 'काला कुत्ता' (black dog) वाले टेक्स्ट के भी समान महसूस होता है?" इन संबंधों को एक साझा, अदृश्य मानचित्र पर मैप करके, यह विधि विभिन्न मोडैलिटीज (modalities) को संरेखित करती है।
यहाँ चतुर हिस्सा यह है: लेखकों ने महसूस किया कि यह मिलान करना आमतौर पर एक विशाल, जटिल गणितीय समस्या है जिसे हल करना कठिन है और कम डेटा के साथ इस पर भरोसा करना मुश्किल है। इसलिए, उन्होंने "कर्नेल" (kernel) नामक एक चीज़ का उपयोग करके एक "शॉर्टकट" बनाया। कल्पना कीजिए कि कर्नेल एक विशेष लेंस है जो जटिल, अव्यवस्थित डेटा को एक सरल, संरचित रूप में बदल देता है। इस लेंस का उपयोग करके, उन्होंने एक कठिन, गैर-रैखिक (non-linear) पहेली को एक रैखिक (linear) पहेली में बदल दिया जिसे कंप्यूटर बहुत तेज़ी से हल कर सकते हैं। उन्होंने गणितीय रूप से सिद्ध किया कि सीमित डेटा के साथ भी, उनकी विधि अधिक नमूनों (samples) को जोड़ने पर अधिक सटीक होती जाती है, और सुधार की एक अनुमानित दर का पालन करती है (विशेष रूप से, त्रुटि नमूनों की संख्या के वर्गमूल द्वारा घटती है)।
अपने प्रयोगों में, उन्होंने इस विधि का परीक्षण दो मुख्य कार्यों पर किया। पहले, उन्होंने हस्तलिखित संख्याओं (MNIST) के एक डेटासेट का उपयोग किया जहाँ संख्याओं को दो अलग-अलग तरीकों से वर्णित किया गया था (जैसे फूरियर गुणांक और कारकुनेन-लूवे गुणांक)। उन्होंने दिखाया कि JK-EGW सफलतापूर्वक इन विभिन्न विवरणों को एक एकल स्थान में मैप कर सकता है जहाँ समान मान वाली संख्याएँ एक साथ क्लस्टर (समूह में) बनती हैं, चाहे उन्हें कैसे भी वर्णित किया गया हो।
दूसरा, और अधिक प्रभावशाली रूप से, उन्होंने एक वास्तविक दुनिया के कार्य पर इसका परीक्षण किया: MS–COCO डेटासेट से छवियों को टेक्स्ट के साथ मिलाना। उन्होंने उन शक्तिशाली, पूर्व-प्रशिक्षित AI मॉडलों को लिया जो पहले से ही छवियों को देखना और टेक्स्ट पढ़ना जानते थे, लेकिन उन्हें संरेखित करना नहीं जानते थे। उन्होंने इन 'फ्रोजन' (frozen) मॉडलों पर JK-EGW लागू किया। परिणाम उत्साहजनक थे: JK-EGW ने एक ऐसा साझा स्थान बनाया जहाँ चित्र और उनके संबंधित टेक्स्ट विवरण अन्य मौजूदा तरीकों की तुलना में एक-दूसरे के बहुत करीब थे। जब उन्होंने यह परीक्षण किया कि सिस्टम एक छवि के लिए सही टेक्स्ट (या इसके विपरीत) को कितनी अच्छी तरह ढूंढ सकता है, तो JK-EGW ने अन्य तरीकों को पछाड़ दिया, और उच्च "रिकॉल" (recall) स्कोर प्राप्त किया (जिसका अर्थ है कि इसने सही मिलान अधिक बार खोजा)।
यह शोध पत्र सुझाव देता है कि यह दृष्टिकोण AI के भविष्य के लिए एक शक्तिशाली उपकरण है, विशेष रूप से तब जब हमारे पास बहुत सारे पूर्व-प्रशिक्ित मॉडल हों लेकिन उन्हें शुरू से प्रशिक्षित करने के लिए पर्याप्त युग्मित डेटा न हो। यह दिखाता है कि डेटा की आंतरिक संरचना का सम्मान करके और स्मार्ट गणितीय लिफ्टिंग तकनीकों का उपयोग करके, हम दुनिया को देखने के विभिन्न तरीकों के बीच बेहतर, अधिक सुसंगत पुल बना सकते हैं। हालाँकि गणित भारी है, लेकिन मूल विचार सरल है: विभिन्न डेटा प्रकारों को एक जैसा दिखने के लिए मजबूर न करें; उन्हें एक-दूसरे के संबंधों को समझने में मदद करें, और वे स्वाभाविक रूप से एक ही स्थान पर पहुँच जाएंगे।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।