Fusion Embedding: A Unified Embedding Space for Text, Image, Video, and Audio
यह शोध पत्र फ्यूजन एम्बेडिंग (Fusion Embedding) परिवार का परिचय देता है, जो एक एकीकृत मॉडल है जो बेस पैरामीटर्स को अपडेट किए बिना टेक्स्ट, इमेज, वीडियो और ऑडियो के बीच ज़ीरो-शॉट क्रॉस-मोडल रिट्रीवल सक्षम करने के लिए हल्के, मोडैलिटी-विशिष्ट एडेप्टरों का उपयोग करके एक फ्रोजन विज़न-लैंग्वेज एम्बेडिंग स्पेस में ऑडियो को एकीकृत करता है।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
कल्पना कीजिए कि आप पूरे इंटरनेट के लिए एक परम पुस्तकालय (ultimate library) बना रहे हैं। अभी, यदि आपको कोई गाना खोजना है, तो आपको एक संगीत लाइब्रेरियन से पूछना पड़ता है; यदि आपको कोई फोटो चाहिए, तो आप एक फोटो लाइब्रेरियन से पूछते हैं; और यदि आपको कोई वीडियो चाहिए, तो आप एक वीडियो लाइब्रेरियन से पूछते हैं। वे सभी अलग-अलग भाषाएँ बोलते हैं और अपनी किताबें अलग-अलग कमरों में रखते हैं। यह उन चीजों को खोजने को अविश्वसनीय रूप से कठिन बना देता है जो इन चीजों का मिश्रण हैं—जैसे कि "एक कुत्ते के भौंकने का वीडियो जो पूर्ण चंद्रमा की ओर देख रहा है।"
इस समस्या को हल करने के लिए, वैज्ञानिक "एम्बेडिंग्स" (embeddings) नामक चीज़ का उपयोग करते हैं। एम्बेडिंग को एक विशिष्ट आईडी कार्ड या डेटा के लिए जीपीएस निर्देशांक (GPS coordinates) के रूप में समझें। एक आदर्श दुनिया में, यदि आपके पास कुत्ते की एक तस्वीर है और एक वाक्य है जो कहता है "एक कुत्ता," तो उन्हें बिल्कुल एक ही जीपीएस निर्देशांक मिलने चाहिए, भले ही एक तस्वीर हो और दूसरा टेक्स्ट। यह कंप्यूटर को यह समझने में मदद करता है कि वे एक ही चीज़ हैं। बड़ी चुनौती अभी यह है कि जबकि हमारे पास टेक्स्ट, इमेज और वीडियो के लिए बेहतरीन जीपीएस सिस्टम हैं, हम ध्वनि (sound) को मैप करने में बहुत खराब हैं। साउंड को समझने वाले अधिकांश सिस्टम ऐसे विशेषज्ञों की तरह हैं जो केवल "शोर" की भाषा बोलते हैं और टेक्स्ट या इमेज लाइब्रेरियन से बात नहीं कर सकते।
यह पेपर फ्यूजन एम्बेडिंग (Fusion Embedding) नामक उपकरणों के एक नए परिवार को पेश करता है जो अंततः टेक्स्ट, इमेज, वीडियो और ऑडियो को एक ही मानचित्र में रखता है। शोधकर्ताओं ने पूरी लाइब्रेरी को फिर से बनाने की कोशिश नहीं की। इसके बजाय, उन्होंने एक बहुत शक्तिशाली, पहले से निर्मित लाइब्रेरी ली जो पहले से ही टेक्स्ट, इमेज और वीडियो को संभालने के लिए जानी जाती थी, और उन्होंने एक चतुर तरीका निकाला जिससे वे बिना किसी मौजूदा काम को बिगाड़े एक "साउंड डिपार्टमेंट" जोड़ सकें।
"फ्रोजन" (Frozen) लाइब्रेरी का जादू
यहाँ असली सफलता यह है कि शोधकर्ताओं ने मुख्य लाइब्रेरी को "फ्रोजन" रखा। कल्पना कीजिए कि मुख्य लाइब्रेरी एक मास्टर लेखक द्वारा लिखी गई एक विशाल, पूर्ण विश्वकोश (encyclopedia) है। आमतौर पर, यदि आप एक नया अनुभाग (जैसे ध्वनि) जोड़ना चाहते हैं, तो आपको विश्वकोश के कुछ हिस्सों को फिर से लिखना पड़ता है, जिससे पुराने शब्दों के अर्थ बदलने का जोखिम होता है।
लेखकों ने निर्णय लिया: "पुनर्लेखन की अनुमति नहीं है।" उन्होंने विश्वकोश को उसके अंतिम अक्षर तक बिल्कुल वैसा ही रखा जैसा वह था। इसके बजाय, उन्होंने प्रवेश द्वार पर एक छोटा, विशेष अनुवादक बूथ बनाया।
जेनरेशन 1 यह पहला अनुवादक है। यह एक छोटा, 16.4-मिलियन-पैरामीटर वाला कनेक्टर (एक छोटे, कुशल रोबोट की तरह) है जो ऑडियो टावर (वह हिस्सा जो ध्वनि सुनता है) और फ्रोजन विश्वकोश के बीच बैठता है। जब आप इसमें एक ध्वनि फीड करते हैं, तो रोबोट शोर को उस प्रारूप में अनुवादित करता है जिसे विश्वकोश समझता है। यह विश्वकोश को नहीं बदलता है; यह बस इसकी भाषा बोलता है। आश्चर्यजनक रूप से, यह सरल सेटअप अविश्वसनीय रूप से अच्छा काम कर गया। यह एक ध्वनि को टेक्स्ट विवरण से मिला सका, और इससे भी बेहतर, यह एक ऐसी इमेज से ध्वनि को मिला सका जिसे उसने पहले कभी नहीं देखा था, और वह भी बिना कभी किसी ध्वनि की तस्वीर देखे। यह एक ऐसे व्यक्ति को सिखाने जैसा है जो केवल फ्रेंच बोलता है, उसे एक नई भाषा समझने के लिए केवल एक डिक्शनरी दिखाकर, बिना उसे नई भाषा के व्याकरण नियम सिखाए।
जेनरेशन 2 ने पूछा, "क्या हम 'नो रीराइटिंग' नियम को तोड़े बिना और भी बेहतर कर सकते हैं?" उन्होंने महसूस किया कि हालांकि अनुवादक बूथ अच्छा था, लेकिन विश्वकोश के पास कुछ अप्रयुक्त दिमागी शक्ति (unused brainpower) थी जो ध्वनि में मदद कर सकती थी। इसलिए, उन्होंने "मोडैलिटी-गेटेड डीप एडेप्टर्स" (modality-gated deep adapters) जोड़े।
इन्हें विश्वकोश के पन्नों के भीतर गुप्त, अदृश्य दरवाजों के रूप में समझें। ये दरवाजे केवल तभी खुलते हैं जब ध्वनि को प्रोसेस किया जा रहा होता है। जब कोई टेक्स्ट या इमेज आती है, तो दरवाजे बंद रहते हैं, और पुस्तक को हमेशा की तरह पढ़ा जाता है। जब एक ध्वनि आती है, तो दरवाजे खुल जाते हैं, और एक विशेष 44.2-मिलियन-पैरामीटर वाला सहायक मॉड्यूल पुस्तक को ध्वनि को बेहतर ढंग से समझने में मदद करने के लिए कूद पड़ता है। परिणाम क्या है? टेक्स्ट और इमेज के लिए पुस्तक का आउटपुट मूल फ्रोजन संस्करण के बिल्कुल बिट-फॉर-बिट समान (bit-for-bit identical) रहता है। यदि आप उसी टेक्स्ट को सिस्टम के माध्यम से पहले और बाद में चलाते हैं, तो कंप्यूटर में कोई अंतर नहीं दिखेगा। यह गारंटी देता है कि आपके द्वारा टेक्स्ट, इमेज या वीडियो के लिए सहेजा गया हर एक सर्च रिजल्ट पूरी तरह से वैध बना रहेगा।
उन्होंने क्या पाया (और क्या नहीं)
टीम ने साउंड और कैप्शन के विशाल डेटासेट पर इस सिस्टम का परीक्षण किया। उन्होंने पाया कि अपने "फ्रोजन बेस" नियम का पालन करके, वे ऑडियो-टू-टेक्स्ट मिलान के लिए अत्याधुनिक परिणाम प्राप्त कर सकते हैं, जो ऑडियोकैप्स (AudioCaps) नामक एक मानक परीक्षण पर 0.741 का स्कोर तक पहुँचता है। यह एक बड़ी बात है क्योंकि अन्य अधिकांश सिस्टम जो इसे अच्छी तरह से करते हैं, उन्हें अपना पूरा दिमाग फिर से प्रशिक्षित (retrain) करना पड़ता है, जिसका अर्थ है कि वे अक्सर अन्य चीजें करना भूल जाते हैं या अपने पुराने परिणामों को बिगाड़ देते हैं।
हालाँकि, पेपर हमें यह भी बताता है कि क्या काम नहीं करता है:
- कैप्शंस को फिर से लिखना: उन्होंने एक सुपर-स्मार्ट AI का उपयोग करके प्रशिक्षण विवरणों को "साफ" बनाने की कोशिश की। आश्चर्यजनक रूप से, इसने सिस्टम के प्रदर्शन को और खराब कर दिया। यह स्पष्ट है कि सिस्टम पॉलिश किए गए AI विवरणों के बजाय मूल, अव्यवस्थित मानव विवरणों से बेहतर सीखता है।
- एक "मजबूत" साउंड टावर का उपयोग करना: उन्होंने अपने साउंड एनकोडर को एक ऐसे एनकोडर से बदलने की कोशिश की जिसे आमतौर पर दुनिया में सबसे अच्छा माना जाता है। लेकिन उनके फ्रोजन सिस्टम में प्लग इन करने पर, यह "मजबूत" टावर उनके चुने हुए टावर की तुलना में वास्तव में खराब प्रदर्शन करता है। यह सुझाव देता है कि जो चीज़ एक स्टैंडअलोन सिस्टम के लिए एक अच्छा साउंड एनकोडर बनाती है, वह आवश्यक रूप से वह नहीं है जो एक फ्रोजन-लाइब्रेरी सिस्टम के लिए एक अच्छा साउंड एनकोडर बनाती है।
- कनेक्टर को बहुत चौड़ा बनाना: उन्होंने अनुवादक रोबोट को बड़ा और चौड़ा बनाने की कोशिश की। स्मार्ट होने के बजाय, इसने केवल प्रशिक्षण डेटा को याद करना शुरू कर दिया और सामान्यीकरण (generalize) करने में विफल रहा।
"प्रोटोकॉल" का आश्चर्य
सबसे दिलचस्प खोजओं में से एक मॉडल के बारे में नहीं थी, बल्कि इस बारे के बारे में थी कि वे इससे कैसे बात करते हैं। शोधकर्ताओं ने पाया कि आप सिस्टम में टेक्स्ट कैसे फीड करते हैं, यह आपकी सोच से कहीं अधिक मायने रखता है। यदि आप सिस्टम में टेक्स्ट को "बेयर" (bare) फॉर्मेट में फीड करते हैं (केवल शब्द), तो यह खराब प्रदर्शन करता है। लेकिन यदि आप टेक्स्ट को ठीक उसी "चैट टेम्पलेट" फॉर्मेट में फीड करते हैं जिस पर मूल विश्वकोश को प्रशिक्षित किया गया था (विशिष्ट निर्देशों और फॉर्मेटिंग के साथ), तो प्रदर्शन में 14.5 अंक की भारी उछाल आती है।
यह एक लाइब्रेरियन से सवाल पूछने जैसा है। यदि आप बस "कुत्ता!" चिल्लाते हैं, तो शायद वे समझ न पाएं। लेकिन यदि आप, "नमस्ते लाइब्रेरियन, मैं एक कुत्ते की तस्वीर ढूंढ रहा हूँ," ठीक उसी विनम्र प्रारूप में कहते हैं जैसा उन्हें सिखाया गया था, तो वे तुरंत उसे ढूंढ लेते हैं। पेपर दिखाता है कि यदि आप मूल प्रशिक्षण प्रारूप का सम्मान नहीं करते हैं, तो आप प्रदर्शन में दो अंकों की गिरावट झेल सकते हैं, जो प्रभावी रूप से आपके सिस्टम को बहुत कम बुद्धिमान बना देता है।
निचोड़ (The Bottom Line)
फ्यूजन एम्बेडिंग (Fusion Embedding) परिवार यह सिद्ध करता है कि एक नया कमरा जोड़ने के लिए आपको पूरा घर फिर से बनाने की आवश्यकता नहीं है। एक फ्रोजन बेस का उपयोग करके और स्मार्ट, गेटेड कनेक्टर्स जोड़कर, उन्होंने एक एकीकृत स्थान बनाया है जहाँ टेक्स्ट, इमेज, वीडियो और ऑडियो सभी एक साथ रहते हैं।
- जेनरेशन 1 ने दिखाया कि एक छोटा कनेक्टर ऑडियो को लाइब्रेरी में एक "प्रथम श्रेणी का नागरिक" (first-class citizen) बनाने के लिए पर्याप्त है।
- जेनरेशन 2 ने दिखाया कि आप टेक्स्ट या इमेज के एक भी बिट को बदले बिना ऑडियो के लिए और भी अधिक दिमागी शक्ति जोड़ सकते हैं।
परिणामस्वरूप, यह एक ऐसा सिस्टम है जो एक ध्वनि ले सकता है और मिलान वाला वीडियो ढूंढ सकता है, या एक वीडियो ले सकता है और मिलान वाली ध्वनि ढूंढ सकता है, और यह सब मूल टेक्स्ट और इमेज सर्च परिणामों को पूरी तरह से सुरक्षित रखते हुए किया जा सकता है। यह एक ऐसे भविष्य की ओर एक कदम है जहाँ आप अपने कंप्यूटर से कह सकते हैं, "मुझे बारिश के वीडियो दिखाएं," और वह समझ जाता है कि "बारिश" एक ध्वनि है, एक दृश्य है, और एक शब्द है, और यह सब एक साथ है, बिना प्रत्येक चीज़ के लिए एक अलग ऐप की आवश्यकता के।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।