Douyin Multimodal Embedding Model Technical Report
यह शोध पत्र डौयिन मल्टीमॉडल एम्बेडिंग (DME) को प्रस्तुत करता है, जो एक दो-चरणीय प्रशिक्षित मॉडल है जो बड़े पैमाने पर कंट्रास्टिव प्री-ट्रेनिंग को साक्ष्य-आधारित तर्क और क्रॉस-कंडीशनल रिकंस्ट्रक्शन के लिए नवीन प्रशिक्षण-समय तंत्रों के साथ जोड़कर अत्याधुनिक प्रदर्शन और उत्पादन दक्षता प्राप्त करता है, जिससे ऑनलाइन इन्फरेंस गति से समझौता किए बिना सूक्ष्म मल्टीमॉडल भेदभाव प्रदान किया जा सके।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
कल्पना कीजिए कि आप घास के ढेर में एक विशिष्ट सुई खोजने की कोशिश कर रहे हैं, लेकिन वह घास का ढेर पूरा इंटरनेट है, और वह सुई एक वीडियो, एक फोटो, एक दस्तावेज़ या इन तीनों का मिश्रण हो सकती है। यह आधुनिक सर्च इंजन और रिकमेंडेशन सिस्टमों की दैनिक वास्तविकता है। इसे संभव बनाने के लिए, कंप्यूटर मल्टीमॉडल एम्बेडिंग (multimodal embedding) नामक किसी चीज़ का उपयोग करते हैं। इसे एक जादुई अनुवादक के रूप में समझें जो आपके द्वारा देखे, पढ़े या देखे गए हर कुछ को एक एकल, संक्षिप्त "फिंगरप्रिंट" (एक वेक्टर) में बदल देता है। जब आप "टोपी पहने हुए एक बिल्ली" के लिए खोज करते हैं, तो सिस्टम शब्दों को पढ़ता नहीं है; यह आपकी रिक्वेस्ट को एक फिंगरप्रिंट में बदल देता है और अपने डेटाबेस में अन्य ऐसे फिंगरप्रिंट्स को ढूंढता है जो इसके जैसे दिखते हों।
लंबे समय तक, इन सिस्टमों के पास एक कठिन विकल्प था। वे तेज़ लेकिन मंद (dumb) हो सकते थे, जो चीज़ों को तेज़ी से तो ढूंढ लेते थे जो सामान्य रूप से समान थीं, लेकिन उन सूक्ष्म विवरणों को छोड़ देते थे जो वास्तव में मायने रखते थे। या, वे बुद्धिमान लेकिन धीमे हो सकते थे, जो उत्तर देने से पहले हर विवरण पर विचार करने में बहुत समय लेते थे, जो अरबों उपयोगकर्ताओं के किसी ऐप को स्क्रॉल करने के लिए बहुत धीमा है। यह पेपर ठीक इसी समस्या को संबोधित करता है: हम एक ऐसा सर्च इंजन कैसे बना सकते हैं जो बिजली की तरह तेज़ और अविश्वसनीय रूप से सटीक हो, जो दो बहुत समान वीडियो या दस्तावेज़ों के बीच अंतर करने में सक्षम हो, बिना पूरे सिस्टम को धीमा किए?
लेखक, जो बाइटडांस (ByteDance) की डॉयिन (Douyin) टीम और रेन्मिन यूनिवर्सिटी ऑफ चाइना से हैं, एक नया मॉडल पेश करते हैं जिसे डॉयिन मल्टीमॉडल एम्बेडिंग (DME) कहा जाता है। उनका तर्क है कि सर्च को "स्मार्ट" बनाने के मौजूदा प्रयास अक्सर इसलिए विफल रहे क्योंकि उन्होंने कंप्यूटर को उत्तर देने से पहले एक लंबा स्पष्टीकरण (जैसे कि चरण-दर-चरण तर्क श्रृंखला) लिखने के लिए मजबूर किया। हालांकि यह उत्तर को बेहतर बनाता है, लेकिन यह वास्तविक उपयोग के लिए बहुत धीमा है। इसके बजाय, DME एक चतुर दो-चरणीय प्रशिक्षण प्रक्रिया का उपयोग करता है ताकि मॉडल को एक "सुपर-स्मार्ट फिंगरप्रिंट मेकर" बनने का प्रशिक्षण दिया जा सके जिसे स्मार्ट होने के लिए बोलने की आवश्यकता नहीं है।
सबसे पहले, मॉडल एक विशाल "बूट कैंप" (चरण 1) से गुजरता है जहाँ यह एक पारंपरिक तेज़ सर्च इंजन की तरह अरबों विभिन्न प्रकार की सामग्री—टेक्स्ट, इमेज, वीडियो और दस्तावेज़—को मिलाना सीखता है। यह इसे दुनिया की एक व्यापक समझ देता है। फिर, चरण 2 में, मॉडल को एक विशेष अपग्रेड मिलता है। शोधकर्ताओं ने इसे दो गुप्त ट्रिक्स सिखाई हैं। पहली ट्रिक है "एविडेंस-ग्राउंडेड लेटेंट रीजनिंग" (Evidence-Grounded Latent Reasoning)। एक जासूस की कल्पना करें जो लंबी रिपोर्ट नहीं लिखता बल्कि उसके पास एक छोटी, अदृश्य मानसिक चेकलिस्ट होती है जो उसे अपनी राय बनाने से पहले सबसे महत्वपूर्ण सुरागों (जैसे कि किसी साइन पर विशिष्ट टेक्स्ट या वीडियो का एक फ्रेम) पर ध्यान केंद्रित करने में मदद करती है। DME यह आंतरिक रूप से करता है, अपने विचारों को एक छिपे हुए स्थान में व्यवस्थित करता है, जिससे सर्च की गति धीमी नहीं होती।
दूसरी ट्रिक है "क्रॉस-कंडीशनल रिकंस्ट्रक्शन" (Cross-Conditional Reconstruction)। यह एक मेमोरी गेम की तरह है। मॉडल को एक वीडियो के "फिंगरप्रिंट" को देखने और उस वीडियो के टेक्स्ट विवरण को शून्य से "पुनर्निर्मित" करने के लिए प्रशिक्षित किया जाता है। यदि यह विवरण को सफलतापूर्वक पुनर्निर्मित कर सकता है, तो यह साबित करता है कि फिंगरप्रिंट में सभी आवश्यक विवरण मौजूद हैं। यह मॉडल को अपने फिंगरप्रिंट में अधिक जानकारी भरने के लिए मजबूर करता है, यह सुनिश्चित करता है कि वह उन सूक्ष्म विवरणों को न छोड़े जो एक सर्च रिजल्ट को वास्तव में प्रासंगिक बनाते हैं।
परिणाम प्रभावशाली हैं। एक प्रमुख टेस्ट, MMEB-v2 पर, DME ने अपने 2-बिलियन और 9-बिलियन पैरामीटर वाले वर्ज़न के लिए शीर्ष स्कोर प्राप्त किया, जिसने समान आकार के अन्य मॉडलों को, विशेष रूप से जटिल क्षेत्रों जैसे वीडियो और विजुअल-डॉक्यूमेंट सर्च में पीछे छोड़ दिया। लेकिन असली परीक्षण वास्तविक दुनिया में था। जब इसे डॉयिन पर तैनात किया गया, तो मॉडल ने ऑफलाइन टेस्ट में समग्र सर्च गुणवत्ता में 2.92% का सुधार किया और लाइव ऑनलाइन टेस्ट में यूजर एंगेजमेंट को 0.1% बढ़ाया। महत्वपूर्ण रूप से, यह सारी बुद्धिमत्ता लगभग बिना किसी स्पीड पेनल्टी के आई; इस "मानसिक चेकलिस्ट" ने प्रति क्वेरी 1 मिलीसेकंड से भी कम का विलंब जोड़ा।
पेपर सुझाव देता है कि एक सरल एनकोडर की गति को एक गहरे समझ वाले रीजनिंग मॉडल के साथ जोड़कर, DME दक्षता और सटीकता के बीच लंबे समय से चले आ रहे ट्रेड-ऑफ को हल करता है। यह साबित करता है कि कंप्यूटर को "सोचने" के लिए "बोलने" की आवश्यकता नहीं है; कभी-कभी, सबसे अच्छा तर्क शांति में होता है, जो फिंगरप्रिंट के भीतर ही छिपा होता है।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।