कल्पना कीजिए कि आप एक विशाल, अराजक पुस्तकालय में एक विशिष्ट पुस्तक खोजने की कोशिश कर रहे हैं। लंबे समय तक, पुस्तकालयाध्यक्षों ने एक सरल तरकीब का उपयोग किया: वे सटीक शब्दों को देखते थे। यदि आपने "cat" (बिल्ली) के लिए पूछा, तो वे केवल उन पुस्तकों को खोजते थे जिनमें "cat" शब्द था। यह तेज़ और आसान है, लेकिन यह थोड़ा मूर्खतापूर्ण है; यह उन पुस्तकों को छोड़ देता है जो "felines" (बिल्ली प्रजाति) या "kittens" (बिल्ली के बच्चे) के बारे में हैं लेकिन जिन्होंने कभी "cat" शब्द का उपयोग नहीं किया। इसे ठीक करने के लिए, वैज्ञानिकों ने "स्मार्ट" खोज इंजन बनाए जो अर्थ को समझते हैं। ये इंजन आपके प्रश्न और पुस्तकों को संख्याओं की लंबी सूचियों (जिन्हें "डेंस वेक्टर्स" कहा जाता है) में बदल देते हैं। यह हर पुस्तक को उसके 'वाइब' (vibe) और कहानी के आधार पर एक अद्वितीय फिंगरप्रिंट देने जैसा है। यह समझ के लिए बहुत अच्छा है, लेकिन यह भारी, धीमा है, और कभी-कभी यह समझाना कठिन होता है कि किसी पुस्तक को क्यों चुना गया।

अब, एक नए प्रकार के पुस्तकालयाध्यक्ष की कल्पना करें जो एक साथ दोनों काम कर सकता है। वे आपको "वाइब फिंगरप्रिंट" भी दे सकते हैं और सबसे महत्वपूर्ण कीवर्ड्स की एक सूची भी, और वह भी एक ही, बिजली जैसी तेज़ नज़र में। यह सूचना पुनर्प्राप्ति (information retrieval) की दुनिया है, जो डिजिटल घास के ढेर में सुई खोजने का विज्ञान है। बड़ा सवाल यह है कि क्या हम एक ही, सुपर-स्मार्ट मस्तिष्क बना सकते हैं जो "सटीक शब्द" खोज और "अर्थ-आधारित" खोज दोनों को बिना दो अलग-अलग, बोझिल प्रणालियों के संभाल सके? और क्या यह मस्तिष्क न केवल टेक्स्ट, बल्कि चित्रों, वीडियो और दस्तावेजों को भी एक साथ समझ सकता है? यहीं से UEmbed नामक एक नए आविष्कार की कहानी शुरू होती है।

एक-मस्तिष्क समाधान: UEmbed

UEmbed (यूनिफाइड एम्बेडिंग) से मिलिए, एक नए प्रकार का कंप्यूटर मस्तिष्क जिसे अलीबाबा, चीनी विज्ञान अकादमी और येल के शोधकर्ताओं द्वारा डिजाइन किया गया है। UEmbed को एक मल्टीटास्किंग सुपरहीरो के रूप में सोचें जो "शब्द जादूगर" और "अर्थ मास्टर" में से किसी एक को चुनने से इनकार करता है। अतीत में, यदि आप एक ऐसा खोज इंजन चाहते थे जो गहरे अर्थों को समझता हो, तो आपको एक भारी, धीमे सिस्टम का उपयोग करना पड़ता था। यदि आप एक ऐसा सिस्टम चाहते थे जो तेज़ हो और कीवर्ड्स का उपयोग करता हो, तो आपको एक सरल, कम समझ वाला सिस्टम उपयोग करना पड़ता था। आमतौर पर, आप एक ही पैकेज में दोनों नहीं पा सकते थे, विशेष रूप से जब छवियों और वीडियो का मामला हो।

UEmbed एक "डिकोडर-ओनली" (decoder-only) आर्किटेक्चर का उपयोग करके खेल बदल देता है। इसे एक सरल उपमा से समझने के लिए, कल्पना कीजिए कि एक मानक खोज इंजन एक ऐसे व्यक्ति की तरह है जो पूरी कहानी को समझने के लिए शुरू से अंत तक किताब पढ़ता है और बार-बार पीछे मुड़कर देखता है (इसे "बाइडायरेक्शनल" कहा जाता है)। हालाँकि, UEmbed एक ऐसे कहानीकार की तरह है जो पूरी कहानी सुनता है और फिर, बिल्कुल अंत में, तुरंत इसे दो तरीकों से सारांशित करता है: पहले, आपको एक "वाइब स्कोर" (घना/dense हिस्सा) देकर, और दूसरा, उन शीर्ष 10 से 20 सबसे महत्वपूर्ण शब्दों को चिल्लाकर जो उसके दिमाग में आए (विरल/sparse हिस्सा)। यह सब वह एक ही पास में करता है, जैसे एक स्विच पलटना।

यह कैसे काम करता है: विशेष टोकन का जादू

तो, यह मस्तिष्क शब्दों को चिल्लाते हुए भी पूरी कहानी को कैसे समझ लेता है? इसका गुप्त मंत्र "विशेष टोकन" (special tokens) का एक चतुर प्रयोग है।

कल्पना कीजिए कि आप एक कहानी लिख रहे हैं, और अंत में, आप कुछ अदृश्य, जादुई स्टिकी नोट्स जोड़ते हैं। UEmbed के मामले में, शोधकर्ता इनपुट के अंत में 16 ऐसे विशेष नोट्स (जिन्हें टोकन कहा जाता है) जोड़ते हैं। कंप्यूटर के शुरू करने से पहले, यह शब्दों के पूरे शब्दकोश (vocabulary) को 16 अलग-अलग समूहों में विभाजित कर देता है, जैसे कि LEGO ब्रिक्स के एक विशाल बॉक्स को 16 अलग-अलग रंग के डिब्बों में छाँटना।

जैसे ही कंप्यूटर आपकी छवि, वीडियो या टेक्स्ट को पढ़ता है, वह कहानी को प्रोसेस करता है। जब वह अंत में उन 16 जादुई स्टिकी नोट्स तक पहुँचता है, तो प्रत्येक नोट को एक विशिष्ट कार्य सौंपा जाता है: "तुम शब्दों के लाल डिब्बे के प्रभारी हो," "तुम नीले डिब्बे को संभालते हो," इत्यादि। प्रत्येक नोट उस पूरी कहानी को देखता है जो उसने अभी सुनी है और निर्णय लेता है, "जो मैंने सुना उसके आधार पर, मेरे रंग के डिब्बे से ये सबसे महत्वपूर्ण शब्द हैं।"

जब तक कंप्यूटर काम पूरा कर लेता है, उसके पास महत्वपूर्ण शब्दों की 16 छोटी सूचियाँ होती हैं। वे एक विशाल, सुपर-विस्तृत कीवर्ड सूची (sparse vector) बनाने के लिए उन्हें आपस में जोड़ देते हैं। साथ ही, वह पूरी कहानी के "वाइब" को लेकर घना फिंगरप्रिंट (dense fingerprint) बनाता है। यह चतुर विभाजन एक बड़ी समस्या को हल करता है: आमतौर पर, एक कंप्यूटर मस्तिष्क पूरी कहानी का वर्णन करने के लिए केवल एक "समरी टोकन" का उपयोग कर सकता है, जो सभी कीवर्ड्स को रखने के लिए पर्याप्त नहीं होता। 16 अलग-अलग टोकन का उपयोग करके, UEmbed काम को फैला देता है, जिससे यह एक ही समय में कीवर्ड-समृद्ध और अर्थ-समृद्ध दोनों हो जाता है।

संख्याएँ क्या कहती हैं

शोधकर्ताओं ने दुनिया की सबसे कठिन चुनौतियों में से कुछ पर UEmbed का परीक्षण किया। उन्होंने केवल टेक्स्ट नहीं देखा; उन्होंने इस पर चित्र, वीडियो और जटिल दस्तावेज भी डाले।

• बड़ा स्कोर: एक विशाल बेंचमार्क MMEB-v2 पर, जो यह परीक्षण करता है कि मॉडल विभिन्न प्रकार के मीडिया को कितनी अच्छी तरह समझते हैं, UEmbed के सबसे बड़े संस्करण (9B मॉडल, जिसमें 9 बिलियन पैरामीटर्स हैं) ने अपने "वाइब" खोज के लिए 71.8 और अपने "कीवर्ड" खोज के लिए 71.0 का स्कोर प्राप्त किया।
• तुलना: यह एक बहुत बड़ी बात है। आमतौर पर, कीवर्ड-आधारित खोज "वाइब" खोज से काफी पीछे रह जाती है। यहाँ, UEmbed का कीवर्ड मोड इसके वाइब मोड के लगभग बराबर है, और यह सार्वजनिक डेटा पर प्रशिक्षित लगभग हर अन्य मॉडल को पछाड़ देता है। उदाहरण के लिए, इसने RzenEmbed-V2-7B (जिसने 71.1 स्कोर किया) नामक 7-बिलियन-पैरामीटर वाले मॉडल और Embed-RL-4B (जिसने 68.1 स्कोर किया) नामक 2-बिलियन-पैरामीटर वाले मॉडल को पछाड़ दिया।
• दक्षता: क्योंकि UEmbed एक "डिकोडर-ओनली" मॉडल (वही प्रकार जिसका उपयोग लोकप्रिय चैटबॉट्स में किया जाता है) की तरह बनाया गया है, यह हाई-स्पीड सर्वर के साथ अच्छी तरह से काम करता है। यह इन दोहरे परिणामों को अविश्वसनीय रूप से तेज़ी से उत्पन्न कर सकता है, जिससे यह वास्तविक दुनिया के उपयोग के लिए व्यावहारिक बन जाता है।

यह क्यों मायने रखता है: "एजेंट" का लाभ

पेपर सुझाव देता है कि यह दोहरा-शक्ति वाला दृष्टिकोण केवल एक दिलचस्प ट्रिक नहीं है; यह AI "एजेंट्स" (स्मार्ट प्रोग्राम जो आपके लिए वेब ब्राउज़ करते हैं और कार्य करते हैं) के भविष्य के लिए एक व्यावहारिक आवश्यकता है।

जब एक AI एजेंट किसी समस्या को हल करने की कोशिश करता है, तो वह अक्सर छोटे, कीवर्ड-प्रधान प्रश्न पूछता है जैसे "मेरे पास सबसे अच्छा पिज्जा कहाँ है" या "लीक को कैसे ठीक करें।" डेंस "वाइब" खोज कभी-कभी इन्हें मिस कर देती है क्योंकि यह गहरे अर्थों की तलाश करती है, जबकि कीवर्ड खोज तेज़ है लेकिन कम समझदार। UEmbed दोनों दुनियाओं का सर्वश्रेष्ठ प्रदान करता है। BrowseComp-Plus नामक बेंचमार्क पर परीक्षणों में, शोधकर्ताओं ने पाया कि UEmbed के कीवर्ड मोड का उपयोग करने से AI एजेंट को कम खोज प्रयासों के साथ सही जानकारी खोजने में मदद मिली, जिससे समय और कंप्यूटिंग शक्ति की बचत हुई।

सीमाएं और भविष्य

लेखक सावधानीपूर्वक यह बताते हैं कि UEmbed अभी भी पूर्ण नहीं है। उन्होंने देखा कि मॉडल कभी-कभी अंग्रेजी और चीनी के अलावा अन्य भाषाओं के साथ भ्रमित हो जाता है, संभवतः इसलिए क्योंकि इसे मुख्य रूप से इन दोनों पर प्रशिक्षित किया गया था। उन्होंने यह भी देखा कि कभी-कभी "जादुई स्टिकी नोट्स" अजीब, गैर-मानक शब्द (जैसे "_alt" या "_perm") चिल्ला सकते हैं, जो कंप्यूटर के आंतरिक शब्दकोश के अवशेष हैं।

हालाँकि, मूल विचार ठोस है: UEmbed साबित करता है कि आपको गति और बुद्धिमत्ता, या शब्दों और अर्थ के बीच चुनाव करने की आवश्यकता नहीं है। इन दोनों दुनियाओं को एक एकल, डिकोडर-ओनली मॉडल में एकीकृत करके, यह ऐसे खोज इंजनों के द्वार खोलता है जो तेज़, स्मार्ट और संपूर्ण डिजिटल दुनिया को समझने में सक्षम हैं—एक अकेले वाक्य से लेकर एक पूर्ण लंबाई वाले वीडियो तक—एक ही बार में। यह एक नया प्रतिमान (paradigm) है जहाँ खोज इंजन न केवल शब्दों को देखता है या केवल वाइब को महसूस करता है; वह दोनों करता है, तुरंत।