Milco: Learned Sparse Retrieval Across Languages via a Multilingual Connector
यह शोध पत्र MILCO को प्रस्तुत करता है, जो एक नवीन बहुभाषी (multilingual) Learned Sparse Retrieval आर्किटेक्चर है जो एक विशेष कनेक्टर और एक LexEcho हेड का लाभ उठाकर क्रॉस-लिंगुअल प्रश्नों और दस्तावेज़ों को एक साझा अंग्रेजी लेक्सिकल स्पेस में मैप करता है, जिससे अग्रणी डेंस और स्पार्स बेसलाइन्स की तुलना में अत्याधुनिक प्रदर्शन और बेहतर दक्षता प्राप्त होती है।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
कल्पना कीजिए कि आप एक विशाल, वैश्विक पुस्तकालय के लाइब्रेरियन हैं जिसमें 39 अलग-अलग भाषाओं की पुस्तकें हैं। एक पाठक आपके पास चीनी भाषा में एक प्रश्न लेकर आता है: "मैं अपने फोन में Momo Live से संगीत कैसे इम्पोर्ट करूँ?"
पुराने दिनों में, लाइब्रेरियन को यह अनुमान लगाने के लिए संघर्ष करना पड़ता कि उत्तर किस भाषा में होगा, या वे एक अनुवादक पर निर्भर होते जो "Momo" जैसे विशिष्ट नाम को छोड़ सकता था क्योंकि यह एक ब्रांड का नाम है जिसका अनुवाद ठीक से नहीं किया जा सकता।
MILCO एक नया, सुपर-स्मार्ट लाइब्रेरियन सिस्टम है जो इस समस्या को हल करता है। यह एक प्रकार की सर्च इंजन तकनीक है जिसे Learned Sparse Retrieval (LSR) कहा जाता है। यह कैसे काम करता है, इसे सरल अवधारणाओं और उपमाओं के माध्यम से यहाँ समझाया गया है।
1. समस्या: "अनुवाद में खो जाने" का अंतर (The "Lost in Translation" Gap)
अधिकांश आधुनिक सर्च इंजन घने कोहरे की तरह होते हैं। वे शब्दों को अदृश्य, गणितीय बादलों (वेक्टर्स) में बदल देते हैं। वे किसी वाक्य के 'वाइब' या भाव को समझने में तो बहुत अच्छे होते हैं, लेकिन वे अपारदर्शी होते हैं। आप यह नहीं देख सकते कि उन्होंने किसी विशेष परिणाम को क्यों चुना। साथ ही, जब वे किसी चीनी प्रश्न का अंग्रेजी में अनुवाद करके उत्तर खोजने की कोशिश करते हैं, तो वे अक्सर "अजीब" या विशिष्ट शब्दों (जैसे ब्रांड "Momo") को छोड़ देते हैं क्योंकि वे मानक अंग्रेजी शब्दकोशों में फिट नहीं बैठते।
2. समाधान: "यूनिवर्सल ट्रांसलेटर" कनेक्टर
MILCO एक विशेष पुल पेश करता है जिसे Multilingual Connector कहा जाता है।
- उपमा: कल्पना कीजिए कि दुनिया की हर भाषा "टेलीफोन" के एक विशाल खेल के अलग-अलग लहजे (dialects) हैं। आमतौर पर, यदि आप चीनी से अंग्रेजी में संदेश भेजते हैं, तो विवरण धुंधले हो जाते हैं।
- MILCO की तरकीब: यह चीनी प्रश्न को लेता है, उसे एक विशेष अनुवादक (कनेक्टर) के माध्यम से चलाता है, और उसे वास्तविक अंग्रेजी शब्दों का उपयोग करके अंग्रेजी बोलने के लिए मजबूर करता है। लेकिन यहाँ जादू यह है: यह केवल अनुवाद नहीं करता; यह अर्थ को समझता है और इसे उन अंग्रेजी शब्दों से जोड़ देता है जो इसका सबसे अच्छा वर्णन करते हैं।
- परिणाम: चाहे आप फ्रेंच, हिंदी या जापानी में पूछें, MILCO आपके प्रश्न को अंग्रेजी कीवर्ड्स की एक सूची (जैसे
music,import,phone,step) में बदल देता है। यह इसे किसी भी भाषा का उपयोग करके एक विशाल अंग्रेजी-आधारित इंडेक्स को खोजने की अनुमति देता है।
3. "LexEcho" हेड: एक सुरक्षा जाल (The "LexEcho" Head: The Safety Net)
एक पेच है। कभी-कभी, कोई शब्द इतना अनूठा होता है (जैसे "Momo" या कोई विशिष्ट स्थानीय शब्द) कि उसका अंग्रेजी में अनुवाद करने से अर्थ खो जाता है। यदि सिस्टम केवल अंग्रेजी अनुवाद पर निर्भर रहता है, तो वह उत्तर चूक सकता है।
- उपमा: LexEcho को एक द्विभाषी सुरक्षा गार्ड के रूप में सोचें।
- व्यू 1 (अंग्रेजी दृश्य): गार्ड मुख्य उत्तर खोजने के लिए आपके अनुरोध का अंग्रेजी में अनुवाद करता है।
- व्यू 2 (स्रोत दृश्य): यदि गार्ड को एहसास होता है कि, "रुको, 'Momo' एक विशिष्ट नाम है जिसका अनुवाद अच्छी तरह से नहीं होता," तो वे बैकअप के रूप में सर्च इंजन को मूल चीनी शब्द (
陌) चिल्लाकर बताते हैं।
- यह क्यों महत्वपूर्ण है: यह सुनिश्चित करता है कि भले ही अनुवाद एकदम सटीक न हो, फिर भी सिस्टम उन विशिष्ट शब्दों को याद रखता है। यह एक सुरक्षा जाल की तरह है जो उन विशिष्ट विवरणों को पकड़ लेता है जो आमतौर पर छूट जाते हैं।
4. प्रशिक्षण: "मैच करना सीखना" (The Training: "Learning to Match")
MILCO केवल अचानक से यह सब जानकर नहीं जागा। इसने दो चरणों वाले प्रशिक्षण शिविर से गुजरना पड़ा:
- Sparse Alignment Pretraining (द "डिक्शनरी" चरण): सिस्टम को लाखों वाक्यों के जोड़े (जैसे एक चीनी वाक्य और उसका अंग्रेजी अनुवाद) खिलाए गए। इसने चीनी शब्दों को सीधे सही अंग्रेजी कीवर्ड्स से जोड़ना सीखा। इसने "सिमेंटिक कोलैप्स" (अर्थ संबंधी पतन) को रोका जहाँ सिस्टम भूल जाता है कि शब्दों का वास्तव में क्या अर्थ है।
- Contrastive Training (द "क्विज़" चरण): इसके बाद इसका वास्तविक खोज प्रश्नों पर परीक्षण किया गया। यदि इसने गलत दस्तावेज़ चुना, तो इसे सुधारा गया। इसने इसे केवल कोई भी उत्तर खोजने के बजाय सबसे अच्छा उत्तर खोजने में तेज और प्रभावी बनाया।
5. सुपरपावर: गति और दक्षता (The Superpower: Speed and Efficiency)
अधिकांश शक्तिशाली सर्च इंजन भारी ट्रकों की तरह होते हैं। वे मजबूत हैं लेकिन धीमे हैं और बहुत अधिक जगह (मेमोरी) लेते हैं।
MILCO एक हाई-स्पीड इलेक्ट्रिक स्कूटर की तरह है।
- प्रूनिंग (Pruning): क्योंकि MILCO "स्पार्स" (sparse) प्रतिनिधित्व का उपयोग करता है (ज्यादातर शून्य, केवल कुछ महत्वपूर्ण शब्द सक्रिय), यह सीखने के बाद अनावश्यक डेटा को हटा सकता है।
- उपमा: कल्पना कीजिए कि एक घना वेक्टर 100 पन्नों की रिपोर्ट है। MILCO 30 शब्दों का सारांश है।
- परिणाम: MILCO अपने सबसे बड़े प्रतिस्पर्धियों (जैसे Qwen3-Embed) की तुलना में 3 गुना तेज़ है और 10 गुना छोटा इंडेक्स बनाता है, फिर भी यह बेहतर उत्तर खोजता है। यह बिना किसी विशाल सुपरकंप्यूटर की आवश्यकता के मानक कंप्यूटर चिप्स पर चल सकता है।
सारांश
MILCO एक ऐसा सर्च इंजन है जो:
- भाषाओं को एकीकृत करता है: यह सब कुछ एक साझा अंग्रेजी "शब्दावली स्थान" में अनुवादित करता है ताकि यह एक ही मॉडल के साथ 39 भाषाओं में खोज कर सके।
- विवरणों को याद रखता है: इसकी "LexEcho" विशेषता मूल अनूठे शब्दों (जैसे ब्रांड नाम) को बनाए रखती है ताकि वे अनुवाद में खो न जाएं।
- तेज़ और छोटा है: यह एक "स्पार्स" विधि का उपयोग करता है जो फालतू चीजों को काट देता है, जिससे यह सटीकता में विशाल और भारी मॉडलों को मात देते हुए भी अविश्वसनीय रूप से तेज़ और सस्ता हो जाता है।
यह घास के ढेर में सुई खोजने के लिए पूरे ढेर की धुंधली फोटो देखने और एक चुंबक होने के बीच का अंतर है जो सुई को तुरंत खींच लेता है, चाहे घास का ढेर किसी भी भाषा में लिखा हो।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।