On the Theoretical Limitations of Embedding-Based Retrieval

यहाँ शोध पत्र "On the Theoretical Limitations of Embedding-Based Retrieval" (ICLR 2026) का विस्तृत तकनीकी सारांश दिया गया है।

1. समस्या विवरण (Problem Statement)

यह शोध पत्र सूचना पुनर्प्राप्ति (Information Retrieval - IR) में उपयोग किए जाने वाले सिंगल-वेक्टर एम्बेडिंग मॉडल्स (single-vector embedding models) की एक मौलिक सीमा को संबोधित करता है। जबकि इन मॉडल्स ने जटिल निर्देशों (instructions), तर्क (reasoning) और मल्टी-मोडल कार्यों को संभालने में महत्वपूर्ण प्रगति की है, फिर भी यह व्यापक धारणा बनी हुई है कि उनकी विफलताएं अपर्याप्त प्रशिक्षण डेटा या मॉडल के आकार के कारण हैं, न कि अंतर्निहित सैद्धांतिक बाधाओं के कारण।

लेखक इस धारणा को चुनौती देते हुए तर्क देते हैं कि एम्बेडिंग डाइमेंशनलिटी ($d$) एक कठोर सैद्धांतिक सीमा लागू करती है, जो कि एक मॉडल द्वारा प्रतिनिधित्व किए जा सकने वाले अद्वितीय टॉप-$k$ डॉक्यूमेंट सबसेट्स (top-$k$ document subsets) की संख्या पर नियंत्रण रखती है। विशेष रूप से, जैसे-जैसे संभावित प्रासंगिकता संयोजनों (relevance combinations) की संख्या बढ़ती है (उदाहरण के लिए, निर्देश-अनुपालन कार्यों में लॉजिकल ऑपरेटर्स के माध्यम से), एम्बेडिंग स्पेस की निश्चित डाइमेंशनलिटी सभी प्रासंगिक डॉक्यूमेंट सेट्स को अप्रासंगिक से अलग करने के लिए अपर्याप्त हो जाती है, चाहे प्रशिक्षण की गुणवत्ता कैसी भी हो।

2. कार्यप्रणाली (Methodology)

लेखक सैद्धांतिक प्रमाणों, सर्वश्रेष्ठ-मामला अनुभवजन्य अनुकूलन (best-case empirical optimization), और यथार्थवादी डेटासेट निर्माण को संयोजित करते हुए एक त्रि-आयामी दृष्टिकोण अपनाते हैं।

A. सैद्धांतिक विश्लेषण (Sphere Packing)

• प्रारूपण (Formulation): लेखक एक रिट्रीवल ऑब्जेक्टिव को परिभाषित करते हैं जहाँ एक क्वेरी वेक्टर $u$ को $k$ प्राrelevant दस्तावेजों के एक विशिष्ट सबसेट को $n-k$ अप्रासंगिक दस्तावेजों से एक मार्जिन $\gamma$ के साथ अलग करना होता है।
• व्युत्पत्ति (Derivation): उच्च-आयामी ज्यामिति (विशेष रूप से स्फीयर-पैकिंग तर्क) के शास्त्रीय परिणामों का उपयोग करते हुए, वे उन सभी $\binom{n}{k}$ संयोजनों को साकार करने के लिए आवश्यक एम्बेडिंग डाइमेंशन $d$ का एक निचला स्तर (lower bound) प्राप्त करते हैं।
• मुख्य प्रमेय (Key Theorem): वे सिद्ध करते हैं कि $n$ दस्तावेजों और टॉप-$k$ रिट्रीवल के लिए:
  $$\binom{n}{k} \leq \left(1 + \frac{1}{\gamma}\right)^d$$
  इसका तात्पर्य यह है कि $d$ को संयोजनों की संख्या के साथ लॉगरिदमिक रूप से स्केल करना चाहिए। वेब-स्केल सर्च मापदंडों के लिए, आवश्यक डाइमेंशन $d$ वर्तमान व्यावहारिक सीमाओं (जैसे, 4096) से कहीं अधिक है।

B. अनुभवजन्य सत्यापन: "फ्री एम्बेडिंग" अनुकूलन (Empirical Validation: "Free Embedding" Optimization)

प्राकृतिक भाषा और ग्रेडिएंट डिसेंट की जटिलताओं को अलग करने के लिए, लेखकों ने एक "सर्वश्रेष्ठ-मामला" प्रयोग किया:

• सेटअप: उन्होंने डॉक्यूमेंट और क्वेरी वेक्टर्स को फ्री पैरामीटर्स (जो टोकनाइज़ेशन या लैंग्वेज मॉडल्स द्वारा बाधित नहीं हैं) के रूप में माना और टेस्ट सेट पर रिट्रीवल बाधाओं को पूरा करने के लिए सीधे ग्रेडिएंट डिसेंट (Adam) के माध्यम से उन्हें ऑप्टिमाइज़ किया।
• लक्ष्य: उस "क्रिटिकल $n$" बिंदु को निर्धारित करना जहाँ, एक निश्चित डाइमेंशन $d$ के लिए, अनुकूलन (optimization) 100% सटीकता प्राप्त करने में विफल रहता है क्योंकि स्पेस ज्यामितीय रूप से सभी संयोजनों को समाहित नहीं कर सकता है।
• परिणाम: उन्होंने पाया कि आदर्श अनुकूलन के बावजूद, सफलतापूर्वक रिट्रीव किए जा सकने वाले दस्तावेजों की संख्या $n$, $d$ के साथ पॉलिनोमियल रूप से स्केल होती है। मानक डाइमेंशन्स (जैसे, $d=4096$) के लिए, मॉडल अपेक्षाकृत छोटे $n$ (जैसे, लाखों दस्तावेज़) के लिए भी सभी संयोजनों का प्रतिनिधित्व करने में विफल रहता है, जो पुष्टि करता है कि सैद्धांतिक सीमा एक व्यावहारिक बाधा है।

C. LIMIT डेटासेट

लेखकों ने मॉडल्स का परीक्षण करने के लिए LIMIT नामक एक सिंथेटिक लेकिन यथार्थवादी डेटासेट बनाया:

• निर्माण: सैद्धांतिक बाधाओं के आधार पर, उन्होंने 50,000 दस्तावेजों और 1,000 क्वेरीज वाला एक डेटासेट बनाया। प्रत्येक क्वेरी गुणों के एक विशिष्ट संयोजन के बारे में पूछती है (जैसे, "कौन क्वोक्का (Quokka) और एप्पल (Apple) पसंद करता है?")।
• डिज़ाइन: यह डेटासेट सुनिश्चित करता है कि प्रासंगिकता मैट्रिक्स (relevance matrix) संयोजनों से घना (dense) हो, जिससे मॉडल को बड़ी संख्या में टॉप-$k$ सबसेट्स के बीच अंतर करने के लिए मजबूर किया जा सके।
• मूल्यांकन: उन्होंने स्टेट-ऑफ-द-आर्ट (SOTA) सिंगल-वेक्टर मॉडल्स (जैसे, E5-Mistral, GritLM, Gemini Embeddings, Qwen3) का मूल्यांकन किया और उनकी तुलना स्पार्स (BM25) और मल्टी-वेक्टर (ColBERT) बेसलाइन्स से की।

3. मुख्य योगदान (Key Contributions)

1. सैद्धांतिक निचला स्तर (Theoretical Lower Bound): एम्बेडिंग डाइमेंशन और अधिकतम प्रतिनिधित्व योग्य टॉप-$k$ रिट्रीवल सेट्स के बीच एक कठोर गणितीय संबंध स्थापित किया, जिससे यह सिद्ध हुआ कि वर्तमान डाइमेंशन्स निर्देश-अनुपालन कार्यों के कॉम्बिनेटोरियल विस्फोट (combinatorial explosion) के लिए अपर्याप्त हैं।
2. सर्वश्रेष्ठ-मामला अनुभवजन्य प्रमाण: यह प्रदर्शित किया कि प्राकृतिक भाषा की सभी बाधाओं को हटाने के बाद भी (फ्री वेक्टर ऑप्टिमाइज़ेशन का उपयोग करके), डाइमेंशनलिटी की सीमा बनी रहती है। यह सिद्ध करता है कि सीमा ज्यामितीय है, न कि केवल वर्तमान प्रशिक्षण प्रतिमानों की विफलता।
3. LIMIT बेंचमार्क: एक नया डेटासेट पेश किया जो इन सीमाओं को उजागर करता है। जटिल तर्क पर आधारित पिछले बेंचमार्क के विपरीत, LIMIT सरल क्वेरीज (जैसे, "कौन X पसंद करता है?") का उपयोग करता है ताकि यह साबित किया जा सके कि विफलता क्वेरी की जटिलता के कारण नहीं, बल्कि प्रासंगिकता के संयोजनों को दर्शाने की अक्षमता के कारण है।

4. परिणाम (Results)

• SOTA मॉडल्स की विफलता: सर्वश्रेष्ठ सिंगल-वेक्टर मॉडल्स (4096 तक के डाइमेंशन के साथ) भी LIMIT कार्य को हल करने में विफल रहे, और बहुत कम रिकॉल (जैसे, पूरे डेटासेट पर <20% Recall@100, और छोटे 46-दस्तावेज़ वाले संस्करण पर भी 100% तक पहुँचने में विफल) प्राप्त किया।
• डाइमेंशन संवेदनशीलता: प्रदर्शन का डाइमेंशन के साथ गहरा संबंध पाया गया। बड़े डाइमेंशन्स ने परिणामों में सुधार किया लेकिन समस्या को हल नहीं किया, जो "फ्री एम्बेडिंग" प्रयोगों में पाए गए पॉलिनोमियल स्केलिंग संबंध की पुष्टि करता है।
• वैकल्पिक आर्किटेक्चर:
  • BM25 (Sparse): इसने लगभग पूर्ण प्रदर्शन दिखाया क्योंकि इसकी प्रभावी डाइमेंशनलिटी (वोकैबुलरी साइज) बहुत अधिक है, हालांकि यह सिनोनिमी (synonymy) के मामले में संघर्ष करता है (सिनोनिम्स पेश करने पर ~90% प्रदर्शन गिर जाता है)।
  • मल्टी-वेक्टर मॉडल्स (जैसे, ColBERT): इन्होंने सिंगल-वेक्टर मॉडल्स की तुलना में काफी बेहतर प्रदर्शन किया, लेकिन फिर भी पूर्ण स्कोर प्राप्त नहीं कर सके, जो सुझाव देता है कि वे अधिक अभिव्यंजक (expressive) हैं लेकिन पूर्ण समाधान नहीं हैं।
  • क्रॉस-एनकोडर्स (Cross-Encoders): एक लार्ज लैंग्वेज मॉडल जिसे री-रैंकर के रूप में उपयोग किया गया (Gemini-2.5-Pro), उसने 100% सटीकता के साथ कार्य को हल किया, जो पुष्टि करता है कि सीमा सिंगल-वेक्टर रिट्रीवल प्रतिमान के विशिष्ट है।
• डोमेन शिफ्ट: LIMIT ट्रेनिंग सेट पर मॉडल्स को फाइन-ट्यून करने से प्रदर्शन में कोई महत्वपूर्ण सुधार नहीं हुआ, जो दर्शाता कि समस्या डोमेन शिफ्ट नहीं बल्कि एक मौलिक आर्किटेक्चरल अक्षमता है।

5. महत्व और निहितार्थ (Significance and Implications)

• रिट्रीवल प्रतिमानों पर पुनर्विचार: यह शोध पत्र तर्क देता है कि समुदाय का "ऐसे सिंगल-वेक्टर मॉडल्स जो किसी भी क्वेरी को संभाल सकें" की ओर बढ़ने का प्रयास एक सैद्धांतिक दीवार से टकरा रहा है। जैसे-जैसे कार्यों के लिए प्रासंगिकता के अधिक जटिल संयोजनों (जैसे, असंबंधित दस्तावेजों का लॉजिकल AND/OR) की आवश्यकता होगी, सिंगल-वेक्टर मॉडल्स अनिवार्य रूप से विफल होंगे।
• बेंचमार्किंग: वर्तमान बेंचमार्क (जैसे, MTEB) संभवतः क्वेरीज के छोटे उपसमुच्चयों (subsets) पर ओवरफिटेड हैं, जो इन मौलिक सीमाओं को छिपा देते हैं। LIMIT डेटासेट एक आवश्यक स्ट्रेस टेस्ट प्रदान करता है।
• भविष्य की दिशाएँ: लेखक सुझाव देते हैं कि भविष्य के अनुसंधान को जटिल निर्देश-अनुपालन कार्यों के लिए सिंगल-वेक्टर एम्बेडिंग्स से आगे बढ़ना चाहिए। आशाजनक विकल्पों में शामिल हैं:
  • क्रॉस-एनकोडर्स (री-रैंकिंग के लिए)।
  • मल्टी-वेक्टर मॉडल्स (जैसे, ColBERT)।
  • स्पार्स/हाइब्रिड मॉडल्स (उच्च डाइमेंशनलिटी वाले वोकैबुलरी का लाभ उठाना)।
  • नए आर्किटेक्चर (जैसे, हाइपर-एनकोडर्स) जो अंतर्निहित ज्यामितीय क्षमता संबंधी समस्या को हल कर सकें।

निष्कर्षतः, यह शोध पत्र एक निर्णायक प्रमाण प्रदान करता है कि एम्बेडिंग डाइमेंशन एक कठोर बाधा है, जो रिट्रीवल मॉडल्स की अभिव्यक्ति (expressiveness) को सीमित करती है, जिससे निर्देश-आधारित रिट्रीवल कार्यों के पूर्ण स्पेक्ट्रम को संभालने के लिए आर्किटेक्चरल डिज़ाइन में बदलाव की आवश्यकता है।