A Comparative Study of Vector Indexing Strategies Using Facebook AI Similarity Search as a Case Study

कल्पना कीजिए कि आप एक पुस्तकालय में खड़े हैं जिसमें अब तक लिखी गई हर किताब मौजूद है, लेकिन वे शीर्षक या लेखक के आधार पर व्यवस्थित नहीं हैं। इसके बजाय, उन्हें इस आधार पर छाँटा गया है कि वे एक-दूसरे के कितने "समान" महसूस करते हैं। यदि आप एक बहादुर बिल्ली की कहानी मांगते हैं, तो लाइब्रेरियन केवल उन किताबों को नहीं खोजता जिनमें "बहादुर" और "बिल्ली" शब्द हों; वे उन कहानियों को खोजते हैं जो उस विचार जैसा महसूस करती हैं, भले ही शब्द अलग हों। यही आधुनिक आर्टिफिशियल इंटेलिजेंस का जादू है: विचारों को संख्याओं की सूचियों (जिन्हें वेक्टर कहा जाता है) में बदलना और फिर डेटा के समुद्र में सबसे करीबी मिलान खोजना।

लेकिन यहाँ एक पेंच है: यदि आपके पास एक अरब किताबें हैं, तो सबसे अच्छा मिलान खोजने के लिए हर एक किताब की जाँच करना बहुत समय लेगा। यह एक रेत के ढेर से एक विशिष्ट कण को खोजने जैसा है, जहाँ आप एक-एक करके हर कण को उठाने की कोशिश करते हैं। इस समस्या को हल करने के लिए, वैज्ञानिकों ने "इंडेक्स" (indexes) का आविष्कार किया—विशेष शॉर्टकट जो कंप्यूटर को उबाऊ हिस्सों को छोड़ने और सीधे दिलचस्प चीजों पर कूदने में मदद करते हैं। कुछ शॉर्टकट एक बहुत ही व्यवस्थित मानचित्र (सटीक खोज) की तरह हैं, जबकि अन्य एक चतुर अनुमान लगाने वाले खेल (अनुमानित खोज) की तरह हैं जो पलक झपकते ही आपको 99% तक पहुँचा देते हैं। बड़ा सवाल यह है कि कौन सा शॉर्टकट सबसे अच्छा है? क्या यह इस पर निर्भर करता है कि आपका पुस्तकालय कितना बड़ा है? क्या इससे फर्क पड़ता है कि आपके पास एक छोटी नोटबुक है या किताबों का एक विशाल गोदाम?

यही वह सवाल था जिसे यूरोपीय यूनिवर्सिटी ऑफ आर्मेनिया के शोधकर्ताओं की एक टीम ने सुलझाने का प्रयास किया। उन्होंने FAISS (फेसबुक एआई सिमिलैरिटी सर्च) नामक एक लोकप्रिय टूलकिट लिया, जो इन वेक्टर शॉर्टकटों के लिए एक स्विस आर्मी नाइफ की तरह है, और इसके विभिन्न उपकरणों का परीक्षण किया। वे यह देखना चाहते थे कि जब डेटा बहुत बड़ा हो जाए, संख्याएँ जटिल हो जाएँ, और मेमोरी कम हो, तो प्रत्येक उपकरण कैसा प्रदर्शन करता है। इसे एक बड़ी दौड़ के रूप में सोचें जहाँ विभिन्न प्रकार के सर्च इंजन यह देखने के लिए प्रतिस्पर्धा कर रहे हैं कि कौन सबसे तेज़ और बिना थके सही उत्तर खोज सकता है।

शोधकर्ताओं ने कई अलग-अलग रणनीतियों का परीक्षण किया, जिनमें "ब्रूट फोर्स" विधि (सब कुछ जाँचना) से लेकर क्लस्टरिंग (समान वस्तुओं को एक साथ समूहबद्ध करना), संपीड़न (डेटा को बचाने के लिए उसे सिकोड़ना), और ग्राफ-आधारित नेविगेशन (कनेक्शन के जाल का उपयोग करके उत्तर की ओर बढ़ना) तक शामिल थे। उन्होंने मुख्य रूप से दो चीजें मापीं: रिकॉल (क्या आपने सही उत्तर पाया?) और लेटेंसी (इसमें कितना समय लगा?)।

यहाँ उनके प्रयोगों से प्राप्त निष्कर्ष दिए गए हैं:

"ब्रूट फोर्स" चैंपियन (IndexFlat)
एक ऐसे जासूस की कल्पना करें जो अनुमान लगाने से इनकार कर देता है; वह संदिग्धों की कतार में हर एक की जाँच करता है। यह IndexFlat विधि है। शोधकर्ताओं ने पाया कि यह दृष्टिकोण एकदम सटीक है: यह कभी भी सही उत्तर को नहीं चूकता (100% रिकॉल)। हालाँकि, यह अविश्वसनीय रूप से धीमा है। जैसे-जैसे "संद संदिग्धों" (वेक्टरों) की संख्या 1,000 से बढ़कर 10,000 हुई, उत्तर खोजने में लगने वाला समय लगातार बढ़ता गया। यदि आपके पास छोटा डेटासेट है, तो यह बहुत अच्छा है। लेकिन यदि आपके पास लाखों वेक्टर हैं, तो यह विधि वास्तविक दुनिया में उपयोगी होने के लिए बहुत धीमी हो जाएगी। यह घास के ढेर में सुई खोजने के लिए सूक्ष्मदर्शी (microscope) का उपयोग करने जैसा है; यह काम तो करता है, लेकिन इसमें बहुत समय लगता है।

"समूहीकरण" रणनीति (IVFFlat)
इसके बाद, उन्होंने एक ऐसी विधि आजमाई जो समान वेक्टरों को समूहों में बांटती है, जैसे किताबों को "साहसिक", "रोमांस" और "रहस्य" लेबल वाले डिब्बों में छाँटना। यह IndexIVFFlat है। जब कोई प्रश्न आता है, तो सिस्टम केवल उन डिब्बों की जाँच करता है जिनमें उत्तर होने की सबसे अधिक संभावना होती है। अध्ययन से पता चला कि यह एक शानदार मध्य मार्ग है। यह सब कुछ जाँचने की तुलना में बहुत तेज़ है, और आप अधिक डिब्बे (bins) जाँचकर इसे अधिक सटीक बना सकते हैं। शोधकर्ताओं ने पाया कि यदि आप अधिक क्लस्टर (एक सेटिंग जिसे nprobe कहा जाता है) की जाँच करते हैं, तो आपको बेहतर परिणाम मिलते हैं, लेकिन इसमें थोड़ा अधिक समय लगता है। यह मध्यम से बड़े डेटासेट के लिए गति और सटीकता के बीच एक अच्छा संतुलन बनाने वाला एक लचीला उपकरण है।

"संपीड़न" विशेषज्ञ (IVFPQ और IVFSQ)
क्या होगा यदि आपके पास एक अरब वेक्टर हों लेकिन उन्हें स्टोर करने के लिए पर्याप्त हार्ड ड्राइव स्पेस न हो? शोधकर्ताओं ने IndexIVFPQ और IndexIVFSQ को देखा, जो एक हाई-डेफिनिशन मूवी को छोटी फ़ाइल आकार में कंप्रेस करने जैसा है। वे डेटा को सिकोड़ देते हैं ताकि यह कम मेमोरी ले।

• IVFPQ (प्रोडक्ट क्वांटाइजेशन) वेक्टरों को छोटे टुकड़ों में विभाजित करता है और उन्हें कंप्रेस करता है। अध्ययन में पाया गया कि विशाल डेटासेट के लिए यह चैंपियन है जहाँ मेमोरी सबसे बड़ी समस्या है। यह अविश्वसनीय रूप से तेज़ है और बहुत कम जगह लेता है, हालांकि यह कभी-कभी परफेक्ट उत्तर को चूक सकता है (थोड़ा कम रिकॉल)।
• IVFSQ (स्केलर क्वांटाइजेशन) संपीड़न का एक सरल संस्करण है। यह एक अच्छा "मध्यम विकल्प" है—यह जगह बचाता है और अनकंप्रेस्ड वर्ज़न की तुलना में तेज़ है, लेकिन यह IVFPQ जितना आक्रामक तरीके से कंप्रेस नहीं करता है। शोधकर्ताओं ने नोट किया कि हालांकि यह अनकंप्रेस्ड वर्ज़न की तुलना में थोड़ी सटीकता खो देता है, लेकिन मेमोरी की बचत अक्सर बड़े पैमाने के सिस्टम के लिए सार्थक होती है।

"कनेक्शन का जाल" (HNSW)
अंत में, IndexHNSW था, जो डेटा को एक बहु-स्तरीय वेब (multi-layered web) में व्यवस्थित करता है, जैसे एक्सप्रेस लाइनों और लोकल स्टॉप्स वाला एक सबवे मैप। आप सामान्य दिशा प्राप्त करने के लिए शीर्ष परत (एक्सप्रेस लाइन) से शुरू करते हैं, और फिर सटीक स्टॉप खोजने के लिए परत-दर-परत नीचे आते हैं। अध्ययन में इसे गति और सटीकता के लिए समग्र सुपरस्टार पाया गया। यह "बहुत तेज़" है और इसमें "बहुत उच्च" रिकॉल है। हालाँकि, इसे वेब बनाने के लिए थोड़ी अधिक मेमोरी की आवश्यकता होती है, और शोधकर्ताओं ने नोट किया कि आपको इसे सावधानी से ट्यून करना होगा। यदि आप वेब को बहुत घना (बहुत अधिक कनेक्शन) बनाते हैं, तो यह खोजने में धीमा हो जाता है; यदि आप इसे बहुत विरल (sparse) बनाते हैं, तो आप सबसे अच्छा उत्तर चूक सकते हैं। लेकिन जब इसे सही ढंग से ट्यून किया जाता है, तो यह गति और सटीकता के बीच सबसे अच्छा संतुलन प्रदान करता है।

निष्कर्ष
पेपर यह निष्कर्ष निकालता है कि हर काम के लिए कोई एक "सर्वश्रेष्ठ" उपकरण नहीं होता है। यह पूछने जैसा है कि क्या हथौड़ा, पेचकश या रिंच सबसे अच्छा उपकरण है; यह इस पर निर्भर करता है कि आप क्या बना रहे हैं।

• यदि आपके पास छोटा डेटासेट है और आपको पूर्ण सटीकता चाहिए, तो Flat इंडेक्स का उपयोग करें।
• यदि आपके पास मध्यम आकार का डेटासेट है और आपको संतुलन चाहिए, तो IVFFlat एक ठोस विकल्प है।
• यदि आप अरबों वेक्टरों के साथ काम कर रहे हैं और आपका कंप्यूटर मेमोरी की कमी से जूझ रहा है, तो IVFPQ आपका सबसे अच्छा मित्र है।
• यदि आपको उच्च सटीकता के साथ सबसे तेज़ संभव खोज की आवश्यकता है और आपके पास पर्याप्त मेमोरी है, तो HNSW विजेता है।

शोधकर्ताओं ने "समानता" (जैसे स्थान में दो बिंदुओं के बीच की दूरी) को मापने के विभिन्न तरीकों का भी परीक्षण किया। उन्होंने पुष्टि की कि कुछ प्रकार के AI मॉडल (जैसे भाषा के लिए उपयोग किए जाने वाले) के लिए, गणित को सही ढंग से काम करने के लिए आपको पहले डेटा को नॉर्मलाइज़ (normalize) करने की आवश्यकता होती है, लेकिन एक बार ऐसा करने के बाद, विभिन्न इंडेक्सिंग रणनीतियाँ अच्छी तरह से काम करती हैं।

संक्षेप में, यह अध्ययन किसी भी व्यक्ति के लिए एक व्यावहारिक मार्गदर्शिका प्रदान करता है जो AI सिस्टम बना रहा है। यह हमें बताता है कि हालांकि हम सब कुछ एक साथ नहीं पा सकते (पूर्ण गति, पूर्ण सटीकता और शून्य मेमोरी उपयोग), हम अपनी विशिष्ट आवश्यकताओं के लिए सही समझौता (trade-off) चुन सकते हैं। चाहे आप बैंक के लिए धोखाधड़ी का पता लगाने वाली प्रणाली बना रहे हों या मेडिकल रिकॉर्ड के लिए एक सर्च इंजन, इस टूलकिट में एक विशिष्ट इंडेक्सिंग रणनीति है जो आपको घास के ढेर में सुई खोजने में मदद करेगी बिना रास्ता भटके।