A Comparative Analysis of Efficient Similarity Search in Qdrant as a Vector Database and FAISS as a Vector Search Library
यह अध्ययन प्रयोगात्मक रूप से प्रदर्शित करता है कि 20,000-वेक्टर डेटासेट के साथ विशिष्ट सिंगल-कोर स्थितियों के तहत, IndexFlatL2 के साथ कॉन्फ़िगर किया गया FAISS, लगभग 24.9 गुना कम विलंबता (latency) और उच्च थ्रूपुट प्राप्त करके Qdrant के HNSW-आधारित लोकल मोड की तुलना में काफी बेहतर प्रदर्शन करता है, जो विशेष वेक्टर-सर्च लाइब्रेरी और डेटाबेस-उन्मुख प्रणालियों के बीच प्रदर्शन संबंधी ट्रेड-ऑफ को उजागर करता है।
मूल पेपर CC BY 4.0 (https://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
डिजिटल दुनिया में, कंप्यूटर शब्दों को पढ़ने के बजाय उन्हें संख्याओं की लंबी सूचियों में अनुवादित करके अर्थ समझने में तेजी से सक्षम हो रहे हैं। एक विशाल, अदृश्य स्थान की कल्पना करें जहाँ प्रत्येक विचार, छवि या पाठ को एक एकल बिंदु के रूप में दर्शाया जाता है। इस स्थान में, पास स्थित बिंदु समान चीजों का प्रतिनिधित्व करते हैं, जबकि दूर स्थित बिंदु बहुत अलग चीजों का प्रतिनिधित्व करते हैं। यह विधि मशीनों को संबंधित जानकारी तेजी से खोजने में सक्षम बनाती है, जो आपके इरादे को समझने वाले सर्च इंजन से लेकर सही फिल्म का सुझाव देने वाले अनुशंसा तंत्र (रिकमेंडेशन सिस्टम) तक सब कुछ संचालित करती है। हालाँकि, जैसे-जैसे इन बिंदुओं के संग्रह लाखों या अरबों में बढ़ते हैं, एक नए प्रश्न के लिए सबसे करीबी मिलान खोजना एक बड़ी कम्प्यूटेशनल चुनौती बन जाता है। यदि कंप्यूटर को हर एक संग्रहीत आइटम के साथ एक-एक करके तुलना करनी पड़ी, तो यह प्रक्रिया वास्तविक दुनिया के उपयोग के लिए बहुत धीमी हो जाएगी। इसे हल करने के लिए, शोधकर्ताओं ने दो मुख्य प्रकार के उपकरण विकसित किए हैं: विशेष लाइब्रेरी जो इन मिलानों को खोजने में शुद्ध गति के लिए डिज़ाइन की गई हैं, और पूर्ण-विकसित डेटाबेस जो डेटा को स्थायी रूप से संग्रहीत करते हैं और फ़िल्टरिंग एवं प्रबंधन जैसी अतिरिक्त सुविधाएँ प्रदान करते हैं।
यूरोपीय विश्वविद्यालय ऑफ आर्मेनिया में दुखिक होवसेपियन द्वारा किए गए एक हालिया अध्ययन ने इन दो दृष्टिकोणों के बीच वास्तविक प्रदर्शन अंतर को मापने का प्रयास किया। शोधकर्ता ने एक विशेष खोज लाइब्रेरी FAISS की तुलना एक वेक्टर डेटाबेस Qdrant से की। एक निष्पक्ष परीक्षण सुनिश्चित करने के लिए, प्रयोग ने एक नियंत्रित वातावरण का उपयोग किया जहाँ दोनों प्रणालियों को एक ही समस्या को हल करने के लिए कहा गया था: बीस हजार वस्तुओं के संग्रह के भीतर, जिनमें से प्रत्येक वस्तु को एक सौ अट्ठाइस अलग-अलग विशेषताओं द्वारा वर्णित किया गया था, एक दिए गए प्रश्न के लिए दस सबसे समान वस्तुओं को खोजना। परीक्षण एक एकल कंप्यूटर प्रोसेसर कोर पर चलाए गए थे ताकि कई प्रोसेसरों के मिलकर काम करने की सहायता के बिना, खोज तंत्र की कच्ची गति को अलग किया जा सके।
परिणामों ने दोनों कॉन्फ़िगरेशन के बीच कच्ची गति में एक चौंकाने वाले अंतर को प्रकट किया। विशेष लाइब्रेरी, FAISS, को एक सटीक खोज (exact search) करने के लिए कॉन्फ़िगर किया गया था, जिसका अर्थ है कि इसने सबसे सटीक उत्तर सुनिश्चित करने के लिए प्रत्येक आइटम तक की दूरी की गणना की। इस सेटअप में, इसने औसतन केवल चार-दशांश मिलीसेकंड से भी कम समय में सही मिलान खोज लिए। इसने प्रति सेकंड दो हजार पाँच सौ से अधिक प्रश्नों को संसाधित किया। इसके विपरीत, डेटाबेस सिस्टम, Qdrant, एक स्थानीय मोड में चल रहा था जो डिस्क पर डेटा संग्रहीत करता है और डेटा को नेविगेट करने के लिए एक अलग, तेज़-लेकिन-अनुमानित (approximate) विधि का उपयोग करता है। इन विशिष्ट परिस्थितियों के तहत, Qdrant ने प्रत्येक प्रश्न का उत्तर देने में औसतन लगभग दस मिलीसेकंड का समय लिया, जिसके परिणामस्वरूप प्रति सेकंड केवल एक सौ से अधिक प्रश्नों का थ्रूपुट प्राप्त हुआ। विशेष लाइब्रेरी, प्रति सेकंड कितने प्रश्न उत्तर दिए जा सकते हैं (थ्रूपुट) और एक एकल प्रश्न का उत्तर देने में कितना समय लगा, इस मामले में विशेष लाइब्रेरी लगभग पच्चीस गुना तेज़ थी।
हालाँकि, अध्ययन इस बात पर जोर देता है कि यह अंतर यह नहीं दर्शाता कि एक तकनीक सार्वभौमिक रूप से दूसरे से बेहतर है। प्रयोग को सॉफ़्टवेयर की संपूर्ण क्षमता के बजाय विशिष्ट सेटअप की तुलना करने के लिए डिज़ाइन किया गया था। लाइब्रेरी का परीक्षण एक शुद्ध, इन-मेमोरी खोज टूल के रूप में किया गया था, जबकि डेटाबेस का परीक्षण इसके स्टोरेज और प्रबंधन फीचर्स के सक्रिय रहते हुए किया गया था, भले ही इन अतिरिक्त फीचर्स का ध्यान गति परीक्षण पर नहीं था। डेटाबेस दृष्टिकोण के महत्वपूर्ण लाभ हैं जिन्हें गति परीक्षण ने नहीं मापा, जैसे कि कंप्यूटर बंद होने के बाद भी हार्ड ड्राइव पर डेटा को सुरक्षित रखने की क्षमता, तारीखों या श्रेणियों जैसी अन्य जानकारी के आधार पर परिणामों को फ़िल्टर करना, और डेटा के बड़े संग्रह को एक सुसंगत प्रणाली के रूप में प्रबंधित करना। इसके विपरीत, लाइब्रेरी एक विशेष इंजन है जिसे एक कार्य के लिए बनाया गया है: यथासंभव तेज़ी से निकटतम पड़ोसियों (nearest neighbors) को खोजना, जो अक्सर कंप्यूटर की अस्थायी मेमोरी (RAM) में सारा डेटा रखने की आवश्यकता की कीमत पर होता है।
शोधकर्ता निष्कर्ष निकालते हैं कि देखा गया प्रदर्शन अंतराल उन विशिष्ट कॉन्फ़िगरेशन की विशेषता है जिनका प्रयोग में उपयोग किया गया था, न कि एक मौलिक नियम जो सभी स्थितियों में लागू होता है। यदि डेटा सेट बड़ा होता, कंप्यूटर में अधिक प्रोसेसर कोर होते, या डेटाबेस को एक अलग सर्वर के रूप में चलाया जाता, तो संख्याएँ संभवतः बदल जातीं। यह अध्ययन एक स्पष्ट आधार रेखा (baseline) के रूप में कार्य करता है, जो दिखाता है कि एक एकल प्रोसेसर पर सरल, प्रत्यक्ष खोज कार्य के लिए, एक विशेष लाइब्रेरी एक डेटाबेस सिस्टम की तुलना में नाटकीय रूप से तेज़ हो सकती है। फिर भी, उन अनुप्रयोगों के लिए जिनमें डेटा को स्थायी रूप से संग्रहीत करने, जटिल नियमों द्वारा फ़िल्टर करने, या बड़े संग्रहों को प्रबंधित करने की आवश्यकता होती है, डेटाबेस के पास उपकरणों का एक व्यापक सेट है जो एक विशेष लाइब्रेरी प्रदान नहीं करती है। चुनाव इस बात पर निर्भर करता है कि प्राथमिकता एक सरल प्रश्न के लिए सबसे तेज़ संभव उत्तर प्राप्त करने की है, या एक बड़े, अधिक जटिल सिस्टम के भीतर डेटा को प्रबंधित करने और पुनः प्राप्त करने की क्षमता की है।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।