🤖 machine learning

Retrieval with Multiple Query Vectors through Anomalous Pattern Detection

यह शोधपत्र एक नवीन पुनर्प्राप्ति पद्धति प्रस्तावित करता है जो विसंगतिपूर्ण पैटर्न का पता लगाने का लाभ उठाकर उन डेटाबेस वेक्टर्स की पहचान और पुनर्प्राप्ति करता है जो कई क्वेरी वेक्टर्स के सेट के साथ विशिष्ट आयाम साझा करते हैं, यह प्रदर्शित करते हुए कि बड़े क्वेरी सेट्स का उपयोग करना विभिन्न डेटा मोडैलिटीज में सामान्यतः पुनर्प्राप्ति प्रदर्शन में सुधार करता है।

मूल लेखक: Allassan Tchangmena A Nken, Baimam Boukar Jean Jacques, Miriam Rateike, Celia Cintas, Skyler Speakman

प्रकाशित 2026-05-05

📖 5 मिनट में पढ़ें🧠 गहराई से पढ़ें

CC BY 4.0

मूल लेखक: Allassan Tchangmena A Nken, Baimam Boukar Jean Jacques, Miriam Rateike, Celia Cintas, Skyler Speakman

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

कल्पना कीजिए कि आप एक विशाल पुस्तकालय में एक विशिष्ट पुस्तक खोजने की कोशिश कर रहे हैं।

पुराना तरीका (पारंपरिक खोज)
आमतौर पर, यदि आप कोई पुस्तक ढूँढना चाहते हैं, तो आप लाइब्रेरियन को अपनी पसंद का वर्णन करने वाला एक वाक्य देते हैं, जैसे "एक ड्रैगन के बारे में एक कहानी।" लाइब्रेरियन उस वाक्य को एक एकल "खोज कोड" (search code) में बदल देता है और उन पुस्तकों को ढूँढता है जो उस कोड के सबसे करीब हैं।

लेकिन क्या होगा यदि आपका अनुरोध अधिक जटिल हो? क्या होगा यदि आपके पास ड्रैगन का वर्णन करने वाला एक पूरा पैराग्राफ हो, जहाँ प्रत्येक वाक्य एक अलग विवरण पर प्रकाश डालता है: एक वाक्य आग के बारे में बात करता है, दूसरा शल्क (scales) के बारे में, और तीसरा स्थान के बारे में?

पुराना तरीका A: लाइब्रेरियन उन सभी वाक्यों को एक अव्यवस्थित सारांश कोड में मिला देता है। आप आग, शल्क और स्थान की बारीकियों को खो देते हैं।
पुराना तरीका B: लाइब्रेरियन "आग" वाले वाक्य के लिए खोज करता है, फिर अलग से "शल्क" वाले वाक्य के लिए खोज करता है, और फिर अनुमान लगाने की कोशिश करता है कि कौन सी पुस्तक सबसे उपयुक्त है। यह इस बात की अनदेखी करता है कि वे विवरण एक साथ कैसे काम करते हैं।

नया तरीका (इस शोध पत्र की विधि)
लेखक एक स्मार्ट दृष्टिकोण प्रस्तावित करते हैं जिसे "Retrieval with Multiple Query Vectors through Anomalous Pattern Detection" कहा जाता है। यह कहने का एक फैंसी तरीका है: "उन अनूठे निशानों (fingerprints) को पहचानकर किताब ढूँढें जो आपकी सभी सुरागों में साझा किए गए हैं।"

यह कैसे काम करता है, इसके चरणों को एक सरल उपमा (analogy) का उपयोग करके यहाँ समझाया गया है:

1. "फिंगरप्रिंट" की खोज (चरण 1)

कल्पना कीजिए कि आपके पास दोस्तों का एक समूह है (Query Vectors) जो सभी एक ही गुप्त पार्टी का वर्णन करने की कोशिश कर रहे हैं।

मित्र A कहता है: "संगीत तेज़ था।"
मित्र B कहता है: "केक चॉकलेट वाला था।"
मित्र C कहता है: "DJ ने टोपी पहनी हुई थी।"

उनके शब्दों का औसत निकालने के बजाय, नई विधि उन विवरणों को देखती है जिन पर वे सभी सहमत हैं। यह पूछती है: "उनके विवरणों में से कौन से विशिष्ट विवरण सामान्य पार्टी की तुलना में अजीब या अलग (stand out) हैं?"

शायद "तेज़ संगीत" पार्टियों के लिए सामान्य है।
लेकिन "चॉकलेट केक" और "टोपी पहने हुए DJ" एक मानक पार्टी के लिए दुर्लभ (anomalous) हो सकते हैं।

विधि इन "अलग दिखने वाले" विवरणों (anomalous pattern) की पहचान करती है जो दोस्तों के समूह में साझा किए गए हैं।

2. "मैच" की खोज (चरण 2)

अब, लाइब्रेरियन पूरे पुस्तकालय (Database) को स्कैन करता है। केवल दोस्तों के विवरणों के "करीब" होने वाली पुस्तकें ढूँढने के बजाय, लाइब्रेरियन उन पुस्तकों को ढूँढता है जिनमें वही सटीक अजीब फिंगरप्रिंट है।

लाइब्रेरियन पूछता है: "किन पुस्तकों में भी 'चॉकलेट केक' और 'टोपी पहने हुए DJ' जैसे विशिष्ट विशेष लक्षण हैं?"
वे पुस्तकें विजेता हैं। उन्हें इसलिए निकाला जाता है क्योंकि वे आपके दोस्तों के समूह की तरह ही वही अनूठा "असंगत पैटर्न" (anomaly) साझा करती हैं।

यह बेहतर क्यों है?

पेपर ने विभिन्न प्रकार के डेटा पर इसका परीक्षण किया:

चित्र (Images): जैसे कि विशिष्ट हस्तलिखित नंबर या कपड़े ढूँढना।
टेक्स्ट (Text): जैसे कि ऐसे वाक्यों को ढूँढना जो एक विशिष्ट "व्यक्तित्व" (persona) (जैसे, कोई जो अप्रवासन के खिलाफ है) या एक विशिष्ट प्रकार के खतरे से मेल खाते हों।
टेबल्स (Tables): जैसे कि विशिष्ट लक्षणों वाले रोगियों के मेडिकल रिकॉर्ड ढूँढना।

परिणाम:

अधिक सुराग = बेहतर परिणाम: आप जितने अधिक "मित्र" (query vectors) देंगे, सिस्टम उतना ही बेहतर होता जाएगा। यह एक जासूसों की टीम होने जैसा है; जितने अधिक वे होंगे, फिंगरप्रिंट उतना ही स्पष्ट होता जाएगा।
सही संतुलन (The Sweet Spot): प्रदर्शन में सबसे बड़ी उछाल तब आती है जब आप 1 सुराग से 8 सुरागों पर जाते हैं। उसके बाद, अधिक सुराग जोड़ने से मदद मिलती है, लेकिन सुधार छोटा होता जाता है (diminishing returns)।
टेक्स्ट का दबदबा: यह विधि टेक्स्ट (जैसे "Persona" डेटासेट) के लिए विशेष रूप से अच्छी रही, जिसने अक्सर पुराने तरीकों को बड़े अंतर से पीछे छोड़ दिया। यह उच्च सटीकता के साथ सही टेक्स्ट खोजने में बहुत सक्षम थी।

मुख्य निष्कर्ष (The Bottom Line)

कई प्रश्नों को एक में मिलाने या उन्हें अलग-अलग खोजने के बजाय, यह विधि आपके प्रश्नों के समूह में अद्वितीय, साझा "असंगतियों" (oddities) को देखती है। फिर यह डेटाबेस की उन वस्तुओं को ढूंढती है जो उन्हीं समान विसंगतियों को साझा करती हैं। यह कहने जैसा है कि, "हमें पूरी कहानी जानने की ज़रूरत नहीं है; हमें बस उस वस्तु को ढूँढने की ज़रूरत है जिसमें हमारे सुरागों के समूह की तरह ही विशेषताओं का एक अनोखा संयोजन है।"

पेपर दिखाता है कि यह विशेष रूप से तब अच्छा काम करता है जब आपके पास सुरागों की एक टीम (multiple query vectors) होती है, न कि केवल एक।

तकनीकी सारांश: विसंगतिपूर्ण पैटर्न डिटेक्शन के माध्यम से एकाधिक क्वेरी वेक्टर्स के साथ रिट्रीवल (पुनर्प्राप्ति)

समस्या का स्वरूप
पारंपरिक वेक्टर रिट्रीवल सिस्टम आमतौर पर एक एकल-क्वेरी प्रतिमान (paradigm) के तहत कार्य करते हैं, जहाँ एक एकल एम्बेडिंग वेक्टर का उपयोग निकटता मेट्रिक्स (जैसे कोसाइन सिमिलैरिटी, यूक्लिडियन डिस्टेंस) के आधार पर डेटाबेस से सबसे मिलते-जुलते वेक्टर्स को खोजने के लिए किया जाता है। हालाँकि, जटिल तर्क और रिट्रीवल कार्यों में अक्सर कई क्वेरी वेक्टर्स शामिल होते हैं जो उपयोगकर्ता के इरादे के विभिन्न पहलुओं को कैप्चर करते हैं (उदाहरण के लिए, एक पैराग्राफ जहाँ प्रत्येक वाक्य एक विशिष्ट बाधा या विशेषता का प्रतिनिधित्व करता है)। मौजूदा मल्टी-क्वेरी रिट्रीवल दृष्टिकोण अक्सर इन वेक्टर्स को ह्यूरिस्टिक्स के माध्यम से एक एकल एम्बेडिंग में एकत्रित करते हैं या उन्हें स्वतंत्र रूप से मानते हैं, जिससे मूल्यवान इंटर-क्वेरी संबंधों को त्याग दिया जाता है। इसके अलावा, मानक डिस्टेंस-आधारित मेट्रिक्स उच्च-आयामी एम्बेडिंग्स में निहित जटिल, गैर-रेखीय और संदर्भ-निर्भर संबंधों को पकड़ने में विफल हो सकते हैं, विशेष रूप से लार्ज लैंग्वेज मॉडल्स (LLMs) से प्राप्त एम्बेडिंग्स के मामले में।

यह कार्य $Q = \{q_1, q_2, \dots, q_M\}$ के रूप में कई क्वेरी वेक्टर्स के सेट को देखते हुए प्रासंगिक डेटाबेस वेक्टर्स को रिट्रीव करने की चुनौती को संबोधित करता है, जिसमें यह पूर्व-निर्धारित करने की आवश्यकता नहीं है कि कितने वेक्टर्स को रिट्रीव किया जाना है।

कार्यप्रणाली (Methodology)
लेखक एक रिट्रीवल फ्रेमवर्क प्रस्तावित करते हैं जो विसंगतिपूर्ण पैटर्न डिटेक्शन (anomalous pattern detection) पर आधारित है। मुख्य परिकल्पना यह है कि क्वेरी वेक्टर्स का सेट एक विशिष्ट "विसंगतिपूर्ण पैटर्न" साझा करता है—वेक्टर आयामों (dimensions) का एक उपसमूह जहाँ मान डेटाबेस $D$ में देखे गए वितरण की तुलना में संयुक्त रूप से महत्वपूर्ण रूप से विचलित होते हैं। सबसे प्रासंगिक डेटाबेस वेक्टर्स वे हैं जो इसी संयुक्त विसंगतिपूर्ण पैटर्न को प्रदर्शित करते हैं।

यह दृष्टिकोण डीप स्कैनिंग एल्गोरिदम (McFowland, Speakman, and Neill 2013; Cintas et al. 2021, 2022) को दो-चरणीय प्रक्रिया के माध्यम से रिट्रीवल सेटिंग में विस्तारित करता है:

विसंगतिपूर्ण आयामों की पहचान करना: क्वेरी सेट $Q$ को देखते हुए, एल्गोरिदम वेक्टर आयामों के एक उपसमूह $O^*_S$ की पहचान करता है जो क्वेरीज़ की विशिष्ट विशेषताओं को सर्वोत्तम रूप से कैप्चर करता है।
- विधि यह मानती है कि विसंगतिपूर्ण पैटर्न उन मानों के अनुरूप होता है जो डेटाबेस वितरण की तुलना में विशेष रूप से कम (लोअर $\alpha$ -टेल में) होते हैं।
- यह आयामों को z-स्कोर ( $z_{ml} = \frac{q_{ml} - \mu_l}{\sigma_l}$ ) का उपयोग करके मानकीकृत करता है, जहाँ $\mu_l$ और $\sigma_l$ डेटाबेस $D$ में आयाम $l$ का माध्य (mean) और मानक विचलन (standard deviation) हैं।
- आयामों के उपसमुच्चयों पर एनोमली स्कोर को अधिकतम करने के लिए एक नॉन-पैरामीट्रिक स्कैन स्टैटिस्टिक (विशेष रूप से बर्क-जोन्स (Berk–Jones) स्टैटिस्टिक) को स्कोरिंग फंक्शन $F(S)$ के रूप में उपयोग किया जाता है।
डेटाबेस वेक्टर्स को रिट्रीव करना: पहचाने गए आयामों $O^*_S$ का उपयोग करते हुए, एल्गोरिदम डेटाबेस $D$ को स्कैन करता है ताकि वेक्टर्स का वह उपसमूह $R^*_S$ रिट्रीव किया जा सके जो उन विशिष्ट आयामों में समान संयुक्त विसंगतिपूर्ण पैटर्न प्रदर्शित करते हैं।

पारंपरिक तरीकों के विपरीत, यह दृष्टिकोण निश्चित दूरी थ्रेशोल्ड या पूर्व-निर्दिष्ट रिट्रीवल काउंट $K$ पर निर्भर नहीं करता है। इसके बजाय, रिट्रीव किए गए सेट का आकार विसंगति स्कोरिंग प्रक्रिया द्वारा गतिशील रूप से निर्धारित किया जाता है।

प्रायोगिक सेटअप और परिणाम
लेखकों ने चार विविध डेटासेट्स पर विधि का मूल्यांकन किया:

इमेज: MNIST और Fashion-MNIST (फ्लैटन किया गया और UMAP के माध्यम से 30 आयामों में प्रोजेक्ट किया गया)।
टेक्स्ट: Persona (विशिष्ट पर्सोना के साथ सहमत वाक्यों के LLM एम्बेडिंग्स) और Ailment (खतरे की श्रेणियों के संबंध में प्रॉम्प्ट्स के LLM एम्बेडिंग्स)।
टेबुलर: स्तन कैंसर के संबंध में एक मेडिकल डेटासेट (31 संख्यात्मक विशेषताएं)।

विधि की तुलना दो अनुकूलित KDTree बेसलाइन्स से की गई थी:

KDTree pre: रिट्रीवल से पहले सभी क्वेरी वेक्टर्स को एक एकल वेक्टर में औसत (average) करता है।
KDTree post: प्रत्येक क्वेरी के लिए स्वतंत्र रूप से वेक्टर्स को रिट्रीव करता है और परिणामों को मर्ज करता है।

मुख्य निष्कर्ष:

क्वेरी सेट के आकार का प्रभाव: अधिकांश डेटासेट्स में, क्वेरी वेक्टर्स की संख्या ( $M$ ) को 1 से 8 तक बढ़ाने से प्रिसिजन (precision) और रिकॉल (recall) दोनों में महत्वपूर्ण सुधार हुआ। $M$ को 8 से अधिक बढ़ाने पर लाभ कम हो गया।
डेटासेट द्वारा प्रदर्शन:
- Persona (LLM Text): प्रस्तावित विधि ने $M=64$ के लिए लगभग पूर्ण प्रिसिजन और रिकॉल (1.00 के करीब) प्राप्त किया, जो दोनों KDTree वेरिएंट्स (जो ~0.70–0.80 तक पहुँचे) से काफी बेहतर रहा।
- Tabular Data: विधि ने बेसलाइन्स (~~0.90) की तुलना में उच्च प्रिसिजन (~~1.00) प्राप्त की लेकिन कम रिकॉल (~0.77 बनाम ~0.90) प्राप्त किया।
- Fashion-MNIST: प्रस्तावित विधि ने बेसलाइन्स की तुलना में उच्च रिकॉल लेकिन कम प्रिसिजन दिखाया।
- MNIST: प्रस्तावित विधि और बेसलाइन्स के बीच कोई महत्वपूर्ण अंतर नहीं देखा गया, हालांकि सभी के लिए पूर्ण प्रदर्शन उच्च था।
रिट्रीवल साइज: प्रस्तावित विधि रिट्रीवल सेट के आकार को गतिशील रूप से निर्धारित करती है। एब्लेशन स्टडीज में, जब KDTree को प्रस्तावित विधि के समान संख्या में वेक्टर्स रिट्रीव करने के लिए मजबूर किया गया, तब भी प्रस्तावित विधि ने टेबुलर और पर्सोना डेटासेट्स के लिए प्रिसिजन और रिकॉल में मामूली बढ़त बनाए रखी।

महत्व और दावे
यह शोध पत्र इस कार्य को मजबूत मल्टी-क्वेरी रिट्रीवल की दिशा में एक नवीन कदम के रूप में प्रस्तुत करता है। लेखक दावा करते हैं कि पारंपरिक डिस्टेंस-आधारित मापों के बजाय एनोमली स्कोरिंग फंक्शन के माध्यम से प्रासंगिकता को परिभाषित करने से उन जटिल, गैर-रेखीय संबंधों को कैप्चर करना संभव होता है जिन्हें निश्चित मेट्रिक्स मिस कर देते हैं।

अध्ययन अपने योगदान को इस दिशा में एक "पहला कदम" के रूप में विनम्रतापूर्वक प्रस्तुत करता है। लेखक सीमाओं को स्वीकार करते हैं, जिसमें प्रति डेटासेट निश्चित क्लास ऑफ इंटरेस्ट का उपयोग और अधिक परिष्कृत वेक्टर सर्च विधियों (जैसे अनुकूलित वेक्टर सिमिलैरिटी सर्च) के बजाय KDTree का बेसलाइन के रूप में उपयोग शामिल है। उन्होंने उल्लेख किया कि विधि ने कम-आयामी इमेज एम्बेडिंग्स और टेबुलर डेटा की तुलना में LLM टेक्स्ट एम्बेडिंग्स पर सबसे अच्छा प्रदर्शन किया, जो विभिन्न प्रकार के डेटा और एम्बेडिंग आर्किटेक्चर में सामान्यीकरण (generalizability) के लिए भविष्य के अनुसंधान की आवश्यकता का सुझाव देता है। यह कार्य यह दावा नहीं करता है कि यह सभी मल्टी-क्वेरी रिट्रीवल चुनौतियों को हल कर देता है, बल्कि यह प्रदर्शित करता है कि क्वेरी सेट्स में विसंगतिपूर्ण पैटर्नों का लाभ उठाने से विशिष्ट संदर्भों में, विशेष रूप से LLM एम्बेडिंग्स के साथ, बेहतर रिट्रीवल प्रदर्शन प्राप्त किया जा सकता है।

1. "फिंगरप्रिंट" की खोज (चरण 1)

2. "मैच" की खोज (चरण 2)

यह बेहतर क्यों है?

मुख्य निष्कर्ष (The Bottom Line)

इसी तरह के और पेपर