🤖 AI

Visual Words Meet BM25: Sparse Auto-Encoder Visual Word Scoring for Image Retrieval

यह शोध पत्र BM25-V प्रस्तुत करता है, जो एक दो-चरणीय इमेज रिट्रीवल फ्रेमवर्क है जो उच्च व्याख्यात्मकता और कम्प्यूटेशनल दक्षता के साथ 'नियर-डेंस' सटीकता प्राप्त करने के लिए ओकापी BM25 स्कोरिंग के साथ स्पार्स ऑटो-एनकोडर से प्राप्त स्पार्स विजुअल-वर्ड एक्टिवेशन्स का लाभ उठाता है।

मूल लेखक: Donghoon Han, Eunhwan Park, Seunghyeon Seo

प्रकाशित 2026-03-09

📖 5 मिनट में पढ़ें🧠 गहराई से पढ़ें

CC BY 4.0

मूल लेखक: Donghoon Han, Eunhwan Park, Seunghyeon Seo

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

कल्पना कीजिए कि आप एक ऐसी लाइब्रेरी में एक विशिष्ट फोटो ढूंढने की कोशिश कर रहे हैं जिसमें एक अरब चित्र हैं।

पुराना तरीका: "धुंधला सारांश" दृष्टिकोण (The "Blurry Summary" Approach)

वर्तमान में, अधिकांश इमेज सर्च इंजन एक ऐसे लाइब्रेरियन की तरह काम करते हैं जो हर एक किताब को पढ़ता है, उस पर एक एक-वाक्य का सारांश लिखता है, और उसे किताब के कवर पर चिपका देता है।

समस्या: यदि आप "एक लाल स्पोर्ट्स कार" मांगते हैं, तो लाइब्रेरियन सारांशों को देखता है। लेकिन अगर सारांश में सिर्फ "एक कार" लिखा है, तो वे आपकी विशिष्ट लाल फेरारी को मिस कर सकते हैं क्योंकि विवरण सारांश में खो गए हैं।
लागत: सही फोटो खोजने के लिए, लाइब्रेरियन को इन लाखों सारांशों को पढ़ना पड़ता है। यह धीमा है, और आप यह नहीं देख सकते कि उसने एक फोटो को क्यों चुना (क्या वह रंग था? पहिए थे? या बैकग्राउंड?)।

नया तरीका: BM25-V (द "वर्ड डिटेक्टिव")

यह पेपर एक नया सिस्टम पेश करता है जिसे BM25-V कहा जाता है, जो हमारे "पढ़ने" के तरीके को बदल देता है। सारांश लिखने के बजाय, यह छवि को छोटे, विशिष्ट "विजुअल शब्दों" में तोड़ देता है।

यह कैसे काम करता है, यहाँ एक सरल उपमा दी गई है:

1. "विजुअल डिक्शनरी" (The "Visual Dictionary" - Sparse Auto-Encoder)

कल्पना कीजिए कि आपके पास 18,000 विजुअल शब्दों की एक विशाल डिक्शनरी है।

कुछ शब्द उबाऊ और सामान्य हैं, जैसे "आकाश," "घास," या "सफेद बैकग्राउंड।" (ये लगभग हर फोटो में दिखाई देते हैं)।
कुछ शब्द दुर्लभ और विशिष्ट हैं, जैसे "ब्लू जे (Blue Jay) पक्षी के पंखों का पैटर्न," "1960 के मस्टैंग (Mustang) का ग्रिल," या "ट्यूलिप (Tulip) के पंखुड़ी का आकार।"

सिस्टम एक विशेष AI (जिसे Sparse Auto-Encoder कहा जाता है) का उपयोग करता है जो एक छवि को देखता है और कहता है: "इस फोटो में 'ब्लू जे पंख' और 'पेड़ की शाखा' शब्द मौजूद हैं, लेकिन इसमें 'समुद्र' या 'रेत' नहीं है।"

2. "दुर्लभता का नियम" (The "Rarity Rule" - The BM25 Magic)

यह सबसे चतुर हिस्सा है। पुराने दिनों में, यदि कोई शब्द बहुत बार आता था, तो उसे महत्वपूर्ण माना जाता था। लेकिन इस नए सिस्टम में, AI समझ जाता है कि:

यदि एक शब्द 99% फोटो में आता है (जैसे "आकाश"), तो यह एक विशिष्ट फोटो खोजने के लिए बेकार है। यह वाक्य में शब्द "the" की तरह है।
यदि एक शब्द 1,000 में से केवल 1 फोटो में आता है (जैसे "ब्लू जे पंख"), तो यह सोना है। यह एक मजबूत सुराग है।

सिस्टम BM25 नामक एक गणितीय नियम का उपयोग करता है (जो टेक्स्ट सर्च से लिया गया है) ताकि उबाऊ शब्दों को अनदेखा किया जा सके और दुर्लभ, विशिष्ट शब्दों को बढ़ावा दिया जा सके। यह एक ऐसे जासूस की तरह है जो इस बात को अनदेखा करता है कि "हर कोई जूते पहनता है" लेकिन इस बात पर ध्यान केंद्रित करता है कि "केवल संदिग्ध ही लाल जूते पहनता है।"

3. दो-चरणीय खोज (The Two-Step Hunt - The Pipeline)

सिस्टम तुरंत परफेक्ट होने की कोशिश नहीं करता है। यह सुपर फास्ट होने के लिए दो-चरणीय रणनीति का उपयोग करता है:

चरण 1: तेज़ फ़िल्टर (The "Sieve")
सिस्टम केवल "दुर्लभ शब्दों" का उपयोग करके एक अरब फोटो को तेज़ी से स्कैन करता है। क्योंकि यह विशिष्ट मिलान (जैसे "लाल जूते") की तलाश कर रहा है, यह तुरंत उन 99.9% फोटो को हटा सकता है जो मेल नहीं खाते। यह केवल 200 सबसे आशाजनक उम्मीदवारों को ही रखता है।
- उपमा: पूरी लाइब्रेरी की किताबें पढ़ने के बजाय, लाइब्रेरियन बस "रेड बूट्स" के लिए इंडेक्स चेक करता है और 200 किताबों का एक छोटा ढेर निकाल लेता है।
चरण 2: सावधानीपूर्वक देखना (The "Rerank")
अब, सिस्टम उन 200 उम्मीदवारों को लेता है और केवल उन पर "धीमा, विस्तृत" तुलना (पुराना सारांश वाला तरीका) करता है।
- परिणाम: यह वह सटीक फोटो ढूंढ लेता है जिसे आप चाहते थे, लेकिन इसे एक अरब के बजाय केवल 200 फोटो पर कठिन काम करना पड़ा।

यह एक बड़ी बात क्यों है?

यह सुपर फास्ट है: यह खोज के समय को घंटों से सेकंड में बदल देता है क्योंकि यह "शोर" (सामान्य बैकग्राउंड) को अनदेखा करता है और "सिग्नल" (अद्वितीय विवरण) पर ध्यान केंद्रित करता है।
यह पारदर्शी है (Interpretable): यदि सिस्टम एक फोटो चुनता है, तो आप पूछ सकते हैं, "क्यों?" और यह कह सकता है, "क्योंकि इस फोटो में 'ब्लू जे पंख' का विजुअल शब्द उच्च दुर्लभता स्कोर के साथ मौजूद है।" आप वास्तव में देख सकते हैं कि AI ने क्या नोटिस किया।
यह एक बार सीखता है, हर जगह काम करता है: AI को एक सामान्य डेटासेट (जैसे एक सामान्य विश्वकोश) पर प्रशिक्षित किया गया था, लेकिन यह विशिष्ट कार्यों (जैसे विशिष्ट पक्षी प्रजातियों या कार मॉडल को खोजने) के लिए बिना दोबारा प्रशिक्षित हुए पूरी तरह से काम करता है। यह एक ऐसे जासूस की तरह है जिसने सामान्य अवलोकन कौशल सीखा है और वह किसी भी विशिष्ट मामले को सुलझा सकता है।
यह जगह बचाता है: प्रत्येक फोटो के लिए एक विशाल सारांश रखने के बजाय केवल "दुर्लभ शब्दों" को स्टोर करके, सिस्टम बहुत कम कंप्यूटर मेमोरी का उपयोग करता है।

निचोड़ (The Bottom Line)

BM25-V एक ऐसे लाइब्रेरियन से अपग्रेड करने जैसा है जो हर किताब पढ़ता है, एक सुपर-स्मार्ट जासूस की ओर जो जानता है कि कौन से सुराग मायने रखते हैं। यह उबाऊ चीजों को अनदेखा करता है, अद्वितीय विवरणों पर ध्यान केंद्रित करता है, और घास के ढेर में सुई को खोजने के लिए केवल सुई के आकार को नहीं, बल्कि उसके अनूठे गुणों को देखता है।

यहाँ शोध पत्र "Visual Words Meet BM25: Sparse Auto-Encoder" (BM25-V) का विस्तृत तकनीकी सारांश दिया गया है।

1. समस्या विवरण (Problem Statement)

वर्तमान अत्याधुनिक इमेज रिट्रीवल (छवि पुनर्प्राप्ति) मुख्य रूप से डेंस रिट्रीवल (विज़न एनकोडर जैसे ViT का उपयोग करके छवियों को निरंतर एम्बेडिंग्स में मैप करने और एप्रोक्सिमेट निएरेस्ट नेबर सर्च करने) पर निर्भर करती है। हालांकि यह प्रभावी है, इस प्रतिमान (paradigm) की तीन महत्वपूर्ण सीमाएँ हैं:

व्याख्यात्मकता का अभाव (Lack of Interpretability): निर्णय उलझे हुए निरंतर वेक्टर्स (continuous vectors) पर आधारित होते हैं, जिससे यह ऑडिट करना कठिन हो जाता है कि किसी छवि को क्यों चुना गया (जो चिकित्सा, फोरेंसिक और ई-कॉमर्स अनुप्रयोगों के लिए महत्वपूर्ण है)।
स्केलेबिलिटी और मेमोरी लागत: बिलियन-स्केल गैलरी के लिए फुल-प्रिसिजन डेंस एम्बेडिंग्स को स्टोर करने के लिए भारी मेमोरी ( $O(N \cdot D)$ ) की आवश्यकता होती है। प्रोडक्ट क्वांटाइजेशन (PQ) जैसी संपीड़न तकनीकें मेमोरी तो कम करती हैं लेकिन सटीकता में महत्वपूर्ण गिरावट (1–6%) लाती हैं।
सूक्ष्म साक्ष्यों का नुकसान (Loss of Fine-Grained Evidence): डेंस रिट्रीवल आमतौर पर पूलिंग के माध्यम से पैच-लेवल फीचर्स को एक सिंगल ग्लोबल एम्बेडिंग में एकत्रित करता है। यह प्रक्रिया स्थानीय, विशिष्ट विवरणों (जैसे विशिष्ट बनावट या भागों के आकार) को दबा देती है जो सूक्ष्म-स्तर (fine-grained) की रिट्रीवल के लिए आवश्यक होते हैं।

लेखक एक ऐसा समाधान प्रस्तावित करते हैं जो पैच-लेवल जानकारी को छोड़े बिना व्याख्यात्मकता और इंडेक्स दक्षता को पुनः प्राप्त करता है, जिसका लक्ष्य डेंस रिट्रीवल की सटीकता के बराबर पहुँचना और कुशल कैंडिडेट छंटनी (pruning) को सक्षम करना है।

2. कार्यप्रणाली: BM25-V (Methodology: BM25-V)

मुख्य नवाचार विजन ट्रांसफार्मर (ViT) पैच फीचर्स से प्राप्त स्पार्स ऑटो-एनकोडर (SAE) एक्टिवेशन्स पर ओकापी BM25 स्कोरिंग फंक्शन (एक क्लासिक टेक्स्ट रिट्रीवल एल्गोरिदम) को लागू करना है।

A. SAE के माध्यम से विजुअल वर्ड एक्सट्रैक्शन

बैकबोन (Backbone): सिस्टम अंतिम ट्रांसफार्मर लेयर ( $\ell=26$ ) से पैच फीचर्स निकालने के लिए एक फ्रोजन SigLIP2 (ViT) बैकबोन का उपयोग करता है।
स्पार्स ऑटो-एनकोडर (SAE): प्रत्येक पैच फीचर वेक्टर पर एक लीनियर SAE लागू किया जाता है। SAE डेंस पैच फीचर्स को एक उच्च-आयामी स्पार्स लेटेंट स्पेस (एक्सपेंशन फैक्टर $e=16$ , जिसके परिणामस्वरूप $\approx 18,432$ डाइमेंशन होते हैं) में मैप करता है।
स्पर्सिटी कंस्ट्रेंट (Sparsity Constraint): प्रत्येक पैच के लिए, केवल शीर्ष- $k$ ( $k=16$ ) सबसे बड़े एक्टिवेशन्स को बरकरार रखा जाता है (एक top-k ऑपरेशन के माध्यम से), जिससे एक स्पार्स "विजुअल वर्ड" वेक्टर बनता है जहाँ प्रत्येक डाइमेंशन एक मोनोसेमेंटिक (monosemantic) फीचर का प्रतिनिधित्व करता है।
इमेज-लेवल एग्रीगेशन:
- सम पूलिंग (Sum Pooling): सभी पैच से स्पार्स वेक्टर्स को इमेज-लेवल वेक्टर बनाने के लिए जोड़ा जाता है। यह टर्म फ्रीक्वेंसी (TF) के रूप में कार्य करता है, जो छवि में प्रत्येक विजुअल वर्ड के कुल एक्टिवेशन मैग्नीट्यूड को गिनता है।
- पोस्ट-पूल फिल्टरिंग (Post-Pool Filtering): सबसे प्रभावी विजुअल कॉन्सेप्ट्स को बनाए रखने के लिए इमेज-लेवल वेक्टर पर दूसरा top-k फिल्टर ( $k_{post}=16$ ) लगाया जाता है, जो दुर्लभ, आकस्मिक एक्टिवेशन्स से शोर (noise) को हटा देता है।
- क्वांटाइजेशन (Quantization): इंडेक्स साइज को कम करने के लिए वैल्यूज को uint16 में क्वांटाइज किया जाता है।

B. BM25 स्कोरिंग मैकेनिज्म

लेखक SAE डाइमेंशन्स को "टर्म्स" (शब्दों) की एक शब्दावली और छवियों को "डॉक्यूमेंट्स" (दस्तावेजों) के रूप में मानते हैं।

जिपफियन वितरण (Zipfian Distribution): अनुभवजन्य विश्लेषण दिखाता है कि विजुअल वर्ड फ्रीक्वेंसी जिपफियन (पावर-लॉ) वितरण का पालन करती है। शब्दों का एक छोटा हिस्सा सर्वव्यापी (पृष्ठभूमि, सामान्य बनावट) होता है, जबकि अधिकांश शब्द दुर्लभ और विशिष्ट होते हैं।
IDF वेटिंग (IDF Weighting): इस वितरण के कारण, BM25 का इनवर्स डॉक्यूमेंट फ्रीक्वेंसी (IDF) घटक अत्यधिक प्रभावी है। यह स्वतः ही सर्वव्यापी विजुअल वर्ड्स (जिनका सूचना मूल्य कम होता है) को डाउन-वेट करता है और दुर्लभ, विशिष्ट शब्दों को अप-वेट करता है।
स्कोरिंग फॉर्मूला: रिट्रीवल स्कोर मानक BM25 का उपयोग करके गणना किया जाता है:
$\text{BM25}(d, Q) = \sum_{i \in Q} \text{IDF}_i \cdot \frac{f_i(d)(k_1+1)}{f_i(d) + k_1(1 - b + b \frac{|d|}{\overline{dl}})}$
जहाँ $f_i(d)$ छवि $d$ में विजुअल वर्ड $i$ का सम-पुल्ड (sum-pooled) एक्टिवेशन है।

C. दो-चरणीय रिट्रीवल पाइपलाइन (Two-Stage Retrieval Pipeline)

गति और उच्च सटीकता दोनों प्राप्त करने के लिए, सिस्टम दो चरणों में कार्य करता है:

चरण 1 (स्पार्स रिट्रीवल): BM25-V पूरे गैलरी से शीर्ष- $K$ उम्मीदवारों (जैसे, $K=200$ ) को खोजने के लिए एक इनवर्टेड इंडेक्स का उपयोग करता है। यह अत्यंत तेज़ ( $O(k \cdot \text{df})$ ) है और अत्यधिक रिकॉल-ओरिएंटेड है।
चरण 2 (डेंस री-रैंकिंग): शीर्ष- $K$ $K$ उम्मीदवारों को ग्लोबल MAP-पुल्ड एम्बेडिंग्स पर मानक डेंस कोसाइन सिमिलरिटी का उपयोग करके फिर से रैंक किया जाता है।
- यह डेंस कंप्यूटेशन को $O(N \cdot D)$ से घटाकर $O(K \cdot D)$ कर देता है, जहाँ $K \ll N$ है।
- स्पार्स इंडेक्स डेंस एम्बेडिंग्स की तुलना में न्यूनतम मेमोरी ओवरहेड (96 बाइट्स/इमेज) जोड़ता है।

3. प्रमुख योगदान (Key Contributions)

विजुअल SAEs के लिए BM25 का प्रथम अनुप्रयोग: यह पेपर प्रदर्शित करता है कि SAE-व्युत्पन्न विजुअल वर्ड्स टेक्स्ट टोकन की तरह ही हेवी-टेल्ड (जिपफियन) वितरण प्रदर्शित करते हैं, जिससे विजुअल रिट्रीवल के लिए BM25 एक सिद्धांत आधारित (principled), न कि केवल एक ह्यूरिस्टिक विकल्प बन जाता है।
नेयर-डेंस सटीकता के साथ दो-चरणीय पाइपलाइन: सिस्टम सात बेंचमार्क पर Recall@200 $\ge$ 0.993 प्राप्त करता है। डेंस री-रैंकिंग के साथ मिलकर, यह डेंस रिट्रीवल की निकटतम Rank-1 सटीकता (औसतन 0.2% के भीतर) को पुनः प्राप्त करता है, जबकि कंप्यूट को काफी कम कर देता है।
जीरो-शॉट क्रॉस-डोमेन जनरलाइजेशन: ImageNet-1K पर प्रशिक्षित एक SAE बिना किसी फाइन-ट्यूनिंग के सात सूक्ष्म-स्तर (fine-grained) के डेटासेट्स (पक्षी, कारें, फूल, टेक्सचर आदि) पर प्रभावी ढंग से ट्रांसफर होता है।
अंतर्निहित व्याख्यात्मकता (Inherent Interpretability): डेंस मॉडल्स के विपरीत, प्रत्येक रिट्रीवल निर्णय को विशिष्ट "विजुअल वर्ड्स" और उनके क्वांटिफाइड IDF योगदान के माध्यम से समझाया जा सकता है, जो पारदर्शी, टर्म-लेवल स्पष्टीकरण की अनुमति देता है।
दक्षता और स्केलेबिलिटी:
- मेमोरी: स्पार्स इंडेक्स फ्लोट32 डेंस वेक्टर्स के सापेक्ष 48 $\times$ संपीड़न प्रदान करता है।
- बिल्ड टाइम: इंडेक्स निर्माण $O(N \cdot k)$ है, जो HNSW ग्राफ निर्माण की तुलना में कई गुना तेज़ है।
- डायनेमिक अपडेट्स: छवियों को डालना/हटाना $O(k)$ है, जो ग्राफ-आधारित इंडेक्स की संरचनात्मक गिरावट संबंधी समस्याओं से बचता है।

4. प्रयोगात्मक परिणाम (Experimental Results)

सात सूक्ष्म-स्तर के डेटासेट्स (CUB-200, Cars-196, Aircraft, Pets, Flowers-102, DTD, Food-101) पर मूल्यांकन:

सटीकता (Accuracy): दो-चरणीय पाइपलाइन (BM25-V + Dense Rerank) पूर्ण डेंस रिट्रीवल प्रदर्शन के बराबर या उससे थोड़ा अधिक है।
- औसत R@1 सुधार: डेंस के बराबर (0.857 बनाम 0.859)।
- विशिष्ट लाभ: DTD पर +0.7% और Flowers-102 पर +0.1%, जो सिद्ध करता है कि स्पार्स लोकल एविडेंस ग्लोबल सिमेंटिक्स के पूरक हैं।
रिकॉल (Recall): BM25-V अकेले R@100 $\ge$ 0.984 और R@200 $\ge$ 0.993 प्राप्त करता है, जिससे यह सुनिश्चित होता है कि डेंस री-रैंकर लगभग कभी भी सही छवि को मिस नहीं करता है।
दक्षता (Efficiency):
- $N=1M$ पर, BM25-V क्वेरी लेटेंसी सटीक डेंस सर्च की तुलना में 5.2 $\times$ कम है।
- इंडेक्स बिल्ड टाइम HNSW (0.09s बनाम 75 मिनट) की तुलना में 50,000 $\times$ तेज़ है।
- यह सिस्टम प्रोडक्ट क्वांटाइजेशन (PQ) विधियों में देखी गई 1–6% की सटीकता गिरावट से बचता है।

5. महत्व (Significance)

यह कार्य स्पार्स, व्याख्यात्मक रिट्रीवल और डेंस, सिमेंटिक रिट्रीवल के बीच के अंतर को पाटता है।

सैद्धांतिक अंतर्दृष्टि: यह पुष्टि करता कि "जिपफियन" गुण, जो NLP में लंबे समय से ज्ञात है, SAEs के माध्यम से स्पर्स होने पर गहरे विजुअल रिप्रेजेंटेशन को भी नियंत्रित करता है। यह विजन में IDF वेटिंग के उपयोग को न्यायसंगत बनाता है।
व्यावहारिक प्रभाव: यह बिलियन-स्केल इमेज सर्च के लिए एक स्केलेबल आर्किटेक्चर प्रदान करता है जो ऑडिट योग्य (विनियमित उद्योगों के लिए महत्वपूर्ण), मेमोरी-कुशल, और वर्तमान डेंस-ओनली या PQ-आधारित समाधानों की तुलना में कंप्यूटेशनल रूप से सस्ता है, बिना सटीकता खोए।
प्रतिमान परिवर्तन (Paradigm Shift): यह "Bag-of-Visual-Words" की अवधारणा को पुनर्जीवित करता है, लेकिन हैंड-क्राफ्टेड डिस्क्रिप्टर्स (SIFT/HOG) और k-मीन्स क्लस्टरिंग के बजाय डीप ट्रांसफॉर्मर से प्राप्त लर्नड, मोनोसेमेटिक फीचर्स का उपयोग करता है, जो शास्त्रीय और आधुनिक रिट्रीवल के सर्वोत्तम गुणों को जोड़ता है।