🤖 machine learning

MINER: Mining Multimodal Internal Representation for Efficient Retrieval

MINER एक हल्का प्लग-इन मॉड्यूल है जो ट्रांसफार्मर परतों के माध्यम से रिट्रीवल-संबंधित आंतरिक संकेतों की जांच और उन्हें अनुकूल रूप से संलयित (fuse) करके कुशल सिंगल-वेक्टर मल्टीमॉडल रिट्रीवल को बढ़ाता है, जिससे कम स्टोरेज और लेटेंसी लागत बनाए रखते हुए भारी लेट-इंटरेक्शन मॉडलों के तुलनीय बेहतर सटीकता प्राप्त होती है।

मूल लेखक: Weien Li, Rui Song, Zeyu Li, Haochen Liu, Gonghao Zhang, Difan Jiao, Zhenwei Tang, Bowei He, Haolun Wu, Xue Liu, Ye Yuan

प्रकाशित 2026-05-08

📖 5 मिनट में पढ़ें🧠 गहराई से पढ़ें

CC BY 4.0

मूल लेखक: Weien Li, Rui Song, Zeyu Li, Haochen Liu, Gonghao Zhang, Difan Jiao, Zhenwei Tang, Bowei He, Haolun Wu, Xue Liu, Ye Yuan

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

कल्पना कीजिए कि आप रंगीन, जटिल दस्तावेज़ों के एक विशाल पुस्तकालय के भीतर एक विशिष्ट तथ्य खोजने की कोशिश कर रहे हैं—जैसे कि एक ही पृष्ठ पर चार्ट, फोटो और टेक्स्ट का मिश्रण। यह विजुअल डॉक्यूमेंट रिट्रीवल (Visual Document Retrieval) की चुनौती है।

वर्तमान में, कंप्यूटर इसे हल करने के लिए दो मुख्य तरीकों का उपयोग करते हैं, और दोनों में एक बड़ी खामी है:

"विस्तृत लेकिन भारी" विधि (Late-Interaction): कल्पना कीजिए कि एक लाइब्रेरियन हर एक शब्द पढ़ता है और फोटो के हर छोटे विवरण को देखता है, और हर पृष्ठ के लिए हजारों नोट्स लिखता है। यह अविश्वसनीय रूप से सटीक है क्योंकि इसमें कुछ भी छूटता नहीं है, लेकिन यह धीमा है और इसके लिए बहुत अधिक स्टोरेज स्पेस की आवश्यकता होती है (जैसे कि नोट्स को स्टोर करने के लिए एक गोदाम की आवश्यकता होना)।
"तेज लेकिन उथली" विधि (Dense Single-Vector): कल्पना कीजिए कि एक अलग लाइब्रेरियन पूरे पृष्ठ पर एक त्वरित नज़र डालता है और पूरे दस्तावेज़ का प्रतिनिधित्व करने के लिए केवल एक सारांश वाक्य लिख देता है। यह बहुत तेज़ है और इसमें बहुत कम जगह लगती है, लेकिन क्योंकि उन्हें सब कुछ एक वाक्य में संकुचित करना पड़ा, इसलिए वे अक्सर सही उत्तर खोजने के लिए आवश्यक महत्वपूर्ण विवरणों को मिस कर देते हैं।

समस्या: "तेज" विधि "अच्छी चीज़ों" को खो रही है क्योंकि वह उन विस्तृत नोट्स को फेंक देती है जो उसने पढ़ने के दौरान बनाए थे, और केवल अंतिम सारांश को रखती है।

समाधान: MINER

यह पेपर MINER (Efficient Retrieval के लिए Mining Multimodal Internal Representation) पेश करता है। MINER को एक स्मार्ट "हाइलाइटर" और "समराइज़र" प्लगइन के रूप में सोचें जिसे आप "तेज" लाइब्रेरियन से बिना उसके काम करने के तरीके को बदले जोड़ सकते हैं।

MINER कैसे काम करता है, यहाँ सरल उपमाओं का उपयोग किया गया है:

1. "लेयर-दर-लेयर" जासूसी कार्य

डीप लर्निंग मॉडल (इन लाइब्रेरियन के पीछे के "दिमाग") सूचना को परतों (layers) में प्रोसेस करते हैं, जैसे कि एक असेंबली लाइन।

शुरुआती परतें (Early layers) कच्चे माल की तरह हैं: वे आकार और रंग देखते हैं लेकिन अभी तक उनका अर्थ नहीं समझ पाए हैं।
मध्यम परतें (Middle layers) चीजों को मिलाना शुरू करती हैं।
अंतिम परत (Final layer) तैयार व्यंजन (एक एकल सारांश वाक्य) है।

लेखकों ने पाया कि "तेज" लाइब्रेरियन अंतिम व्यंजन तक पहुँचने के लिए मध्यम परतों से स्वादिष्ट, उपयोगी सामग्री को फेंक दे रहा था। MINER उन खोए हुए सामग्रियों को बचाने के लिए असेंबली लाइन के बीच में खुदाई करता है।

2. चरण एक: "स्मार्ट प्रोब" (अच्छे हिस्सों को खोजना)

MINER असेंबली लाइन के विभिन्न स्तरों पर एक छोटा, हल्का सेंसर (प्रोब) लगाता है।

यह पूछता है: "क्या यह परत वास्तव में सही दस्तावेज़ खोजने में सहायक है?"
यह एक विशेष परीक्षण (जिसे Alignment Ratio कहा जाता है) का उपयोग करता है ताकि यह देख सके कि क्या उस परत की जानकारी पहले से ही सही दिशा में इशारा कर रही है या वह मुड़ी हुई है और उसे सीधा करने की आवश्यकता है।
उपमा: कल्पना कीजिए कि आप एक टीम के श्रमिकों की जांच कर रहे हैं। कुछ पहले से ही सही दिशा में देख रहे हैं (उन्हें बस एक हल्के धक्के की आवश्यकता है)। अन्य गलत दिशा में देख रहे हैं और मदद करने से पहले उन्हें घुमाने की आवश्यकता है। MINER इन दो समूहों के साथ अलग-अलग व्यवहार करता है।

3. चरण दो: "सिलेक्टिव फ्यूजन" (सर्वश्रेष्ठ का मिश्रण)

एक बार जब MINER जान जाता है कि कौन सी परतें उपयोगी हैं, तो वह सब कुछ अंतिम सारांश में नहीं डाल देता। वह बहुत अस्त-व्यस्त हो जाएगा।

न्यूरॉन मास्किंग (Neuron Masking): यह एक सख्त संपादक की तरह कार्य करता है। यह उपयोगी जानकारी को देखता है और कहता है, "सबसे महत्वपूर्ण शीर्ष 20% न्यूरॉन्स (प्रमुख तथ्यों) को रखें और बाकी को अनदेखा करें।" यह फ़ाइल के आकार को छोटा रखता है।
फ्यूजन (Fusion): यह इन चुनी हुई, उच्च-गुणवत्ता वाली कड़ियों को मध्यम परतों से लेता है और उन्हें अंतिम सारांश वाक्य में मिला देता है।

परिणाम: दोनों दुनियाओं का सर्वश्रेष्ठ संगम

MINER का उपयोग करके, "तेज" लाइब्रेरियन को एकल-वाक्य सारांश की गति और कम स्टोरेज लागत मिलती है, लेकिन विस्तृत नोट्स की सटीकता के साथ।

गति और स्टोरेज: यह मूल "तेज" विधि की तरह ही तेज़ और कॉम्पैक्ट रहता है। इसे नोट्स के लिए गोदाम की आवश्यकता नहीं है।
सटीकता: यह खोज परिणामों की गुणवत्ता में काफी सुधार करता है। पेपर के परीक्षणों में, इसने "तेज" विधि और "विस्तृत लेकिन भारी" विधि के बीच के अंतर को कम कर दिया, जिससे यह भारी विधि के लगभग समान सटीक हो गया, लेकिन बिना उस भारी लागत के।

संक्षेप में

MINER एक हल्का टूल है जो एक तेज़, कुशल AI को सिखाता है कि दस्तावेज़ को प्रोसेस करते समय वह उन उपयोगी विवरणों को कैसे याद रखे जिन्हें वह लगभग भूल ही गया था। यह "सब कुछ स्टोर करने के लिए बहुत धीमा होने" और "सब कुछ भूल जाने के लिए बहुत तेज़ होने" के बीच का "स्वीट स्पॉट" ढूंढता है, जिससे आपको एक ऐसा सर्च इंजन मिलता है जो तेज़ भी है और स्मार्ट भी।

तकनीकी सारांश: MINER - कुशल पुनर्प्राप्ति के लिए खनन बहु-मोडल आंतरिक प्रतिनिधित्व (Mining Multimodal Internal Representation for Efficient Retrieval)

समस्या विवरण

विजुअल डॉक्यूमेंट रिट्रीवल (VDR) का लक्ष्य रेंडर की गई छवियों से सीधे प्रासंगिक पृष्ठों को पुनर्प्राप्त करना है (जैसे स्लाइड, रिपोर्ट, पोस्टर), जिससे नाजुक OCR-और-चंकिंग पाइपलाइनों को दरकिनार किया जा सके। वर्तमान दृष्टिकोण गुणवत्ता और दक्षता के बीच एक मौलिक समझौते (trade-off) का सामना करते हैं:

लेट-इंटरेक्शन रिट्रीवर्स (जैसे ColPali): ये विधियाँ क्वेरी और दस्तावेज़ों को टोकन-स्तरीय एम्बेडिंग के सेट के रूप में प्रस्तुत करती हैं, जो सूक्ष्म मिलान (fine-grained matching) सक्षम बनाती हैं। हालांकि ये उच्च पुनर्प्राप्ति गुणवत्ता प्राप्त करती हैं, लेकिन इनके इंडेक्स फुटप्रिंट बहुत बड़े (प्रति पृष्ठ सैकड़ों से हजारों वेक्टर) और सर्विंग लागत अधिक होती है।
डेंस सिंगल-वेक्टर रिट्रीवर्स: ये पूरे दस्तावेज़ को एक एकल अंतिम-परत एम्बेडिंग में संकुचित कर देते हैं, जो कॉम्पैक्ट इंडेक्स और कम विलंबता (latency) प्रदान करते हैं। हालांकि, वे लगातार गुणवत्ता में पीछे रहते हैं क्योंकि एक एकल वेक्टर में संकुचन सूचनात्मक बाधा (information bottleneck) पैदा करता है, जिससे मध्यवर्ती नेटवर्क परतों में मौजूद पुनर्प्राप्ति-प्रासंगिक संकेत लुप्त हो जाते हैं।

NLP और विजन में हालिया अध्ययन सुझाव देते हैं कि गहरे नेटवर्क के आंतरिक प्रतिनिधित्व अक्सर केवल अंतिम आउटपुट की तुलना में अधिक कार्य-प्रासंगिक जानकारी रखते हैं। यह प्रश्न उठता है: क्या सिंगल-वेक्टर रिट्रीवर्स के आंतरिक प्रतिनिधित्व का उपयोग सिंगल-वेक्टर प्रतिमान की दक्षता से समझौता किए बिना खोए हुए पुनर्प्राप्ति संकेतों को पुनः प्राप्त करने के लिए किया जा सकता है?

कार्यप्रणाली: MINER

लेखक MINER (Mining Multimodal Internal RepreseNtation for Efficient Retrieval) का प्रस्ताव करते हैं, जो एक हल्का प्लग-इन मॉड्यूल है जिसे ट्रांसफार्मर परतों से पुनर्प्राप्ति-प्रासंगिक संकेतों को निकालने और फ्यूज करने के लिए डिज़ाइन किया गया है। MINER बैकबोन मॉडल को संशोधित किए बिना कार्य करता है, जिससे डेंस रिट्रीवल की स्टोरेज और सर्विंग दक्षता बनी रहती है। इसमें दो मुख्य चरण शामिल हैं:

1. लेयरवाइज डायग्नोस्टिक और विश्लेषण

मॉड्यूल डिजाइन करने से पहले, लेखकों ने दो मेट्रिक्स का उपयोग करके सिंगल-वेक्टर रिट्रीवर्स (Jina, Eager, MoCa) का व्यवस्थित विश्लेषण किया:

नॉर्मलाइज्ड सेंटर्ड कर्नेल एलाइनमेंट (CKA): एक परत के प्रतिनिधित्व स्थान और अंतिम क्रॉस-मोडल रिट्रीवल स्पेस के बीच संरचनात्मक समानता को मापता है। यह एक कैंडिडेट सेट की परतों ( $S_{cand}$ ) की पहचान करता है जो संरचनात्मक रूप से पर्याप्त रूप से अंतिम स्पेस के करीब हैं ताकि हल्का निष्कर्षण संभव हो सके।
एलाइनमेंट रेशियो (AR): इसे सैंपल-लेवल कोसाइन सिमिलरिटी और CKA स्कोर के अनुपात के रूप में परिभाषित किया गया है। यह उन परतों के बीच अंतर करता है जो केवल संरचनात्मक रूप से समान हैं बनाम वे जो सीधे कोऑर्डिनेट-अलाइन्ड (coordinate-aligned) हैं।
- परिणाम: विश्लेषण ने कैंडिडेट परतों के भीतर दो अलग-अलग रेजिम (regimes) का खुलासा किया। शुरुआती परतें कम AR प्रदर्शित करती हैं (संरचनात्मक रूप से समान लेकिन मिसअलाइन्ड), जबकि अंतिम कुछ परतें उच्च AR प्रदर्शित करती हैं (सीधे अलाइन्ड)। यह निष्कर्ष विभिन्न परतों के लिए विभेदित निष्कर्षण रणनीतियों को प्रेरित करता है।

2. MINER आर्किटेक्चर

MINER दो चरणों में कार्य करता है:

चरण 1: रिट्रीवल-अलाइन्ड लेयर प्रोबिंग
एक हल्का प्रोब प्रत्येक कैंडिडेट सेट $S_{cand}$ की परत पर लगाया जाता है। प्रोब का पैरामीट्राइजेशन परत के एलाइनमेंट रेजिम द्वारा निर्धारित होता है:

बेस प्रोब (उच्च-AR परतों के लिए): मूल कोऑर्डिनेट सिस्टम को बनाए रखने के लिए एलिमेंट-वाइज रीवेटिंग ( $p_l \odot x$ ) लागू करता है।
नॉर्मलाइज्ड प्रोजेक्शन प्रोब (कम-AR परतों के लिए): एलिमेंट-वाइज रीवेटिंग के बाद एक रो-नॉर्मलाइज्ड लीनियर प्रोजेक्शन ( $\tilde{W}_l(p_l \odot x)$ ) लागू करता है ताकि बिना रीस्केलिंग के मिसअलाइन्ड सबस्पेस को एंकर स्पेस के साथ पुनः अलाइन किया जा सके।
प्रशिक्षण: सभी प्रोब्स को एक क्रॉस-मोडल सियामीस ऑब्जेक्टिव (InfoNCE लॉस) का उपयोग करके प्रशिक्षित किया जाता है ताकि प्रोब्ड टेक्स्ट/विज़न रीडआउट को उनके क्रॉस-मोडल फाइनल-लेयर एंकर्स के साथ अलाइन किया जा सके।

चरण 2: एडेप्टिव स्पार्स मल्टी-लेयर फ्यूजन
प्रोब्ड संकेतों को एक एकल डेंस एम्बेडिंग में एकत्रित किया जाता है:

परफॉरमेंस-एडेप्टिव न्यूरॉन-लेवल मास्किंग: प्रत्येक परत के स्टैंडअलोन वैलिडेशन परफॉरमेंस (nDCG@5) के आधार पर एक लेयर-विशिष्ट रिटेंशन रेशियो ( $P_l$ ) की गणना की जाती है। एक हार्ड बाइनरी मास्क प्रत्येक परत के लिए शीर्ष- $P_l$ न्यूरॉन्स को ही रखता है (सीखे गए महत्व वेक्टर $p_l$ के आधार पर), जिससे अप्रासंगिक आयामों को दबा दिया जाता है।
क्रॉस-लेयर फ्यूजन: चुनी गई सभी परतों के मास्क किए गए संकेतों को एक ग्लोबल बायस के साथ सीखे गए वेटेड सम के माध्यम से संयोजित किया जाता है:
$e = \sum_{l \in S_{cand}} u_l \odot h^{(l)} + b$
जहाँ $h^{(l)}$ प्रोसेस्ड रीडआउट (या तो सीधे मास्क किया गया या प्रोजेक्शन के बाद मास्क किया गया) है।

प्रमुख योगदान

डायग्नोस्टिक अंतर्दृष्टि: लेखक प्रकट करते हैं कि सिंगल-वेक्टर रिट्रीवर्स में पुनर्प्राप्ति-प्रासंगिक संकेत ट्रांसफार्मर परतों में असमान रूप से वितरित होते हैं और एलाइनमेंट रेशियो डायग्नोस्टिक के आधार पर गुणात्मक रूप से भिन्न निष्कर्षण रणनीतियों (सरल रीवेटिंग बनाम प्रोजेक्शन) की आवश्यकता होती है।
MINER मॉड्यूल: एक प्लग-इन आर्किटेक्चर जिसमें रिट्रीवल-अलाइन्ड लेयर प्रोबिंग और एडेप्टिव स्पार्स मल्टी-लेयर फ्यूजन शामिल है। यह बैकबोन को संशोधित किए या स्टोरेज/सर्विंग लागत बढ़ाए बिना रिट्रीवल गुणवत्ता में सुधार करता है।
अनुभवजन्य प्रदर्शन: MINER कई बैकबोन और ViDoRe बेंचमार्क सूट पर मौजूदा डेंस सिंगल-वेक्टर रिट्रीवर्स से लगातार बेहतर प्रदर्शन करता है।

प्रयोगात्मक परिणाम

प्रयोग ViDoRe V1, V2, और V3 बेंचमार्क पर Jina-Embeddings-v4, Eager-Embed-v1, और MoCa-3B को बैकबोन के रूप में उपयोग करके किए गए।

पुनर्प्राप्ति गुणवत्ता: MINER ने अपने संबंधित डेंस बैकबोन (जैसे, MINER-Eager ने ViDoRe V2 पर 56.0 से 58.5 तक सुधार किया) की तुलना में nDCG@5 में 4.5% तक का सुधार किया। कई सेटिंग्स में, इसने मजबूत लेट-इंटरेक्शन बेसलाइन्स के साथ प्रदर्शन के अंतर को काफी कम कर दिया (कुछ मामलों में अंतर को 0.2 nDCG@5 तक कम कर दिया)।
दक्षता:
- स्टोरेज: MINER अपने डेंस बेसलाइन (सिंगल-वेक्टर इंडेक्स) के समान ही स्टोरेज फुटप्रिंट बनाए रखता है, जो लेट-इंटरेक्शन विधियों की तुलना में 42.4× छोटा है।
- विलंबता (Latency): MINER डेंस बेसलाइन की तुलना में केवल 1.07× क्वेरी लेटेंसी ओवरहेड लेता है, जबकि लेट-इंटरेक्शन विधियों की तुलना में 5.3× तेज़ रहता है।
एब्लेशन स्टडीज: एलाइनमेंट-रेशियो पार्टीशन (केवल Base या केवल Norm प्रोब्स का उपयोग करके) को हटाने या स्पार्स मास्किंग को हटाने से कम प्रदर्शन हुआ, जिससे पुष्टि होती है कि विभेदित प्रोबिंग और एडेप्टिव मास्किंग दोनों ही आवश्यक घटक हैं।
मजबूती (Robustness): विधि मुख्य हाइपरपैरामीटर्स, विशेष रूप से लेयर चयन के लिए CKA कटऑफ और मास्किंग के लिए स्पार्सिटी फ्लोर के प्रति मजबूत है।

महत्व और दावे

पेपर दावा करता है कि MINER सफलतापूर्वक लेट-इंटरेक्शन रिट्रीवल की उच्च गुणवत्ता और डेंस सिंगल-वेक्टर रिट्रीवल की उच्च दक्षता के बीच के अंतर को पाटता है। आंतरिक प्रतिनिधित्व को खोजकर, MINER मल्टी-वेक्टर दृष्टिकोणों से जुड़ी स्टोरेज और लेटेंसी पेनल्टी के बिना, फाइनल-लेयर बॉटलनेक के कारण खोई हुई जानकारी को पुनः प्राप्त करता है।

लेखक MINER को विजुअल डॉक्यूमेंट रिट्रीवल सिस्टम के लिए एक व्यावहारिक समाधान के रूप में देखते हैं जिन्हें उच्च सटीकता और कम परिचालन लागत दोनों की आवश्यकता है। वे उल्लेख करते हैं कि वर्तमान में इस पद्धति का मूल्यांकन उन मॉडलों पर किया जा रहा है जहाँ आंतरिक हिडन स्टेट्स और ट्रेनिंग डेटा सुलभ है, जो मौजूदा डेंस रिट्रीवल पाइपलाइनों के लिए एक हल्के एन्हांसमेंट के रूप में कार्य करता है, न कि बैकबोन आर्किटेक्चर के विकल्प के रूप में।