💻 computer science

LARE: Low-Attention Region Encoding for Text-Image Retrieval

यह शोध पत्र LARE का प्रस्ताव करता है, जो पूर्ण-छवि विशेषताओं के समानांतर कम-अटेंशन वाले क्षेत्रों को स्पष्ट रूप से एनकोड करके भीड़भाड़ वाले दृश्यों में टेक्स्ट-इमेज रिट्रीवल में सुधार करता है और इन चुनौतीपूर्ण, सूक्ष्म-स्तरीय प्रश्नों पर प्रदर्शन का कड़ाई से मूल्यांकन करने के लिए डेंस-सेट (Dense-Set) डेटासेट पेश करता है।

मूल लेखक: Abdulmalik Alquwayfili, Faisal Almeshal, Jumanah Almajnouni, Leena Alotaibi, Faisal Alhajari, Mohammed Alkhrashi, Alreem Almuhrij, Abdullah Aldwyish, Raied Aljadaany, Huda Alamri, Muhammad Kamran J. K

प्रकाशित 2026-06-19

📖 5 मिनट में पढ़ें🧠 गहराई से पढ़ें

CC BY 4.0

मूल लेखक: Abdulmalik Alquwayfili, Faisal Almeshal, Jumanah Almajnouni, Leena Alotaibi, Faisal Alhajari, Mohammed Alkhrashi, Alreem Almuhrij, Abdullah Aldwyish, Raied Aljadaany, Huda Alamri, Muhammad Kamran J. Khan

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

बड़ी समस्या: "स्पॉटलाइट" प्रभाव

कल्पना कीजिए कि आप लोगों से भरे एक बहुत ही भीड़भाड़ वाले कमरे में जा रहे हैं। यदि आप अपने दोस्त से "लाल छतरी पकड़े हुए व्यक्ति" को खोजने के लिए कहते हैं, तो वे तुरंत कमरे के बीच में बैठे उस व्यक्ति को देख सकते हैं जिसने चमकीली पीली जैकेट पहनी है क्योंकि वह व्यक्ति सबसे अधिक स्पष्ट है। वे कमरे के कोने में लाल छतरी पकड़े उस व्यक्ति को पूरी तरह से अनदेखा कर सकते हैं क्योंकि वह व्यक्ति छोटा, शांत और बैकग्राउंड में है।

आज के AI इमेज सर्च इंजन (जैसे प्रसिद्ध CLIP मॉडल) के साथ भी बिल्कुल ऐसा ही होता है। जब एक AI किसी फोटो को देखता है, तो वह उस दोस्त की तरह व्यवहार करता है। वह अपना "स्पॉटलाइट" सबसे बड़े, सबसे प्रमुख ऑब्जेक्ट्स (जैसे कि पूरी भीड़, एक बड़ा पेड़, या एक मुख्य इमारत) पर केंद्रित करता है और कोनों में मौजूद छोटी, सूक्ष्म बारीकियों को अनदेखा कर देता है।

यदि आप "कुर्सी के पीछे छिपे कुत्ते" की खोज करते हैं, तो AI आपको केवल कुर्सियों या भीड़ की तस्वीरें दिखा सकता है, क्योंकि कुत्ते पर AI का ध्यान नहीं गया था।

समाधान: LARE (द "साइड-आई" स्ट्रैजी)

लेखकों ने एक नया टूल बनाया जिसे LARE (लो-अटेंशन रीजन एनकोडिंग) कहा जाता है। LARE को AI को "साइड-आई" (तिरछी नज़र) का उपयोग करना सिखाने के रूप में समझें।

केवल पूरी तस्वीर को देखकर यह कहने के बजाय कि "यह एक व्यस्त सड़क है," LARE AI को एक साथ दो चीजें करने के लिए मजबूर करता है:

मुख्य नज़र (The Main Look): यह पूरी छवि को देखता है (ग्लोबल व्यू)।
साइड-आई (The Side-Eye): यह विशेष रूप से उन हिस्सों को देखता है जिन्हें AI आमतौर पर अनदेखा कर देता है। यह पूछता है, "कोनों में क्या हो रहा है? वह कौन सी छोटी डिटेल है जिसे मैंने मिस कर दिया?"

इसके बाद यह उन अनदेखी जगहों को लेता है, उन पर ज़ूम करता है, और उन छोटे विवरणों के लिए एक विशेष "ID कार्ड" बनाता है। जब आप कुछ खोजते हैं, तो LARE मुख्य तस्वीर और इन "साइड-आई" ID कार्डों दोनों की जांच करता है कि क्या वे आपके टेक्स्ट से मेल खाते हैं।

नया टेस्ट: "डेंस-सेट" (Dense-Set)

यह साबित करने के लिए कि यह काम करता है, लेखकों ने महसूस किया कि वे केवल सामान्य फोटो पर AI का परीक्षण नहीं कर सकते। उन्हें एक कठिन टेस्ट की आवश्यकता थी। इसलिए, उन्होंने Dense-Set नामक एक नया डेटासेट बनाया।

कल्पना कीजिए कि एक मानक फोटो टेस्ट किसी को लिविंग रूम की तस्वीर में "बिल्ली" खोजने के लिए कहने जैसा है। आसान है।
Dense-Set किसी को एक अराजक (chaotic) किचन की तस्वीर में "एक विशिष्ट प्रकार के चम्मच" को खोजने के लिए कहने जैसा है जहाँ 50 लोग रात का खाना खा रहे हैं, और वह चम्मच प्लेट के किनारे पर मुश्किल से दिखाई दे रहा है।

उन्होंने मौजूदा फोटो कलेक्शन (COCO और Flickr30K) लिए, सबसे भीड़भाड़ वाली और अस्त-व्यस्त छवियों को ढूँढा, और उनके विवरणों को छोटे, मुश्किल से दिखने वाले ऑब्जेक्ट्स पर ध्यान केंद्रित करने के लिए फिर से लिखा। इसने इमेज सर्च के लिए एक "स्ट्रेस टेस्ट" तैयार किया।

यह कैसे काम करता है (तीन चरण)

ब्लाइंड स्पॉट पहचानना: AI छवि को देखता है और पता लगाता है कि वह किन हिस्सों को अनदेखा कर रहा है (यानी "लो-अटेंशन" क्षेत्र)।
ज़ूम और एनकोड करना: यह उन अनदेखी क्षेत्रों को क्रॉप करता है और उनके लिए एक डिजिटल फिंगरप्रिंट बनाता है, ठीक वैसे ही जैसे वह पूरी छवि के लिए करता है।
स्मार्ट जज (The Smart Judge): जब आप खोजते हैं, तो AI आपके टेक्स्ट की तुलना पूरी छवि और क्रॉप किए गए टुकड़ों से करता है।
- यदि AI पहले से ही मुख्य छवि के बारे में 100% आश्वस्त है, तो वह उसी उत्तर के साथ रहता है (ताकि वह भ्रमित न हो)।
- यदि AI अनिश्चित है या मुख्य छवि अच्छी तरह से मेल नहीं खाती है, तो वह कहता है, "रुको, मुझे साइड-आई सुरागों को देखने दो।" यदि कोई छोटा क्रॉप किया गया टुकड़ा आपकी खोज से पूरी तरह मेल खाता है, तो वह उस छवि को लिस्ट में सबसे ऊपर ले आता है।

परिणाम

पेपर दिखाता है कि LARE एक "प्लग-एंड-प्ले" अपग्रेड है। इसके लिए AI को फिर से प्रशिक्षित करने या उसके दिमाग को बदलने की आवश्यकता नहीं है; यह बस फोटो देखते समय इस अतिरिक्त चरण को जोड़ देता है।

सामान्य फोटो पर: यह मूल AI जितना ही अच्छा काम करता है (यह कुछ भी खराब नहीं करता है)।
भीड़भाड़ वाली, अस्त-व्यस्त फोटो पर (Dense-Set): यह गेम-चेंजर है। इसने उन "छिपे हुए" ऑब्जेक्ट्स को खोज निकाला जिन्हें मूल AI मिस कर गया था। उदाहरण के लिए, एक टेस्ट में, मूल AI केवल 3% बार सही उत्तर ढूंढ पाया, लेकिन LARE ने इसे 9% बार ढूंढा (इस संदर्भ में यह एक बहुत बड़ी छलांग है)।

लागत

एक छोटी कीमत चुकानी पड़ती है, लेकिन यह ज्यादातर शुरुआती स्तर पर है।

लाइब्रेरी बनाना: फोटो को "इंडेक्स" (व्यवस्थित) करने में लगभग 6 गुना अधिक समय लगता है क्योंकि AI को पूरी छवि साथ ही छोटे क्रॉप किए गए टुकड़ों को भी प्रोसेस करना पड़ता है।
खोज (Searching): एक बार लाइब्रेरी बन जाने के बाद, सर्च करना पहले जितना ही तेज़ है। आपको अपने परिणाम प्राप्त करने के लिए अधिक प्रतीक्षा नहीं करनी पड़ती।

सारांश

LARE एक सर्च इंजन को आवर्धक लेंस (magnifying glass) देने जैसा है। यह महसूस करता है कि कभी-कभी जवाब कमरे के बड़े, शोर वाले केंद्र में नहीं, बल्कि शांत, अनदेखे कोनों में होता है। उन कोनों की जांच करके, यह ठीक वही ढूंढ सकता है जिसे आप खोज रहे हैं, यहाँ तक कि सबसे भीड़भाड़ वाले और भ्रमित करने वाले दृश्यों में भी।

तकनीकी सारांश: LARE – टेक्स्ट-इमेज रिट्रीवल के लिए लो-अटेंशन रीजन एनकोडिंग (Low-Attention Region Encoding)

1. समस्या विवरण (Problem Statement)

भीड़भाड़ वाले और दृश्य रूप से घने दृश्यों में टेक्स्ट-टू-इमेज रिट्रीवल (Text-to-image retrieval) पारंपरिक विजन-लैंग्वेज मॉडल्स के लिए एक महत्वपूर्ण चुनौती पेश करता है। CLIP और ALIGN जैसे अत्याधुनिक ड्यूल-एनकोडर आर्किटेक्चर, पूरे इमेज को एक सिंगल वेक्टर में संक्षेपित करने वाले ग्लोबल इमेज एम्बेडिंग्स (global image embeddings) पर निर्भर करते हैं। सामान्य क्वेरीज़ के लिए प्रभावी होने के बावजूद, ये ग्लोबल रिप्रजेंटेशन एक सैलियन्स बायस (salience bias) प्रदर्शित करते हैं: वे प्रमुख वस्तुओं और दृश्य संदर्भों (scene contexts) को प्राथमिकता देते हैं जबकि अक्सर लो-अटेंशन क्षेत्रों (low-attention regions) की उपेक्षा करते हैं।

कई वस्तुओं, अवरोधों (occlusions) और विजुअल क्लटर वाले घने दृश्यों में, सही रिट्रीवल मैच सूक्ष्म विशेषताओं (fine-grained attributes) या दुर्लभ वस्तुओं पर निर्भर करता है जो छोटे, दृश्य रूप से गौण क्षेत्रों में स्थित होती हैं। मानक एनकोडर्स अक्सर इन "लो-अटेंशन" संकेतों को अनदेखा कर देते हैं, जिससे रिट्रीवल विफलताएं होती हैं जहाँ मॉडल वैश्विक रूप से समान दृश्यों को तो खोज लेता है लेकिन विशिष्ट, क्वेरी-प्रासंगिक विवरणों को चूक जाता है। इसके अलावा, मौजूदा फाइन-ग्रेंड अलाइनमेंट विधियों के लिए अक्सर आर्किटेक्चरल संशोधनों, अतिरिक्त प्रशिक्षण, या क्वेरी-कंडीशन वाले एनकोडर्स की आवश्यकता होती है, जो मानक ड्यूल-एनकोडर सिस्टम की दक्षता और ज़ीरो-शॉट क्षमताओं से समझौता करता है।

2. कार्यप्रणाली: LARE फ्रेमवर्क (Methodology: LARE Framework)

लेखक LARE (Low-Attention Region Encoding) का प्रस्ताव करते हैं, जो एक ट्रेनिंग-फ्री (training-free) फ्रेमवर्क है जिसे बैकबोन को पुन: प्रशिक्षित किए बिना या आर्किटेक्चर को संशोधित किए बिना मानक रिट्रीवल मॉडल्स को बढ़ाने के लिए डिज़ाइन किया गया है। LARE एक प्लग-एंड-प्ले इन्फरेंस-टाइम रिफाइनमेंट के रूप में कार्य करता है जो स्पष्ट रूप से अनदेखे क्षेत्रों को मॉडल करता है। यह पाइपलाइन तीन चरणों से बनी है:

A. लो-अटेंशन रीजन डिटेक्शन (Low-Attention Region Detection)

LARE एक फ्रोजन विजन एनकोडर (जैसे ViT) के आंतरिक सेल्फ-अटेंशन मैकेनिज्म का लाभ उठाता है।

अटेंशन एक्सट्रैक्शन (Attention Extraction): एक इंटरमीडिएट लेयर $\ell$ से, सेल्फ-अटेंशन टेंसर निकाला जाता है। प्रत्येक अटेंशन हेड $h$ के लिए, पैच-टू-पैच अटेंशन मैट्रिक्स $A^{(h)}$ का विश्लेषण किया जाता है।
इनवर्स अटेंशन मैपिंग (Inverse Attention Mapping): अटेंशन मैट्रिक्स के कॉलम को जोड़कर यह गणना की जाती है कि प्रत्येक पैच $i$ को कितना अटेंशन प्राप्त होता है। इन मैप्स को नॉर्मलाइज़ किया जाता है और टॉप- $k$ हेड्स (स्पेशियल वेरिएंस द्वारा चयनित) के बीच औसत निकाला जाता है ताकि एक मीन अटेंशन मैप $\bar{A}$ बनाया जा सके।
रीजन आइडेंटिफिकेशन (Region Identification): एक इनवर्स अटेंशन मैप $M = 1 - \bar{A}$ प्राप्त किया जाता है। $M$ में उच्च मान उन पैच को दर्शाते हैं जिन्हें लगातार न्यूनतम अटेंशन प्राप्त होता है। अंडर-अटेंडेड क्षेत्रों का प्रतिनिधित्व करने वाले $N$ कैंडिडेट रीजन्स ( $R = \{r_1, \dots, r_N\}$ ) उत्पन्न करने के लिए $M$ पर एक स्लाइडिंग विंडो और नॉन-मैक्सिमम सप्रेशन (NMS) लागू किया जाता है।

B. रीजनल एनकोडिंग (Regional Encoding)

पहचाने गए लो-अटेंशन क्षेत्रों को उसी फ्रोजन इमेज एनकोडर का उपयोग करके क्रॉप और पुनः एनकोड किया जाता है जिसका उपयोग ग्लोबल एम्बेडिंग के लिए किया गया था।
$z_i = f_v(r_i), \quad i = 1, \dots, N$
यह क्षेत्रीय फीचर वेक्टर्स का एक सेट $\{z_1, \dots, z_N\}$ बनाता है जो ग्लोबल रिप्रजेंटेशन के समान फीचर स्पेस में होते हैं, जिससे बिना किसी अतिरिक्त प्रशिक्षण के टेक्स्ट एम्बेडिंग्स के साथ सीधा तुलना संभव हो पाती है।

C. कॉन्फिडेंस-गेटेड स्कोरिंग (Confidence-Gated Scoring)

ग्लोबल और रीजनल जानकारी को एकीकृत करने के लिए, LARE एक कॉन्फिडेंस-गेटेड फ्यूजन मैकेनिज्म का उपयोग करता है। यह उन स्प्यूरियस (spurious) रीजनल मैचों के प्रवर्धन को रोकता है जब ग्लोबल एम्बेडिंग पहले से ही अत्यधिक कॉन्फिडेंट हो।

ग्लोबल स्कोर: टेक्स्ट क्वेरी $z_t$ और ग्लोबल इमेज एम्बेडिंग $z_g$ के बीच समानता $s_g = \text{sim}(z_t, z_g)$ की गणना करें।
रीजनल स्कोर: सबसे मजबूत रीजनल मैच $s_r = \max_i \text{sim}(z_t, z_i)$ की पहचान करें।
फ्यूजन लॉजिक:
- यदि ग्लोबल कॉन्फिडेंस $s_g$ थ्रेशोल्ड $\tau$ (0.25 निर्धारित) से अधिक है, तो अंतिम स्कोर $S = s_g$ रहता है।
- यदि $s_g < \tau$ है और रीजनल मैच अधिक मजबूत है ( $s_r > s_g$ ), तो स्कोर को इंटरपोलेट किया जाता है:
  $S = (1-\alpha)s_g + \alpha s_r$
  जहाँ $\alpha = \min(2(s_r - s_g), 0.5)$ ।
  यह सुनिश्चित करता है कि रीजनल साक्ष्य केवल तभी रैंकिंग को "बचा" (rescue) सकें जब ग्लोबल एम्बेडिंग अपर्याप्त हो, विशेष रूप से गैर-सैलिएंट वस्तुओं के लिए।

3. मुख्य योगदान (Key Contributions)

A. LARE फ्रेमवर्क

यह पेपर एक ट्रेनिंग-फ्री विधि पेश करता है जो लो-अटेंशन क्षेत्रों से जानकारी को रिकवर करती है। इन्फरेंस के समय इन क्षेत्रों को एक्सट्रैक्ट और पुनः एनकोड करके, LARE ग्लोबल एम्बेडिंग्स को रीजन-लेवल साक्ष्य के साथ समृद्ध करता है, जिससे घने दृश्यों में रिट्रीवल में सुधार होता है और ड्यूल-एनकोडर आर्किटेक्चर की दक्षता और ज़ीरो-शॉट प्रकृति सुरक्षित रहती है।

B. डेंस-सेट बेंचमार्क (The Dense-Set Benchmark)

चुनौतीपूर्ण स्थितियों में रिट्रीवल का कठोर मूल्यांकन करने के लिए, लेखक COCO और Flickr30K से प्राप्त एक क्यूरेटेड सबसेट Dense-Set पेश करते हैं।

निर्माण (Construction): ऑब्जेक्ट काउंट (ऑब्जेक्ट की संख्या) के आधार पर टॉप 10% को चुनने के लिए इमेज को फ़िल्टर किया गया है और इसे कम से कम एक "रेयर क्लास" इंस्टेंस (एक ऐसी ऑब्जेक्ट कैटेगरी जो इमेज में ठीक एक बार आती है) शामिल करने के लिए और अधिक रिफाइन किया गया है।
री-कैप्शनिंग (Re-captioning): इन दुर्लभ, लो-अटेंशन ऑब्जेक्ट्स को स्पष्ट रूप से वर्णित करने के लिए विशिष्ट प्रॉम्प्ट्स के साथ BLIP-2 का उपयोग करके कैप्शन को फिर से जेनरेट किया गया है। यह मूल्यांकन के फोकस को सामान्य सीन कॉन्टेक्स्ट से हटाकर फाइन-ग्रेंड, सबऑर्डिनेट डिटेल्स पर ले जाता है, जिससे मौजूदा मॉडल्स की सीमाओं का पता चलता है।

C. अनुभवजन्य सत्यापन (Empirical Validation)

व्यापक प्रयोगों से पता चलता है कि LARE कई बैकब्रोन (CLIP, SigLIP, SigLIP 2) पर Dense-Set बेंचमार्क पर प्रदर्शन में निरंतर सुधार करता है, बिना स्टैंडर्ड डेटासेट्स पर प्रदर्शन को कम किए।

4. प्रयोगात्मक परिणाम (Experimental Results)

स्टैंडर्ड बेंचमार्क्स पर प्रदर्शन

स्टैंडर्ड COCO और Flickr30K स्प्लिट्स पर, LARE अपने अंतर्निहित बैकबोन मॉडल्स के समान प्रदर्शन बनाए रखता है। रिकॉल@K मेट्रिक्स मामूली अंतर दिखाते हैं, जो कॉन्फिडेंस-गेटेड डिज़ाइन के नो-रिग्रेशन गारंटी (no-regression guarantee) की पुष्टि करते हैं। उन मामलों में जहाँ ग्लोबल एम्बेडिंग पहले से ही कॉन्फिडेंट है (अधिकांश स्टैंडर्ड क्वेरीज़ में), सिस्टम पूरी तरह से ग्लोबल स्कोर पर निर्भर रहता है।

Dense-Set पर प्रदर्शन

क्यूरेटेड Dense-Set बेंचमार्क्स पर, जहाँ प्रासंगिक वस्तुएं दुर्लभ या विजुअली सबऑर्डिनेट हैं, LARE पर्याप्त सुधार प्रदर्शित करता है:

COCO-Dense: LARE ने CLIP के लिए R@1 में +5.18 (29% रिलेटिव), SigLIP के लिए +3.33 (12.5%), और SigLIP 2 के लिए +3.44 (12.5%) का सुधार किया।
Flickr30K-Dense: लाभ और भी अधिक स्पष्ट हैं, जिसमें CLIP के लिए +6.25 (180% रिलेटिव), SigLIP के लिए +7.28 (144%), और SigLIP 2 के लिए +8.16 (159%) का R@1 सुधार हुआ।

गुणात्मक विश्लेषण (Qualitative Analysis)

विजुअल तुलना दिखाती है कि जबकि बेसलाइन मॉडल अक्सर वैश्विक रूप से समान दृश्यों (जैसे एक जेनेरिक साइक्लिस्ट या एक व्यस्त बाजार) को रिट्रीव करते हैं, LARE विशिष्ट, क्वेरी-प्रासंगिक विवरणों (जैसे बैकपैक वाला साइक्लिस्ट, लाल बैग वाला व्यक्ति) वाले इमेज को शीर्ष स्थान पर लाने में सफल होता है, जो ग्लोबल एम्बेडिंग्स द्वारा छोड़े गए लोकलाइज्ड क्यूज़ का लाभ उठाता है।

दक्षता और ओवरहेड (Efficiency and Overhead)

इंडेक्सिंग (Indexing): LARE इंडेक्सिंग लागत (ऑफलाइन) को लगभग 6 गुना बढ़ा देता है, क्योंकि प्रत्येक इमेज के लिए कई एनकोडर पासेस (एक ग्लोबल + $N$ रीजनल) की आवश्यकता होती है।
रिट्रीवल (Retrieval): क्वेरी लेटेंसी अपरिवर्तित रहती है (प्रति-क्वेरी लागत बेसलाइन के समान है) क्योंकि रीजनल एम्बेडिंग्स प्री-कंप्यूटेड और स्टोर की गई होती हैं।
स्टोरेज (Storage): स्टोरेज की आवश्यकता प्रति इमेज लगभग 6 गुना बढ़ जाती है।

5. महत्व और दावे (Significance and Claims)

पेपर का दावा है कि सैलियेंस बायस (salience bias) विजन ट्रांसफॉर्मर में ग्लोबल एम्बेडिंग्स की एक मौलिक विशेषता है जो स्केलिंग के साथ भी बनी रहती है। LARE इसे लो-अटेंशन रीजन्स को स्पष्ट रूप से माइन और एनकोड करके संबोधित करता है, जो एक सामान्य, प्लग-एंड-प्ले समाधान प्रदान करता है जो ट्रेनिंग-इंटेंसिव फाइन-ग्राइंड विधियों (जैसे FILIP या RegionCLIP) के बजाय मौजूदा ड्यूल-एनकोडर सिस्टम को बेहतर बनाने के लिए एक कुशल, इन्फरेंस-टाइम ऑग्मेंटेशन के रूप में कार्य करता है।