💻 computer science

RobustVisRAG: Causality-Aware Vision-Based Retrieval-Augmented Generation under Visual Degradations

यह शोध पत्र RobustVisRAG को प्रस्तुत करता है, जो एक कारणता-निर्देशित (causality-guided) दोहरी-पथ वाली रूपरेखा है जो विभिन्न दृश्य विकृतियों के तहत पुनर्प्राप्ति (retrieval) और पीढ़ी (generation) प्रदर्शन में सुधार करने के लिए दृश्य अर्थशास्त्र (visual semantics) को क्षरण कारकों (degradation factors) से अलग करती है, जिसे एक नए बड़े पैमाने के बेंचमार्क और पर्याप्त प्रयोगात्मक लाभों द्वारा प्रमाणित किया गया है।

मूल लेखक: I-Hsiang Chen, Yu-Wei Liu, Tse-Yu Wu, Yu-Chien Chiang, Jen-Chien Yang, Wei-Ting Chen

प्रकाशित 2026-03-06

📖 5 मिनट में पढ़ें🧠 गहराई से पढ़ें

CC BY 4.0

मूल लेखक: I-Hsiang Chen, Yu-Wei Liu, Tse-Yu Wu, Yu-Chien Chiang, Jen-Chien Yang, Wei-Ting Chen

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

कल्पना कीजिए कि आपके पास एक प्रतिभाशाली, अत्यंत बुद्धिमान सहायक है (आइए उसे AI कहें) जो दस्तावेज़ पढ़ने और सवालों के जवाब देने में माहिर है। इस AI के पास एक विशेष सुपरपावर है: यह दस्तावेज़ों की तस्वीरों को देख सकता है—जैसे चार्ट, हस्तलिखित नोट्स या वैज्ञानिक पेपर—और उन्हें तुरंत समझ सकता है। इसे VisRAG (विज़न-आधारित रिट्रीवल-ऑगमेंटेड जनरेशन) कहा जाता है।

हालाँकि, एक बड़ी समस्या है। यदि आप इस AI को एक ऐसा दस्तावेज़ देते हैं जो धुंधला (blurry), अंधेरे में लिया गया, मुड़ा हुआ या कॉफी के दागों से ढका हुआ है—तो AI भ्रमित हो जाता है। वह दस्तावेज़ के वास्तविक अर्थ को उसकी गंदगी/खराबी के साथ मिलाना शुरू कर देता है।

समस्या: यदि कागज़ धुंधला है, तो AI एक धुंधले "5" को "6" समझ सकता है। वह गलत दस्तावेज़ चुन सकता है क्योंकि धुंधलापन उसे कुछ और जैसा दिखा सकता है। भले ही वह सही दस्तावेज़ ढूंढ ले, लेकिन धुंधलापन उसे गलत उत्तर देने के लिए मजबूर (hallucinate) कर सकता है।
पुराने समाधान:
- द "क्लीनर" दृष्टिकोण (The "Cleaner" Approach): कोई पहले धुंधली फोटो को ठीक करने की कोशिश करता है (जैसे किसी फोटो एडिटिंग ऐप का उपयोग करके) और फिर उसे AI को दिखाता है। लेकिन अक्सर, वह "सुधार" एकदम सटीक नहीं होता, और AI फिर भी भ्रमित रहता है।
- द "ट्रेनिंग" दृष्टिकोण (The "Training" Approach): आप AI को खराब फोटो संभालने के लिए हजारों धुंधले उदाहरण दिखाकर सिखाने की कोशिश करते हैं। लेकिन यह महंगा है, और AI अक्सर केवल उन्हीं विशिष्ट प्रकार के धुंधलेपन को याद कर लेता है जो उसने देखे थे, जिससे वह नए प्रकार की गंदगी देखने पर विफल हो जाता है।

समाधान: RobustVisRAG (द "स्मार्ट डिटेक्टिव")

इस शोध पत्र के लेखकों ने RobustVisRAG बनाया है। इसे एक एकल मस्तिष्क के रूप में नहीं, बल्कि एक दो-व्यक्ति डिटेक्टिव टीम के रूप में सोचें जो एक रहस्य (सवाल का जवाब देना) सुलझाने के लिए मिलकर काम कर रही है।

यह टीम निम्नलिखित तरीके से काम करती है:

1. दो डिटेक्टिव (द ड्यूल-पाथ फ्रेमवर्क)

एक मस्तिष्क के सब कुछ करने के बजाय, RobustVisRAG काम को दो विशिष्ट रास्तों में विभाजित करता है:

डिटेक्टिव "ब्लर" (The Non-Causal Path):
- काम: इस डिटेक्टिव का एकमात्र काम गंदगी को देखना है। "क्या यह धुंधला है? क्या यह अंधेरा है? क्या यहाँ कोई छाया है?"
- कार्यप्रणाली: वे पूरी तस्वीर को देखते हैं और सभी "शोर" (noise) संकेतों को इकट्ठा करते हैं। वे टेक्स्ट पढ़ने की कोशिश नहीं करते; वे केवल क्षरण (degradation) की पहचान करते हैं।
- ट्रिक: उन्हें सब कुछ देखने की अनुमति है, लेकिन उन्हें दूसरे डिटेक्टिव से बात करने की अनुमति नहीं है। यह सुनिश्चित करता है कि "गंदगी" वास्तविक "अर्थ" को दूषित न करे।
डिटेक्टिव "मीनिंग" (The Causal Path):
- काम: यह डिटेक्टिव कंटेंट (सामग्री) का विशेषज्ञ है। "यह चार्ट क्या कहता है? उत्तर क्या है?"
- कार्यप्रणाली: वे सत्य खोजने के लिए दस्तावेज़ को देखते हैं। लेकिन यहाँ जादू है: डिटेक्टिव "ब्लर" डिटेक्टिव "मीनिंग" के कान में फुसफुसाता है।
- सहयोग: डिटेक्टिव "ब्लर" कहता है, "हे, मुझे बाईं ओर एक गहरा साया दिख रहा है।" डिटेक्टिव "मीनिंग" इसे सुनता है और सोचता है, "ठीक है, मैं जानता हूँ कि वह साया सिर्फ एक छाया है, टेक्स्ट का हिस्सा नहीं। मैं उसे अनदेखा करूँगा और केवल शब्दों पर ध्यान केंद्रित करूँगा।"

2. ट्रेनिंग (अलग करना सीखना)

इस टीम को काम करने के लिए, शोधकर्ताओं ने उन्हें दो विशिष्ट नियम (Objectives) सिखाए:

नियम 1 (द "मेस" क्लासिफायर): डिटेक्टिव "ब्लर" को समान प्रकार की गंदगी को एक साथ समूहबद्ध करने में बहुत अच्छा होना चाहिए। यदि दो तस्वीरें दोनों "धुंधली" हैं, तो वे डिटेक्टिव "ब्लर" के लिए समान दिखनी चाहिए, भले ही उनके अंदर का टेक्स्ट पूरी तरह से अलग हो।
नियम 2 (द "प्योर" मीनिंग): डिटेक्टिव "मीनिंग" को गंदगी को अनदेखा करना सीखना चाहिए। यदि आप उन्हें एक साफ फोटो और उसी दस्तावेज़ की एक धुंधली फोटो दिखाते हैं, तो उन्हें बिल्कुल वही उत्तर देना चाहिए। वे उस "शोर" को हटाना सीख जाते हैं जिसे डिटेक्टिव "ब्लर" ने पहचाना था।

3. परिणाम (यह बेहतर क्यों है)

जब सवाल का जवाब देने का समय आता है (Inference), तो सिस्टम केवल डिटेक्टिव "मीनिंग" का उपयोग करता है।

क्योंकि डिटेक्टिव "मीनिंग" को गंदगी को अनदेखा करने के लिए प्रशिक्षित किया गया था, इसलिए वह खराब फोटो होने पर भी सटीक उत्तर देता है।
सबसे अच्छी बात: आपको वास्तविक उत्तर देने के दौरान "ब्लर" डिटेक्टिव की आवश्यकता नहीं होती है। सिस्टम पुराने, सामान्य AI की तरह ही तेज़ चलता है, लेकिन यह खराब फोटो को संभालने के मामले में बहुत अधिक स्मार्ट है।

नया टेस्ट: Distortion-VisRAG

यह साबित करने के लिए कि यह काम करता है, लेखकों ने केवल परफेक्ट फोटो पर परीक्षण नहीं किया। उन्होंने एक विशाल नया परीक्षण बनाया जिसे Distortion-VisRAG कहा जाता है।

कल्पना कीजिए कि एक लाइब्रेरी में 367,000 दस्तावेज़ हैं।
उन्होंने इन दस्तावेज़ों को लिया और उन्हें जानबूझकर खराब कर दिया: उन्होंने उन्हें धुंधला, अंधेरा, शोर भरा, मुड़ा हुआ और लो-रेज़ोल्यूशन वाला बनाया।
उन्होंने इस "खराब की गई लाइब्रेरी" पर AI का परीक्षण किया।

परिणाम:

पुराना AI: जब लाइब्रेरी खराब हुई, तो AI का प्रदर्शन गिर गया। वह सही किताबें नहीं ढूंढ सका और गलत उत्तर दिए।
RobustVisRAG: इसने कोई फर्क नहीं पड़ने दिया। इसने सही दस्तावेज़ खोज लिए और सही उत्तर दिए, भले ही फोटो बहुत खराब थी। इसने वास्तविक दुनिया के कठिन हालातों में मौजूदा सर्वोत्तम तरीकों की तुलना में प्रदर्शन में 12% से अधिक सुधार किया।

एक वाक्य में सारांश

RobustVistRAG एक स्मार्ट सहायक की तरह है जो गंदगी/शोर को पहचानने और उसे अनदेखा करने के लिए एक विशेष "नॉइज़-फाइटर" को काम पर रखता है, जिससे "मस्तिष्क" को केवल तथ्यों पर ध्यान केंद्रित करने में मदद मिलती है, यह सुनिश्चित करता है कि वह कभी भी धुंधले या अंधेरे दस्तावेज़ से भ्रमित न हो।

यहाँ शोध पत्र "RobustVisRAG: Causality-Aware Vision-Based Retrieval-Augmented Generation under Visual Degradations" का विस्तृत तकनीकी सारांश दिया गया है।

1. समस्या विवरण (Problem Statement)

विज़न-आधारित रिट्रीवल-ऑगमेंटेड जनरेशन (VisRAG) सिस्टम प्रासंगिक विज़ुअल दस्तावेज़ों को खोजने और सटीक उत्तर उत्पन्न करने के लिए विज़न-लैंग्वेज मॉडल्स (VLMs) का उपयोग करते हैं। हालाँकि, मौजूदा VisRAG मॉडल तब प्रदर्शन में भारी गिरावट का सामना करते हैं जब इनपुट इमेज विज़ुअल विकृतियों जैसे कि धुंधलापन (blur), शोर (noise), कम रोशनी (low light), छाया (shadows), या संपीड़न आर्टिफ़ेक्ट्स (compression artifacts) से प्रभावित होती है।

पहचाना गया मुख्य मुद्दा सिमेंटिक-डिग्रेडेशन एंटैंगलमेंट (semantic-distortion entanglement) है। मानक प्रीट्रेंड विज़ुअल एनकोडर्स में, सिमेंटिक फीचर्स (दस्तावेज़ की वास्तविक सामग्री) और डिग्रेडेशन कारक (शोर/विकृति) लेटेंट रिप्रेजेंटेशन के भीतर आपस में उलझ जाते हैं। इससे दोहरी विफलता होती है:

रिट्रीवल विफलता (Retrieval Failure): दूषित विज़ुअल एम्बेडिंग्स के कारण मॉडल अप्रासंगिक दस्तावेज़ खोज लेता है।
जनरेशन विफलता (Generation Failure): भले ही सही दस्तावेज़ मिल जाए, लेकिन डिग्रेड किया गया इनपुट जनरेशन प्रक्रिया को गुमराह करता है, जिससे मतिभ्रम (hallucinations) या असंगत उत्तर उत्पन्न होते हैं।

मौजूदा समाधान, जैसे कि टू-स्टेज इमेज रेस्टोरेशन पाइपलाइन या मानक फाइन-ट्यूनिंग (Full Fine-Tuning या PEFT), विज़ुअल सुधारों को सुदृढ़ रिट्रीवल/जनरेशन लाभों में बदलने में विफल रहते हैं। उनमें डिग्रेडेशन के कारणों को सिमेंटिक सामग्री से अलग करने के लिए स्पष्ट तंत्र की कमी होती है।

2. कार्यप्रणाली: RobustVisRAG (Methodology: RobustVisRAG)

लेखक RobustVisRAG का प्रस्ताव करते हैं, जो एक कॉज़लिटी-गाइडेड ड्यूल-पाथ फ्रेमवर्क है जिसे अतिरिक्त इन्फरेंस लागत के बिना विज़ुअल एनकोडिंग के दौरान सिमेंटिक और डिग्रेडेशन जानकारी को स्पष्ट रूप से अलग करने के लिए डिज़ाइन किया गया है।

A. कॉज़ल फॉर्मुलेशन (Causal Formulation)

यह विधि एक स्ट्रक्चरल कॉज़ल मॉडल (SCM) पर आधारित है:

चर (Variables): $S$ (सिमेंटिक कारक), $D$ (डिग्रेडेशन कारक), $X$ (अवलोकित इमेज), और $Z$ (लेटेंट रिप्रेजेंटेशन)।
समस्या: लेटेंट रिप्रेजेंटेशन $Z$ पर कंडीशनिंग करने से एक नॉन-कॉज़ल पाथ ( $S \leftrightarrow D$ ) बनता है क्योंकि $Z$ , कोलाइडर $X$ का वंशज (descendant) है। यह सिमेंटिक्स और डिग्रेडेशन के बीच सांख्यिकीय निर्भरता पैदा करता है।
लक्ष्य: एक फैक्टराइज्ड रिप्रेजेंटेशन $Z = [Z_{sem}, Z_{deg}]$ सीखना जहाँ $Z_{sem}$ , $D$ से स्वतंत्र हो ( $Z_{sem} \perp D$ ), जो प्रभावी रूप से इंटरवेंशनल डिस्ट्रीब्यूशन $P(A | do(D=d_0)$ का अनुमान लगाता है।

B. ड्यूल-पाथ आर्किटेक्चर (Dual-Path Architecture)

यह फ्रेमवर्क विज़न एनकोडर को दो पूरक पथों (complementary pathways) के साथ बढ़ाता है:

नॉन-कॉज़ल पाथ (डिग्रेडेशन एक्सट्रैक्शन):
- इनपुट लेयर पर एक समर्पित नॉन-कॉज़ल टोकन ( $z_{nc}$ ) पेश करता है।
- यह यूनिडायरेक्शनल अटेंशन (unidirectional attention) का उपयोग करता है: नॉन-कॉज़ल टोकन सभी पैच टोकन्स पर ध्यान देता है, लेकिन पैच टोकन्स को वापस नॉन-कॉज़ल टोकन पर ध्यान देने से रोका जाता है (masked)।
- यह टोकन को इमेज के पूरे डिग्रेडेशन संकेतों को एकत्रित करने की अनुमति देता है बिना सिमेंटिक टोकन्स को दूषित किए।
- आउटपुट: $Z_{deg}$ (डिग्रेडेशन रिप्रेजेंटेशन)।
कॉज़ल पाथ (सिमेंटिक प्यूरिफिकेशन):
- पैच टोकन्स के बीच मानक द्विदिश अटेंशन (bidirectional attention) का उपयोग करके सिमेंटिक एकत्रीकरण पर ध्यान केंद्रित करता है।
- डिग्रेडेशन लीकेज को रोकने के लिए इस अटेंशन मैकेनिज्म से नॉन-कॉज़ल टोकन को बाहर रखा जाता है।
- आउटपुट: $Z_{sem}$ (सिमेंटिक रिप्रेजेंटेशन)।

C. लर्निंग ऑब्जेक्टिव्स (Learning Objectives)

कारकों के अलगाव को लागू करने के लिए, दो विशिष्ट उद्देश्य पेश किए गए हैं:

नॉन-कॉज़ल डिस्टॉर्शन मॉडलिंग (NCDM): एक कंट्रास्टिव लॉस जो $Z_{deg}$ को समान डिग्रेडेशन प्रकार के नमूनों को क्लस्टर करने और विभिन्न प्रकारों को अलग करने के लिए प्रोत्साहित करता है। यह सुनिश्चित करता है कि नॉन-कॉज़ल पाथ डिग्रेडेशन पैटर्न को प्रभावी ढंग से मॉडल करे।
कॉज़ल सिमेंटिक अलाइनमेंट (CSA): एक संयुक्त लॉस जिसमें शामिल हैं:
- सिमेंटिक कंसिस्टेंसी: डिग्रेड की गई इमेजेस के $Z_{sem}$ को क्लीन इमेजेस के $Z_{sem}$ के साथ अलाइन करना।
- इंडिपेंडेंस (स्वतंत्रता): $Z_{sem}$ और $Z_{deg}$ के बीच ऑर्थोगोनैलिटी (orthogonality) को लागू करना ताकि डिग्रेडेशन जानकारी सिमेंटिक एम्बेडिंग में लीक न हो सके।

D. इन्फरेंस (Inference)

इन्फरेंस के दौरान, केवल कॉज़ल पाथ ( $Z_{sem}$ ) का उपयोग किया जाता है। नॉन-कॉज़ल पाथ को हटा दिया जाता है, जिसका अर्थ है कि इन्फरेंस आर्किटेक्चर और कंप्यूटेशनल लागत मानक VisRAG पाइपलाइनों के समान ही रहती है।

3. मुख्य योगदान (Key Contributions)

RobustVisRAG फ्रेमवर्क: एक नया कॉज़लिटी-गाइडेड ड्यूल-पाथ एनकोडर जो सिमेंटिक और डिग्रेडेशन कारकों को अलग करता है। यह बिना किसी अतिरिक्त इन्फरेंस ओवरहेड के मजबूती (robustness) प्राप्त करता है।
डिस्टॉर्शन-VisRAG (DVisRAG) डेटासेट: एक बड़े पैमाने का बेंचमार्क (367K Q-D पेयर्स) जिसे विशेष रूप से VisRAG मजबूती के मूल्यांकन के लिए डिज़ाइन किया गया है। इसमें शामिल हैं:
- सिंथेटिक डिग्रेडेशन: 12 प्रकार (जैसे, ब्लर, नॉइज़) 5 गंभीरता स्तरों पर।
- रियल-वर्ल्ड डिग्रेडेशन: 5 प्रकार (जैसे, लो लाइट, शैडो, पेपर डैमेज) जिन्हें नियंत्रित स्थितियों के तहत कैप्चर किया गया है ताकि सिम-टू-रियल गैप को भरा जा सके।
- यह 7 डोमेन को कवर करता है: वैज्ञानिक पेपर, चार्ट, फॉर्म, स्लाइड्स, हस्तलिखित नोट्स, आदि।
व्यापक मूल्यांकन: रिट्रीवल, जनरेशन और एंड-टू-एंड कार्यों में स्टेट-ऑफ-द-आर्ट बेसलाइन्स (जिसमें फाइन-ट्यून किया गया VisRAG, टू-स्टेज रेस्टोरेशन और एडवरसैरियल ट्रेनिंग शामिल हैं) की तुलना में महत्वपूर्ण सुधार प्रदर्शित करता है।

4. प्रयोगात्मक परिणाम (Experimental Results)

MiniCPM-V बैकबोन का उपयोग करके VisRAG डेटासेट और नए DVisRAG बेंचमार्क पर प्रयोग किए गए।

रिट्रीवल प्रदर्शन: RobustVisRAG ने क्लीन डेटा पर तुलनीय सटीकता बनाए रखते हुए, रियल-वर्ल्ड डिग्रेड डेटा पर बेसलाइन VisRAG की तुलना में MRR@10 में 7.35% का सुधार किया।
जनरेशन प्रदर्शन: ओरकल सेटिंग (ग्राउंड-ट्रुथ डॉक्यूमेंट्स का उपयोग करके) के तहत, रियल डिग्रेडेशन पर जनरेशन सटीकता में 6.35% का सुधार हुआ। इसने डिग्रेडेड इनपुट्स पर मजबूती के मामले में GPT-4o को 10.42% से पीछे छोड़ दिया।
एंड-टू-एंड प्रदर्शन: सिस्टम ने रियल-वर्ल्ड डिग्रेडेड डेटासेट्स पर 12.40% का एंड-टू-एंड सटीकता सुधार हासिल किया।
बेसलाइन्स के साथ तुलना:
- टू-स्टेज रेस्टोरेशन पाइपलाइन्स (जो अक्सर क्लीन इमेजेस को विकृत कर देते हैं या डाउनस्ट्रीम मजबूती सुनिश्चित करने में विफल रहते हैं) से बेहतर प्रदर्शन किया।
- फुल फाइन-ट्यूनिंग (FFT) और पैरामीटर-एफिशिएंट फाइन-ट्यूनिंग (PEFT) रणनीतियों से आगे निकल गया, जो अक्सर डिस्टॉर्शन पैटर्न को ओवरफिट करते हैं या प्रीट्रेंड नॉलेज को भूल जाते हैं।
- एडवरसैरियल ट्रेनिंग मेथड्स (FARE) की तुलना में बेहतर सामान्यीकरण (generalization) दिखाया, जो अक्सर छोटे पिक्सेल परटर्बेशन्स तक सीमित होते हैं।

5. महत्व (Significance)

यह कार्य वास्तविक दुनिया के परिदृश्यों में VisRAG सिस्टम को तैनात करने के लिए एक महत्वपूर्ण बाधा को संबोधित करता है जहाँ इमेज की गुणवत्ता शायद ही कभी पूर्ण होती है। "रेस्टोर-देन-रिट्रीव" प्रतिमान के बजाय "कॉज़ली-डिसेन्गल" (causally-disentangle) प्रतिमान की ओर शिफ्ट होकर, RobustVisRAG निम्नलिखित प्रदान करता है:

मजबूती (Robustness): विविध, जटिल विज़ुअल डिग्रेडेशन के तहत स्थिर प्रदर्शन।
दक्षता (Efficiency): इन्फरेंस के दौरान कोई अतिरिक्त कंप्यूटेशनल लागत नहीं।
सामान्यीकरण (Generalization): सिमेंटिक्स और नॉइज़ के स्ट्रक्चरल सेपरेशन को सीखकर अनदेखे डिग्रेडेशन प्रकारों को संभालने की क्षमता।
बेंचमार्किंग: डिस्टॉर्शन-VisRAG डेटासेट का परिचय भविष्य के शोध के लिए एक मानकीकृत, कठोर टेस्टबेड प्रदान करता है।

शोध पत्र निष्कर्ष निकालता है कि डिग्रेडेशन और रिप्रेजेंटेशन के बीच कॉज़ल संबंध को स्पष्ट रूप से मॉडल करना विश्वसनीय, वास्तविक दुनिया के मल्टीमॉडल AI सिस्टम बनाने के लिए आवश्यक है।