VisRAG2.0: Mitigating Visual Hallucinations via Evidence-Guided Multi-Image Reasoning in Visual Retrieval-Augmented Generation
यह शोध पत्र EVisRAG का प्रस्ताव करता है, जो एक साक्ष्य-निर्देशित (evidence-guided) ढांचा है जो प्रश्न-प्रासंगिक दृश्य साक्ष्य को स्पष्ट रूप से एकत्र करके और स्थानीयकरण (localization) तथा तर्क (reasoning) के बेहतर संयुक्त अनुकूलन के लिए एक नवीन RS-GRPO एल्गोरिदम का उपयोग करके मल्टी-इमेज रीजनिंग में विजुअल हैलुसिनेशन (visual hallucinations) को कम करता है, जिससे विजुअल क्वेश्चन अनswering बेंचमार्क पर महत्वपूर्ण प्रदर्शन लाभ प्राप्त होता है।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
कल्पना कीजिए कि आप एक रहस्य सुलझाने की कोशिश कर रहे हैं, लेकिन इसके बजाय आपको तीन अलग-अलग समाचार पत्रों, तस्वीरों और मानचित्रों का एक बिखरा हुआ ढेर थमा दिया जाता है। आपके पास अपनी जेब में एक सुपर-स्मार्ट जासूस है—एक कंप्यूटर प्रोग्राम जिसे विजन-लैंग्वेज मॉडल (VLM) कहा जाता है—जो टेक्स्ट पढ़ सकता है और चित्रों को देख सकता है। यह जासूस सवाल पूछने में माहिर है, लेकिन कभी-कभी, छवियों के विशाल ढेर का सामना करने पर, यह भ्रमित हो जाता है। यह ऐसी विवरण बना सकता है जो उसने देखे भी नहीं हैं, जैसे यह दावा करना कि एक फोटो में बिल्ली दिख रही है जबकि वास्तव में वह कुत्ता है, या दो अलग-अलग पन्नों के तथ्यों को आपस में मिला देना। इसे "विजुअल हैलुसिनेशन" (दृश्य मतिभ्रम) कहा जाता है।
इन जासूसों की मदद करने के लिए, वैज्ञानिकों ने 'विजुअल रिट्रीवल-ऑगमेंटेड जनरेशन' (VRAG) नामक एक प्रणाली विकसित की है। इसे ऐसे समझें जैसे जासूस को एक लाइब्रेरी कार्ड देना। जब आप कोई प्रश्न पूछते हैं, तो सिस्टम तुरंत लाइब्रेरी से सबसे प्रासंगिक पन्ने निकालता है और उन्हें जासूस के हाथ में थमा देता है। विचार यह है कि यदि जासूस के सामने सही सबूत मौजूद हों, तो उसे अनुमान लगाने की आवश्यकता नहीं होगी। हालाँकि, सही पन्ने मिलने के बावजूद, जासूस अक्सर शोर के बीच से उस सटीक वाक्य या चित्र को खोजने में संघर्ष करता है जिसकी उसे आवश्यकता है, या वह अप्रासंगिक विवरणों से विचलित हो सकता है और फिर भी एक गलत उत्तर बना सकता है। बड़ा सवाल यह है कि हम जासूस को एक सच्चा अन्वेषक कैसे सिखाएं जो हर पन्ने को सावधानी से स्कैन करे, केवल वही तथ्य लिखे जो उसने वास्तव में देखे हैं, और फिर बिना अनुमान लगाए रहस्य को सुलझाए?
यही वह समस्या है जिसे "VisRAG2.0" (विशेष रूप से EVisRAG फ्रेमवर्क) हल करने का प्रयास करता है। चीन के विश्वविद्यालयों के शोधकर्ताओं की एक टीम ने इस नए तरीके का प्रस्ताव दिया है जिससे इन AI जासूसों को मतिभ्रम (hallucination) करना बंद करने और वास्तविक साक्ष्यों के साथ तर्क करने के लिए प्रशिक्षित किया जा सके। उन्होंने पाया कि पिछले तरीके ऐसे थे जैसे जासूस को कागजों का एक ढेर देकर कहना, "बस इसे सुलझा लो!" जिससे अक्सर भ्रम पैदा होता था। इसके बजाय, EVisRAG मॉडल को एक सूक्ष्म जासूस की तरह कार्य करने के लिए मजबूर करता है जो एक सख्त तीन-चरणीय प्रक्रिया का पालन करता है: अवलोकन (Observe), रिकॉर्ड (Record), और तर्क (Reason)।
सबसे पहले, मॉडल प्राप्त छवियों को देखता है और स्पष्ट रूप से बताता है कि वह क्या देख रहा है, पन्ना-दर-पन्ना। दूसरा, यह एक "साक्ष्य लॉग" (evidence log) बनाता है, प्रत्येक छवि से विशिष्ट तथ्य लिखता है और, महत्वपूर्ण रूप से, यह भी नोट करता है कि कब किसी छवि में कोई उपयोगी जानकारी नहीं है। अंत में, यह समस्या को सुलझाने के लिए केवल उसी लिखित लॉग का उपयोग करता है। यह सुनिश्चित करने के लिए कि मॉडल वास्तव में यह व्यवहार सीखे, शोधकर्ताओं ने एक नई प्रशिक्षण विधि विकसित की जिसे RS-GRPO (रिवॉर्ड-स्कोपड ग्रुप रिलेटिव पॉलिसी ऑप्टिमाइजेशन) कहा जाता है। आप इसे एक बहुत ही सख्त कोच के रूप में देख सकते हैं जो केवल अंतिम उत्तर के लिए ग्रेड नहीं देता है। इसके बजाय, कोच एक अलग स्कोर देता है कि "क्या आपने सही चित्र देखा?" और दूसरा स्कोर कि "क्या आपने तथ्य को सही ढंग से लिखा?" यह मॉडल को केवल भाग्य से सही उत्तर का अनुमान लगाकर अच्छा ग्रेड प्राप्त करने से रोकता है, जिससे यह सुनिश्चित होता है कि वह पहले साक्ष्य खोजना सीखता है।
इस नए दृष्टिकोण के परिणाम काफी प्रभावशाली हैं। विभिन्न विजुअल क्वेश्चन-ऑन्सिंग बेंचमार्क (जैसे चार्ट, दस्तावेज़ और स्लाइड पढ़ना) पर परीक्षण किए जाने पर, EVisRAG मॉडल लगातार मानक "बैकबोन" मॉडलों की तुलना में औसतन लगभग 19% अधिक सटीकता के साथ बेहतर प्रदर्शन करता है। इससे भी महत्वपूर्ण बात यह है कि इसने उन मामलों की संख्या को काफी कम कर दिया है जहाँ मॉडल तथ्य बना लेता है। एक विशिष्ट परीक्षण में, एक मानक मॉडल एक चार्ट को देखकर आत्मविश्वास से गलत देश की जनसंख्या अधिक बता सकता है क्योंकि उसने एक नंबर का मतिभ्रम (hallucinate) किया था। हालाँकि, EVisRAG चार्ट को देखेगा, अपने साक्ष्य लॉग में सही नंबर लिखेगा, और फिर सही निष्कर्ष निकालेगा।
यह शोध पत्र इस विचार के विरुद्ध भी तर्क देता है कि केवल मॉडल को "अधिक देर तक सोचने" या सिस्टम में अधिक जटिल एजेंट जोड़ने से ही सबसे अच्छा समाधान मिलता है। इसके बजाय, वे दिखाते हैं कि एक संरचित, साक्ष्य-निर्देशित दृष्टिकोण और उनकी विशिष्ट प्रशिक्षण विधि (RS-GRPO) का संयोजन अधिक प्रभावी है। उन्होंने प्रदर्शित किया कि रिवार्ड्स को स्कोप करने से—यानी सही समय पर सही कार्यों के लिए श्रेय देने से—मॉडल बहुत अधिक स्थिर और विश्वसनीय हो जाता है। हालांकि यह पेपर यह दावा नहीं करता कि यह AI की हर संभव समस्या को हल कर देता है, लेकिन इसके प्रयोग बताते हैं कि यह तरीका विजुअल AI सिस्टम को अधिक भरोसेमंद, सटीक और कई छवियों को देखते समय गलत तथ्य बनाने से रोकने की दिशा में एक बड़ा कदम है।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।