Mitigating Visual Hallucinations in Multimodal Systems through Retrieval-Augmented Reliability-Aware Inference
यह शोध पत्र एक रिट्रीवल-ऑगमेंटेड रिलायबिलिटी-अवेयर इन्फरेंस फ्रेमवर्क प्रस्तावित करता है जो बाहरी विजुअल साक्ष्य का लाभ उठाकर भविष्यवाणी की विश्वसनीयता का अनुमान लगाने और चयनात्मक निर्णय गेटिंग को लागू करने के लिए, बिना मॉडल को पुन: प्रशिक्षित किए मल्टीमॉडल लार्ज लैंग्वेज मॉडल्स में सटीकता में उल्लेखनीय सुधार करता है और मतिभ्रम (hallucinations) को कम करता है।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
कल्पना कीजिए कि आपके पास एक बहुत ही बुद्धिमान, आत्मविश्वासी रोबोट सहायक है जो किसी तस्वीर को देख सकता है और आपको ठीक-ठीक बता सकता है कि वह क्या देख रहा है। यह चीजों का वर्णन करने में बहुत अच्छा है, लेकिन कभी-कभी, जब यह 100% निश्चित नहीं होता है, तो यह फिर भी अनुमान लगा लेता है और पूरे आत्मविश्वास के साथ बोलता है। यह एक ऐसे छात्र की तरह है जिसे गणित के सवाल का जवाब नहीं पता, लेकिन वह फिर भी हाथ उठाकर एक अनुमान चिल्ला देता है, और बहुत पक्का होने का ढोंग करता है। AI की दुनिया में, इसे "विजुअल हैलुसिनेशन" (visual hallucination) कहा जाता है—यानी सिस्टम ऐसी चीजें देखता है जो वास्तव में वहां नहीं हैं या मदद करने के चक्कर में तथ्य बना लेता है।
यह शोध पत्र एक नया "सुरक्षा जांच" (safety check) सिस्टम पेश करता है ताकि रोबोट को तब तक आत्मविश्वास से अनुमान लगाने से रोका जा सके जब उसे नहीं पता होना चाहिए। यह कैसे काम करता है, इसके लिए सरल उपमाओं का उपयोग किया गया है:
समस्या: अति-आत्मविश्वासी अनुमान (The Overconfident Guess)
वर्तमान AI मॉडल उन छात्रों की तरह हैं जिन्होंने बहुत सारे तथ्य रट लिए हैं लेकिन उनके पास अपने काम की जांच करने का कोई तरीका नहीं है। यदि वे पक्षी की एक धुंधली तस्वीर देखते हैं, तो वे आत्मविश्वास से कह सकते हैं, "वह एक बाज है!" भले ही वह वास्तव में एक पतंग (kite) हो। क्योंकि रोबोट बहुत धाराप्रवाह और आत्मविश्वास के साथ बोलता है, इसलिए इंसान अक्सर उसकी बात मान लेते हैं, भले ही वह गलत हो।
समाधान: "एविडेंस लाइब्रेरियन" (The Evidence Librarian)
लेखक रोबोट के मस्तिष्क और उपयोगकर्ता के बीच एक दूसरा चरण जोड़ने का प्रस्ताव देते हैं। इस नए सिस्टम को एक लाइब्रेरियन (Librarian) के रूप में सोचें जो रोबोट के दिमाग और उपयोगकर्ता के बीच बैठा है।
- खोज (Retrieval): जब रोबोट एक नई तस्वीर देखता है, तो केवल अनुमान लगाने के बजाय, वह लाइब्रेरियन को एक अनुरोध भेजता है। लाइब्रेरियन के पास लाखों संदर्भ तस्वीरों (reference photos) का एक विशाल पुस्तकालय (डेटाबेस) है। लाइब्रेरियन लाइब्रेरी से ऐसी शीर्ष 5 तस्वीरें ढूंढता है जो नई तस्वीर के सबसे करीब दिखती हैं।
- तथ्य-जांच (Reliability Estimation): लाइब्रेरियन केवल तस्वीरों को देखता ही नहीं है; वह एक जासूस की तरह उनका विश्लेषण करता है। वह चार प्रमुख प्रश्न पूछता है:
- समानता (Similarity): क्या संदर्भ तस्वीरें नई तस्वीर के वास्तव में बहुत करीब हैं?
- सहमति (Agreement): क्या सभी संदर्भ तस्वीरें इस बात पर सहमत हैं कि वस्तु क्या है? (उदाहरण के लिए, यदि 4 कहते हैं "शार्क" और 1 कहता है "डॉल्फिन", तो यह एक संघर्ष/मतभेद है)।
- कॉन्फिडेंस गैप (Confidence Gap): क्या "शार्क" वाला उत्तर "डॉल्फिन" वाले उत्तर से स्पष्ट रूप से बेहतर है, या यह बराबरी की स्थिति है?
- भ्रम (Confusion): क्या साक्ष्य बिखरे हुए और अस्त-व्यस्त हैं, या स्पष्ट और केंद्रित हैं?
निर्णय द्वार: ट्रैफिक लाइट (The Decision Gate: The Traffic Light)
इस तथ्य-जांच के आधार पर, लाइब्रेरियन रोबोट के उत्तर पर एक ट्रैफिक लाइट लगा देता है:
- 🟢 हरी बत्ती (स्वीकार करें - Accept): साक्ष्य मजबूत, स्पष्ट हैं और सभी सहमत हैं। रोबोट को आत्मविश्वास से उत्तर देने की अनुमति है: "यह एक ग्रेट व्हाइट शार्क है।"
- 🟡 पीली बत्ती (सावधानी - Caution): साक्ष्य ठीक हैं, लेकिन थोड़े डगमगाते या मिश्रित हैं। रोबोट को उत्तर देने की अनुमति है, लेकिन उसे "सावधान भाषा" का उपयोग करना चाहिए। "यह एक पतंग है" कहने के बजाय, वह कहता है, "यह एक पतंग हो सकती है, लेकिन मैं पूरी तरह से निश्चित नहीं हूँ।"
- 🔴 लाल बत्ती (परहेज करें/बैकअप लें - Abstain/Fallback): साक्ष्य कमजोर हैं, भ्रमित करने वाले हैं, या वह वस्तु लाइब्रेरी में मौजूद ही नहीं है। रोबोट को अनुमान लगाने से मना किया जाता है। उसे कहना चाहिए, "मैं पूरे आत्मविश्वास के साथ इसकी पहचान नहीं कर सकता," या "मेरे पास उत्तर देने के लिए पर्याप्त जानकारी नहीं है।"
प्रयोगों में क्या हुआ?
शोधकर्ताओं ने इस सिस्टम का परीक्षण 100 प्रकार की छवियों (जैसे कि एक स्कूल परीक्षा) के एक मानक सेट का उपयोग करके किया।
- सुरक्षा जांच से पहले: रोबोट ने हर सवाल का जवाब दिया। वह 86% बार सही था, लेकिन 14% बार वह आत्मविश्वास के साथ गलत था।
- सुरक्षा जांच के बाद: रोबोट ने लगभग 11% सवालों के जवाब देना बंद कर दिया (वे सवाल जिनमें वह अनिश्चित था)। जिन सवालों के लिए उसने उत्तर दिया, उनमें वह 89% बार सही था।
- परिणाम: रोबोट के आत्मविश्वास से गलत उत्तर देने की संख्या काफी कम हो गई (14% से घटकर 11% हो गई)।
मुख्य निष्कर्ष (The Big Takeaway)
यह सिस्टम विशाल, जटिल रोबोट मस्तिष्क को फिर से प्रशिक्षित (retraining) करने की आवश्यकता नहीं रखता है। यह बस एक "रियलिटी चेक" परत जोड़ता है जो रोबोट को बोलने देने से पहले बाहरी साक्ष्यों की जांच करती है।
- यदि साक्ष्य मजबूत हैं: तो रोबोट आत्मविश्वास से बोलता है।
- यदि साक्ष्य कमजोर हैं: तो रोबोट चुप रहता है या सावधानी से बोलता है।
यह AI को अधिक भरोसेमंद बनाता है क्योंकि यह आत्मविश्वास से झूठ बोलने के बजाय यह स्वीकार करता है कि वह नहीं जानता। यह एक ऐसे दोस्त की तरह है जो यह कहने के बजाय कि "मुझे नहीं पता, मुझे चेक करने दो," बस अनुमान लगाता रहता है और उम्मीद करता है कि आप उसकी गलती न पकड़ लें।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।