SECOND: Mitigating Perceptual Hallucination in Vision-Language Models via Selective and Contrastive Decoding
यह शोध पत्र SECOND का प्रस्ताव करता है, जो एक नवीन चयनात्मक और विरोधाभासी डिकोडिंग (Selective and Contrastive Decoding) दृष्टिकोण है जो मानव धारणा के साथ संरेखित करने और विभिन्न बेंचमार्क में सटीकता में सुधार करने के लिए बहु-स्तरीय दृश्य जानकारी को प्रगतिशील रूप से चुनने और विरोधाभास करने के माध्यम से विजन-लैंग्वेज मॉडल्स में ऑब्जेक्ट हॉलुसिनेशन (वस्तु मतिभ्रम) को कम करता है।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
कल्पना कीजिए कि आप फोन पर अपने एक दोस्त को एक तस्वीर का वर्णन करने की कोशिश कर रहे हैं। आपके पास उसी तस्वीर का एक धुंधला, कम-रेज़ोल्यूशन वाला फोटो है, और आपके पास उसी इमेज का एक सुपर-हाई-डेफिनिशन वर्शन भी है।
अधिकांश वर्तमान AI मॉडल (विज़न-लैंग्वेज मॉडल्स) उस व्यक्ति की तरह हैं जो एक ही समय में धुंधली फोटो और HD फोटो दोनों को देखने की कोशिश करता है, और सब कुछ एक साथ देखने के लिए अपनी आँखें सिकोड़ता है। नतीजा? वे भ्रमित हो जाते हैं। वे कह सकते हैं, "मुझे एक कुत्ता दिख रहा है!" जबकि वहाँ कोई कुत्ता नहीं है, क्योंकि धुंधले बैकग्राउंड ने थोड़ा बहुत कुत्ते के कान जैसा आकार ले लिया था। इसे हैलुसिनेशन (Hallucination) कहा जाता है—AI ऐसी चीजें बना रहा है जो वास्तव में वहाँ नहीं हैं।
जिस पेपर को आपने साझा किया है वह SECOND (सेलेक्टिव एंड कॉन्ट्रास्टिव डिकोडिंग) नामक एक नई विधि पेश करता है। SECOND को एक ऐसे व्यक्ति के रूप में न सोचें जो एक साथ सब कुछ देखने की कोशिश करता है, बल्कि इसे एक आवर्धक लेंस (magnifying glass) के साथ एक स्मार्ट जासूस के रूप में समझें।
यह कैसे काम करता है, यहाँ सरल चरणों में दिया गया है:
1. "ज़ूम-इन" रणनीति (सेलेक्टिव पैच सिलेक्शन)
पूरी तस्वीर को तुरंत हाई डेफिनिशन में देखने के बजाय (जो बहुत अधिक शोर/नॉइज़ पैदा करता है), SECOND एक व्यापक, धुंधले दृश्य से शुरुआत करता है।
- उपमा: भीड़ में हलचल कहाँ हो रही है, यह पहचानने के लिए दूर से भीड़ को स्कैन करने की कल्पना करें।
- प्रक्रिया: AI एक तस्वीर का त्वरित अवलोकन करता है। यदि उसे कुछ दिलचस्प दिखता है (जैसे कि एक आकार जो शायद एक कुत्ता हो सकता है), तो वह कहता है, "ठीक है, मुझे उस विशिष्ट स्थान पर करीब से देखने की आवश्यकता है।"
- जादू: इसके बाद यह केवल उन दिलचस्प जगहों पर "ज़ूम इन" करता है, और उबाऊ बैकग्राउंड (जैसे आकाश या दीवार) को अनदेखा कर देता है। यह प्रक्रिया को दोहराता है, वस्तु के और करीब आता जाता है, ठीक वैसे ही जैसे एक इंसान किसी छोटी चीज़ को पहचानने की कोशिश करते समय करता है। यह AI को अप्रासंगिक विवरणों से विचलित होने से रोकता है।
2. "नौसिखिया बनाम विशेषज्ञ" की बहस (कॉन्ट्रास्टिव डिकोडिंग)
यह विधि का दूसरा, चतुर हिस्सा है। SECOND केवल एक उत्तर नहीं देता; यह एक छोटी आंतरिक बहस चलाता है।
- उपमा: कल्पना करें कि आप एक रहस्य सुलझाने की कोशिश कर रहे हैं। आपके पास एक नौसिखिया (Amateur) है जो धुंधले, व्यापक दृश्य को देखता है और एक अनुमान लगाता है। फिर, आपके पास एक विशेषज्ञ (Expert) है जिसने विशिष्ट विवरणों पर ज़ूम किया है और एक अधिक सूचित अनुमान लगाता है।
- प्रक्रिया:
- नौसिखिया कहता है: "यह एक कुत्ते जैसा दिखता है!" (धुंधले दृश्य के आधार पर)।
- विशेषज्ञ कहता है: "रुको, फर और पंजों को करीब से देखने पर, यह वास्तव में एक बिल्ली है।"
- निर्णय: AI दोनों की तुलना करता है। क्योंकि विशेषज्ञ के पास हाई-डेफिनिशन विवरण हैं, इसलिए AI विशेषज्ञ पर अधिक भरोसा करता है। अपने "रफ गेस" (अनुमान) की "विस्तृत गेस" (विस्तृत अनुमान) के साथ लगातार तुलना करके, AI वास्तविक समय में अपनी गलतियों को सुधारता है।
3. यह एक बड़ी बात क्यों है
पिछले तरीकों ने हॉलुसिनेशन को ठीक करने की कोशिश की, या तो:
- AI को अधिक डेटा पर प्रशिक्षित करके (जो महंगा और धीमा है)।
- या पूरी इमेज को हाई रेज़ोल्यूशन में देखकर (जो बहुत अधिक "शोर" और भ्रम पैदा करता है)।
SECOND अलग है क्योंकि:
- यह ट्रेनिंग-फ्री है: आपको AI को फिर से सिखाने की आवश्यकता नहीं है। आप बस इसे तस्वीर देखते समय इस नए "जासूसी" तरीके का उपयोग करने के लिए देते हैं।
- यह कुशल है: यह खाली आकाश को देखने में ऊर्जा बर्बाद नहीं करता है; यह अपनी मानसिक शक्ति केवल उन वस्तुओं पर केंद्रित करता है जो महत्वपूर्ण हैं।
- यह मानव-समान है: इंसान तस्वीर के हर पिक्सेल को समान तीव्रता के साथ नहीं देखते। हम स्कैन करते हैं, कुछ दिलचस्प देखते हैं, और ज़ूम इन करते हैं। SECOND बिल्कुल यही करता है।
निचोड़
पेपर दिखाता है कि AI को किसी छवि के महत्वपूर्ण हिस्सों पर चयनात्मक रूप से ज़ूम इन करने और अपने रफ गेस की अपने विस्तृत गेस के साथ तुलना करने की अनुमति देकर, यह उन चीजों को बनाना बंद कर देता है जो वहां नहीं हैं। यह AI को एक ऐसे चश्मे देने जैसा है जो उसे शोर के बजाय सच्चाई पर ध्यान केंद्रित करने में मदद करता है।
परीक्षणों में, इस पद्धति ने AI मॉडलों को छवियों के बारे में प्रश्नों के उत्तर देने में बहुत अधिक सटीक बनाया है, जिससे उन "आत्मविश्वासपूर्ण लेकिन गलत" उत्तरों को कम किया गया है जो लंबे समय से AI के लिए एक समस्या रहे हैं।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।