Instruction-Evidence Contrastive Dual-Stream Decoding for Grounded Vision-Language Reasoning
यह शोध पत्र इंस्ट्रक्शन-एविडेंस कॉन्ट्रास्टिव डुअल-स्ट्रीम डिकोडिंग (IECD2) का प्रस्ताव करता है, जो एक नवीन ढांचा है जो विजन-लैंग्वेज मॉडल्स में मतिभ्रम (hallucinations) को महत्वपूर्ण रूप से कम करने और तर्क सटीकता में सुधार करने के लिए इंस्ट्रक्शन-ड्रिवन और एविडेंस-ड्रिवन प्रोबेबिलिटी स्ट्रीम्स को अनुकूल रूप से संलयित (fuse) करके भाषाई अभिव्यक्ति और दृश्य निष्ठा (visual faithfulness) के बीच संतुलन बनाता है।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
कल्पना कीजिए कि आपका एक बहुत ही बुद्धिमान, विद्वान मित्र है जिसे चित्रों के बारे में कहानियाँ सुनाना पसंद है। यह मित्र कहानियाँ सुनाने में बहुत माहिर है और बड़े शब्दों का उपयोग करने तथा वाक्यों को सुचारू रूप से प्रवाहित करने में कुशल है। हालाँकि, इसमें एक पेच है: कभी-कभी, जब चित्र थोड़ा धुंधला या भ्रमित करने वाला होता है, तो आपका मित्र मनगढ़ंत बातें बनाने लगता है। वे फोटो में एक ऐसे कुत्ते का वर्णन कर सकते हैं जो वास्तव में वहां नहीं है, या कह सकते हैं कि एक व्यक्ति ने लाल सेब पकड़ा हुआ है जबकि सेब वास्तव में हरा है। AI की दुनिया में, इसे "हैलुसिनेशन" (hallucination) कहा जाता है।
आपके द्वारा साझा किया गया पेपर इस AI मित्र को अपनी कहानी कहने की कला खोए बिना सच बोलने में मदद करने का एक नया तरीका पेश करता है। वे अपने तरीके को IECD2 (इंस्ट्रक्शन-एविडेंस कॉन्ट्रास्टिव डुअल-स्ट्रीम डिकोडिंग) कहते हैं। यह कैसे काम करता है, इसके लिए सरल उपमाओं का उपयोग किया गया है:
समस्या: "कहानीकार" बनाम "जासूस"
लेखकों ने देखा कि जब एक AI किसी चित्र को देखता है, तो उसमें आमतौर पर दो परस्पर विरोधी प्रवृत्तियाँ होती हैं:
- कहानीकार (इंस्ट्रक्शन स्ट्रीम): यह हिस्सा AI का वह भाग है जो एक लंबा, दिलचस्प और व्याकरण की दृष्टि से सटीक उत्तर देना चाहता है। यह उस पर निर्भर करता है जो वह अपने प्रशिक्षण के आधार पर देखने की उम्मीद करता है। यदि आप पूछते हैं, "इस रसोई में क्या है?", तो यह कह सकता है, "वहाँ एक फ्रिज, एक चूल्हा और एक बिल्ली है," क्योंकि यह एक सामान्य रसोई का दृश्य है, भले ही बिल्ली वहाँ न हो।
- जासूस (एविडेंस स्ट्रीम): यह हिस्सा AI का वह भाग है जो बहुत सख्त है। यह केवल उसी बारे में बात करना चाहता है जिसे वह वास्तव में चित्र के पिक्सेल में देख सकता है। यह बहुत सुरक्षित और सटीक है, लेकिन यह उबाऊ हो सकता है। यह केवल कह सकता है, "मैं एक मेज देखता हूँ," और किसी भी अन्य चीज़ का अनुमान लगाने से इनकार कर सकता है, भले ही उस पर स्पष्ट रूप से एक बिल्ली बैठी हो।
समाधान: एक "डुअल-स्ट्रीम" बहस
AI को या तो एक अच्छा कहानीकार बनने या एक सख्त जासूस बनने में से किसी एक को चुनने के लिए मजबूर करने के बजाय, IECD2 दोनों को एक साथ बोलने देता है।
इसे एक दो-सदस्यीय समिति की तरह समझें जो तय करती है कि आगे क्या कहना है:
- व्यक्ति A (कहानीकार) सुझाव देता है: "चलो कहते हैं कि वहाँ एक बिल्ली है!" (क्योंकि यह सुनने में अच्छा लगता है)।
- व्यक्ति B (जासूस) फोटो की जाँच करता है और कहता है: "मुझे बिल्ली नहीं दिख रही। मैं केवल एक कुर्सी देख रहा हूँ।"
"ट्रैफिक लाइट" तंत्र
IECD2 का जादू एक विशेष ट्रैफिक लाइट सिस्टम (जिसे "कॉन्ट्रास्टिव गेट" कहा जाता है) है जो दोनों लोगों को सुनता है और निर्णय लेता है कि क्या कहना है।
- हरी बत्ती (सहमति): यदि कहानीकार और जासूस सहमत हैं (जैसे, दोनों कहते हैं, "हाँ, वहाँ एक बिल्ली है"), तो AI कहता है, "वहाँ एक बिल्ली है!" यह कहानी के प्रवाह को स्वाभाविक बनाए रखता है।
- लाल बत्ती (असहमति): यदि कहानीकार कुछ ऐसा कहना चाहता है जिसे जासूस नहीं ढूंढ पाता (जैसे, "वहाँ एक बिल्ली है!" बनाम "मैं कुछ नहीं देख रहा"), तो ट्रैफिक लाइट लाल हो जाती है। सिस्टम कहानीकार के अनुमान को खामोश कर देता है। यह AI को सच पर टिके रहने के लिए मजबूर करता है, जिससे बिल्ली के बारे में मनगढ़ंत बातें बनाने से रोका जा सके।
- पीली बत्ती (सावधानी): यदि वे अनिश्चित हैं, तो सिस्टम सुरक्षित रहने के लिए जासूस की ओर अधिक झुकता है।
यह पहले से बेहतर क्यों है?
पिछले तरीकों ने इसे या तो:
- AI को चुप रहने के लिए कहकर: इसने हॉलुसिनेशन को तो रोक दिया लेकिन जवाब उबाऊ और अधूरे बना दिए।
- AI को फिर से प्रशिक्षित करने की कोशिश करके: इसमें बहुत समय लगता है और भारी मात्रा में डेटा की आवश्यकता होती है।
IECD2 अलग है क्योंकि इसे AI को फिर से प्रशिक्षित करने की आवश्यकता नहीं है। यह AI को बात करते समय पहनने के लिए एक नया चश्मा देने जैसा है। यह तुरंत "मजेदार कहानी" और "कठोर तथ्यों" के बीच संतुलन बनाता है।
परिणाम
लेखकों ने कई अलग-अलग कार्यों पर इसका परीक्षण किया, जैसे कि फोटो का वर्णन करना (कैप्शनिंग) और चित्रों के बारे में प्रश्नों के उत्तर देना (विजुअल क्वेश्चन अनswering)।
- कम झूठ बोलना: AI ने बहुत कम काल्पनिक वस्तुओं (जैसे कि काल्पनिक बिल्ली) का वर्णन किया।
- बेहतर कहानियाँ: भले ही इसने झूठ बोलना बंद कर दिया, लेकिन यह उबाऊ नहीं हुआ। यह अभी भी समृद्ध, वर्णनात्मक उत्तर देता रहा।
- गति: यह तेज़ काम करता है और इसे कुछ भी नया सीखने की आवश्यकता नहीं है; यह बस अंतिम क्षण में शब्दों को चुनने के तरीके को बदल देता है।
संक्षेप में, IECD2 AI को अपनी "कल्पना" को वास्तविक समय में "कैमरे" के विरुद्ध जाँचने की शिक्षा देता है, यह सुनिश्चित करता है कि उसके द्वारा बोला गया हर शब्द वास्तव में चित्र में मौजूद चीज़ों द्वारा समर्थित हो।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।