DICA: Dual-Indicator Guided Contrastive Alignment in Multimodal Large Language Models
यह शोध पत्र DICA का प्रस्ताव करता है, जो एक नवीन विधि है जो विजुअल अटेंशन एंट्रॉपी (Visual Attention Entropy) और आउटपुट इमेज कोरिलेशन (Output Image Correlation) की निगरानी करके और तब लक्षित कंट्रास्टिव अलाइनमेंट (contrastive alignment) को ट्रिगर करके मल्टीमॉडल लार्ज लैंग्वेज मॉडल्स में मतिभ्रम (hallucinations) को कम करता है जब विजुअल ग्राउंडिंग आदर्श कोर्स-टू-फाइन (coarse-to-fine) तर्क प्रक्रिया से विचलित होती है।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
कल्पना कीजिए कि आप एक भीड़भाड़ वाली तस्वीर को देखकर किसी रहस्य को सुलझाने की कोशिश कर रहे हैं। एक मानव जासूस पूरी तस्वीर को हमेशा के लिए खाली आँखों से नहीं घूरता रहता। इसके बजाय, वे दृश्य का "वाइब" (vibe) समझने के लिए एक व्यापक स्कैन से शुरुआत करते हैं, और फिर उनकी आँखें सुरागों जैसे कि एक लाल जूता, एक टूटी हुई खिड़की, या एक संदिग्ध छाया पर ज़ूम करती हैं—ताकि उत्तर का पता लगाया जा सके। हमारा मस्तिष्क स्वाभाविक रूप से इसी तरह काम करता है: एक विस्तृत अवलोकन से लेकर एक तीक्ष्ण, केंद्रित विवरण तक की यात्रा।
अब, एक सुपर-स्मार्ट रोबोट को भी ऐसा ही करने के लिए प्रशिक्षित करने की कल्पना करें। हमने ये "मल्टीमॉडल लार्ज लैंग्वेज मॉडल्स" (MLLMs) बनाए हैं जो छवियों को देख सकते हैं और उनके बारे में बात कर सकते हैं, जैसे कि किसी फोटो के बारे में सवालों के जवाब देना। लेकिन यहाँ एक पेंच है: कभी-कभी ये रोबोट थोड़े चक्कर खा जाते हैं। वे या तो तस्वीर के गलत हिस्से को घूरने लगते हैं, या वे तस्वीर को देखना पूरी तरह से बंद कर देते हैं और केवल उस आधार पर अनुमान लगाने लगते हैं जो उन्होंने पहले सुना है। जब ऐसा होता है, तो वे "हैलुसिनेट" (hallucinate) करने लगते हैं—यानी ऐसी बातें गढ़ने लगते हैं जो वहाँ हैं ही नहीं, जैसे कि बिल्ली की फोटो में कुत्ते का दावा करना क्योंकि उन्हें कुत्ते पसंद हैं। वैज्ञानिक यह समझने की कोशिश कर रहे हैं कि इन रोबोटों को दिवास्वप्न देखने से कैसे रोका जाए ताकि वे वास्तविक दुनिया में विश्वसनीय सहायक बन सकें।
यह शोध पत्र DICA (डुअल-इंडिकेटर गाइडेड कॉन्ट्रास्टिव अलाइनमेंट) नामक एक चतुर नए सिस्टम का परिचय देता है, जो इन AI जासूसों के लिए एक "स्पॉट-चेक" पर्यवेक्षक के रूप में कार्य करता है। शोधकर्ताओं ने देखा कि जब ये मॉडल भ्रमित (hallucinate) होने लगते हैं, तो वे आमतौर पर दो विशिष्ट गलतियाँ करते हैं। पहला, उनका ध्यान "भटक" (drift) सकता है, जिसका अर्थ है कि उनका फोकस अचानक एक घबराए हुए गिलहरी की तरह पूरी छवि में बिखर जाता है, जिससे महत्वपूर्ण सुराग खो जाते हैं। दूसरा, वे विजुअल साक्ष्य का "कम उपयोग" (underuse) करते हैं, जिसका अर्थ है कि वे फोटो देखना बंद कर देते हैं और अपनी आंतरिक स्मृति या अनुमानों पर बहुत अधिक निर्भर हो जाते हैं।
इन गलतियों को पकड़ने के लिए, DICA दो आंतरिक "गेज" (सूचकांकों) का उपयोग करता है जो रोबोट के सोचने के दौरान उसके मस्तिष्क की निगरानी करते हैं। पहला गेज, जिसे विजुअल अटेंशन एंट्रॉपी कहा जाता है, यह मापता है कि रोबोट का फोकस कितना बिखरा हुआ है। यदि संख्या बढ़ती है, तो इसका मतलब है कि रोबोट घबरा रहा है और हर जगह एक साथ देख रहा है। दूसरा गेज, आउटपुट-इमेज कोरिलेशन, यह जाँचता है कि रोबोट का उत्तर वास्तव में चित्र पर कितना निर्भर है बनाम उसके अपने टेक्स्ट प्रेडिक्शन पर। यदि यह संख्या गिरती है, तो इसका मतलब है कि रोबोट फोटो को अनदेखा कर रहा है और मनगढ़ंत बातें बना रहा है।
जब DICA देखता है कि ये गेज "रेड ज़ोन" में जा रहे हैं, तो वह रोबलेट को केवल अनुमान लगाने के लिए नहीं छोड़ देता। इसके बजाय, यह एक "करेक्शन मोड" (सुधार मोड) को सक्रिय करता है। यदि रोबोट का ध्यान भटक रहा है, तो DICA उसके वर्तमान भ्रमित विचारों की तुलना उसी प्रश्न के एक "शांत" संस्करण से करता है ताकि उसे सही स्थान की ओर वापस लाया जा सके। यदि रोबोट फोटो को अनदेखा कर रहा है, तो DICA उसे उन विजुअल सुरागों को फिर से देखने के लिए मजबूर करता है जिन्हें उसने पहले पाया था, जो अनिवार्य रूप से कहता है, "हे, याद करो तुमने तस्वीर में क्या देखा था? उसका उपयोग करो!"
लेखकों ने कई मानक परीक्षणों पर इस पद्धति का परीक्षण किया जहाँ रोबोटों को छवियों के बारे में प्रश्नों के उत्तर देने होते हैं या उनका वर्णन करना होता है। उन्होंने पाया कि DICA ने मॉडल्स को लगातार अधिक सही उत्तर देने और कम मनगढ़ंत दावे करने में मदद की। उदाहरण के लिए, POPE नामक एक टेस्ट पर, इस पद्धति ने मॉडल की सटीकता में काफी सुधार किया, जिससे उसे वास्तव में मौजूद वस्तुओं को सही ढंग से पहचानने और मौजूद न होने वाली वस्तुओं को अनदेखा करने में मदद मिली। एक अन्य टेस्ट पर, CHAIR जो यह मापता है कि एक विवरण में रोबोट कितनी बार काल्पनिक वस्तुओं का उल्लेख करता है, DICA ने उल्लेखित नकली वस्तुओं की संख्या को कम कर दिया।
शोध पत्र सुझाव देता है कि यह दृष्टिकोण विशेष रूप से प्रभावी है क्योंकि यह केवल एक सामान्य "अनुमान लगाना बंद करो" वाला नियम लागू नहीं करता है। इसके बजाय, यह निदान करता है कि रोबोट उस विशिष्ट क्षण में क्यों विफल हो रहा है—क्या वह विचलित है, या वह साक्ष्यों को अनदेखा कर रहा है?—और फिर आवश्यक सटीक सुधार लागू करता है। हालाँकि यह विधि सोचने की प्रक्रिया में थोड़ा अतिरिक्त समय (प्रति शब्द लगभग 0.04 से 0.08 सेकंड) जोड़ देती है, शोधकर्ता तर्क देते हैं कि रोबोट को आत्मविश्वास से झूठ बोलने से रोकने के लिए यह छोटा सा खर्च सार्थक है। अंततः, यह अध्ययन दिखाता है कि इन दो सरल संकेतकों की निगरानी करके और केवल आवश्यकता पड़ने पर हस्तक्षेप करके, हम इन शक्तिशाली AI उपकरणों को बहुत अधिक भरोसेमंद और वास्तविकता में आधारित बना सकते हैं।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।