LookBack: Where and How to Score LVLM Responses via Visual Reference Usage
यह शोधपत्र LookBack को प्रस्तुत करता है, जो एक प्रशिक्षण-मुक्त (training-free) विधि है जो टोकन संभावना (token likelihood) को विज़ुअल लुकबैक स्कोर के साथ बढ़ाकर LVLM रिस्पॉन्स स्कोरिंग में सुधार करती है ताकि मतिभ्रम (hallucinations) का बेहतर पता लगाया जा सके और ग्राउंडेड आउटपुट का चयन किया जा सके, जो मौजूदा कॉन्फिडेंस-आधारित मेट्रिक्स की सीमाओं को संबोधित करती है।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
कल्पना कीजिए कि आप एक बहुत ही बुद्धिमान रोबोट से बात कर रहे हैं जिसके पास आँखें और दिमाग दोनों हैं। यह रोबोट, जिसे लार्ज विजन-लैंग्वेज मॉडल (या संक्षेप में LVLM) कहा जाता है, एक तस्वीर देख सकता है और फिर उसके बारे में कहानी लिख सकता है या सवाल का जवाब दे सकता है। यह एक ऐसे दोस्त की तरह है जो दुनिया को देख सकता है और उसका सटीक वर्णन कर सकता है। लेकिन यहाँ एक पेंच है: कभी-कभी यह रोबोट अपनी ही आवाज़ पर बहुत अधिक आत्मविश्वासी हो जाता है। यह किसी दृश्य का वर्णन इतने सटीक व्याकरण और प्रवाह के साथ कर सकता है कि वह पूरी तरह से वास्तविक लगता है, भले ही वह ऐसी चीजें बना रहा हो जो तस्वीर में हैं ही नहीं। इसे "हैलुसिनेटिंग" (hallucinating) या भ्रम पैदा करना कहा जाता है।
इसे ठीक करने के लिए, वैज्ञानिक आमतौर पर रोबोट द्वारा लगाए गए कई अनुमानों में से सबसे अच्छे उत्तर को चुनने की कोशिश करते हैं। वे अक्सर एक सरल तरकीब का उपयोग करते हैं: वे उस उत्तर को चुनते हैं जो रोबोट के अपने आंतरिक गणित के आधार पर सबसे अधिक आत्मविश्वासी या संभावित लगता है। इसे एक शिक्षक द्वारा उस निबंध को चुनने की तरह समझें जो सबसे अधिक प्रवाहपूर्ण लगता है। लेकिन क्या होगा यदि रोबोट केवल एक ऐसा चिकना बोलने वाला व्यक्ति है जो आत्मविश्वास के साथ गलत बोल रहा है? यही वह समस्या है जिसे यह शोध हल करता है: हम कैसे बता सकते हैं कि रोबोट वास्तव में तस्वीर को देख रहा है, या वह केवल स्मार्ट बनते हुए दिवास्वप्न देख रहा है?
योनसेई यूनिवर्सिटी (Yonsei University) के इस अध्ययन के पीछे के शोधकर्ताओं ने महसूस किया कि रोबोट का सामान्य "आत्मविश्वास मीटर" तस्वीरों के मामले में खराब हो जाता है। उन्होंने पाया कि यदि आप तस्वीर हटा भी दें और केवल रोबोट से अनुमान लगाने के लिए कहें, तो भी वह अपने उत्तरों के लिए समान उच्च आत्मविश्वास स्कोर देता है। यह एक ऐसे छात्र की तरह है जो स्मृति से इतिहास का निबंध तो पूरी तरह से सुना सकता है, लेकिन यदि आप उससे उसकी पाठ्यपुस्तक की किसी विशिष्ट फोटो के बारे में पूछते हैं, तो वह आत्मविश्वास के साथ कक्षा में डायनासोर का वर्णन कर सकता है क्योंकि वह केवल शब्दों का अनुमान लगाने में अच्छा है, सबूत देखने में नहीं।
इस समस्या को हल करने के लिए, टीम ने एक नई विधि बनाई जिसे LOOKBACK कहा गया है। कल्पना कीजिए कि आप उस छात्र के निबंध को फिर से ग्रेड कर रहे हैं। केवल यह जाँचने के बजाय कि क्या वाक्य अच्छे से बह रहे हैं, आप पूछते हैं: "क्या आपने यह शब्द लिखने के लिए वास्तव में फोटो को देखा था?" LOOKBACK एक विशेष उपकरण है जो रोबोट द्वारा लिखे गए हर एक शब्द की जाँच करता है ताकि यह देखा जा सके कि क्या रोबोट की "आँखें" (इसका आंतरिक ध्यान/attention) उस सटीक क्षण में वास्तव में तस्वीर को देख रही थीं।
यह इस मज़ेदार तरीके से काम करता है:
- कॉन्फिडेंस चेक (आत्मविश्वास की जाँच): सबसे पहले, LOOKBACK यह जाँचता है कि रोबोट एक शब्द के बारे में कितना आश्वस्त है, ठीक वैसे ही जैसे पुराने तरीकों ने किया था।
- लुकबैक चेक (पीछे मुड़कर देखने की जाँच): फिर, यह पूछता है, "क्या आपने यह कहने के लिए तस्वीर को देखा था?" यदि रोबोट "पांडा" कहता है और उसकी आंतरिक आँखें छवि में सीधे एक पांडा को देख रही थीं, तो उस शब्द को एक बड़ा बढ़ावा मिलता है। यदि रोबोट "पांडा" कहता है लेकिन वह केवल इसलिए अनुमान लगा रहा था क्योंकि उसे "पांडा" शब्द पसंद है, तो उसे दंड (penalty) मिलता है।
- फाइनल स्कोर (अंतिम स्कोर): यह टूल इन दोनों जाँचों को जोड़ता है। यह उन उत्तरों को उच्चतम स्कोर देता है जो न केवल प्रवाहपूर्ण और आत्मविश्वासी हैं, बल्कि यह भी साबित करते हैं कि वे वास्तव में दृश्य साक्ष्य को देख रहे थे।
टीम ने तस्वीरों और सवालों से जुड़ी चार चुनौतियों पर इस विचार का परीक्षण किया, जिसमें तीन अलग-अलग स्मार्ट रोबोट दिमागों का उपयोग किया गया। उन्होंने पाया कि पुराने तरीकों की तुलना में LOOKBACK सही उत्तर चुनने में बहुत बेहतर था। वास्तव में, जब उन्होंने रोबोटों को 25 अलग-अलग अनुमान लगाने के लिए कहा और विजेता चुनने के लिए LOOKBACK का उपयोग किया, तो इसने अन्य सभी तरीकों की तुलना में लगातार सही उत्तर को चुना।
सबसे अच्छी बात यह है कि LOOKBACK को कुछ भी नया सीखने या मदद के लिए किसी अन्य रोबोट का उपयोग करने की आवश्यकता नहीं है। यह केवल उन संकेतों का उपयोग करता है जो मुख्य रोबोट सोचने के दौरान पहले से ही भेज रहा होता है। यह रोबोट को एक दर्पण देने जैसा है ताकि वह बिना किसी शिक्षक के खड़े हुए अपना काम स्वयं जाँच सके। अध्ययन बताता है कि केवल रोबोट से बोलते समय तस्वीर की ओर "पीछे मुड़कर देखने" (look back) के लिए कहकर, हम उसे जो वह देख रहा है उसके बारे में आत्मविश्वास से झूठ बोलने से रोक सकते हैं, जिससे ये AI मित्र वास्तविक दुनिया के कार्यों के लिए अधिक विश्वसनीय बन जाते हैं।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।