Contextualized Evaluation of Vision Language Models through Dynamic, Multi-turn Interactions
यह शोध पत्र CEDI को प्रस्तुत करता है, जो एक गतिशील, मल्टी-टर्न इंटरैक्शन फ्रेमवर्क है जो पारंपरिक मूल्यांकन विधियों की तुलना में मल्टीमॉडल लार्ज लैंग्वेज मॉडल्स में काफी अधिक और अधिक यथार्थवादी विजुअल हैलुसिनेशन (दृश्य मतिभ्रम) को प्रकट करके, स्टैटिक बेंचमार्क और वास्तविक दुनिया के अनुप्रयोगों के बीच के अंतर को पाटता है।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
कल्पना कीजिए कि आप एक रोबोट को दुनिया देखना सिखाने की कोशिश कर रहे हैं। लंबे समय से, वैज्ञानिकों ने इन रोबोट्स का परीक्षण करने के लिए उन्हें एक तस्वीर दिखाई है और पूछा है, "तुम्हें क्या दिख रहा है?" यह एक पॉप क्विज़ की तरह है जहाँ रोबोट को एक फोटो के बारे में एक छोटा निबंध लिखना होता है। यदि रोबोट मुख्य चीजों को सही बताता है, तो उसे 'A' ग्रेड मिलता है। लेकिन वास्तविक दुनिया में, हम केवल तस्वीरों को घूरते नहीं हैं और निबंध नहीं लिखते। हम अपने उपकरणों से बात करते हैं। हम पूछते हैं, "क्या वह एक कुत्ता है?" फिर, "उसके गले के पट्टे का रंग क्या है?" फिर, "रुको, क्या वह एक कुत्ता है या लोमड़ी?" हम बातचीत करते हैं। हम अपना मन बदलते हैं। हम भ्रमित होते हैं। समस्या यह है कि हमारे पुराने "पॉप क्विज़" वाले परीक्षण उन गलतियों को नहीं पकड़ पाते जो रोबोट वास्तव में हमारे साथ चैट करते समय करते हैं। वे क्विज़ पास कर सकते हैं लेकिन बातचीत में विफल हो सकते हैं, क्योंकि वे बातचीत जारी रखने के लिए ऐसी बातें बना लेते हैं जो वहां मौजूद ही नहीं हैं। यह एक बहुत बड़ी बात है क्योंकि यदि कोई रोबोट कार चला रहा हो या किसी डॉक्टर की मदद कर रहा हो, तो चीजें बनाना खतरनाक हो सकता है। हमें उन्हें उस तरह से टेस्ट करने के तरीके की आवश्यकता है जैसे हम वास्तव में उनका उपयोग करते हैं: एक उलझी हुई, आगे-पीछे होने वाली बातचीत में।
यह पेपर इन "विज़न लैंग्वेज मॉडल्स" (VLMs) का परीक्षण करने का एक नया तरीका पेश करता है जिसे CEDI कहा जाता है। CEDI को एक टेस्ट के रूप में नहीं, बल्कि एक तीन-पात्रों वाले नाटक के रूप में समझें। पहले, आपके पास रोबोट है (वह मॉडल जिसका परीक्षण किया जा रहा है)। दूसरा, आपके पास एक डिटेक्टिव है (एक स्वचालित परीक्षक)। तीसरा, आपके पास एक जज है (एक ग्रेड देने वाला)। डिटेक्टिव केवल रोबोट को एक तस्वीर दिखाता और चला नहीं जाता। इसके बजाय, डिटेक्टिव को तस्वीर का एक गुप्त नक्शा (जिसे "सीन ग्राफ" कहा जाता है) और एक विशिष्ट लक्ष्य दिया जाता है, जैसे "पार्किंग स्पॉट खोजें।" फिर डिटेक्टिव रोबोट के साथ बातचीत शुरू करता है, ऐसे सवाल पूछता है जो जैसे-जैसे बातचीत आगे बढ़ती है, अधिक कठिन और विशिष्ट होते जाते हैं। डिटेक्टिव पूछ सकता है, "क्या वहां एक लाल कार है?" और यदि रोबोट 'हाँ' कहता है, तो डिटेक्टिव आगे पूछ सकता है, "इसका मॉडल क्या है?" या वह रोबोट को बेवकूफ बनाने की कोशिश भी कर सकता है, जैसे कि "नीली कार वहां क्यों खड़ी है?" जब वहां कोई नीली कार है ही नहीं। लक्ष्य यह देखना है कि क्या रोबोट बातचीत को जीवित रखने के लिए बातें बनाना (हैलुसिनेशन/भ्रम) शुरू कर देता है।
लेखकों ने पाया कि यह "डिटेक्टिव" विधि पुराने "पॉप क्विज़" शैली की तुलना में झूठ पकड़ने में बहुत बेहतर है। जब उन्होंने कई अलग-अलग रोबोट्स पर CEDI का उपयोग किया, तो उन्होंने पाया कि रोबोट पुराने परीक्षणों की तुलना में काफी अधिक फर्जी विवरण बना रहे थे। उदाहरण के लिए, एक डेटासेट पर, इस नए तरीके ने पाया कि रोबोटों की "हैलुसिनेशन दर" पुराने तरीकों की तुलना में 5 से 23 प्रतिशत अंक बढ़ गई। रोबोट तब भी बहुत अधिक झूठ बोलते थे जब बातचीत लंबी हो जाती थी। ऐसा लगता है कि जैसे-जैसे बातचीत आगे बढ़ती है, रोबोट अपने पिछले जवाबों से भ्रमित होने लगते हैं और अपनी ही गलतियों को पुख्ता करने लगते हैं, जैसे कि "टेलीफोन" का खेल जहाँ संदेश धीरे-धीरे और भी गलत होता जाता है।
पेपर ने यह भी दिखाया कि रोबोट "मुझे नहीं पता" कहने में बहुत खराब हैं। जब डिटेक्टिव ने एक गलत धारणा (फेक प्रिमिस) पर आधारित सवाल पूछा—जैसे "आदमी ने क्या पकड़ा हुआ है?" जब तस्वीर में कोई आदमी है ही नहीं—तो रोबोट अक्सर जवाब देने की कोशिश करते थे, और एक आदमी और एक टोपी का आविष्कार कर देते थे। वे तब सबसे अधिक संघर्ष करते थे जब उन्हें एक गलत विचार को खारिज करने की आवश्यकता होती थी। इस प्रणाली में नया "जज", जो एक विशेष ग्राफ-मैचिंग स्कोर का उपयोग करता है, पिछले उपकरणों की तुलना में इन झूठों को अधिक लगातार पकड़ पाया, और इसने पुराने तरीकों की तुलना में मानव जजों की राय से बेहतर तालमेल दिखाया।
संक्षेप में, पेपर सुझाव देता है कि रोबोटों को एकल प्रश्नों के साथ टेस्ट करने का पुराना तरीका उनकी समस्याओं के एक बड़े हिस्से को छोड़ देता है। उन्हें एक गतिशील, बहु-चरणीय बातचीत के माध्यम से टेस्ट करके, जो वास्तविक जीवन की नकल करती है, हम देख सकते हैं कि वे चीजें बनाने के प्रति बहुत अधिक प्रवृत्त हैं, विशेष रूप से तब जब वे बातचीत को जारी रखने की कोशिश कर रहे होते हैं या जब उन्हें गलत धारणाओं द्वारा छला जाता है। लेखक यह नहीं कह रहे हैं कि रोबोट टूटे हुए हैं, बल्कि वे कह रहे हैं कि हमें उन्हें एक शांत परीक्षा देने के बजाय एक बातचीत करने के तरीके से टेस्ट करना बंद करना होगा, क्योंकि असली समस्या वहीं छिपी है।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।