Does It Fail to See or Fail to Know? Attributing Errors in Vision-Language Models
यह शोध पत्र एक एकीकृत ढांचे का प्रस्ताव करता है जो विज़ुअल-टोकन रिप्रजेंटेशन और प्रॉम्प्ट-कंडीशन्ड हिडन स्टेट्स से प्री-जनरेशन सिग्नल्स का उपयोग करके यह अनुमान लगाने और अलग करने के लिए है कि विज़न-लैंग्वेज मॉडल की त्रुटियां धारणा/पहचान संबंधी बाधाओं (perception/recognition bottlenecks) से उत्पन्न होती हैं या ज्ञान प्राप्ति की विफलताओं (knowledge retrieval failures) से, जिससे उत्तर जनरेशन से पहले लक्षित हस्तक्षेप सक्षम हो सके।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
कल्पना कीजिए कि आपके पास एक सुपर-स्मार्ट रोबोट दोस्त है जो किसी तस्वीर को देख सकता है और उसके बारे में किसी भी सवाल का जवाब दे सकता है। यदि आप उसे किसी प्रसिद्ध फिल्मी सितारे की एक स्पष्ट फोटो दिखाते हैं और पूछते हैं, "यह कौन है?", तो वह आमतौर पर बिल्कुल सटीक होता है। लेकिन अगर आप पूछते हैं, "इस अभिनेता का जन्म कहाँ हुआ था?" या "इस अजीब कीड़े का प्राकृतिक घर क्या है?", तो वह रोबोट कभी-कभी लड़खड़ा जाता है। वह गलत देश का अनुमान लगा सकता है या कह सकता है कि वह कीड़ा समुद्र में रहता है जबकि वास्तव में वह जंगल में रहता है।
लंबे समय तक, शोधकर्ताओं ने इन गलत उत्तरों को विफलता के एक एकल, अस्त-व्यस्त ढेर की तरह माना। वे बस कहते थे, "ओह, रोबोट गलत हो गया," और आगे बढ़ जाते थे। लेकिन यह नया पेपर सुझाव देता है कि ऐसा करना वैसा ही है जैसे यह कहे कि कार खराब हो गई बिना यह जांचे कि समस्या इंजन में थी, टायरों में थी, या ईंधन में थी। लेखकों ने, जो वैज्ञानिकों की एक टीम है, यह पता लगाना चाहा कि रोबोट अपना वाक्य पूरा करने से पहले ही ठीक कहाँ लड़खड़ाता है।
दो बड़ी गलतियाँ: "मैं इसे देख नहीं सकता" बनाम "मुझे यह नहीं पता"
शोधकर्ताओं ने त्रुटियों को चार अलग-अलग श्रेणियों में बांटने के लिए एक विशेष डायग्नोस्टिक ट्री (निदान वृक्ष) बनाया। इसे एक जासूस की तरह समझें जो संदिग्ध के बोलने से पहले ही रहस्य सुलझाने की कोशिश कर रहा है।
- विजुअल ब्लर (दृश्य धुंधलापन): कभी-कभी तस्वीर बहुत धुंधली, अंधेरी या क्षतिग्रस्त होती है। रोबट वास्तव में विवरण देख ही नहीं पाता।
- अपरिचित अजनबी: तस्वीर स्पष्ट है, लेकिन रोबोट ने उस व्यक्ति या जानवर से पहले कभी मुलाकात नहीं की है। यह उस सेलिब्रिटी को देखने जैसा है जो ऐसी संस्कृति से है जिसके बारे में रोबोट को कभी सिखाया ही नहीं गया।
- भूल गया तथ्य: रोबोट व्यक्ति को पूरी तरह पहचान लेता है (जैसे, "वह टॉम क्रूज है!"), लेकिन वह उस विशिष्ट तथ्य को भूल जाता है जो आपने पूछा था (जैसे, "मुझे उसका जन्म वर्ष याद नहीं है")।
- लुप्त लाइब्रेरी (ज्ञान की कमी): रोबोट जानता है कि वह व्यक्ति कौन है, लेकिन आपने जो तथ्य पूछा है वह उसके दिमाग में बिल्कुल भी मौजूद नहीं है।
पेपर इस विचार का खंडन करता है कि ये सभी त्रुटियाँ एक समान हैं। वे स्पष्ट रूप से दिखाते हैं कि आप केवल एक सामान्य "अनिश्चितता मीटर" का उपयोग करके इन सभी को नहीं पकड़ सकते। एक सामान्य मीटर आपको बता सकता है कि रोबोट "अनिश्चित" है, लेकिन यह आपको यह नहीं बताएगा कि क्यों।
"प्री-जनरेशन" संकेतों का जादू
यहाँ सबसे दिलचस्प बात है: लेखकों ने पाया कि वे रोबोट के जवाब टाइप करना शुरू करने से पहले ही यह भविष्यवाणी कर सकते थे कि किस प्रकार की गलती होने वाली है। उन्हें रोबोट के गलत बोलने का इंतज़ार करने की ज़रूरत नहीं थी; उन्हें बस तस्वीर देखने और प्रश्न पढ़ने के तुरंत बाद, यानी एक शब्द भी उत्पन्न करने से पहले, उसकी आंतरिक "सोच" पर एक नज़र डालने की ज़रूरत थी।
उन्होंने एक दिलचस्प विभाजन देखा कि रोबोट कैसे सोचता है:
- विजुअल और रिकग्निशन (पहचान) त्रुटियों के लिए: यदि रोबोट छवि को देखने या वस्तु की पहचान करने में संघर्ष कर रहा है, तो सुराग विजुअल टोकन (visual tokens) में छिपा होता है। कल्पना कीजिए कि ये रोबोट की "आँखें" हैं। यदि आँखें भ्रमित हैं, तो संकेत सीधे उसके मस्तिष्क के विजुअल हिस्से में सबसे मजबूत होता है। पेपर दिखाता है कि विजुअल संकेतों को देखना अविश्वसनीय रूप से प्रभावी है, जिसमें विजुअल एविडेंस फेलियर (दृश्य साक्ष्य विफलता) को पकड़ने की सटीकता 97.0 (एक ऐसे पैमाने पर जहाँ 100 पूर्ण है) तक पहुँच जाती है।
- फैक्टुअल (तथ्यात्मक) त्रुटियों के लिए: एक बार जब रोबोट ने वस्तु की सफलतापूर्वक पहचान कर ली है, तो तथ्यात्मक गलतियों के सुराग मस्तिष्क के एक अलग हिस्से में चले जाते हैं: प्रॉम्प्ट-कंडीशन्ड हिडन स्टेट्स (prompt-conditioned hidden states)। इसे रोबोट का "मेमोरी सेंटर" समझें जहाँ वह प्रश्न और एंटिटी के नाम को एक साथ रखता है। यदि रोबोट कीड़े को जानता है लेकिन उसके आवास के बारे में नहीं जानता, तो त्रुटि का संकेत यहीं रहता है। पेपर ने पाया कि प्रॉम्प्ट के अंतिम आठ टोकन (रोबोट की आंतरिक विचार प्रक्रिया का एक विशिष्ट हिस्सा) को देखना इन त्रुटियों को पकड़ने का सबसे अच्छा तरीका था, जिसने अन्य तरीकों को पीछे छोड़ दिया।
उन्होंने इस विचार को स्पष्ट रूप से खारिज कर दिया कि उत्तर जेनरेट होने का इंतज़ार करने से अधिक मदद मिलती है। उन्होंने उन तरीकों का परीक्षण किया जो रोबोट के बोलने के बाद टेक्स्ट को देखते हैं, और वे तरीके उन तरीकों की तुलना में कम प्रभावी थे जो बोलने से पहले आंतरिक संकेतों को देखते हैं।
"फिक्स-इट" (सुधार) प्रयोग
इस विचार को सिद्ध करने के लिए, टीम ने एक "रिपेयर शॉप" (मरम्मत की दुकान) बनाई। उन्होंने समस्या का निदान करने के लिए अपने प्री-जनरेशन संकेतों का उपयोग किया और फिर रोबोट को सही मैकेनिक के पास भेजा:
- यदि संकेत ने "विजुअल एविडेंस फेलियर" कहा, तो उन्होंने धुंधली छवि को "मरम्मत" करने के लिए एक टूल का उपयोग किया, जिससे वह स्पष्ट हो गई, और रोबोट को फिर से प्रयास करने के लिए कहा।
- यदि संकेत ने "अननोन एंटिटी" कहा, तो उन्होंने रोबोट को उस व्यक्ति या जानवर के बारे में एक संकेत दिया।
- यदि संकेत ने "मिसिंग फैक्ट" कहा, तो उन्होंने रोबोट को उस एंटिटी का एक त्वरित तथ्य पत्र (fact sheet) दिया।
- यदि संकेत ने "अनरिकलेबल फैक्ट" कहा, तो उन्होंने प्रश्न को फिर से लिखा ताकि एंटिटी का नाम बहुत स्पष्ट हो जाए, जिससे रोबोट को अपनी स्मृति निकालने में मदद मिले।
परिणाम प्रभावशाली थे। iNaturalist डेटासेट (पौधों और जानवरों के बारे में प्रश्न) के लिए, रोबोट की सटीकता बहुत कम, लगभग 4.8% से 12.1% से शुरू हुई। इस लक्षित मरम्मत प्रक्रिया के बाद, उनकी सटीकता उछलकर 39.6% से 46.6% हो गई। यह एक विशाल सुधार है, जो बताता है कि यह जानना कि रोबोट क्यों विफल होता है, हमें इसे बेहतर ढंग से ठीक करने की अनुमति देता है।
इसका क्या अर्थ है (और क्या नहीं)
पेपर सुझाव देता है कि विज़न-लैंग्वेज मॉडल जिस तरह से विफल होते हैं, वह संरचित और अनुमानित है। यह यादृच्छिक अराजकता नहीं है; यह आँखों, पहचान, या स्मृति में से किसी एक में एक विशिष्ट विफलता है।
हालाँकि, लेखक यह दावा करने में सावधान हैं कि यह एक पूर्ण, हल की गई समस्या है। उन्होंने उल्लेख किया कि उनका "रिपेयर" प्रयोग एक शक्तिशाली टूल मैनेजर (GPT-5) का उपयोग करके एक प्रूफ-ऑफ-कांसेप्ट था। वे स्वीकार करते हैं कि इससे अतिरिक्त लागत और संभावित टूल त्रुटियां आती हैं, और एक वास्तविक दुनिया के सिस्टम को समान काम करने के लिए सस्ते, विशेषीकृत टूल्स की आवश्यकता होगी। साथ भी, "विफलता" के लिए उनके लेबल विशिष्ट परीक्षणों पर आधारित हैं, न कि अनिवार्य रूप से हर संभव त्रुटि की पूर्ण मानवीय समझ पर।
लेकिन मुख्य संदेश स्पष्ट और रोमांचक है: हमें रोबोट के गलत उत्तर देने का इंतज़ार करने की ज़रूरत नहीं है कि वह मुसीबत में है। बोलने से पहले उसके आंतरिक संकेतों को सुनकर, हम बता सकते हैं कि वह एक धुंधली फोटो को घूर रहा है, एक अजनबी को देख रहा है, या बस किसी तथ्य को भूल गया है। और एक बार जब हमें कारण पता चल जाता है, तो हम उसे सही मरम्मत की दुकान पर भेज सकते हैं ताकि वह सही उत्तर दे सके।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।