The Illusion-Illusion: Vision Language Models See Illusions Where There Are None

तकनीकी सारांश: द इल्यूजन-इल्यूजन: विजन लैंग्वेज मॉडल्स वहां भ्रम देखते हैं जहां वास्तव में कोई भ्रम नहीं होता

समस्या विवरण
संज्ञानात्मक विज्ञान (cognitive science) में बोध संबंधी भ्रम (perceptual illusions) नैदानिक उपकरण के रूप में कार्य करते हैं जो वास्तविकता और दिखावे के बीच के अंतर को उजागर करते हैं, जिससे अंतर्निहित मानसिक प्रसंस्करण तंत्रों पर प्रकाश पड़ता है। जबकि पिछले शोधों ने इस बात की जांच की है कि क्या कृत्रिम प्रणालियाँ मनुष्यों की तरह ही शास्त्रीय भ्रमों का शिकार होती हैं, यह शोध पत्र तर्क देता है कि शास्त्रीय भ्रमों का परीक्षण करना वर्तमान विजन लैंग्वेज मॉडल्स (VLMs) के निदान के लिए अपर्याप्त है। लेखक का मानना है कि एक अधिक प्रकट करने वाला नैदानिक उपकरण "इल्यूजन-इल्यूजन" (या "इल्यूजन-इल्यूजन") है: वे चित्र जिनमें भ्रम के दृश्य लक्षण तो होते हैं लेकिन वास्तविक बोध संबंधी छल (perceptual trickery) का अभाव होता है। इन मामलों में, दृश्य वास्तविकता दिखावे से मेल खाती है (जैसे, ऐसी रेखाएं जो वास्तव में अलग लंबाई की हैं, या एक बत्तख जो वास्तव में एक बत्तख ही है), फिर भी वे प्रसिद्ध भ्रमों के निकटवर्ती (neighbors) होते हैं। मुख्य समस्या यह है कि क्या वर्तमान VLMs इन "इल्यूजन-इल्यूजन" को भ्रम के रूप में गलत पहचानते हैं, जिससे वास्तविक बोध संबंधी विसंगतियों और सीधी दृश्य तथ्यों के बीच अंतर करने में उनकी विफलता प्रकट होती है।

कार्यप्रणाली (Methodology)
अध्ययन में विविध बोध संबंधी घटनाओं (जैसे, मुलर-लियर एरो, एबिंगहॉस सर्कल्स, कैनिसा ट्रायंगल्स, चेकर शैडो) को कवर करने वाले दस प्रतिनिधि दृश्य भ्रमों को शामिल करते हुए एक तुलनात्मक मूल्यांकन ढांचा अपनाया गया। प्रत्येक शास्त्रीय भ्रम के लिए, लेखक ने तीन प्रकार के उद्दीपन (stimuli) बनाए:

1. द इल्यूजन (The Illusion): मूल छवि जिसे बोध संबंधी त्रुटि उत्पन्न करने के लिए डिज़ाइन किया गया है।
2. द इल्यूजन-इल्यूजन (The Illusion-Illusion): एक संशोधित संस्करण जहाँ "छल" को हटा दिया गया है, और दृश्य गुण शाब्दिक (literal) हैं (जैसे, वास्तव में अलग लंबाई वाली रेखाएं, या एक स्पष्ट बत्तख की छवि)।
3. द कंट्रोल (The Control): बुनियादी सक्षमता को सत्यापित करने के लिए डिज़ाइन किए गए सरल संस्करण (जैसे, एक एकल त्रिकोण की पहचान करना)।

मूल्यांकन में आठ वर्तमान VLMs का परीक्षण किया गया: GPT-4o, Claude 3, Gemini Pro Vision, miniGPT, Qwen-VL, InstructBLIP, BLIP2, और LLaVA-1.5। मॉडलों को छवियों और भ्रम के विषय को लक्षित करने वाले विशिष्ट प्रॉम्प्ट दिए गए (जैसे, "नीली रेखा लंबी है या लाल रेखा?")। एक माध्यमिक स्थिति में प्रॉम्प्ट के साथ "निम्नलिखित दृश्य भ्रम में" (In the following visual illusion) वाक्यांश को जोड़कर संदर्भ के प्रभाव का परीक्षण किया गया।

प्रदर्शन को मानव-समान प्रतिक्रियाओं के साथ संरेखण के आधार पर बाइनरी (0 या 1) के रूप में स्कोर किया गया। शास्त्रीय भ्रमों के लिए, स्कोर 1 का अर्थ था भ्रमपूर्ण बोध की रिपोर्ट करना या भ्रम को स्वीकार करना। इल्यूजन-इल्यूजन और कंट्रोल के लिए, स्कोर 1 का अर्थ था शाब्दिक सत्य को रिपोर्ट करना जैसा कि एक मनुष्य करता है। लेखक नोट करता है कि यह स्कोरिंग उदार है, जो मॉडल के प्रदर्शन को बढ़ा-चढ़ाकर बताने की ओर झुकी हुई है।

प्रमुख परिणाम
परिणाम मानव धारणा और वर्तमान VLM क्षमताओं के बीच एक महत्वपूर्ण विचलन दर्शाते हैं:

• इल्यूजन-इल्यूजन पर विफलता: अग्रणी मॉडल (GPT-4o, Claude 3, Gemini Pro), जो शास्त्रीय भ्रमों को सफलतापूर्वक पहचानते हैं या रिपोर्ट करते हैं, अक्सर इल्यूजन-इल्यूजन को भ्रम के रूप में गलत वर्गीकृत करते हैं। उदाहरण के लिए, वास्तव में अलग लंबाई की रेखाओं को प्रस्तुत करने पर, ये मॉडल अक्सर दावा करते हैं कि वे समान लंबाई की हैं (भ्रम की नकल करते हुए) या उन्हें एक भ्रम के रूप में वर्णित करते हैं।
• संदर्भगत भंगुरता (Contextual Fragility): जब प्रॉम्प्ट ने स्पष्ट रूप से एक छवि को "विजुअल इल्यूजन" के रूप में लेबल किया, तो शीर्ष तीन मॉडलों का प्रदर्शन इल्यूजन-इल्यूजन और कंट्रोल्स पर काफी गिर गया। उन्होंने व्यापक रूप से इन गैर-भ्रामक छवियों को भ्रम के रूप में रिपोर्ट किया, जो सुझाव देता है कि उनकी प्रतिक्रियाएं दृश्य साक्ष्य के बजाय टेक्स्ट प्रॉम्प्ट से अत्यधिक प्रभावित होती हैं।
• कंट्रोल विफलताएं: इस परिकल्पना के विपरीत कि कंट्रोल बुनियादी सक्षमता के लिए एक बेसलाइन के रूप में कार्य करेंगे, GPT-4o, Gemini Pro, और Claude 3 जैसे मॉडलों ने अक्सर सरल कंट्रोल छवियों (जैसे, एक एकल त्रिकोण) को भ्रम के रूप में रिपोर्ट किया। यह सुझाव देता है कि इन मॉडलों के लिए, "भ्रम" की अवधारणा को उन छवियों पर व्यापक रूप से लागू किया जाता है जो केवल भ्रम की श्रेणी के समान दिखती हैं, न कि किसी विशिष्ट बोध संबंधी निर्णय के रूप में।
• मॉडल व्यवहार: शीर्ष मॉडलों का व्यवहार एक काल्पनिक "मॉडल बी" (जो भ्रमों को पहचानता है लेकिन इल्यूजन-इल्यूजन को नहीं) के अनुरूप नहीं है। इसके बजाय, वे "फ्लैट" प्रदर्शन या वहां भ्रम पैदा करने की प्रवृत्ति प्रदर्शित करते हैं जहां कोई भ्रम नहीं है, विशेष रूप से तब जब उन्हें "इल्यूजन" शब्द द्वारा प्रेरित किया जाता है।

प्रमुख योगदान
यह शोध पत्र कृत्रिम प्रणालियों के लिए एक नए नैदानिक उपकरण के रूप में "इल्यूजन-इल्यूजन" की अवधारणा को पेश करता है। भ्रमों के मानक उपयोग को उलटकर, लेखक यह प्रदर्शित करता है कि वर्तमान VLMs एक विशिष्ट विफलता मोड से ग्रस्त हैं: वे भ्रम की पहचान के पैटर्न को उन छवियों पर लागू करते हैं जिन्हें इसकी आवश्यकता नहीं है। यह कार्य इस बात को उजागर करता है कि एक भ्रम और एक इल्यूजन-इल्यूजन के बीच अंतर करने में विफलता, शास्त्रीय भ्रम का पता लगाने की क्षमता की तुलना में प्रसंस्करण त्रुटियों का एक अधिक गहरा संकेतक है। यह अध्ययन एक डेटासेट और मूल्यांकन प्रोटोकॉल प्रदान करता है जो दिखाता है कि जब संदर्भ यह सुझाव देता है कि एक भ्रम मौजूद है, तो मॉडल अक्सर अपने उत्तरों को शाब्दिक दृश्य वास्तविकता में ग्राउंड (ground) करने में विफल रहते हैं।

महत्व और दावे
लेखक का दावा है कि ये विफलताएं केवल छोटी त्रुटियां नहीं हैं बल्कि वर्तमान VLMs में व्यापक प्रसंस्करण त्रुटियों का संकेत हैं। शोध पत्र सुझाव देता है कि जब कोई मॉडल इल्यूजन-इल्यूजन पर विफल होता है, तो इसका तात्पर्य यह है कि प्रणाली "साधारण" इनपुट की विचारशील पहचान में संलग्न नहीं है। इसके बजाय, मॉडल संभवतः प्रशिक्षण डेटा के साथ निम्न-स्तरीय समानता मिलान (low-level similarity matching) पर निर्भर करता है, जो दृश्य विशेषताओं को मानव जीव विज्ञान के विशिष्ट बोध संबंधी विफलताओं की नकल करने के बजाय, भ्रम के विचार के साथ जोड़ देता है।

इस कार्य का महत्व इस धारणा को चुनौती देने में निहित है कि किसी मॉडल की भ्रम की पहचान करने की क्षमता यह सिद्ध करती है कि उसमें मानव जैसी बोध क्षमता है। लेखक का तर्क है कि भ्रम का शिकार होना एक मानवीय गुण है, लेकिन एक "इल्यूजन-इल्यूजन" (जहां छल अनुपस्थित है) के लिए विफल होना एक ऐसी प्रणाली का संकेत है जो दृश्य डेटा के बजाय भ्रम के विचार से "धोखा" खा रही है। शोध पत्र निष्कर्ष निकालता है कि ये विफलताएं बताती हैं कि वर्तमान प्रणालियां समस्या के स्वरूप (appearance) और इनपुट की वास्तविकता के बीच अंतर करने में अभी भी सक्षम नहीं हैं, एक ऐसी सीमा जो दृष्टि से परे अन्य माध्यमों और डोमेन तक विस्तृत है।