Beyond Recognition: Evaluating Visual Perspective Taking in Vision Language Models
यह शोध पत्र विज़न लैंग्वेज मॉडल्स (Vision Language Models) की विज़ुअल पर्सपेक्टिव टेकिंग (visual perspective taking) करने की क्षमता का मूल्यांकन करने के लिए 144 विज़ुअल कार्यों के एक नए बेंचमार्क को प्रस्तुत करता है, जो यह प्रकट करता है कि जहाँ ये मॉडल दृश्य समझ (scene understanding) में उत्कृष्ट हैं, वहीं स्थानिक तर्क (spatial reasoning) और विज़ुअल पर्सपेक्टिव टेकिंग पर उनका प्रदर्शन काफी कम हो जाता है, जो ऑब्जेक्ट रिकग्निशन (object recognition) और गहन स्थानिक संज्ञान (deeper spatial cognition) के बीच एक महत्वपूर्ण अंतर को उजागर करता है।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
कल्पना कीजिए कि आप एक दोस्त के साथ "मैं क्या देख रहा हूँ?" नामक खेल खेल रहे हैं। आप पीठ से पीठ मिलाकर खड़े होते हैं, और आप पूछते हैं, "क्या तुम अपने पीछे लाल गेंद देख सकते हो?" एक इंसान तुरंत इसका जवाब जान जाता है क्योंकि वह मानसिक रूप से घूम सकता है, आपके दृष्टिकोण की कल्पना कर सकता है, और कह सकता है, "नहीं, यह मेरे पीछे है।"
यह शोध पत्र इस बारे में है कि क्या हमारे सबसे स्मार्ट AI कंप्यूटर (जिन्हें विजन लैंग्वेज मॉडल्स कहा जाता है) भी यही खेल खेल सकते हैं। संक्षिप्त उत्तर? वे कमरे का वर्णन करने में तो बहुत अच्छे हैं, लेकिन वे यह कल्पना करने में बहुत खराब हैं कि कोई दूसरा व्यक्ति क्या देख रहा है।
यहाँ इस शोध की कहानी सरल भाषा में, कुछ उपमाओं के साथ दी गई है।
1. सेटअप: एक लेगो (LEGO) टेस्ट लैब
शोधकर्ताओं ने वास्तविक दुनिया की अव्यवस्थित तस्वीरों (जैसे भीड़भाड़ वाली सड़क) का उपयोग नहीं किया क्योंकि वे बहुत जटिल होती हैं। इसके बजाय, उन्होंने एक लेगो प्रयोगशाला बनाई।
- दृश्य: एक सफेद मेज जिस पर एक छोटा सा लेगो व्यक्ति (एक मिनीफिगर) और एक वस्तु (जैसे एक छोटा कुत्ता या कुर्सी) है।
- परिवर्तनीय (Variables): उन्होंने कुत्ते को लेगो व्यक्ति के सामने, पीछे, बाईं या दाईं ओर रखा। उन्होंने लेगो व्यक्ति को अलग-अलग दिशाओं में घुमाया। उन्होंने ऊपर से (बर्ड्स-आई व्यू) और बगल से (सरफेस व्यू) तस्वीरें लीं।
- लक्ष्य: उन्होंने 144 अद्वितीय छोटे दृश्य बनाए। प्रत्येक दृश्य के लिए, उन्होंने AI से सात प्रश्न पूछे, जो आसान से लेकर बहुत कठिन तक थे।
2. कठिनाई के तीन स्तर
इन प्रश्नों को एक वीडियो गेम के तीन कठिनाई स्तरों की तरह समझें:
स्तर 1: "कमरे में क्या है?" परीक्षण (दृश्य समझ - Scene Understanding)
- प्रश्न: "यहाँ कितने लोग हैं? क्या कुत्ता मेज पर है?"
- परिणाम: AI ने इसमें महारत हासिल कर ली। यह एक सुपर-पावर्ड लाइब्रेरियन की तरह है जो तुरंत किताबों को गिन सकता है और लाल कवर को पहचान सकता है। लगभग सभी मॉडल्स ने इसे 100% सही बताया। वे पहचानने (recognition) में उत्कृष्ट हैं।
लेवल 2: "यह कहाँ है?" परीक्षण (स्थानिक तर्क - Spatial Reasoning)
- प्रश्न: "यदि उत्तर (North) ऊपर है, तो क्या कुत्ता व्यक्ति के पूर्व (East) में है या पश्चिम (West) में?"
- परिणाम: AI यहाँ लड़खड़ाने लगा। यह एक ऐसे GPS की तरह है जो मानचित्र तो जानता है लेकिन जब आप उसे किसी विशिष्ट कार के सापेक्ष मोड़ का वर्णन करने के लिए कहते हैं, तो भ्रमित हो जाता है। वह आमतौर पर कैमरे के सापेक्ष कुत्ते की स्थिति बता सकता था, लेकिन जब लेगो व्यक्ति के शरीर के सापेक्ष उसे वर्णित करने के लिए पूछा गया, तो वह संघर्ष करने लगा।
लेवल 3: "वे क्या देखते हैं?" परीक्षण (दृश्य परिप्रेक्ष्य लेना - Visual Perspective Taking)
- प्रश्न: "क्या लेगो व्यक्ति कुत्ते को देख सकता है?" या "लेगो व्यक्ति की आँखों से, कुत्ता उनके बाईं ओर है या दाईं ओर?"
- परिणाम: पूर्ण विफलता। यहीं पर AI टूट गया। भले ही AI कुत्ते और व्यक्ति को स्पष्ट रूप से देख पा रहा था, लेकिन वह मानसिक रूप से "खुद को लेगो व्यक्ति के जूतों में रखने" (उसकी जगह खुद को देखने) में असमर्थ था। वह दूसरी तरफ से दिखने वाले दृश्य का अनुकरण नहीं कर सका।
3. अजीब ग्लिच: "पूर्व" (East) का पूर्वाग्रह
सबसे दिलचस्प खोजों में से एक एक अजीब आदत थी जो AI ने विकसित कर ली थी।
जब पूछा गया, "लेगो व्यक्ति किस दिशा में देख रहा है?", तो कई मॉडल्स (जैसे GPT-4 Turbo) लगभग हर बार "पूर्व" (East) का अनुमान लगाते थे, भले ही व्यक्ति स्पष्ट रूप से उत्तर या दक्षिण की ओर देख रहा हो।
- उपमा: एक छात्र की कल्पना करें जो परीक्षा दे रहा है और उसे उत्तर नहीं पता, इसलिए वह हर बहुविकल्पीय प्रश्न के लिए "ब्लू" लिख देता है क्योंकि उसे लगता है कि "ब्लू" एक भाग्यशाली उत्तर है।
- शोधकर्ताओं ने इसे ठीक करने की कोशिश की:
- लेगो व्यक्ति पर ज़ूम किया (ताकि दिशा स्पष्ट हो सके)।
- दिशा सूचक तीर (N, S, E, W) बनाए।
- लेगो व्यक्ति को एक असली मानव फोटो से बदल दिया।
- मेज से अन्य वस्तुओं को हटा दिया।
- परिणाम: कुछ भी काम नहीं आया। AI अभी भी "पूर्व" का ही अनुमान लगा रहा था। यह बताता है कि AI वास्तव में तस्वीर को देखकर निर्णय नहीं ले रहा है; बल्कि यह उसके प्रशिक्षण डेटा से सीखे गए एक "अंतर्ज्ञान" (या सांख्यिकीय अनुमान) पर निर्भर है, और दृश्य तथ्यों को अनदेखा कर रहा है।
4. बड़ी सीख
यह शोध पत्र निष्कर्ष निकालता है कि वर्तमान AI एक ऐसे फोटोग्राफर की तरह है जो गहराई (depth) के प्रति अंधा है।
- वे फोटो का वर्णन पूरी तरह से कर सकते हैं ("वहाँ एक कुत्ता और एक व्यक्ति है")।
- लेकिन वे दृश्य की ज्यामिति (geometry) को नहीं समझ सकते। वे वास्तव में यह नहीं समझते कि यदि आप अपना सिर घुमाते हैं, तो दुनिया आपके सापेक्ष बदल जाती है।
यह क्यों महत्वपूर्ण है?
यदि आप चाहते हैं कि एक AI कार चलाए, तो उसे यह जानना आवश्यक है कि उसके बगल में बैठे ड्राइवर को क्या दिख रहा है। यदि आप चाहते हैं कि एक रोबोट किसी मानव कार्यकर्ता को औजार पकड़ाए, तो उसे यह जानना होगा कि क्या कार्यकर्ता औजार देख सकता है। यदि AI सोचता है कि कार्यकर्ता कुछ देख सकता है जो वास्तव में उसके पीछे है, तो दुर्घटनाएं हो सकती हैं।
सारांश
शोधकर्ताओं ने एक सरल लेगो टेस्ट बनाया यह देखने के लिए कि क्या AI "किसी और के जूतों में चलकर" (दूसरे का दृष्टिकोण समझकर) देख सकता है। उन्होंने पाया कि जबकि AI वस्तुओं को पहचानने में जीनियस है, वह वर्तमान में परिप्रेक्ष्य को कल्पना करने में बहुत खराब है। वह दुनिया को अपनी "कैमरा आँख" से देखता है, लेकिन वह अभी तक दूसरे की आँखों से दुनिया को देखने के लिए मानसिक रूप से घूम नहीं सकता। इसे ठीक करने के लिए, भविष्य के AI को केवल पैटर्न के आधार पर अनुमान लगाने के बजाय वास्तविक ज्यामिति सीखने की आवश्यकता है।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।