An Exam for Active Observers
यह शोध पत्र ActiveVision को प्रस्तुत करता है, जो यह प्रदर्शित करता है कि वर्तमान मल्टीमॉडल लार्ज लैंग्वेज मॉडल्स में सक्रिय दृश्य अवलोकन (active visual observation) करने की क्षमता मौलिक रूप से नहीं है, जैसा कि मानव प्रदर्शन की तुलना में पुनरावृत्ति संबंधी धारणा (iterative perception) की आवश्यकताओं वाले कार्यों पर उनकी लगभग पूर्ण विफलता से सिद्ध होता है।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
कल्पना कीजिए कि आप एक बिखरे हुए कमरे को देख रहे हैं। एक कैमरा उस कमरे की एक एकल, स्थिर तस्वीर लेता है। यदि आप किसी कंप्यूटर से केवल उस एक फोटो के आधार पर कमरे का वर्णन करने के लिए कहते हैं, तो वह कह सकता है, "फर्श पर कपड़े पड़े हैं और शेल्फ पर किताबें हैं।" लेकिन क्या होगा अगर आपको नीली जींस के ढेर के नीचे छिपे एक विशिष्ट लाल मोज़े को ढूँढना हो, या तारों के उलझे हुए जाल के बीच से गुजरने वाली एक अकेली डोरी का पीछा करना हो? ऐसा करने के लिए, आप केवल एक बार नहीं देख सकते। आपको अपनी आँखें घुमानी होंगी, एक स्थान पर ध्यान केंद्रित करना होगा, अनुमान लगाना होगा कि मोज़ा कहाँ हो सकता है, फिर से देखना होगा और अपनी खोज को समायोजित करना होगा। इसे सक्रिय अवलोकन (active observation) कहा जाता है। यह एक तस्वीर लेने और वास्तव में जवाबों की तलाश करने के बीच का अंतर है। दशकों से, मानव दृष्टि और सोच का अध्ययन करने वाले वैज्ञानिक जानते हैं कि हमारे मस्तिष्क एक जासूस की तरह होते हैं जो केवल एक त्वरित नज़र डालने के बजाय लगातार सुरागों की दोबारा जाँच करते रहते हैं।
अब, हमारे पास शक्तिशाली कंप्यूटर मस्तिष्क हैं जिन्हें मल्टीमॉडल लार्ज लैंग्वेज मॉडल्स (MLLMs) कहा जाता है। ये वे AI सिस्टम हैं जो टेक्स्ट पढ़ सकते हैं और चित्रों को देख सकते हैं, और अक्सर उन परीक्षणों में बेहतरीन अंक प्राप्त करते हैं जिनमें किसी फोटो का वर्णन करने या उसके बारे में एक सरल प्रश्न पूछने के लिए कहा जाता है। लेकिन यहाँ बड़ा सवाल यह है: क्या ये AI मॉडल वास्तव में उसी तरह देखते हैं जैसे इंसान देखते हैं? क्या उनके पास वह जासूसी क्षमता है कि वे छवि की बार-बार जाँच करें, नए अनुमान बनाएं और छिपे हुए विवरणों को खोजें? या वे केवल एक त्वरित तस्वीर लेते हैं, एक अनुमान लगाते हैं, और उसी पर टिके रहते हैं, भले ही वे गलत हों? यह एक रहस्य है जिसे एक नया शोध पत्र हल करने की कोशिश कर रहा है।
यह शोध पत्र, जिसका शीर्षक "एन एग्जाम फॉर एक्टिव ऑब्जर्वर्स" (An Exam for Active Observers) है, एक बिल्कुल नया परीक्षण पेश करता है जिसे ActiveVision कहा जाता है। इसे "स्पॉट द डिफरेंस" गेम के एक उन्नत रूप के रूप में समझें, जिसे विशेष रूप से AI को उसके असली रंग दिखाने के लिए बनाया गया है। शोधकर्ताओं ने 17 अलग-अलग पहेलियाँ बनाईं जिन्हें केवल एक नज़र में हल करना असंभव है। कुछ कार्यों में जटिल पैटर्न में बिखरे हुए आकारों को गिनना शामिल है, कुछ में बिना रास्ता भटके एक टेढ़े-मेढ़े रास्ते का पीछा करना शामिल है, और कुछ में दो समान दिखने वाली छवियों के बीच सूक्ष्म विवरणों की तुलना करना शामिल है। मुख्य बात यह है कि इन पहेलियों को वास्तविक, बिखरी हुई तस्वीरों (जैसे उलझी हुई रस्सियाँ या हवाई मानचित्र) की तरह दिखने के लिए बनाया गया है, न कि साधारण कार्टूनों की तरह, और इनके उत्तरों के लिए AI को बार-बार छवि पर "वापस देखने" की आवश्यकता होती है।
जब शोधकर्ताओं ने दुनिया के सबसे स्मार्ट AI मॉडल्स को परीक्षण के लिए रखा, तो परिणाम चौंकाने वाले थे। सबसे उन्नत मॉडल भी बुरी तरह विफल रहे। सबसे अच्छा प्रदर्शन करने वाला मॉडल, GPT-5.5 (अपने उच्चतम तर्क प्रयास पर), ने केवल लगभग 10.6% पहेलियों को हल किया। वास्तव में, 17 में से 11 प्रकार के कार्यों में, GPT-5.5 का स्कोर सटीक शून्य था। एक अन्य शीर्ष दावेदार, Claude Fable 5, और भी खराब प्रदर्शन करता है, जिसने केवल 3.5% समस्याओं को हल किया। इस बीच, मानव प्रतिभागी, जो केवल सामान्य लोग थे, ने औसतन 96.1% समस्याओं को हल किया। अंतर बहुत बड़ा था: मनुष्य सर्वश्रेष्ठ AI से लगभग नौ गुना बेहतर थे।
शोधकर्ताओं ने एक चतुर समाधान भी आज़माया। उन्होंने AI मॉडल्स को पहेलियों को हल करने के लिए अपना स्वयं का कंप्यूटर कोड लिखने और चलाने के लिए कहा, इस उम्मीद में कि एक स्क्रिप्ट उनके लिए "देखने" का काम कर सके। हालांकि इससे थोड़ा सुधार हुआ, लेकिन इसने समस्या को ठीक नहीं किया। कोड-आधारित एजेंटों ने सबसे अधिक (सबसे मजबूत एजेंट का उपयोग करते हुए) लगभग 50.6% कार्यों को हल किया, लेकिन वे अभी भी कठिन पहेलियों के साथ संघर्ष करते रहे, जैसे कि उलझे हुए लूप्स का पीछा करना। कोड अक्सर इसलिए विफल हुआ क्योंकि वास्तविक दुनिया जैसी दिखने वाली छवियां मानक कंप्यूटर विज़न टूल्स के लिए बहुत अधिक बिखरी हुई थीं, और AI यह नहीं देख पाया कि कोड ने गलती की है।
शोध पत्र यह निष्कर्ष निकालता है कि वर्तमान AI मॉडल अनिवार्य रूप से "निष्क्रिय धारणाकर्ता" (passive percevers) हैं। वे एक तस्वीर लेते हैं, उसे डेटा की एक सूची में बदलते हैं, और उस सूची से उत्तर देने का प्रयास करते हैं। उनमें ध्यान को सक्रिय रूप से पुनः निर्देशित करने, एक परिकल्पना बनाने और जांच करने के लिए वापस छवि पर जाने की क्षमता का अभाव है। लेखक सुझाव देते हैं कि जब तक हम AI को बार-बार वास्तव में "देखना" नहीं सिखाते, यानी देखने और सोचने के बीच के चक्र को पूरा नहीं करते, तब तक वे उन वास्तविक दुनिया के कामों के लिए अविश्वसनीय रहेंगे जिनके लिए सावधानीपूर्वक अवलोकन की आवश्यकता होती है, जैसे कि मेडिकल स्कैन की जाँच करना, कारखाने के पुर्जों का निरीक्षण करना, या जटिल वातावरण में नेविगेट करना। "ActiveVision" परीक्षा यह सिद्ध करती है कि अन्य सभी बुद्धिमत्ता के बावजूद, आज के AI मॉडल वास्तव में देखने के सरल मानवीय कार्य में बहुत खराब हैं।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।