From Hallucination to Grounding: Diagnosing Visual Spatial Intelligence via CRISP
यह शोध पत्र CRISP को प्रस्तुत करता है, जो एक नवीन नैदानिक मूल्यांकन प्रतिमान (diagnostic evaluation paradigm) है जो धारणा (perception) को तर्क (reasoning) से अलग करने के लिए मीट्रिक 3D सीन ग्राफ और ओरेकल हस्तक्षेपों का उपयोग करता है, जिससे यह पता चलता है कि जहाँ प्रोप्राइटरी मॉडल मजबूत लेटेंट रीजनिंग के बावजूद सटीक मीट्रिक अनुमान में त्रुटिपूर्ण होते हैं, वहीं ओपन-सोर्स मॉडल मौलिक रूप से मल्टी-हॉप कंपोजिशनल रीजनिंग की कमी से सीमित हैं।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
कल्पना कीजिए कि आप एक कमरे में नेविगेट करने की एक रोबोट की क्षमता का परीक्षण कर रहे हैं। आप उससे पूछते हैं, "क्या कप किताब के बाईं ओर है या दाईं ओर?" रोबोट जवाब देता है, "बाएं," और वह सही होता है। आप सोच सकते हैं, "शानदार! यह स्थान को समझता है!"
लेकिन इस पेपर के अनुसार, वह रोबोट वास्तव में एक धोखेबाज (cheater) हो सकता है। उसने उत्तर जानने के लिए कमरे को नहीं देखा; उसने बस इस आधार पर अनुमान लगाया कि इंसान आमतौर पर कप और किताबों के बारे में कैसे बात करते हैं। यह वैसा ही है जैसे कोई छात्र जिसने बिना कभी पाठ्यपुस्तक खोले उत्तर कुंजी (answer key) को रट लिया हो।
इस पेपर के लेखक, ली और यू ने एक नया टेस्ट बनाया है जिसे CRISP कहा जाता है ताकि इन धोखेबाजों को पकड़ा जा सके और यह देखा जा सके कि रोबोट वास्तव में 3D दुनिया को "देखते" हैं या सिर्फ शब्दों का "अनुमान" लगाते हैं।
समस्या: बुद्धिमत्ता का "भ्रम" (The "Illusion" of Intelligence)
वर्तमान AI मॉडल (जिन्हें विजन-लैंग्वेज मॉडल्स कहा जाता है) वस्तुओं को पहचानने में बहुत अच्छे हैं। वे एक "कुत्ते" या "कुर्सी" की ओर इशारा कर सकते हैं। लेकिन जब बात स्थानिक बुद्धिमत्ता (spatial intelligence) की आती है—यानी यह समझना कि चीजें वास्तव में कहाँ हैं, वे कितनी दूर हैं, और वे 3D स्पेस में एक-दूसरे के साथ कैसे फिट होती हैं—तो वे अक्सर विफल हो जाते हैं।
पेपर का तर्क है कि ये मॉडल हैलुसिनेशन (hallucinations) का शिकार हो रहे हैं। वे सही शब्द तो उत्पन्न करते हैं, लेकिन कमरे का उनका आंतरिक मानसिक मानचित्र पूरी तरह से गलत होता है। वे भाषा के पैंतरेबाज़ी का उपयोग करके "सही अनुमान" लगा रहे हैं, न कि अपनी आँखों का उपयोग करके "सही देख" रहे हैं।
समाधान: "CRISP" टेस्ट
इसे ठीक करने के लिए, शोधकर्ताओं ने CRISP (कंसिस्टेंसी ऑफ रीजनिंग इन स्पेशियल परसेप्शन) नामक दो-भाग वाला टेस्ट बनाया। इसे AI के लिए एक "झूठ पकड़ने वाले यंत्र" (lie detector) के रूप में समझें।
AI से केवल एक प्रश्न पूछने के बजाय, CRISP उसे एक साथ दो चीजें करने के लिए मजबूर करता है:
- प्रश्न का उत्तर दें: (जैसे, "कुर्सी दीवार से कितनी दूर है?")
- मानचित्र बनाएं: AI को एक 3D सीन ग्राफ (3D Scene Graph) बनाना होगा। यह कमरे के ब्लूप्रिंट या कंकाल की तरह है, जहाँ उसे हर वस्तु का सटीक आकार और उनके बीच की सटीक दूरी लिखनी होगी।
जादुंकारी ट्रिक: शोधकर्ता फिर इन दोनों की तुलना करते हैं।
- यदि AI अपने उत्तर में कहता है "कुर्सी 2 मीटर दूर है," लेकिन एक ऐसा मैप बनाता है जिसमें कुर्सी 10 मीटर दूर दिखाई देती है, तो वह विफल रहा।
- यह साबित करता है कि AI ने उत्तर देने के लिए वास्तव में इमेज का उपयोग नहीं किया; वह केवल भाषाई पैटर्न के आधार पर उत्तर का अनुमान लगा रहा था।
उन्होंने क्या खोजा
जब उन्होंने उपलब्ध सबसे स्मार्ट AI मॉडल (दोनों महंगे "प्रोपराइटरी" और मुफ्त "ओपन-सोर्स") पर यह टेस्ट चलाया, तो उन्हें मुख्य रूप से तीन प्रकार की विफलताएं मिलीं:
"सेमेंटिक शॉर्टकट" धोखेबाज (मुख्यतः ओपन-सोर्स मॉडल):
ये मॉडल प्रश्न का सही उत्तर देते हैं लेकिन एक भयानक, निरर्थक मानचित्र बनाते हैं। वे ऐसे व्यक्ति की तरह हैं जो किसी पहेली का उत्तर इसलिए जानते हैं क्योंकि उन्होंने उसे पहले सुना है, लेकिन वे वास्तव में उस दृश्य की कल्पना नहीं कर सकते। वे देखने के बजाय "लैंग्वेज प्रायर्स" (इंसान आमतौर पर क्या कहते हैं इसका अनुमान लगाना) पर निर्भर करते हैं।"डिस्कनेक्टेड" मस्तिष्क (मुख्यतः प्रोपराइटरी मॉडल):
ये सबसे आश्चर्यजनक निष्कर्ष हैं। महंगे मॉडल (जैसे जेमिनी और GPT-5) वास्तव में मानचित्र बनाने में बहुत अच्छे हैं! वे दूरियों और आकारों का अनुमान काफी अच्छी तरह से लगा सकते हैं। हालांकि, जब वे प्रश्न का उत्तर देते हैं, तो वे अपने स्वयं के मानचित्र को अनदेखा कर देते हैं। यह एक प्रतिभाशाली वास्तुकार की तरह है जो एक सटीक ब्लूप्रिंट बनाता है, लेकिन फिर, जब उससे पूछा जाता है कि दरवाजा कहाँ है, तो वह एक रैंडम अनुमान देता है क्योंकि वह अपने ही ड्राइंग को देखना भूल गया। उनके पास एक शक्तिशाली "रीजनिंग इंजन" है जो उनकी "दृष्टि" (vision) से जुड़ा नहीं है।"कंसिस्टेंट" विजेता:
कुछ मॉडल मानचित्र और उत्तर दोनों को सही करने में सफल रहे। केवल वे ही वास्तविक स्थानिक बुद्धिमत्ता दिखा रहे हैं।
"ओरेकल" प्रयोग: क्या उनके पास दिमाग है?
यह साबित करने के लिए कि "डिस्कनेक्टेड" मॉडल्स के पास वास्तव में तर्क करने की शक्ति है, शोधकर्ताओं ने एक विशेष प्रयोग किया। उन्होंने उन "धोखेबाज" मॉडल्स को एक परफेक्ट, पहले से बना हुआ मानचित्र (जैसे किसी छात्र को सही ब्लूप्रिंट के साथ चीट शीट देना) और चित्र दोनों दिए।
परिणाम: मॉडल्स का प्रदर्शन आसमान छू गया। अचानक, वे जटिल प्रश्नों का उत्तर पूरी तरह से देने लगे।
निष्कर्ष: इसने सिद्ध किया कि AI मॉडल्स के पास तर्क और रीजनिंग कौशल पहले से ही मौजूद है। समस्या यह नहीं है कि वे "मूर्ख" हैं या उनमें तर्क की कमी है; समस्या यह है कि वे अपनी आँखों (परसेप्शन) को अपने मस्तिष्क (रीजनिंग) से जोड़ नहीं पा रहे हैं। वे अपने स्वयं के विजुअल डेटा पर भरोसा करने में विफल हो रहे हैं।
सारांश
पेपर यह निष्कर्ष निकालता है कि हम उन AI मॉडल्स से धोखा खा गए हैं जो स्मार्ट दिखने के कारण सही शब्दों का अनुमान लगा लेते हैं। ऐसे रोबोट बनाने के लिए जो वास्तव में भौतिक दुनिया के साथ बातचीत कर सकें (जैसे कि एक रोबोटिक हाथ द्वारा कांच उठाना), हमें केवल प्रश्न पूछना बंद करना होगा और यह जांचना शुरू करना होगा कि क्या AI का आंतरिक "मानसिक मानचित्र" उसके उत्तरों से मेल खाता है।
आगे का रास्ता केवल AI को बड़ा बनाना नहीं है; बल्कि AI को कंसिस्टेंट (संगत) बनाना है—यह सुनिश्चित करना कि उसका तर्क हमेशा वही हो जो वह वास्तव में देख रहा है, न कि वह जो वह सोचता है कि उसे कहना चाहिए।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।