The Cartesian Shortcut: Re-evaluate Vision Reasoning in Polar Coordinate Space
यह शोध पत्र Polaris-Bench को प्रस्तुत करता है, जो वर्तमान मल्टीमॉडल लार्ज लैंग्वेज मॉडल्स (Multimodal Large Language Models) में "कार्टेशियन शॉर्टकट" (Cartesian Shortcut) भेद्यता को उजागर करने के लिए विजुअल रीजनिंग कार्यों को ध्रुवीय निर्देशांकों (polar coordinates) में पुनर्गठित करता है, जिससे यह प्रकट होता है कि मानक ग्रिड-आधारित बेंचमार्क पर उनका उच्च प्रदर्शन मजबूत, टोपोलॉजी-अपरिवर्तनीय दृश्य समझ के बजाय टेक्स्टुअल कोऑर्डिनेट पैटर्न का लाभ उठाने से उत्पन्न होता है।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
मुख्य विचार: क्या AI मॉडल वास्तव में "देख" रहे हैं, या सिर्फ "पढ़" रहे हैं?
कल्पना कीजिए कि आप एक गणित की परीक्षा दे रहे हैं। एक संस्करण में, संख्याएँ एक व्यवस्थित, वर्गाकार ग्रिड (जैसे स्प्रेडशीट) में व्यवस्थित हैं। दूसरे संस्करण में, संख्याएँ एक वृत्त (circle) में व्यवस्थित हैं, जैसे पिज्जा के स्लाइस।
Google DeepMind और Stanford University के शोधकर्ताओं ने पाया कि दुनिया के सबसे स्मार्ट AI विजन मॉडल उन छात्रों की तरह हैं जिन्होंने वर्गाकार ग्रिड के लिए एक ट्रिक (चाल) याद कर ली है, लेकिन वे वास्तव में गणित को समझते नहीं हैं। जब आप टेस्ट को पिज्जा के आकार में बदलते हैं, तो वे बुरी तरह विफल हो जाते हैं।
वे इस ट्रिक को "कार्टेशियन शॉर्टकट" (Cartesian Shortcut) कहते हैं।
"कार्टेशियन शॉर्टकट" का स्पष्टीकरण
अधिकांश AI विजुअल रीजनिंग टेस्ट कार्टेशियन कोऑर्डिनेट्स (Cartesian coordinates) का उपयोग करते हैं। यह बस "पंक्तियों और कॉलम" (rows and columns) कहने का एक फैंसी तरीका है (जैसे शतरंज का बोर्ड या स्प्रेडशीट)।
- रो 1, कॉलम 2।
- रो 3, कॉलम 5।
शोधकर्ताओं ने पाया कि जब AI मॉडल इन वर्गाकार ग्रिडों को देखते हैं, तो वे वास्तव में चित्र को "देखते" नहीं हैं। इसके बजाय, वे बहुत तेज़ी से इमेज को अपने "दिमाग" (Chain-of-Thought) में टेक्स्ट कोऑर्डिनेट्स की एक सूची में बदल देते हैं। वे विजुअल आकृतियों को देखना बंद कर देते हैं और टेक्स्ट लॉजिक का उपयोग करके समस्या को हल करना शुरू कर देते हैं, जैसे कोई इंसान नक्शा पढ़ रहा हो।
उपमा (Analogy):
एक AI को वर्गाकार ग्रिड पर टेस्ट देते हुए ऐसे समझें जैसे कोई व्यक्ति निर्देशों की सूची पढ़कर भूलभुलैया (maze) सुलझा रहा हो: "3 कदम नीचे जाएँ, दाएं मुड़ें, 2 कदम आगे बढ़ें।" वे भूलभुलैया को विज़ुअलाइज़ नहीं कर रहे हैं; वे बस टेक्स्ट निर्देशों का पालन कर रहे हैं।
प्रयोग: "पिज्जा" टेस्ट
यह साबित करने के लिए कि AI मॉडल इस टेक्स्ट ट्रिक का उपयोग करके "चीटिंग" कर रहे थे, शोधकर्ताओं ने एक नया बेंचमार्क बनाया जिसे Polaris-Bench कहा गया।
उन्होंने 53 अलग-अलग विजुअल पहेलियों (जैसे सुडोकू, भूलभुलैया और पैटर्न मिलान) को लिया और उन्हें वर्गाकार ग्रिड से पोलर कोऑर्डिनेट्स (Polar coordinates) में बदल दिया।
- पोलर कोऑर्डिनेट्स डार्टबोर्ड या पिज्जा की तरह होते हैं। "पंक्तियों और कॉलम" के बजाय, इसमें रिंग्स (केंद्र से दूरी) और स्लाइस (कोण/angle) होते हैं।
परिणाम:
- वर्गाकार ग्रिड पर (Cartesian): शीर्ष AI मॉडल अविश्वसनीय रूप से उच्च स्कोर करते हैं (70% से 83%)। वे जीनियस दिखाई देते हैं।
- पिज्जा ग्रिड पर (Polar): स्कोर धराशायी हो गया। उन्हीं मॉडलों का स्कोर गिरकर 31% से 39% रह गया।
ऐसा लगता है जैसे वह छात्र जिसने स्प्रेडशीट में संख्याओं वाले गणित टेस्ट में टॉप किया था, अचानक वही गणित का टेस्ट फेल हो गया जब संख्याएँ एक वृत्त में लिखी गईं।
ऐसा क्यों हुआ?
शोधकर्ताओं का तर्क है कि AI मॉडल इसलिए विफल नहीं हो रहे हैं क्योंकि "पिज्जा" का आकार कठिन है। पहेली का लॉजिक बिल्कुल वही है। वे इसलिए विफल हो रहे हैं क्योंकि:
- वे ग्रिड पर निर्भर हैं: मॉडल वर्गाकार इमेज को टेक्स्ट लिस्ट (Row 1, Col 2) में बदलने के लिए सीख चुके हैं ताकि समस्या हल की जा सके।
- वे सर्कल के साथ ऐसा नहीं कर सकते: जब इमेज एक वृत्त होती है, तो AI उसे आसानी से सरल "Row/Column" टेक्स्ट लिस्ट में नहीं बदल पाता। "शॉर्टकट" टूट जाता है।
- वे टोपोलॉजी को नहीं देख पाते: मॉडल्स में टोपोलॉजी-इनवेरिएंट रीजनिंग (topology-invariant reasoning) की कमी है। यह एक फैंसी तरीका है यह कहने का कि वे यह नहीं समझ सकते कि एक वर्गाकार ग्रिड और एक गोलाकार ग्रिड एक ही मैप को बनाने के दो अलग-अलग तरीके हैं। वे ग्रिड के विशिष्ट आकार तक ही सीमित हैं।
सरल शब्दों में मुख्य निष्कर्ष
- "टेक्स्ट" का सहारा: AI मॉडल विजुअल समस्याओं को हल करने के लिए काफी हद तक टेक्स्ट-आधारित कटौती (deduction) का उपयोग कर रहे थे। जब विजुअल लेआउट ऐसा बदला जो टेक्स्ट लिस्ट में फिट नहीं बैठा, तो मॉडल भटक गए।
- सोचना भी मदद नहीं करता: यहाँ तक कि जब शोधकर्ताओं ने AI को "अधिक गहराई से सोचने" (high-reasoning mode) के लिए कहा, तो भी इससे समस्या ठीक नहीं हुई। AI केवल गलत चीज़ (ग्रिड स्ट्रक्चर) के बारे में अधिक सोचने लगा, बजाय इसके कि वह वास्तव में इमेज को समझे।
- यह एक सार्वभौमिक समस्या है: यह केवल एक विशिष्ट AI की समस्या नहीं थी। उन्होंने 14 अलग-अलग अत्याधुनिक मॉडलों का परीक्षण किया (Google, OpenAI, Anthropic आदि से), और वे सभी एक ही ट्रिक में फंस गए।
- "भूलभुलैया" का अपवाद: पेपर में एक दिलचस्प अपवाद नोट किया गया: यदि किसी भूलभुलैया (maze) में कमरों के अंदर नंबर लिखे हों (जैसे "कमरा 1, कमरा 2"), तो AI वर्गाकार संस्करण पर अच्छा प्रदर्शन करता है। क्यों? क्योंकि नंबर एक नया "टेक्स्ट शॉर्टकट" के रूप में काम करते हैं। AI आकार को अनदेखा कर देता है और बस नंबरों का पालन करता है। लेकिन यदि भूलभुलैया में कोई नंबर नहीं है, तो AI विफल हो जाता है।
निष्कर्ष
पेपर यह निष्कर्ष निकालता है कि वर्तमान AI मॉडल उतने कुशल नहीं हैं जितना कि हम सोचते थे। उनके मानक टेस्टों पर उच्च स्कोर एक भ्रम है जो इस तथ्य से पैदा हुआ है कि वे टेस्ट वर्गाकार ग्रिड का उपयोग करते हैं। मॉडल ग्रिड संरचना का लाभ उठाकर चीटिंग कर रहे हैं, न कि वास्तव में दृश्य दुनिया को समझ रहे हैं।
वास्तविक बुद्धिमान AI बनाने के लिए, हमें उन्हें वर्गाकार ग्रिड पर टेस्ट करना बंद करना होगा और उन्हें ऐसे आकारों पर टेस्ट करना होगा जो उन्हें वास्तव में "देखने" और तर्क करने के लिए मजबूर करें, न कि केवल कोऑर्डिनेट्स पढ़ने के लिए।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।