The Gordian Knot for VLMs: Diagrammatic Knot Reasoning as a Hard Benchmark
KnotBench लगभग 860,000 गांठ आरेखों (knot diagrams) का उपयोग करते हुए एक कठोर बेंचमार्क प्रस्तुत करता है ताकि यह प्रदर्शित किया जा सके कि वर्तमान विजन-लैंग्वेज मॉडल, "सोचने" वाले मोड के साथ बेहतर प्रदर्शन के बावजूद, दृश्य गांठ संरचनाओं को क्रियाशील प्रतीकात्मक तर्क में अनुवादित करने में मौलिक रूप से संघर्ष करते हैं, और अक्सर आरेखीय हेरफेर (diagrammatic manipulation) की आवश्यकता वाले कार्यों में रैंडम बेसलाइन से बेहतर प्रदर्शन करने में विफल रहते हैं।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
कल्पना कीजिए कि आपके पास एक बहुत ही बुद्धिमान रोबोट है जो उलझे हुए धागे की तस्वीर देखकर उसका सटीक वर्णन कर सकता है। वह कह सकता है, "मैं एक लाल लूप को नीले लूप के ऊपर से गुजरते हुए देख रहा हूँ, जो फिर एक हरे वाले के नीचे से जाता है।" उसकी दृष्टि उत्कृष्ट है।
लेकिन यहाँ एक पेंच है: यदि आप उसी रोबोट से धागे को सुलझाने के लिए कहते हैं, या यह बताने के लिए कहते हैं कि गांठों की दो अलग-अलग तस्वीरें वास्तव में एक ही गांठ है जिसे अलग तरह से बनाया गया है, तो वह पूरी तरह विफल हो जाता है। वह गांठ का वर्णन तो कर सकता है, लेकिन वह उसे अपने मन में "खेल" नहीं सकता।
यह शोध पत्र, जिसका शीर्षक "VLMs के लिए गोर्डियन नॉट (Gordian Knot)" है, यह सिद्ध करने के लिए एक नया परीक्षण पेश करता है कि आधुनिक AI मॉडल के लिए "देखने" और "करने" के बीच का अंतर कितना बड़ा है।
सेटअप: एक डिजिटल नॉट गार्डन (Knot Garden)
शोधकर्ताओं ने गांठों की 8,58,000 तस्वीरों का एक विशाल बगीचा बनाया।
- स्रोत: उन्होंने 1,951 बुनियादी "प्रोटोटाइप" गांठों (जो नॉट थ्योरी के सबसे सरल निर्माण खंड हैं) से शुरुआत की।
- जादू: उन्होंने इन गांठों को हजारों बार मोड़ने, घुमाने और फिर से बनाने के लिए एक गणितीय नियम (जिसे रेडमाइस्टर मूव कहा जाता है) का उपयोग किया।
- परिणाम: हो सकता है कि आपके पास एक साधारण "ट्रेफ़ोइल" (trefoil) गांठ की तस्वीर हो जिसमें 3 क्रॉसिंग हैं, और दूसरी तस्वीर उसी सटीक गांठ की हो जिसमें 20 क्रॉसिंग हैं और जो दिखने में बिल्कुल अलग है। या, आपके पास दो ऐसी तस्वीरें हो सकती हैं जो लगभग एक जैसी दिखती हैं लेकिन वास्तव में अलग गांठें हैं (जैसे कि बाएं हाथ का दस्ताना बनाम दाएं हाथ का दस्ताना)।
कंप्यूटर हर एक गांठ की "वास्तविक पहचान" जानता है क्योंकि उसने इसे गणित का उपयोग करके बनाया है, न कि मानवीय अनुमान से। यह इस परीक्षण को पूरी तरह से निष्पक्ष बनाता है।
परीक्षण: 14 तरीके जिनमें वे फंस जाते हैं
शोधकर्ताओं ने चार सबसे स्मार्ट उपलब्ध AI मॉडलों (जिसमें क्लॉड ओपस 4.7 और GPT-5 शामिल हैं) को 14 अलग-अलग कार्य करने के लिए कहा। उन्होंने कार्यों को दो समूहों में विभाजित किया ताकि यह देखा जा सके कि AI कहाँ विफल होता है:
- "इमेज" समूह: AI गांठ की एक तस्वीर देखता है।
- "टेक्स्ट" समूह: AI संख्याओं और अक्षरों की एक सूची (एक कोड) देखता है जो गांठ का वर्णन करती है।
यहाँ उन्होंने AI से क्या करने को कहा, सरल उपमाओं का उपयोग करते हुए:
"समान या भिन्न?" परीक्षण (परिवार A): "क्या ये दो तस्वीरें एक ही गांठ हैं?"
- जाल: कभी-कभी तस्वीरें पूरी तरह से अलग दिखती हैं लेकिन वे एक ही गांठ होती हैं। कभी-कभी वे लगभग एक जैसी दिखती हैं लेकिन अलग होती हैं।
- परिणाम: जब उन्हें टेक्स्ट कोड दिया गया, तो AI इसमें बहुत अच्छा था। जब उन्हें तस्वीर दी गई, तो उन्होंने अंधेरे में तीर चलाने वाले बंदर की तरह रैंडम अनुमान लगाया।
"क्या हुआ?" परीक्षण (परिवार B): "मैंने आपको एक गांठ दिखाई, फिर मैंने एक छोटा सा बदलाव किया (जैसे एक लूप जोड़ना)। मैंने कौन सा बदलाव किया?"
- जाल: इसके लिए AI को उस बदलाव का मानसिक सिमुलेशन करने की आवश्यकता होती है। "यदि मैं इस धागे को यहाँ खींचता हूँ, तो तस्वीर कैसी दिखेगी?"
- परिणाम: जब उन्हें टेक्स्ट कोड दिया गया, तो AI इसका पता लगा सकता था। जब उन्हें तस्वीर दी गई, तो वे बुरी तरह विफल रहे। एक मॉडल (GPT-5) ने बस बार-बार सबसे सामान्य उत्तर ("R3") का अनुमान लगाना शुरू कर दिया, जैसे कोई छात्र जिसने गणित सीखने के बजाय केवल उत्तर कुंजी रट ली हो।
"गिनती" परीक्षण (परिवार C): "धागे कितनी बार एक-दूसरे को काटते हैं?"
- परिणाम: AI 8 क्रॉसिंग आसानी से गिन सकता था। लेकिन जैसे ही गांठ जटिल हुई (17+ क्रॉसिंग), AI की गिनती पूरी तरह से गड़बड़ा गई। वह अपने सामने मौजूद चीजों को गिनने में भी असमर्थ था।
"अनुवादक" परीक्षण (परिवार D): "यहाँ एक तस्वीर है। इसके लिए गुप्त कोड लिखें।"
- परिणाम: शून्य। कोई भी मॉडल यह नहीं कर सका। वे दृश्य तस्वीर को गणितीय कोड में अनुवाद करने में विफल रहे, भले ही उनका "सोचने वाला मोड" (thinking mode) चालू हो।
बड़ी खोज: "परसेप्शन-ऑपरेशन गैप" (Perception-Operation Gap)
शोधकर्ता विफलता के इस बिंदु को "परसेप्शन-ऑपरेशन गैप" कहते हैं।
इसे इस तरह सोचिए:
- परसेप्शन (Perception) एक मानचित्र को देखकर यह कहना है, "मैं एक नदी और एक पुल देख रहा हूँ।"
- ऑपरेशन (Operation) उसी मानचित्र को देखकर यह कहना है, "यदि मैं पुल के ऊपर से चलता हूँ, तो मैं दूसरी ओर पहुँच जाऊँगा।"
AI मॉडल परसेप्शन में अद्भुत हैं। वे गांठ का वर्णन कर सकते हैं। लेकिन वे ऑपरेशन में बहुत खराब हैं। वे जो देखते हैं उसे मानसिक रूप से हेरफेर करके समस्या हल नहीं कर सकते।
क्या "सोचना" मदद करता है?
शोधकर्ताओं ने AI का "सोचने का मोड" (जहाँ मॉडल उत्तर देने से पहले खुद से बात करता है) चालू किया।
- क्या इससे मदद मिली? हाँ, लेकिन बहुत कम।
- कहाँ मदद मिली? केवल तभी जब AI को टेक्स्ट कोड दिया गया था। यदि AI को पहले एक तस्वीर देखनी पड़ती, तो "सोचना" समस्या को ठीक नहीं कर पाता। यह किसी ऐसे व्यक्ति को कैलकुलेटर देने जैसा है जो स्क्रीन पर लिखे नंबर पढ़ ही नहीं सकता; कैलकुलेटर बेकार है।
निष्कर्ष
शोध पत्र यह निष्कर्ष निकालता है कि वर्तमान AI मॉडल उन फोटोग्राफरों की तरह हैं जो मैकेनिक नहीं बन सकते। वे एक गांठ की एकदम सटीक फोटो ले सकते हैं और उसके हर विवरण का वर्णन कर सकते हैं, लेकिन उनमें वह आंतरिक "सिमुलेटर" नहीं है जिसका उपयोग मनुष्य वस्तुओं को समझने के लिए उन्हें मानसिक रूप से घुमाने और मोड़ने के लिए करते हैं।
वे गांठ को देख सकते हैं, लेकिन वे उस पर कार्य नहीं कर सकते। जब तक AI इस आंतरिक "मानसिक सिमुलेटर" का निर्माण नहीं करता, वह आरेखों (diagrams) के तर्क के प्रति अंधा ही रहेगा, चाहे वह कितनी भी तस्वीरें क्यों न देखे।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।