TopoBench: Benchmarking LLMs on Hard Topological Reasoning
यह शोधपत्र टोपोबेंच (TopoBench) को प्रस्तुत करता है, जो टोपोलॉजिकल ग्रिड पहेलियों पर बड़े भाषा मॉडलों का मूल्यांकन करने के लिए एक बेंचमार्क है, जो यह प्रकट करता है कि उनका खराब प्रदर्शन मुख्य रूप से अंतर्निहित तर्क सीमाओं के बजाय स्थानिक बाधाओं को निकालने और बनाए रखने में कठिनाइयों के कारण है।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
कल्पना कीजिए कि आपके पास एक बेहद प्रतिभाशाली नया छात्र है, मान लीजिए उसका नाम "AI" है। उसने लाइब्रेरी की हर किताब पढ़ ली है। वह जटिल गणितीय समस्याओं को हल कर सकता है, कविता लिख सकता है और दर्शनशास्त्र पर बहस कर सकता है। लेकिन जब आप उसे एक साधारण ग्रिड पहेली देते हैं—जैसे कि एक भूलभुलैया जहाँ उसे बिना रेखाएं काटे एक एकल लूप बनाना है, या बिना कोई लूप बनाए पुलों के साथ द्वीपों को जोड़ना है—तो वह अटक जाता है। वह ग्रिड को घूरता है, एक लंबा, आत्मविश्वास से भरा निबंध लिखता है कि वह कैसे इसे हल करने के बारे में सोच रहा है, और फिर एक ऐसा समाधान बनाता है जो नियमों को तोड़ देता है।
यह शोध पत्र, TopoBench, एक विशेष जिम की तरह है जिसे ठीक यह जांचने के लिए बनाया गया है कि AI "स्थानिक तर्क" (spatial logic) की पहेलियों में कितना अच्छा है। शोधकर्ता यह जानना चाहते थे: क्या AI सोचने में बुरा है, या वह केवल नक्शा पढ़ने में बुरा है?
यहाँ उनके निष्कर्षों का विवरण दिया गया है, कुछ रोजमर्रा के उपमाओं का उपयोग करते हुए।
1. परीक्षण: TopoBench
शोधकर्ताओं ने TopoBench नामक एक नया परीक्षण बनाया। इसे AI के लिए "ड्राइवर लाइसेंस परीक्षा" की तरह समझें, लेकिन कार चलाने के बजाय, AI को छह अलग-अलग प्रकार की ग्रिड पहेलियों (जैसे Flow Free, Bridges, और Loopy) को नेविगेट करना होता है।
- लक्ष्य: AI को "वैश्विक नियमों" (global rules) को बनाए रखना होगा। उदाहरण के लिए, एक ब्रिज पहेली में, यदि आप दो द्वीपों को जोड़ते हैं, तो आप गलती से एक बंद लूप नहीं बना सकते। AI को एक समय में एक छोटा कदम उठाते हुए पूरे बोर्ड की स्थिति को याद रखना होगा।
- परिणाम: यहाँ तक कि सबसे स्मार्ट AI (जैसे GPT-5 और DeepSeek) भी कठिन स्तरों पर बुरी तरह विफल रहे। उन्होंने सबसे कठिन पहेलियों में से 25% से भी कम को हल किया। यह एक ऐसे जीनियस की तरह है जो उपन्यास लिख सकता है लेकिन अपने जूते के फीते बांधने में भी लड़खड़ा जाता है।
2. निदान: वे क्यों विफल हुए?
शोधकर्ताओं ने केवल गलत उत्तरों को नहीं देखा; उन्होंने AI की "सोचने की प्रक्रिया" (जिसे Chain of Thought कहा जाता है) का भी अध्ययन किया। उन्होंने जासूसों की तरह काम किया, और 750 विफल प्रयासों का विश्लेषण किया ताकि यह देख सकें कि AI कहाँ गलत हुआ।
उन्होंने चार मुख्य संदिग्ध पाए, लेकिन केवल दो ही असली अपराधी थे:
- "अति-आत्मविश्वासी नौसिखिया" (Premature Commitment): AI शुरुआत में ही एक गलत रास्ता चुन लेता है (जैसे कि बाएँ मुड़ने के बजाय दाएँ मुड़ने के बजाय बाएँ मुड़ जाना) और फिर ज़िद के साथ उस गलत रास्ते पर 20 कदम तक चलता रहता है, यह मानने से इनकार करता है कि वह गलत है।
- "भुलक्कड़ वास्तुकार" (Constraint Forgetting): AI एक ऐसा कदम उठाता है जो नियमों को तोड़ देता है (जैसे कि वहां पुल बनाना जहाँ पानी हो और इसकी अनुमति न हो) लेकिन उसे इसका एहसास नहीं होता। वह एक ऐसे आधार पर अपना घर बनाना जारी रखता है जो अस्तित्व में ही नहीं है।
- "अटक गया रिकॉर्ड" (Repeated Reasoning): AI एक लूप में फंस जाता है, बार-बार एक ही बात कहता रहता है। शोधकर्ताओं ने पाया कि यह वास्तव में AI के खो जाने का एक लक्षण था, न कि कारण।
- "मैप रीडर" (State Tracking): AI ट्रैक खो देता है कि वह बोर्ड पर कहाँ है।
बड़ी हैरानी: सबसे आम गलती (लूप में फंस जाना) सबसे खतरनाक नहीं थी। सबसे दुर्लभ गलती (नियमों को भूल जाना) सबसे घातक थी। यह एक ऐसे ड्राइवर की तरह है जो खुद से बहुत बातें करता है (हानिरहित) बनाम एक ऐसा ड्राइवर जो स्टॉप साइन देखना भूल जाता है (विनाशकारी)।
3. इलाज: AI को कैसे ठीक करें
शोधकर्ताओं ने AI की मदद करने के लिए तीन अलग-अलग "उपचार" आजमाए।
उपचार A: भाषा बदलें (इनपुट फॉर्मेट)
पहेलियाँ मूल रूप से ASCII आर्ट (टेक्स्ट कैरेक्टर्स जैसे | और -) के रूप में लिखी गई थीं। यह एक ऐसे ब्लूप्रिंट को पढ़ने की कोशिश करने जैसा है जहाँ रेखाएं गंदी लिखावट के साथ खींची गई हों।
- समाधान: उन्होंने इसे एक साफ, संरचित प्रारूप (जैसे स्प्रेडशीट या JSON सूची) में बदल दिया।
- परिणाम: इससे बहुत मदद मिली! यह AI को एक बिखरे हुए नैपकिन के बजाय एक स्पष्ट, डिजिटल मानचित्र देने जैसा है। AI अचानक ग्रिड को बहुत बेहतर समझने लगा।
उपचार B: "चीट शीट" (Tool Augmentation)
यह सबसे दिलचस्प हिस्सा था। उन्होंने AI को एक "टूल" दिया जो एक बाहरी कैलकुलेटर की तरह काम करता था।
- सेटअप: पूरे बोर्ड को अपने दिमाग में याद रखने के बजाय, उन्होंने AI को एक टूल से पूछने की अनुमति दी: "हे, इस द्वीप को अभी कितने पुलों की आवश्यकता है?" या "क्या यह चाल वैध है?"
- ट्विस्ट: उन्होंने दो प्रकार के टूल्स का परीक्षण किया:
- विजुअल टूल (Visual Tool): टूल ने AI को बोर्ड की एक तस्वीर दिखाई (ASCII आर्ट)।
- डेटा टूल (Data Tool): टूल ने AI को संख्याओं की एक सरल सूची दी (जैसे, "द्वीप A को 2 पुलों की आवश्यकता है")।
- परिणाम: विजुअल टूल ने वास्तव में AI को और खराब बना दिया। AI तस्वीर से विचलित हो गया। डेटा टूल ने AI को बहुत बेहतर बना दिया।
- सबक: AI को पहेली सुलझाने के लिए उसे "देखने" की ज़रूरत नहीं है; उसे नियमों को समझने की ज़रूरत है। बाधा यह नहीं है कि AI तर्क नहीं कर सकता; बल्कि समस्या यह है कि AI एक तस्वीर को नियमों के सेट में बदलने में बहुत बुरा है। एक बार जब नियम उसे सादे अंग्रेजी (या संख्याओं) में दे दिए जाते हैं, तो वह एक जीनियस बन जाता है।
उपचार C: बेहतर निर्देश (Prompts)
उन्होंने AI को यह बताने की कोशिश की, "कृपया आगे की योजना बनाएं!" या "जल्द निर्णय न लें!"
- परिणाम: यह काम नहीं आया। AI ने सलाह को अनदेखा कर दिया। यह एक बच्चे को "कुकी मत खाओ" कहने जैसा है, जबकि उसके सामने कुकी रखी हो। AI का आंतरिक "सोचने वाला इंजन" सरल निर्देशों पर हावी हो जाता है।
अंतिम निर्णय
शोध पत्र निष्कर्ष निकालता है कि लार्ज लैंग्वेज मॉडल्स (LLMs) तर्क में बुरे नहीं हैं; वे नक्शा पढ़ने में बुरे हैं।
एक प्रतिभाशाली जासूस की कल्पना करें जो अपराध की गुत्थी सुलझा सकता है यदि आप उसे तथ्यों की एक सूची दें। लेकिन यदि आप उन्हें एक अव्यवस्थित क्राइम सीन फोटो देते हैं और उनसे कहें कि "इसे सुलझाएं," तो वे दृश्य शोर (visual noise) से भ्रमित हो जाते हैं।
AI की समस्या यह नहीं है कि वह गणित या तर्क नहीं कर सकता। समस्या यह है कि वह दृश्य ग्रिड से नियमों को निकालने में संघर्ष करता है। एक बार जब आप ग्रिड को बाधाओं की एक साफ सूची (जैसे "द्वीप A को 2 पुलों की आवश्यकता है") में अनुवादित कर देते हैं, तो AI पहेली को पूरी तरह से हल कर लेता है।
संक्षेप में: हमें स्मार्ट AI की ज़रूरत नहीं है; हमें चित्रों को उनके लिए निर्देशों में अनुवाद करने के बेहतर तरीकों की ज़रूरत है।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।