From Pixels to BFS: High Maze Accuracy Does Not Imply Visual Planning
यह शोध पत्र \textsc{MazeBench} को यह प्रदर्शित करने के लिए प्रस्तुत करता है कि विजुअल मेज़ (भूलभुलैया) कार्यों पर उच्च सटीकता के बावजूद, मल्टीमॉडल मॉडल वास्तविक मानव-समान स्थानिक नियोजन या समझ प्रदर्शित करने के बजाय, छवियों को टेक्स्ट ग्रिड में बदलने के बाद अक्षम टोकन-स्तरीय ब्रूट-फोर्स सर्च (गद्य में BFS) पर निर्भर करते हैं।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
कल्पना कीजिए कि आप एक रोबोट को एक भूलभुलैया (maze) की तस्वीर देते हैं और उससे शुरूआती बिंदु से अंत तक का सबसे छोटा रास्ता खोजने के लिए कहते हैं।
यदि आप यह काम किसी इंसान को करने के लिए कहें, तो वे तस्वीर पर एक नज़र डालेंगे, अपनी आँखों से घुमावदार रास्ते का पीछा करेंगे, और एक सेकंड में कह देंगे, "समझ गया!" यह उनके मस्तिष्क द्वारा किया जाने वाला एक स्वचालित विजुअल ट्रिक है।
लेकिन इस नए रिसर्च पेपर के अनुसार, AI मॉडल ऐसा बिल्कुल नहीं करते हैं। यहाँ तक कि सबसे स्मार्ट और सबसे महंगे AI मॉडल भी इन भूलभुलैया को एक पूरी तरह से अलग और बहुत अधिक थका देने वाले तरीके से हल कर रहे हैं।
यहाँ उस कहानी का विवरण है जो इस पेपर ने खोजी है, जिसे सरल भाषा में समझाया गया है।
1. "अनुवादक" (Translator) की समस्या
जब एक इंसान भूलभुलैया को देखता है, तो वह दीवारों और खाली जगहों को सीधे देख पाता है।
जब एक AI उसी भूलभुलैया को देखता है, तो वह उसे "देखता" नहीं है। इसके बजाय, वह एक बहुत धीमे अनुवादक की तरह काम करता है।
- चरण 1: वह तस्वीर को देखता है और हर एक दीवार और खाली वर्ग (square) का एक लंबी टेक्स्ट लिस्ट के रूप में वर्णन करने की कोशिश करता है (जैसे कि एक स्प्रेडशीट की हर पंक्ति को एक-एक करके लिखना)।
- चरण 2: एक बार जब उसने यह विशाल टेक्स्ट लिस्ट लिख ली, तो वह इसे पढ़ना शुरू करता है। वह अपने ही लिखे हुए टेक्स्ट को पढ़कर भूलभुलैया के माध्यम से चलने की कोशिश करता है, जैसे कि वह कह रहा हो, "ठीक है, मैं वर्ग A पर हूँ, मैं दाईं ओर वर्ग B पर जा सकता हूँ, लेकिन रुको, वर्ग B एक दीवार है, इसलिए मुझे नीचे जाना होगा..."
AI रास्ते की योजना (planning) नहीं बना रहा है जैसा कि इंसान करता है। वह भूलभुलैया के अपने ही वर्णन को बार-बार पढ़कर समाधान को ब्रूट-फोर्स (brute-forcing) कर रहा है।
2. "टोकन" का बजट (वॉलेट का उदाहरण)
AI की "सोचने" की प्रक्रिया को टोकन (जो टेक्स्ट के छोटे-छोटे टुकड़े होते हैं) के एक सीमित वॉलेट की तरह समझें। हर बार जब AI भूलभुलैया का वर्णन करने के लिए या रास्ते के एक कदम को लिखने के लिए कोई शब्द लिखता है, तो वह इस वॉलेट से पैसे खर्च करता है।
- इंसान: 0 टोकन खर्च करता है। उसे बस रास्ता "पता" होता है।
- AI: एक साधारण भूलभुलैया को हल करने के लिए, वह दीवारों का वर्णन करने और रास्ता चलने के लिए 1,700 टोकन खर्च कर सकता है। एक कठिन भूलभुलैया को हल करने के लिए, उसे 20,000 टोकन की आवश्यकता हो सकती है।
पेपर में पाया गया कि जब भूलभुलैया बहुत बड़ी हो जाती है (जैसे 20x20 ग्रिड), तो AI रास्ता पूरा करने से पहले ही अपने "पैसे" (टोकन) खत्म कर देता है। वह हार मान लेता है और कहता है, "मैं इसे हल नहीं कर सकता," इसलिए नहीं कि वह भूलभुलैया देख नहीं सकता, बल्कि इसलिए क्योंकि उसके पास अपने विचारों को लिखने के लिए जगह (स्पेस) खत्म हो गई है।
3. "बड़े दिमाग" का भ्रम
आप सोच सकते हैं, "ज़रूर, सबसे बड़े, सबसे महंगे AI मॉडल (जैसे 'Opus' या 'Pro' वर्ज़न) इसमें बेहतर होंगे क्योंकि वे अधिक स्मार्ट हैं।"
पेपर कहता है: नहीं।
- सबसे बड़े AI मॉडल्स ने भूलभुलैया को ठीक उसी कम सफलता दर के साथ हल किया जैसा कि छोटे, सस्ते मॉडल्स ने किया था (बिना अतिरिक्त मदद के लगभग 2-6% सफलता)।
- क्यों? क्योंकि समस्या यह नहीं है कि वे योजना बनाने के लिए पर्याप्त "स्मार्ट" नहीं हैं। समस्या यह है कि वे तस्वीर पढ़ने में खराब हैं।
- उपमा (Analogy): कल्पना कीजिए कि आप एक प्रतिभाशाली गणितज्ञ को भूलभुलैया की एक धुंधली, विकृत फोटो देते हैं और उसे हल करने के लिए कहते हैं। भले ही वह एक जीनियस हो, यदि वह दीवारों को सही ढंग से नहीं पढ़ सकता, तो वह विफल हो जाएगा। पेपर में पाया गया कि कुछ AI मॉडल भूलभभैया को "हैलुसिनेट" (hallucinating) कर रहे थे—यानी वे वहां दीवारें देख रहे थे जहां वास्तव में कोई दीवार नहीं थी, या उन दीवारों को मिस कर रहे थे जो वहां मौजूद थीं।
4. "मैजिक ग्रिड" टेस्ट
इसे साबित करने के लिए, शोधकर्ताओं ने एक शानदार प्रयोग किया। उन्होंने उन "खराब" AI मॉडल्स को लिया और उन्हें सीधे भूलभुलैया का टेक्स्ट विवरण दे दिया, तस्वीर को पूरी तरह से छोड़ दिया।
- परिणाम: अचानक, वे "खराब" मॉडल बेहतरीन बन गए। उनकी सफलता दर 6% से बढ़कर 80% हो गई।
- इसका क्या अर्थ है: AI का "दिमाग" (योजना बनाने की उसकी क्षमता) वास्तव में ठीक था। समस्या केवल उसकी "आंखों" (तस्वीर को टेक्स्ट में बदलने की क्षमता) में थी। एक बार जब तस्वीर को ठीक कर दिया गया, तो AI भूलभुलैया को आसानी से हल कर सका, भले ही वह अभी भी उसी धीमी, स्टेप-बाय-स्टेप टेक्स्ट विधि का उपयोग कर रहा था।
5. मुख्य निष्कर्ष (The Big Takeaway)
पेपर यह निष्कर्ष निकालता है कि AI टेस्ट पर उच्च स्कोर भ्रामक हो सकते हैं।
सिर्फ इसलिए कि एक AI भूलभुलैया के 90% हिस्से को सही हल करता है, इसका मतलब यह नहीं है कि वह स्थान (space) को "समझता" है या उसमें मानव जैसी दृष्टि है। इसका मतलब सिर्फ यह है कि उसके पास उत्तर को ब्रूट-फोर्स करने के लिए पर्याप्त "वॉलेट" (टोकन) है, जिससे वह भूलभुलैया के बारे में एक लंबी कहानी लिख सके।
- इंसान: भूलभुलैया देखते हैं, अपनी आँखों से रास्ता ट्रेस करते हैं। (तेज़, कुशल, विजुअल)।
- AI: भूलभुलैया का टेक्स्ट में वर्णन करता है, फिर रास्ता खोजने के लिए टेक्स्ट को पढ़ता है। (धीमा, महंगा, टेक्स्ट-आधारित)।
संक्षेप में: AI एक जीनियस नेविगेटर नहीं है; वह एक बहुत ही दृढ़, बहुत ही महंगा टाइपिस्ट है जो अंततः एक-एक अक्षर लिखकर उत्तर ढूंढ लेता है। यदि भूलभुलैया बहुत बड़ी है, तो टाइपिस्ट के पास कागज खत्म हो जाता है और वह हार मान लेता है।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।