TraversalBench: Challenging Paths to Follow for Vision Language Models
यह शोधपत्र TraversalBench प्रस्तुत करता है, जो विज़न-लैंग्वेज मॉडल्स की जटिल दृश्य पथों (visual paths) का पता लगाने की क्षमता का मूल्यांकन करने के लिए डिज़ाइन किया गया एक नियंत्रित बेंचमार्क है, जो यह प्रकट करता है कि स्व-प्रतिच्छेदन (self-intersections) कठिनाई का प्राथमिक स्रोत हैं और क्रॉसिंग पर पथ निरंतरता को हल करते समय मॉडल्स के प्रदर्शन में भारी गिरावट आती है।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
कल्पना कीजिए कि आपके हाथ में एक बहुत ही उलझे हुए सबवे सिस्टम का नक्शा है। रेखाएं मुड़ती हैं, घूमती हैं, एक-दूसरे के ऊपर से गुजरती हैं, और कभी-कभी खुद के नीचे से भी गुजर जाती हैं। पास में कुछ अन्य नकली रेखाएं भी खींची गई हैं ताकि आपको भ्रमित किया जा सके। आपका काम शुरुआती स्टेशन से अंतिम स्टेशन तक एक विशिष्ट रेखा का पीछा करना है, और आप जिस भी स्टेशन से गुजरते हैं, उन्हें उसी क्रम में लिखना है जैसा कि आप देखते हैं।
एक इंसान के लिए, यह आमतौर पर आसान होता है। आप बस अपनी उंगली शुरुआती बिंदु पर रखते हैं और रेखा का पीछा करते हैं। यदि रेखा किसी दूसरी रेखा को काटती है, तो आप बस अपनी उंगली को सही रेखा पर बनाए रखते हैं।
अब, एक सुपर-स्मार्ट AI से इसी कार्य को करने के लिए कहें। आप उम्मीद कर सकते हैं कि यह सटीक होगा क्योंकि यह नक्शे पढ़ सकता है और जटिल गणित की समस्याओं को हल कर सकता है। लेकिन यह शोध पत्र, TraversalBench, बताता है कि ये AI मॉडल इस सरल कार्य—"रेखा का पीछा करने"—में आश्चर्यजनक रूप से खराब हैं।
यहाँ शोधकर्ताओं द्वारा की गई खोजों का विवरण दिया गया है, जिसे रोजमर्रा के उदाहरणों के माध्यम से समझाया गया है:
1. समस्या: "उलझे हुए धागे" का प्रभाव (The "Tangled Yarn" Effect)
शोधकर्ताओं ने TraversalBench नामक एक परीक्षण बनाया। वास्तविक नक्शों (जैसे स्टेशन के नाम वाले जटिल टेक्स्ट) का उपयोग करने के बजाय, उन्होंने साफ, सरल चित्र बनाए: एक रंगीन रेखा जिसके स्टॉप्स पर आकृतियाँ (जैसे सितारे या वर्ग) बनी हुई हैं।
उन्होंने पाया कि जबकि AI यह पहचानने में माहिर है कि चित्र क्या है (जैसे, "यह एक नक्शा है"), यह किसी पथ का पीछा करने में बहुत बुरा है।
- उदाहरण: AI को एक ऐसे बहुत बुद्धिमान व्यक्ति के रूप में सोचें जिसने गांठें बांधने के बारे में हर किताब पढ़ ली है, लेकिन जब आप उन्हें एक उलझा हुआ धागा देते हैं और उनसे कहते हैं कि बिना फँसे उसका एक सिरा बाहर निकालें, तो वे घबरा जाते हैं। वे सिद्धांत जानते हैं, लेकिन वे उस धागे का भौतिक रूप से पीछा नहीं कर पाते।
2. मुख्य खलनायक: स्व-प्रतिच्छेदन (Self-Intersections - "X" का निशान)
AI के विफल होने का सबसे बड़ा कारण यह है कि रेखा खुद को काटती है।
- उदाहरण: कल्पना कीजिए कि आप एक गलियारे में चल रहे हैं। अचानक, गलियारा एक आकृति-8 (figure-8) की तरह खुद के ऊपर से गुजर जाता है। आप ऊपर वाले लूप पर चल रहे हैं, लेकिन ठीक नीचे एक दूसरा लूप भी है।
- AI के साथ क्या होता है: AI सीधे हिस्सों पर बहुत अच्छा काम करता है। लेकिन जैसे ही वह उस "X" पर पहुँचता है जहाँ रेखा खुद को काटती है, वह भ्रमित हो जाता है। वह अक्सर गलत लूप पर कूद जाता है और गलत रास्ते पर चलता रहता है।
- निष्कर्ष: AI पूरे समय विफल नहीं होता; वह ठीक उस क्रॉसिंग पॉइंट पर विफल होता है। यह एक ऐसे ड्राइवर की तरह है जो 10 मील तक बेहतरीन ड्राइविंग करता है, लेकिन जैसे ही वह एक जटिल चौराहे पर पहुँचता है, वह गलत मोड़ ले लेता है और फिर कभी वापस सही रास्ते पर नहीं लौट पाता।
3. साइलेंट किलर: भटकाने वाली रेखाएं (Distractor Lines)
शोधकर्ताओं ने "कन्फाउंडिंग लाइन्स" (भ्रमित करने वाली रेखाएं) भी जोड़ीं—जो वास्तविक पथ के पास खींची गई नकली रेखाएं हैं और मार्ग का हिस्सा नहीं हैं।
- उदाहरण: कल्पना कीजिए कि आप भीड़ भरे कमरे में अपने दोस्त का पीछा करने की कोशिश कर रहे हैं। यदि कोई दूसरा व्यक्ति पास में चल रहा है, तो यह परेशान करने वाला है लेकिन संभालना आसान है। लेकिन यदि कई लोग समान दिशा में चल रहे हैं, तो आप अपने दोस्त को खोने लगते हैं।
- AI के साथ क्या होता है: क्रॉसिंग पॉइंट पर होने वाले अचानक "क्रैश" के विपरीत, ये अतिरिक्त रेखाएं एक "धीमे रिसाव" (slow leak) की तरह काम करती हैं। वे AI को तुरंत भ्रमित नहीं करतीं, लेकिन वे हर कदम के साथ गलती करने की संभावना बढ़ा देती हैं। एक लंबे पथ पर, यह "शोर" जमा होता जाता है, और AI अंततः रास्ता भटक जाता है।
4. "बहुत अधिक सोचने" का जाल (The "Thinking Too Hard" Trap)
शोधकर्ताओं ने परीक्षण किया कि क्या AI को "सोचने" (जिसे 'रीजनिंग' कहा जाता है) के लिए अधिक समय देने से मदद मिलेगी।
- उदाहरण: कल्पना कीजिए कि आप एक छात्र को गणित का सवाल हल करने के लिए कह रहे हैं। यदि वह केवल अनुमान लगाता है, तो वह गलत हो जाएगा। यदि आप उससे कहते हैं, "इसके बारे में सोचने के लिए 5 मिनट लें," तो आप उम्मीद करेंगे कि वह सही उत्तर देगा।
- निष्कर्ष: आश्चर्यजनक रूप से, AI को सोचने के लिए अधिक समय देने से हमेशा समस्या हल नहीं हुई। कभी-कभी, AI इतना अधिक सोचने लगता था कि वह अपने ही विचारों में उलझ जाता और कोई उत्तर देने से इनकार कर देता। अन्य मामलों में, वह बहुत अधिक सोचता था और फिर भी गलत रास्ता चुन लेता था। यह स्पष्ट है कि इस विशिष्ट दृश्य कार्य के लिए, "सोचना" "देखने" के समान नहीं है। AI को केवल अपने मस्तिष्क में सिमुलेशन चलाने की नहीं, बल्कि छवि पर अपनी नज़र बनाए रखने की आवश्यकता है।
5. यह क्यों महत्वपूर्ण है?
आप पूछ सकते हैं, "इससे किसे फर्क पड़ता है कि एक AI कागज पर एक रेखा का पीछा नहीं कर सकता?"
उत्तर है: सब कुछ।
- वास्तविक दुनिया: यदि एक AI साधारण ड्राइंग पर एक रेखा का पीछा नहीं कर सकता, तो उसे निम्नलिखित कार्यों में संघर्ष करना पड़ सकता है:
- कारखाने में एक विशिष्ट पथ के साथ चलते हुए रोबोटिक हाथ का मार्गदर्शन करना।
- सर्किट बोर्ड को ठीक करने के लिए एक जटिल वायरिंग डायग्राम को पढ़ना।
- एक सेल्फ-ड्राइविंग कार को ऐसे अराजक चौराहे से गुजारना जहाँ सड़कें एक-दूसरे के ऊपर से गुजरती हैं।
- निष्कर्ष: यह पेपर दिखाता है कि वर्तमान AI में एक "ब्लाइंड स्पॉट" (अंध बिंदु) है। यह पैटर्न पहचानने में महान है, लेकिन यह निरंतर ध्यान (sustained attention) बनाए रखने में खराब है। जब चीजें अव्यवस्थित या अस्पष्ट होती हैं, तो यह छवि पर अपनी पकड़ खो देता है।
सारांश
TraversalBench AI के लिए एक "विज़न टेस्ट" की तरह है। यह दिखाता है कि हालांकि ये मॉडल अविश्वसनीय रूप से स्मार्ट हैं, लेकिन वे एक ऐसे व्यक्ति की तरह हैं जिनकी दृष्टि तो एकदम स्पष्ट है, लेकिन जैसे ही उन्हें एक ऐसी रस्सी पर चलने को कहा जाता है जो खुद के ऊपर से गुजरती है, वे चक्कर खाकर अपना संतुलन खो देते हैं। AI को वास्तव में भरोसेमंद बनाने के लिए, हमें इसे यह सिखाना होगा कि कैसे अपनी "उंगली" को रेखा पर टिकाए रखना है, भले ही रास्ता कितना भी उलझा हुआ क्यों न हो।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।