GEB-Bench: Abstract Structures Told in Many Voices

द ग्रेट शेप-शिफ्टर टेस्ट (आकार बदलने वाला परीक्षण)

कल्पना कीजिए कि आप समुद्र में फैलते हुए एक नदी के डेल्टा को देख रहे हैं। अब, कल्पना कीजिए कि आप आकाश में चमकती हुई बिजली की एक टेढ़ी-मेढ़ी लकीर को देख रहे हैं। एक इंसान के लिए, ये दोनों बिल्कुल अलग दिखते हैं: एक पानी और रेत है, दूसरा आग और हवा। लेकिन यदि आप अपनी आँखें सिकोड़कर उन शाखाओं के आकार को देखें, तो आपको एहसास हो सकता है कि वे एक ही गुप्त ब्लूप्रिंट साझा करती हैं। वे दोनों विभाजन और प्रसार के एक पैटर्न का पालन करती हैं जिसे गणितज्ञ "फ्रैक्टल" या एक विशिष्ट प्रकार की शाखा संरचना कहते हैं। इस अदृश्य कंकाल को देखने की क्षमता, जो बिखरी हुई सतह के नीचे छिपी होती है, जिसे हम अमूर्त तर्क (abstract reasoning) कहते हैं। यह वह सुपरपावर है जो हमें यह समझने में मदद करती है कि एक राजा की कहानी और एक कंप्यूटर प्रोग्राम की कहानी दोनों "शक्ति" के बारे में हो सकती हैं, भले ही उनके शब्द पूरी तरह से अलग हों।

लंबे समय से, वैज्ञानिक यह जानने के लिए उत्सुक रहे हैं कि क्या आर्टिफिशियल इंटेलिजेंस (AI) के पास यह सुपरपावर है। हमने ऐसे मॉडल बनाए हैं जो एक फोटो में बिल्ली को पहचान सकते हैं या चंद्रमा पर कविता लिख सकते हैं, लेकिन क्या वे वास्तव में उन गहरे, छिपे हुए ढांचों को देख सकते हैं जो एक नदी, एक कहानी, एक गणितीय समीकरण और एक कंप्यूटर कोड को आपस में जोड़ते हैं? यही बड़ा सवाल है। यदि AI ऐसा नहीं कर सकता, तो वह केवल एक बहुत ही शानदार नकलची (parrot) है जो बिना यह समझे कि उसके पीछे का "क्यों" या "कैसे" क्या है, केवल पैटर्न की नकल करता है। यह एक ऐसे रोबोट की तरह है जो केक बनाने की रेसिपी तो सुना सकता है लेकिन उसे यह नहीं पता कि "बेकिंग" का असल मतलब क्या है।

"मेनी वॉयसेस" (कई आवाज़ों) की चुनौती

यहाँ आता है GEB-BENCH, एक नया, पेचीदा टेस्ट जिसे यह देखने के लिए बनाया गया है कि क्या AI मॉडल इन छिपे हुए आकारों को पहचान सकते हैं। रचनाकारों ने इसका नाम एक प्रसिद्ध पुस्तक गॉडेल, एशर, बाक (Gödel, Escher, Bach) के नाम पर रखा है, जो इस बारे में है कि कैसे एक ही अजीब, घूमते हुए विचार गणित, कला और संगीत में दिखाई देते हैं। यह टेस्ट एक सरल लेकिन चालाकी भरे विचार पर आधारित है: एक ही अमूर्त आकार (जैसे एक लूप, एक सर्पिल, या एक दर्पण छवि) को लें और उसी आकार के बारे में चार पूरी तरह से अलग "आवाजों" में एक कहानी सुनाएं।

इसे "टेलीफोन" के खेल की तरह समझें, लेकिन यहाँ आप संदेश फुसफुसाने के बजाय, एक आकार का अनुवाद कर रहे हैं।

1. द सीन वॉयस (दृश्य की आवाज़): किसी प्राकृतिक चीज़ की तस्वीर, जैसे कि एक नॉटिलस शेल (नौटिलस शेल) या नदी का डेल्टा, जहाँ आकार रचना में छिपा होता है।
2. द स्टोरी वॉयस (कहानी की आवाज़): एक छोटी लोक कथा जहाँ आकार इस बात में छिपा होता है कि कहानी को कैसे बताया गया है। उदाहरण के लिए, कहानी एक "क्रैब कैनन" (crab canon) हो सकती है, जहाँ कहानी का दूसरा हिस्सा पहले हिस्से का उल्टा (शब्द दर शब्द) होता है।
3. द मैथ वॉयस (गणित की आवाज़): एक साफ, सटीक गणितीय प्रमेय जो प्रतीकों का उपयोग करके उस आकार का वर्णन करता है।
4. द स्केलेटन वॉयस (कंकाल की आवाज़): एक बुनियादी रेखा चित्र (line drawing), जैसे कि एक वायरफ्रेम, जो बिना किसी तामझाम के आकार को दिखाता है।

चुनौती यह है कि टेस्ट बनाने वालों ने सारा "फालतू विवरण" हटा दिया है। उन्होंने सुनिश्चित किया कि नदी के डेल्टा और बिजली की लकीर के रंग या बनावट समान न हों। उन्होंने सुनिश्चित किया कि कहानियाँ एक ही शब्दों का उपयोग न करें। केवल एक ही चीज़ मायने रखती है: अदृश्य संरचना। AI को एक नदी की तस्वीर देखकर यह कहना होगा, "आह, यह उसी आकार का है जैसा कि वह गणितीय प्रमेय है!" या "यह कहानी उसी संरचनात्मक मजाक को बता रही है जैसा कि वह रेखा चित्र।"

निष्कर्ष: अनुवाद का "टैक्स"

शोधकर्ताओं ने 37 अलग-अलग AI मॉडलों का परीक्षण किया, छोटे ओपन-सोर्स मॉडल से लेकर बड़ी टेक कंपनियों के विशाल, सुपर-स्मार्ट "फ्रंटियर" मॉडलों तक। उन्होंने कुछ दिलचस्प और थोड़ा निराशाजनक पाया: AI एक आवाज़ में आकार को पहचानने में अच्छा है, लेकिन दूसरी आवाज़ में उसे बदलने (translate करने) में बहुत बुरा है।

कल्पना कीजिए कि आप अपने एक दोस्त को उसकी पसंदीदा लाल जैकेट ( "मैथ वॉयस") पहने हुए पहचानने में बहुत अच्छे हैं। लेकिन अगर वही दोस्त जोकर की पोशाक ("स्टोरी वॉयस") या छलावरण (camouflage) सूट ("सीन वॉयस") पहनकर आए, तो शायद आप उसे पहचान ही न पाएं। AI मॉडल अक्सर आकार को गणितीय समीकरण या सरल रेखा चित्र के रूप में प्रस्तुत किए जाने पर पहचान लेते थे। लेकिन जैसे ही उन्हें उस आकार को एक प्राकृतिक दृश्य या लोक कथा में बदलना पड़ा, उनका प्रदर्शन तेजी से गिर गया।

पेपर इसे "मैपिंग टैक्स" (mapping tax) कहता है। हर मॉडल, चाहे वह कितना भी स्मार्ट क्यों न हो, यह टैक्स चुकाता है। सबसे उन्नत मॉडल भी, जिन्हें आमतौर पर AI का "फ्रंटियर" माना जाता है, एक तस्वीर और एक कहानी के बीच संबंध जोड़ने में संघर्ष करते हैं। अध्ययन में पाया गया कि जहाँ ये मॉडल 'मैथ वॉयस' में आकार को लगभग 86% बार पहचान सकते थे, वहीं उसी आकार को 'स्टोरी वॉयस' से मिलाने की उनकी क्षमता गिरकर लगभग 44% रह गई। यह एक बहुत बड़ा अंतर है।

"फॉर्मल ज्योमेट्री" का जाल

यहाँ सबसे रोमांचक हिस्सा है: AI केवल तुक्का नहीं लगा रहा था। जब वे गलत होते थे, तो वे विशिष्ट गलतियाँ करते थे जो एक तार्किक पैटर्न का पालन करती थीं। पेपर इसे "फॉर्मल ज्योमेट्री" (formal geometry) कहता है।

कल्पना कीजिए कि आप एक "लूप" (एक वृत्त) और एक "स्ट्रेंज लूप" (एक वृत्त जो खुद पर उलझकर वापस आता है) के बीच अंतर करने की कोशिश कर रहे हैं। AI मॉडल अक्सर इन दोनों के बीच भ्रमित हो जाते थे। वे इसलिए भ्रमित नहीं हुए क्योंकि तस्वीरें समान दिख रही थीं; वे इसलिए भ्रमित हुए क्योंकि उन दोनों आकारों को परिभाषित करने वाले गणितीय नियम एक-दूसरे के पड़ोसी हैं। यह वैसा ही है जैसे आप ड्राइविंग सीख रहे हों और आप "स्टॉप साइन" और "यील्ड साइन" के बीच भ्रमित हो रहे हों क्योंकि वे दोनों लाल अष्टकोणीय (octagons) हैं, भले ही उनके नियम अलग हों।

अध्ययन ने दिखाया कि AI की गलतियाँ मानवीय दृष्टि के आधार पर नहीं, बल्कि इन गणितीय नियमों के आधार पर बहुत अधिक अनुमानित थीं। यदि आप AI को एक ऐसी तस्वीर दिखाते जो "स्ट्रेंज लूप" जैसी दिखती थी, तो वह अक्सर उसे "लूप" कह देता था क्योंकि गणित की दुनिया में वे दोनों अवधारणाएं एक-दूसरे के बहुत करीब हैं। यह सुझाव देता है कि AI केवल छवि को "देख" नहीं रहा है; बल्कि यह उसे गणितीय अवधारणाओं के पुस्तकालय से मिलाने की कोशिश कर रहा है, लेकिन वह बारीक विवरणों में फंस जाता है।

"सतह" की समस्या

शोधकर्ताओं ने यह भी पाया कि वास्तविक दुनिया का "शोर" (noise) चीजों को कठिन बना देता है। उन्होंने मॉडलों का परीक्षण साधारण रेखा चित्र (बहुत साफ) से लेकर अव्यवस्थित, वास्तविक फोटोग्राफ (बहुत बिखरा हुआ) तक की छवियों के साथ किया। जैसे-जैसे छवियां अधिक वास्तविक और "शोरयुक्त" होती गईं, AI का प्रदर्शन खराब होता गया।

यह एक शांत कमरे बनाम एक शोर भरे, भीड़भाड़ वाले कॉन्सर्ट में गाना सुनने जैसा है। AI शांत कमरे में धुन (संरचना) को सुन सकता है, लेकिन भीड़ का शोर (फोटो के सतही विवरण) उसे दबा देता है। अध्ययन में पाया गया कि बड़े, अधिक शक्तिशाली मॉडल होने से AI इस शोर के प्रति प्रतिरोधी नहीं हुआ; इसने केवल इसे संभालने के लिए थोड़ी अधिक "हेडरूम" दी। इसने समस्या को हल नहीं किया; इसने केवल गिरावट को कुछ समय के लिए टाल दिया।

निचोड़ (The Bottom Line)

इस पेपर का सबसे महत्वपूर्ण निष्कर्ष यह है कि एक संरचना को पहचानना और उसे विभिन्न दुनियाओं में अनुवादित करना दो अलग-अलग कौशल हैं। आज के AI मॉडल संरचनाओं को स्पष्ट रूप से प्रस्तुत किए जाने पर (जैसे गणित या सरल रेखा चित्रों में) पहचानने में बहुत अच्छे होते जा रहे हैं। लेकिन वे अभी भी उस समझ को प्राकृतिक दृश्यों और कहानियों जैसी जटिल और विविध दुनिया में लागू करने के लिए संघर्ष कर रहे हैं।

पेपर यह नहीं कहता कि AI "टूटा हुआ" है या यह कभी नहीं सीख पाएगा। यह केवल यह कहता है कि अभी, एक विशिष्ट, मापने योग्य अंतर है। मॉडल गणित की किताब में आकार को देख सकते हैं, लेकिन वे अभी तक नदी के डेल्टा या लोक कथा में उसी आकार को नहीं देख सकते। और जब तक वे इस अंतर को पाट नहीं लेते, तब तक वे अमूर्त तर्क के वास्तविक "अहा!" (aha!) क्षण को प्राप्त नहीं कर पाएंगे—यानी यह देखने की क्षमता कि नदी, कहानी और गणित सभी एक ही गीत गा रहे हैं, बस उनकी आवाजें अलग हैं।