EsoLang-Bench: Evaluating Genuine Reasoning in Large Language Models via Esoteric Programming Languages
यह शोधपत्र EsoLang-Bench को प्रस्तुत करता है, जो एक नवीन बेंचमार्क है जो बड़े भाषा मॉडलों (large language models) की वास्तविक तर्क क्षमताओं की सीमाओं को उजागर करने के लिए गूढ़ प्रोग्रामिंग भाषाओं (esoteric programming languages) का उपयोग करता है, जिससे उनके मानक बेंचमार्क पर उच्च स्कोर और दस्तावेज़ीकरण एवं प्रयोग के माध्यम से नई भाषाओं को सीखने के बजाय केवल याद रखने (memorization) पर आधारित कार्यों में शून्य के करीब सटीकता के बीच के नाटकीय अंतर का पता चलता है।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
कल्पना कीजिए कि आप एक मास्टर शेफ हैं जिसने दुनिया की हर रेसिपी याद कर ली है। आप आँखें बंद करके एक परफेक्ट स्टेक, एक जटिल सूफ़ले (soufflé), और एक गोर्मे (gourmet) पिज्जा बना सकते हैं। यदि कोई आपसे एक "मानक" व्यंजन बनाने के लिए कहता है, तो आपको 99% स्कोर मिलता है। आप स्पष्ट रूप से एक जीनियस हैं, है ना?
लेकिन फिर, कोई आपको अदृश्य स्याही (invisible ink) में लिखी गई रेसिपी या ऐसी भाषा देता है जो केवल इशारों और फुसफुसाहटों का उपयोग करती है। अचानक, आप कुछ भी नहीं बना पाते। आप कागज को देखते रहते हैं, भ्रमित होकर। आपको समझ नहीं आता कि शुरुआत कैसे करें, भले ही खाना पकाने की अवधारणा (गर्मी, मिश्रण, समय) बिल्कुल वही है।
यह बिल्कुल वैसा ही है जैसा कि पेपर EsoLang-Bench के बारे में है। यह आर्टिफिशियल इंटेलिजेंस (AI) मॉडल के लिए एक वास्तविकता की जांच (reality check) है।
समस्या: "तोता" बनाम "शेफ"
वर्तमान में, AI मॉडल को कोडिंग टेस्ट पर अविश्वसनीय रूप से उच्च स्कोर मिल रहे हैं। लेकिन लेखक तर्क देते हैं कि ये मॉडल वास्तव में इंसानों की तरह "सोच" या "तर्क" नहीं कर रहे हैं। इसके बजाय, वे सुपर-पैरट (super-parrots) की तरह काम कर रहे हैं।
- पुराना तरीका: AI मॉडल्स ने इंटरनेट पर लिखे गए पायथन (Python) या जावास्क्रिप्ट (JavaScript) के लगभग हर कोड को पढ़ लिया है। जब वे टेस्ट प्रश्न देखते हैं, तो वे उसे शून्य से हल नहीं कर रहे होते; वे बस अपने प्रशिक्षण के दौरान याद की गई किसी समान रेसिपी को याद कर रहे होते (recalling) हैं। यह गणित के टेस्ट में नकल करने जैसा है क्योंकि आपने अभ्यास समस्याओं के उत्तर रट लिए हैं।
- जोखिम: यदि AI केवल पैटर्न याद कर रहा है, तो वह तब विफल हो सकता है जब वह किसी ऐसी समस्या का सामना करता है जिसे उसने पहले नहीं देखा है। यदि हम सुरक्षा या चिकित्सा जैसे महत्वपूर्ण कार्यों के लिए AI पर भरोसा करते हैं, तो यह खतरनाक है।
समाधान: "एसोटेरिक" (Esoteric) टेस्ट
यह देखने के लिए कि क्या एक AI वास्तव में सोच सकता है, लेखकों ने EsoLang-Bench नामक एक नया टेस्ट बनाया।
उन्होंने AI को एसोटेरिक प्रोग्रामिंग भाषाओं (Esoteric Programming Languages) पर टेस्ट करने का निर्णय लिया। ये अजीब, मजाक जैसी भाषाएं हैं जिनका वास्तविक दुनिया में कोई उपयोग नहीं करता है। इन्हें ऐसे समझें:
- Brainfuck: एक भाषा जिसमें केवल 8 कमांड हैं, जहाँ आप मेमोरी की एक टेप पर पॉइंटर को घुमाते हैं।
- Whitespace: एक भाषा जहाँ कोड अदृश्य होता है; केवल स्पेस, टैब और न्यूलाइन (newlines) मायने रखते हैं।
- Shakespeare: एक भाषा जहाँ आप एक नाटक के रूप में कोड लिखते हैं, और वेरिएबल्स रोमियो या जूलियट जैसे पात्र होते हैं।
ये भाषाएं क्यों?
- चीटिंग का कोई रास्ता नहीं: इंटरनेट पर इन भाषाओं का लगभग कोई डेटा नहीं है। AI इनके उत्तर याद नहीं कर सकता क्योंकि इसने इन्हें पहले कभी नहीं देखा।
- समान तर्क, अलग रूप: "Shakespeare" भाषा में किसी समस्या को हल करने के लिए, आपको अभी भी लूप्स (loops), गणित और तर्क को समझना होगा। यह वही "खाना पकाने" वाला तर्क है, बस एक अलग "भाषा" है।
- "आर्थिक" कारण: कोई भी कंपनी इन भाषाओं पर AI को प्रशिक्षित करने के लिए पैसा बर्बाद नहीं करेगी क्योंकि ये वास्तविक दुनिया में बेकार हैं। इसलिए, यदि AI इन्हें सही करता है, तो यह साबित करता है कि वह मौके पर सीख रहा है, न कि पुराने डेटा को याद कर रहा है।
प्रयोग: बड़ी विफलता
शोधकर्ताओं ने दुनिया के पांच सबसे स्मार्ट AI मॉडल्स (जैसे GPT-5.2, Gemini, आदि) को लिया और उन्हें इन अजीब भाषाओं में 80 कोडिंग समस्याओं को हल करने के लिए कहा। उन्होंने AI की मदद के लिए अलग-अलग तरीके आजमाए, जैसे:
- उदाहरण देना: "यहाँ बताया गया है कि आपने पहले एक समान समस्या कैसे हल की थी।"
- उन्हें सोचने देना: "इसे हल करने की कोशिश करें, अपना काम जांचें, और अपनी गलतियों को सुधारें।"
- एजेंट्स का उपयोग करना: "एक AI टीम को मिलकर काम करने दें।"
परिणाम क्या रहा?
परिणाम चौंकाने वाले थे।
- मानक टेस्ट (Python) पर, इन मॉडल्स ने 85–95% स्कोर किया।
- इन अजीब "Esoteric" टेस्ट पर, उन्होंने 0–11% स्कोर किया।
- सबसे कठिन समस्याओं के लिए, स्कोर बिल्कुल 0% था।
भले ही AI को "ज़ोर से सोचने" या अपने काम की जांच करने की अनुमति दी गई थी, वह इसे नहीं कर सका। यह एक तोते को ऐसी भाषा में शब्दकोश देने जैसा था जिसे उसने पहले कभी नहीं सुना; यदि आप व्याकरण नहीं समझते हैं, तो शब्दों को खोजने से कोई मदद नहीं मिलती।
मुख्य निष्कर्ष: "गेमिंग" बनाम "लर्निंग"
पेपर एक बेहतरीन उपमा का उपयोग करता है: गुडहार्ट का नियम (Goodhart's Law)। यह कहता है, "जब कोई माप एक लक्ष्य बन जाता है, तो वह एक अच्छा माप नहीं रह जाता।"
- वर्तमान बेंचमार्क: क्योंकि सभी लोग टेस्ट प्रश्नों को जानते हैं, AI कंपनियाँ सिस्टम को "गेम" (धोखा देना) करती हैं। वे अपने मॉडल्स को विशेष रूप से इन टेस्ट को पास करने के लिए प्रशिक्षित करती हैं। यह एक छात्र द्वारा केवल अभ्यास परीक्षा (practice exam) को पढ़ने जैसा है।
- EsoLang-Bench: यह एक ऐसा टेस्ट है जिसे AI ने कभी नहीं देखा। यह उसे खेल खेलते समय खेल के नियमों को सीखने के लिए मजबूर करता है।
यह क्यों मायने रखता है
यह केवल कोडिंग के बारे में नहीं है। यह विश्वास (trust) के बारे में है।
- यदि AI केवल एक तोता है, तो जब आप उससे कुछ नया पूछेंगे, तो वह आपको एक आत्मविश्वासपूर्ण लेकिन गलत उत्तर दे सकता है।
- यदि एक AI शून्य से एक नई भाषा सीख सकता है (जैसा कि एक इंसान मैनुअल पढ़कर और चीजें आजमाकर करता है), तो वह वास्तव में बुद्धिमान है।
निष्कर्ष:
अभी, हमारे AI मॉडल्स याद करने में अद्भुत लेकिन वास्तविक तर्क करने में बेहद खराब हैं। वे उन अभिनेताओं की तरह हैं जिन्होंने एक स्क्रिप्ट को पूरी तरह से रट लिया है लेकिन जैसे ही निर्देशक लाइन्स बदल देता है, वे जम जाते हैं।
EsoLang-Bench एक नया दर्पण है जो हमें सच्चाई दिखाता है: हमें AI की इस बात के लिए प्रशंसा करना बंद करना होगा कि वह अतीत को कितनी अच्छी तरह याद रखता है, और इस बात के लिए परीक्षण करना शुरू करना होगा कि वह भविष्य को कितनी अच्छी तरह सीख सकता है।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।