PBEBench: A Multi-Step Programming by Examples Reasoning Benchmark inspired by Historical Linguistics
यह शोध पत्र PBEBench प्रस्तुत करता है, जो ऐतिहासिक भाषाविज्ञान से प्रेरित एक नवीन बेंचमार्क है जो लार्ज लैंग्वेज मॉडल्स की आगमनात्मक तर्क (inductive reasoning) क्षमताओं का मूल्यांकन करने के लिए उन्हें इनपुट को आउटपुट में बदलने हेतु स्ट्रिंग रीराइट प्रोग्रामों के अनुक्रम उत्पन्न करने की आवश्यकता के माध्यम से परीक्षण करता है, जिससे यह प्रकट होता है कि उन्नत मॉडल भी जटिल, बहु-चरणीय तर्क कार्यों के साथ काफी संघर्ष करते हैं।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
कल्पना कीजिए कि आप एक रहस्य सुलझाने की कोशिश कर रहे हैं जहाँ वस्तुओं के एक समूह को गुप्त परिवर्तनों की एक श्रृंखला ने नए वस्तुओं के समूह में बदल दिया है। इस रहस्य को सुलझाने के लिए, आपको केवल यह जानने की आवश्यकता नहीं है कि क्या बदला; बल्कि आपको यह भी पता लगाना होगा कि परिवर्तन किस सटीक क्रम में हुए थे।
यह शोध पत्र PBEBench पेश करता है, जो एक नया तरीका है यह परीक्षण करने का कि क्या आर्टिफिशियल इंटेलिजेंस (AI) वास्तव में "सोच" रहा है या वह केवल पहले देखे गए पैटर्न के आधार पर अनुमान लगा रहा है।
मुख्य अवधारणा: "रेसिपी" का रहस्य
AI को एक शेफ के रूप में समझें जिसे दो प्लेट भोजन दिए जा रहे हैं: एक "पहले" वाली प्लेट (कच्ची सामग्री) और एक "बाद" वाली प्लेट (एक तैयार केक)। AI को बताया जाता है कि केक को विशिष्ट चरणों के क्रम का उपयोग करके बनाया गया था—जैसे कि "सेब को काटें," फिर "चीनी डालें," फिर "बेक करें।"
हालाँकि, AI को निर्देशों का एक "बिखरा हुआ" संस्करण दिया जाता है। इसे कहा जा सकता है: "यहाँ चरण दिए गए हैं: बेक करें, काटें, चीनी डालें। अब, मुझे कच्चे माल से केक तक पहुँचने के लिए सही क्रम बताएं।"
यदि AI कहता है, "बेक करें, फिर काटें," तो वह बुरी तरह विफल हो जाता है—आप बेक किए गए और ठंडे किए गए केक को काट नहीं सकते! क्रम ही सब कुछ है।
प्रेरणा: ऐतिहासिक भाषाविज्ञान (Historical Linguistics)
शोधकर्ताओं को यह विचार ऐतिहासिक भाषाविज्ञान (इस अध्ययन कि भाषाएँ हज़ारों वर्षों में कैसे बदलती हैं) से मिला।
भाषाएँ "ध्वनि नियमों" (sound laws) के माध्यम से विकसित होती हैं। उदाहरण के लिए, एक शब्द का स्वर बदल सकता है, और फिर अंत में एक अक्षर गायब हो सकता है। यदि अक्षर पहले गायब हो जाता है, तो स्वर शायद कभी नहीं बदलेगा। भाषाविद् इन अंतःक्रियाओं को "फीडिंग" (Feeding) (एक परिवर्तन अगले के लिए आदर्श स्थिति बनाता है) या "ब्लीडिंग" (Bleeding) (एक परिवर्तन अगले के अवसर को नष्ट कर देता है) कहते हैं।
PBEBench इन जटिल भाषाई नियमों को एक "स्ट्रिंग-रीराइटिंग" खेल (जैसे कि स्क्रैबल का डिजिटल संस्करण जहाँ अक्षर अन्य अक्षरों में बदल जाते हैं) में बदल देता है ताकि यह देखा जा सके कि क्या AI इन नाजुक, चरण-दर-चरण तार्किक निर्भरताओं को संभाल सकता है।
उन्होंने क्या पाया? ("मस्तिष्क" परीक्षण)
शोधकर्ताओं ने दुनिया के कई सबसे शक्तिशाली AI (जैसे GPT-5 और Claude) का परीक्षण किया। यहाँ उनकी खोजें दी गई हैं:
- "सोचने" का अंतर: जो AI अधिक गहराई से "सोचने" के लिए डिज़ाइन किए गए हैं (एक प्रक्रिया जिसका उपयोग किया जाता है जिसे "चेन-ऑफ-थॉट" कहा जाता है), वे मानक AI की तुलना में इस कार्य में बहुत बेहतर हैं। यह उस छात्र के बीच का अंतर है जो जल्दी से उत्तर लिख देता है और उस छात्र के बीच का अंतर है जो रफ कार्य के लिए स्क्रैचपैड पर अपना सारा काम दिखाता है।
- जटिलता की दीवार: यहाँ तक कि सबसे स्मार्ट AI (जैसे GPT-5) भी अंततः एक दीवार से टकरा जाते हैं। जैसे-जैसे "रेसिपी" लंबी होती जाती है (अधिक चरण) और नियम अधिक उलझते जाते हैं (अधिक "फीडिंग" और "ब्लीडिंग" अंतःक्रियाएं), AI का प्रदर्शन गिर जाता है। यह एक इंसान को 50-चरणीय निर्देश पुस्तिका याद रखने के लिए कहने जैसा है—अंततः, सबसे अच्छे दिमाग भी गलतियाँ करने लगते हैं।
- "ओवरथिंकिंग" का जाल: कुछ मॉडल वास्तव में खराब प्रदर्शन करते हैं जब वे बहुत अधिक सोचने की कोशिश करते हैं। वे अपने ही तर्क में खो जाते हैं, ऐसी "रेसिपी" बनाते हैं जो सरल कार्य के लिए बहुत अधिक जटिल होती है।
यह क्यों मायने रखता है?
अधिकांश AI बेंचमार्क "ज्ञान" का परीक्षण करते हैं—जैसे AI से पूछना, "अमेरिका का तीसरा राष्ट्रपति कौन था?" लेकिन PBEBench को इससे कोई फर्क नहीं पड़ता। यह शुद्ध तर्क (pure reasoning) का परीक्षण करता है।
एक ऐसा बेंचमार्क बनाकर जो "ज्ञान-मुक्त" (knowledge-free) है, शोधकर्ताओं ने AI के तर्क की "कच्ची शक्ति" (raw horsepower) को मापने का एक तरीका बनाया है। यह हमें यह समझने में मदद करता है कि क्या हम ऐसी मशीनें बना रहे हैं जो वास्तव में दुनिया की संरचना को समझती हैं, या केवल बहुत फैंसी तोते जो शब्दकोश को याद करने में माहिर हैं।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।