The Path Not Taken: Duality in Reasoning about Program Execution
यह शोध पत्र DexBench प्रस्तुत करता है, जो दो पूरक कार्यों के माध्यम से प्रोग्राम निष्पादन (execution) के बारे में तर्क करने की क्षमता का आकलन करके बड़े भाषा मॉडलों (LLMs) की गतिशील कोड समझ (dynamic code understanding) का मूल्यांकन करने के लिए डिज़ाइन किया गया एक बेंचमार्क है: इनपुट से व्यवहार का पूर्वानुमान लगाना और विशिष्ट व्यवहार संबंधी उद्देश्यों को प्राप्त करने के लिए इनपुट उत्परिवर्तन (input mutations) का अनुमान लगाना।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
कल्पना कीजिए कि आप एक रोबोट को कार चलाना सिखा रहे हैं।
पुराना तरीका (वर्तमान बेंचमार्क):
आजकल के अधिकांश परीक्षण रोबोट से पूछते हैं: "अगर मैं एक्सीलेटर दबाऊं, तो क्या होगा?" रोबोट सही जवाब दे सकता है, "कार आगे बढ़ेगी।" लेकिन यह केवल यह साबित करता है कि रोबोट ने उस विशिष्ट क्रिया को याद कर लिया है। यह यह साबित नहीं करता कि रोबोट समझता है कि कार क्यों चलती है, या क्या होगा यदि आप ब्रेक दबाते। रोबोट केवल उन पैटर्न्स का अनुमान लगा रहा हो सकता है जो उसने पहले देखे थे, बिना इंजन की वास्तविक समझ के।
नया विचार (यह शोध पत्र):
इस शोध पत्र के लेखक तर्क देते हैं कि यदि हमें वास्तव में यह परीक्षण करना है कि क्या AI "समझता" है कि कोड कैसे काम करता है, तो हमें इसे एक ही समय में एक ही सिक्के के दो पहलुओं पर परखना होगा। वे इसे डुअल-पाथ रीजनिंग (Dual-Path Reasoning) कहते हैं।
इसे एक 'चूज़-योर-ओन-एडवेंचर' (अपनी पसंद का रोमांच चुनें) किताब की तरह समझें:
फॉरवर्ड पाथ (द "क्या हुआ" टेस्ट):
आप AI को एक कहानी और एक विशिष्ट विकल्प देते हैं (जैसे, "आप बाएं मुड़ते हैं")। AI को भविष्यवाणी करनी होगी कि कहानी में आगे क्या होगा।
कोड के संदर्भ में: "यहाँ एक प्रोग्राम और एक इनपुट है। कौन सी कोड लाइनें चलेंगी?"बैकवर्ड पाथ (द "क्या होगा अगर" टेस्ट):
अब, आप AI को बताते हैं: "मैं चाहता हूँ कि कहानी एक अलग रास्ते पर जाए (जैसे, बाएं मुड़ने के बजाय दाएं मुड़ना)। वह क्या चुनाव होना चाहिए जो मैंने शुरुआत में किया होगा जिससे ऐसा हो सके?"
कोड के संदर्भ में: "यहाँ एक प्रोग्राम है। मैं कोड के एक विशिष्ट हिस्से को चलाना चाहता हूँ जो पहले नहीं चला था। वह कौन सा इनपुट है जिसे मुझे बदलना होगा ताकि ऐसा हो सके?"
बड़ी खोज:
शोधकर्ताओं ने एक नया परीक्षण बनाया जिसे DEXBENCH (AI दिमागों के लिए एक जिम की तरह) कहा जाता है, जिसमें 445 ऐसे "चूज़-योर-ओन-एडवेंचर" पहेलियाँ हैं। उन्होंने 13 अलग-अलग AI मॉडल्स का परीक्षण किया।
उन्होंने यहाँ क्या पाया, सरल उपमाओं का उपयोग करते हुए:
एक में अच्छा होने का मतलब दोनों में अच्छा होना नहीं है:
कुछ AI इस बात में माहिर थे कि एक्सीलेटर दबाने पर क्या होता है (फॉरवर्ड), लेकिन वे यह समझने में बहुत खराब थे कि कार को दाएं कैसे मोड़ना है (बैकवर्ड)। अन्य इसके विपरीत थे।सबक: सिर्फ इसलिए कि एक AI परिणाम की भविष्यवाणी कर सकता है, इसका मतलब यह नहीं है कि वह कारण को समझता है। सच्ची बुद्धिमत्ता के लिए कारण और प्रभाव के बीच के संबंध को दोनों दिशाओं में समझना आवश्यक है।
बड़ा होना हमेशा बेहतर नहीं होता:
आप सोच सकते हैं कि "सबसे स्मार्ट" (सबसे बड़ा) AI जीतेगा। लेकिन कभी-कभी, एक मध्यम आकार का AI जिसे विशेष रूप से "गहरा सोचने" के लिए प्रशिक्षित नहीं किया गया था, वह एक विशाल, अत्यधिक जटिल AI से बेहतर प्रदर्शन करता है।सबक: आकार और फैंसी ट्रेनिंग यह गारंटी नहीं देती कि आप वास्तव में समझते हैं कि एक प्रोग्राम कैसे चलता है। कभी-कभी, सरल मॉडल जो बस स्टेप-बाय-स्टेप तर्क का पालन करते हैं, अधिक विश्वसनीय होते हैं।
"हैलुसिनेशन" (भ्रम) का जाल:
जब AI ने "क्या होगा अगर" वाली पहेली को हल करने की कोशिश की, तो कई मॉडल्स ने ऐसे नियम बना दिए जो अस्तित्व में ही नहीं थे (जैसे कि कहना "यदि आप बाएं मुड़ते हैं, तो कार उड़ जाती है")। वे यह समझने में विफल रहे कि परिणाम को बदलने के लिए, आपको उस विशिष्ट इनपुट को बदलना होगा जो निर्णय को नियंत्रित करता है।
यह क्यों महत्वपूर्ण है:
वास्तविक दुनिया में, सॉफ्टवेयर इंजीनियर केवल ऐसे AI नहीं चाहते जो केवल यह अनुमान लगा सके कि कोड क्या करता है। उन्हें ऐसे AI की आवश्यकता है जो डीबग (debug) कर सके (पता लगा सके कि कुछ क्यों टूटा) और टेस्ट (test) कर सके (उन इनपुट्स को ढूंढ सके जो कोड को तोड़ देते हैं)।
यह शोध पत्र कहता है: "AI का परीक्षण एकल-विकल्प वाले प्रश्नों के साथ करना बंद करें। उन्हें 'क्या हुआ?' और 'इसे कैसे बदलें?' दोनों एक साथ पूछकर परखें।" यदि कोई AI दोनों कर सकता है, तो वह केवल पैटर्न दोहराने वाला तोता नहीं, बल्कि एक सच्चा प्रोग्रामर है।
संक्षेप में:
यह जानने के लिए कि क्या कोई AI वास्तव में एक प्रोग्राम को समझता है, केवल भविष्य की भविष्यवाणी करना न पूछें। भविष्य की भविष्यवाणी करने को कहें, और फिर एक अलग भविष्य बनाने के लिए अतीत को फिर से लिखने को कहें। यदि वह दोनों कर सकता है, तो वह वास्तव में सोच रहा है।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।