Is Code Better Than Language for Algorithmic Reasoning
यह शोध पत्र यह प्रदर्शित करता है कि टूल-संवर्धित भाषा मॉडलों (tool-augmented language models) के लिए, एल्गोरिद्मिक तर्क में प्राकृतिक भाषा की तुलना में कोड का प्रदर्शन लाभ मुख्य रूप से विश्वसनीय बाहरी निष्पादन (external execution) से उत्पन्न होता है, क्योंकि कोड-सिम्युलेटेड तर्क, प्राकृतिक भाषा आधारित तर्क की तुलना में कोई महत्वपूर्ण लाभ प्रदान नहीं करता है।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
कल्पना कीजिए कि आप एक बहुत ही कठिन गणितीय पहेली को हल करने की कोशिश कर रहे हैं। आपके पास उत्तर पाने के दो मुख्य तरीके हैं:
- "टॉकर" (Talker) विधि: आप एक बुद्धिमान सहायक से साधारण अंग्रेजी में, चरण-दर-चरण, विस्तार से सोचने और फिर आपको उत्तर बताने के लिए कहते हैं।
- "कोडर" (Coder) विधि: आप उसी सहायक से एक कंप्यूटर प्रोग्राम लिखने के लिए कहते हैं जो उस पहेली को हल कर सके, और फिर आप एक कंप्यूटर को वह प्रोग्राम वास्तव में चलाने देते हैं ताकि उत्तर मिल सके।
लंबे समय तक, लोगों ने देखा कि "कोडर" विधि आमतौर पर बहुत बेहतर काम करती थी। लेकिन कोई भी निश्चित नहीं था कि क्यों। क्या यह इसलिए था क्योंकि कोड लिखना सहायक को अधिक स्पष्ट रूप से सोचने के लिए मजबूर करता है? या इसलिए क्योंकि एक कंप्यूटर को कोड चलाने देना सहायक द्वारा अपने दिमाग में गणित करने की तुलना में अधिक विश्वसनीय है?
यह शोध पत्र यह पता लगाने के लिए एक चतुर प्रयोग स्थापित करता है कि वास्तविक नायक कौन है।
तीन-मार्गों वाला प्रयोग (The Three-Route Experiment)
लेखकों ने इसे परखने के लिए एक "तीन-लेन वाला राजमार्ग" बनाया, जिसमें एल्गोरिदम पहेलियों (जैसे सूचियों को क्रमबद्ध करना, पथ खोजना, या जटिल गणित करना) का एक 40-कार्य वाला बेंचमार्क उपयोग किया गया।
- मार्ग 1 (शुद्ध टॉकर - The Pure Talker): सहायक पूरी तरह से अंग्रेजी में समस्या को हल करता है। वह सोचता है, तर्क का एक पैराग्राफ लिखता है, और उत्तर देता है।
- परिणाम: इसने लगभग 17% उत्तर सही दिए।
- मार्ग 2 (नकली कोडर - The Fake Coder): सहायक कोड (जैसे पायथन) तो लिखता है, लेकिन फिर वह उसे दिखावा करते हुए चलाने का नाटक करता है। कंप्यूटर को कोड देने के बजाय, सहायक अपने ही कोड को पढ़ता है और चरणों का अनुकरण (simulate) करता है, और परिणाम को अंग्रेजी में लिखता है।
- परिणाम: इसने लगभग 17% उत्तर सही दिए।
- बड़ा खुलासा: यह मार्ग 1 के लगभग बराबर है। कोड लिखने से सहायक की सोचने की क्षमता में सुधार नहीं हुआ; इसने बस उसके विचारों का स्वरूप बदल दिया।
- मार्ग 3 (असली कोडर - The Real Coder): सहायक मार्ग 2 जैसा ही सटीक कोड लिखता है, लेकिन इस बार, वह कोड को एक वास्तविक कंप्यूटर (एक पायथन रनटाइम) को सौंप देता है ताकि उसे निष्पादित (execute) किया जा सके।
- परिणाम: इसने लगभग 49% उत्तर सही दिए।
जादू के पीछे का "क्यों"
शोध पत्र इन परिणामों को समझाने के लिए कुछ रचनात्मक तरीकों का उपयोग करता है:
1. "अनुवाद" सादृश्य (प्रस्तुतिकरण बनाम निष्पादन - Representation vs. Execution)
सोचिए कि "ट्रेस" (तर्क के चरण) एक रेसिपी (विधि) है।
- मार्ग 1 एक लंबी, अलंकारिक कहानी के रूप में लिखी गई रेसिपी है।
- मार्ग 2 वही रेसिपी है, लेकिन एक सख्त, संरचित सूची के रूप में लिखी गई है।
- मार्ग 3 वह सख्त सूची है, लेकिन एक इंसान शेफ द्वारा इसे पढ़ने और परिणाम का अनुमान लगाने के बजाय, आप इसे एक रोबोट शेफ को सौंप देते हैं जो निर्देशों का पूरी तरह से पालन करता है।
प्रयोग ने दिखाया कि रेसिपी को एक कहानी (अंग्रेजी) से एक सूची (कोड) में बदलने से मानव शेफ अधिक स्मार्ट नहीं हुआ। भारी उछाल तभी आया जब रोबोट शेफ (कंप्यूटर एक्सेक्यूटर) ने कार्यभार संभाला।
2. "न्युसेंस" (Nuisance) सिद्धांत
लेखक तर्क देते हैं कि प्राकृतिक भाषा "शोर" (noise) से भरी होती है। आप एक ही बात को हज़ार अलग-अलग तरीकों से कह सकते हैं ("संख्याओं को जोड़ें," "उनका योग करें," "उन्हें एक साथ रखें")। यह अतिरिक्त विविधता मॉडल को भ्रमित करती है। कोड अधिक सख्त होता है; इसमें एक ही बात कहने के बहुत कम तरीके हैं।
हालाँकि, शोध पत्र यह सिद्ध करता है कि भले ही कोड "स्वच्छ" हो, फिर भी मॉडल अपने दम पर गणित की समस्याओं को हल करने के लिए उस स्वच्छता का उपयोग नहीं कर सकता। कोड जादुई रूप से मॉडल को नए गणित कौशल नहीं देता।
3. "रिकवरी" (Recovery) परीक्षण
लेखकों ने उन मामलों को देखा जहाँ कंप्यूटर ने उत्तर सही दिया, लेकिन मानव सहायक (जो कोड का अनुकरण कर रहा था) गलत हो गया। ऐसा 33% समय हुआ।
इसके विपरीत, उन्होंने उन मामलों को देखा जहाँ कंप्यूटर विफल रहा (शायद कोड टूटा हुआ था), लेकिन मानव सहायक ने सही उत्तर का अनुमान लगा लिया। ऐसा केवल 1.6% समय हुआ।
यह सिद्ध करता है कि कंप्यूटर, मानव सहायक की तुलना में एक बहुत अधिक विश्वसनीय "निष्पादक" (executor) है।
मुख्य निष्कर्ष (The Bottom Line)
शोध पत्र इस निष्कर्ष पर पहुँचता है कि कोड भाषा से बेहतर इसलिए नहीं है क्योंकि यह सोचने का एक बेहतर तरीका है।
कोड का लाभ यह नहीं है कि यह एआई को अधिक स्मार्ट बनने के लिए मजबूर करता है। कोड का लाभ यह है कि कोड एआई को अपना काम एक ऐसी मशीन को सौंपने की अनुमति देता है जो गणितीय गलतियाँ नहीं करती है।
- बाधा (The Bottleneck): समस्या यह नहीं है कि एआई अच्छा कोड नहीं लिख सकता; समस्या यह है कि एआई अपने काम की जांच करने या अपने दिमाग में गणित करने में खराब है।
- समाधान (The Solution): असली शक्ति उपकरण (कोड चलाने वाला कंप्यूटर) से आती है, न कि भाषा (कोड स्वयं) से।
संक्षेप में: यदि आप चाहते हैं कि एक एआई कठिन गणितीय समस्या को हल करे, तो केवल उसे कोड लिखने और उत्तर का अनुमान लगाने के लिए न कहें। उसे कोड लिखने के लिए कहें, और फिर वास्तव में एक कंप्यूटर को उसे चलाने दें। जादू वहीं होता है।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।