A Showdown of ChatGPT vs DeepSeek in Solving Programming Tasks
यह अध्ययन कोडेफोर्स (Codeforces) प्रोग्रामिंग कार्यों पर ChatGPT 03-mini और DeepSeek-R1 की तुलना करता है, जो यह प्रकट करता है कि जबकि दोनों मॉडल आसान समस्याओं पर समान प्रदर्शन करते हैं और कठिन समस्याओं पर संघर्ष करते हैं, ChatGPT मध्यम-कठिनाई वाली चुनौतियों पर DeepSeek-R1 की तुलना में काफी बेहतर प्रदर्शन करता है।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
दो प्रतिभाशाली लेकिन बहुत अलग छात्रों की कल्पना करें जो कोडिंग परीक्षाओं की एक श्रृंखला के लिए बैठते हैं। एक है ChatGPT (विशेष रूप से o3-mini संस्करण), जो एक प्रसिद्ध, अत्यधिक प्रशिक्षित छात्र है जिसने पुस्तकालय की लगभग हर किताब पढ़ ली है। दूसरा है DeepSeek-R1, चीन से आया एक नया, ओपन-सोर्स चुनौती देने वाला मॉडल, जो अपने गहन तार्किक तर्क (logical reasoning) और गणितीय पहेलियों पर ध्यान केंद्रित करने के लिए जाना जाता है।
बर्गन विश्वविद्यालय के शोधकर्ताओं ने उन्हें Codeforces नामक प्रोग्रामर्स के एक "जिम" का उपयोग करके परखने का निर्णय लिया। उन्होंने दोनों छात्रों को 29 समस्याएँ दीं, जो सरल वार्म-अप से लेकर थका देने वाले मैराथन तक थीं, और उनसे इन समस्याओं को हल करने के लिए C++ कोड लिखने को कहा।
यहाँ मुकाबला कैसे हुआ, इसका विवरण कठिनाई के स्तर के अनुसार दिया गया है:
1. वार्म-अप (आसान कार्य)
इन्हें सरल अंकगणित या बुनियादी तर्क वाली पहेलियों के रूप में समझें।
- परिणाम: दोनों छात्रों ने बहुत अच्छा काम किया। वे दो शीर्ष स्तर के एथलीटों की तरह थे जो 100 मीटर की दौड़ दौड़ रहे थे; दोनों ने दौड़ सफलतापूर्वक पूरी की।
- पेंच: हालांकि दोनों ने सही उत्तर दिए, लेकिन DeepSeek कभी-कभी ChatGPT की तुलना में थोड़ा धीमा था और उसने अधिक "ऊर्जा" (मेमोरी) का उपयोग किया, लेकिन दोनों ही फिनिश लाइन को पार कर गए।
2. मध्यम दूरी (मध्यम कार्य)
यहीं से दौड़ दिलचस्प हो गई। इन समस्याओं के लिए थोड़े अधिक सामरिक कौशल और योजना की आवश्यकता थी।
- ChatGPT: यह छात्र यहाँ स्पष्ट विजेता था। इसने इन समस्याओं में से लगभग 55% को सही ढंग से हल किया। वह एक अनुभवी मैराथन धावक की तरह था जो जानता है कि अपनी गति को कैसे नियंत्रित करना है।
- DeepSeek: इस छात्र को काफी संघर्ष करना पड़ा, जिसने मध्यम स्तर की समस्याओं में से केवल लगभग 18% को ही हल किया। ऐसा लग रहा था जैसे वह दौड़ के बीच में ही भ्रमित हो गया हो, अपने ही पैरों से टकराकर गिर गया हो, या नियम भूल गया हो।
- क्यों? पेपर सुझाव देता है कि ChatGPT के पास इस विशिष्ट प्रकार के "प्रतिस्पर्धी प्रोग्रामिंग" डेटा के साथ अधिक अभ्यास रहा होगा, जिससे उसे बढ़त मिली।
3. अल्ट्रा-मैराथन (कठिन कार्य)
ये सबसे कठिन चुनौतियाँ थीं, जिनमें जटिल, बहु-चरणीय तर्क की आवश्यकता थी।
- परिणाम: दोनों ही छात्र एक दीवार से टकरा गए।
- ChatGPT केवल 9 में से 1 कठिन समस्या को हल करने में सफल रहा।
- DeepSeek किसी भी कठिन समस्या को हल करने में विफल रहा (0%)।
- रूपक (Metaphor): कल्पना कीजिए कि आप दोनों छात्रों को बिना किसी ब्लूप्रिंट के शून्य से एक गगनचुंबी इमारत बनाने के लिए कह रहे हैं। दोनों ही फंस गए। ChatGPT ने कुछ मंजिलें बनाने की कोशिश की लेकिन संरचना ढह गई (रनटाइम एरर), जबकि DeepSeek अक्सर नींव भी नहीं रख सका (कंपाइलेशन एरर) या काम पूरा करने से पहले ही उसकी ऊर्जा समाप्त हो गई (मेमोरी लिमिट)।
"ऊर्जा" की खपत (मेमोरी और समय)
शोधकर्ताओं ने यह भी देखा कि प्रत्येक छात्र ने कितने "ईंधन" (कंप्यूटर मेमोरी) और समय का उपयोग किया।
- ChatGPT आमतौर पर आसान और मध्यम कार्यों पर अधिक तेज़ और अपने संसाधनों के मामले में कुशल था।
- DeepSeek ने कभी-कभी भारी मात्रा में मेमोरी का उपयोग किया या सोचने में बहुत अधिक समय लिया, विशेष रूप से कठिन कार्यों पर। एक उदाहरण में, DeepSeek एक समस्या के बारे में सोचने में इतना समय ले रहा था कि वह पूरी तरह से 'टाइम आउट' हो गया।
मुख्य निष्कर्ष
पेपर यह निष्कर्ष निकालता है कि जबकि DeepSeek-R1 एक शक्तिशाली नया दावेदार है जो सरल कार्यों को अच्छी तरह से संभाल सकता है, ChatGPT o3-mini वर्तमान में मध्यम-कठिनाई वाले कोडिंग चुनौतियों के लिए बेहतर "कोच" है। हालाँकि, जब समस्याएँ वास्तव में कठिन हो जाती हैं, तो दोनों को मानवीय सहायता की आवश्यकता होती है। वे अभी तक अकेले सबसे कठिन पहेलियों को हल करने के लिए तैयार नहीं हैं।
अध्ययन से महत्वपूर्ण नोट:
शोधकर्ताओं ने प्रत्येक छात्र को केवल एक बार (एक "सिंगल-शॉट" प्रयास) कोशिश करने के लिए कहा था। उन्होंने उन्हें असफल होने पर फिर से प्रयास करने या संकेत मांगने की अनुमति नहीं दी। पेपर में उल्लेख किया गया है कि यदि मनुष्यों को मार्गदर्शन करने की अनुमति दी जाती या यदि वे DeepSeek के एक अलग, अधिक विशिष्ट संस्करण (जिसे DeepSeek-Coder कहा जाता है) का उपयोग करते, तो परिणाम अलग हो सकते थे। लेकिन इस विशिष्ट परीक्षण के आधार पर, ChatGPT मध्यम स्तर पर आगे रहा, जबकि कठिन स्तर पर दोनों ही संघर्ष करते दिखे।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।