React-ing to Grace Hopper 200: Five Open-Weights Coding Models, One React Native App, One GH200, One Weekend
यह शोध पत्र NVIDIA GH200 हार्डवेयर का उपयोग करके एक जटिल React Native एप्लिकेशन कार्य पर पांच अत्याधुनिक ओपन-वेट्स कोडिंग मॉडल्स का मूल्यांकन करता है, जो यह प्रकट करता है कि SWE-Bench रैंकिंग वास्तविक दुनिया के प्रदर्शन की भविष्यवाणी करने में विफल रहती है, तापमान-प्रेरित हैंग (temperature-induced hangs) और रीजनिंग ट्रेस लीक्स (reasoning trace leaks) जैसी महत्वपूर्ण परिनियोजन त्रुटियों की पहचान करती है, और यह प्रदर्शित करती है कि छोटे, कुशल मॉडल हार्डवेयर की लागत के एक अंश पर बड़े समकक्षों की क्षमता के बराबर हो सकते हैं।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
कल्पना कीजिए कि आप एक शेफ हैं जो एक वीकेंड कुकिंग कॉम्पिटिशन के लिए एक परफेक्ट कंगारू-गिनने वाला ऐप (kangaroo-counting app) बनाने की कोशिश कर रहे हैं। आपके पास चुनने के लिए पांच अलग-अलग, उच्च श्रेणी की "रेसिपी बुक्स" (AI मॉडल्स) हैं। ये किताबें इसलिए प्रसिद्ध हैं क्योंकि इन्होंने SWE-Bench नामक एक मानकीकृत टेस्ट में अविश्वसनीय रूप से उच्च स्कोर किया है (इसे आप कोडिंग कौशल के लिए मिशलिन-स्टार रेटिंग मान सकते हैं)।
आपके पास एक सुपर-फास्ट, विशाल किचन ओवन (एक NVIDIA GH200 कंप्यूटर) भी है जो कुछ भी तुरंत पका सकता है।
लक्ष्य यह देखना है कि कौन सी रेसिपी बुक वास्तव में एक काम करने वाला ऐप बनाती है जिसे आप खोल सकें, लॉग इन कर सकें, कंगारू गिन सकें और बिना किसी सुधार के इसे एक वेबसाइट पर चला सकें।
यहाँ एक ट्विस्ट है: जिन किताबों के पास सबसे अधिक मिशलिन स्टार (SWE-Bench स्कोर) थे, वे प्रतियोगिता नहीं जीत पाईं। वास्तव में, "अंडरडॉग" (कम चर्चित) किताब जीत गई।
यहाँ हुआ क्या, इसका सरल विवरण दिया गया है:
1. अप्रत्याशित विजेता: "छोटी" किताब
विजेता Kimi-K2.5 था, विशेष रूप से इसका एक संस्करण जिसे ओवन में फिट होने के लिए "कंप्रेस" (क्वांटाइज) किया गया था।
- उपमा: कल्पना कीजिए कि एक विशाल विश्वकोश (encyclopedia) को सिकोड़कर एक पॉकेट गाइड बना दिया गया है। भले ही यह छोटा है, लेकिन इसने आपके निर्देशों को पूरी तरह से समझा।
- परिणाम: इसने एक ऐसा ऐप बनाया जो तुरंत काम करने लगा। आप लॉग इन कर सकते थे, कंगारू गिन सकते थे, इतिहास सुरक्षित कर सकते थे, और यहाँ तक कि इसे वेब ब्राउज़र पर भी चला सकते थे। यह एकमात्र मॉडल था जिसने नियमों का सटीक पालन किया।
2. "स्टार" जो विफल रहा: ओवर-इंजीनियर
आधिकारिक रैंकिंग में रनर-अप GLM-5.1 था। इसके पास सबसे अधिक टेस्ट स्कोर थे।
- उपमा: यह शेफ इतना जुनूनी था कि जब आपने उससे एक साधारण सैंडविच मांगा, तो उसने सैंडविच बनाने के लिए एक पूरा औद्योगिक कारखाना खड़ा कर दिया।
- परिणाम: उन्होंने एक सुंदर ऐप बनाया, लेकिन इसे चलाने के लिए आपको एक विशाल, जटिल क्लाउड डेटाबेस (Firebase) सेटअप करने की आवश्यकता थी। चूंकि आपने वह डेटाबेस सेटअप नहीं किया था, इसलिए ऐप शुरू ही नहीं हो सका। यह तकनीकी रूप से "सही" था लेकिन व्यावहारिक रूप से बेकार था।
3. "स्टार" जो अनुवाद में खो गया
एक अन्य शीर्ष दावेदार, DeepSeek-V3.2 में एक अजीब गड़बड़ी हुई।
- उपमा: इस शेफ ने खुद से बातें करना शुरू किया ("चलिए ब्रेड से शुरुआत करते हैं...") और गलती से उन विचारों को ब्रेड के बैग के लेबल के अंदर ही लिख दिया।
- परिणाम: कंप्यूटर भ्रमित हो गया। इसने मुख्य फ़ाइल (App.js) को "Let's start with App.js: [thinking tag]" नामक फोल्डर में सेव करने की कोशिश की। क्योंकि फ़ाइल गलत जगह पर थी, इसलिए पूरा ऐप ढह गया। मॉडल स्मार्ट था, लेकिन वह अपने "सोचने" (thinking) और "करने" (doing) के बीच अंतर नहीं कर पाया।
4. साइलेंट किलर: "वेब" की समस्या
लगभग हर शेफ ने एक ही गलती की। उन्होंने पॉप-अप चेतावनियों (जैसे "क्या आप वाकई डिलीट करना चाहते हैं?") को दिखाने के लिए एक टूल का उपयोग किया, जो फोन पर तो बहुत अच्छा काम करता है लेकिन वेबसाइट पर कुछ भी नहीं करता।
- उपमा: यह एक ऐसे रेस्टोरेंट में "खाना तैयार है" का संकेत देने के लिए स्मोक अलार्म (धुआं पहचानने वाला यंत्र) का उपयोग करने जैसा है जहाँ केवल बिजली की लाइटें लगी हैं। अलार्म बजता तो है, लेकिन कोई उसे सुन नहीं पाता।
- परिणाम: ऐप्स दिखने में एकदम सही थे, लेकिन जब आप उन्हें वेब ब्राउज़र पर इस्तेमाल करने की कोशिश करते, तो बटन कुछ भी नहीं करते थे। मॉडल्स को फोन ऐप्स और वेबसाइट ऐप्स के बीच के अंतर के लिए पर्याप्त रूप से प्रशिक्षित नहीं किया गया था।
बड़ा सबक: बेंचमार्क झूठ बोलते हैं
पेपर का मुख्य बिंदु यह है कि टेस्ट स्कोर पूरी कहानी नहीं बताते।
- द टेस्ट (SWE-Bench): यह मापता है कि एक मॉडल कोड के छोटे, अलग हिस्सों को कितनी अच्छी तरह ठीक कर सकता है। यह एक शेफ को प्याज काटने के कौशल का परीक्षण करने जैसा है।
- द रियल वर्ल्ड: इसके लिए एक पूरा भोजन बनाना, ग्राहक की विशिष्ट आवश्यकताओं को समझना और यह सुनिश्चित करना आवश्यक है कि रसोई के सभी उपकरण वास्तव में एक साथ काम करें।
"अंडरडॉग" मॉडल (Kimi) इसलिए जीता क्योंकि वह पूरे प्रॉम्प्ट को बेहतर ढंग से सुनने और संदर्भ (context) को समझने में बेहतर था, न कि इसलिए कि उसके पास अधिक "एक्टिव ब्रेन पावर" (पैरामीटर्स) थे।
हार्डवेयर ट्विस्ट: आकार सब कुछ नहीं है
पेपर ने "किचन" (कंप्यूटर हार्डवेयर) पर भी गौर किया।
- द "स्केल स्कूल": ये विशाल मॉडल हैं जिन्हें चलाने के लिए भारी, महंगे सर्वर (जैसे GH200) की आवश्यकता होती है। ये भारी होते हैं और लोड होने में धीमे होते हैं।
- द "एफिशिएंसी स्कूल": ये छोटे, स्मार्ट मॉडल हैं जो मानक कंप्यूटरों (जैसे Mac Studio) पर तेजी से चलते हैं।
- निष्कर्ष: आप एक 10,000 के कंप्यूटर पर चलने वाले छोटे, कुशल मॉडल के साथ प्राप्त कर सकते हैं। अधिकांश लोगों के लिए, छोटा और तेज़ मॉडल एक बेहतर सौदा है।
सारांश
यदि आप आज एक वास्तविक उत्पाद बना रहे हैं:
- केवल टेस्ट स्कोर पर भरोसा न करें। एक मॉडल टेस्ट में टॉप कर सकता है लेकिन असली काम में फेल हो सकता है।
- "थिंकिंग लीक्स" (Thinking leaks) से सावधान रहें। कुछ मॉडल्स काम करते समय बहुत अधिक बातें करते हैं, जिससे उन टूल्स को भ्रमित किया जा सकता है जो उनकी फाइलों को सेव करते हैं।
- प्लेटफॉर्म की जांच करें। सिर्फ इसलिए कि कोड एक फोन पर काम करता है, इसका मतलब यह नहीं है कि वह वेब पर भी काम करेगा।
- छोटा होना बेहतर हो सकता है। बेहतरीन परिणाम पाने के लिए आपको हमेशा सबसे बड़े, सबसे महंगे कंप्यूटर की आवश्यकता नहीं होती है।
संक्षेप में: जिस मॉडल ने सबसे अच्छी तरह सुना, वही जीता, न कि जिसे सबसे अधिक रेटिंग मिली।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।