CelloAI Benchmarks: Toward Repeatable Evaluation of AI Assistants
यह शोध पत्र CelloAI पेश करता है, जो वैज्ञानिक सॉफ्टवेयर विकास की अनूठी बाधाओं को संबोधित करने के लिए कोड दस्तावेज़ीकरण, GPU कर्नेल जनरेशन और ग्राफ़िकल डेटा विश्लेषण सहित HEP/HPC-विशिष्ट कार्यों पर लार्ज लैंग्वेज मॉडल्स का मूल्यांकन करने के लिए डिज़ाइन किए गए दोहराव योग्य और स्वचालित बेंचमार्क का एक समूह है।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
कल्पना कीजिए कि आप एक बहुत ही बुद्धिमान, लेकिन थोड़े नादान, नए इंटर्न (AI) को एक विशाल, प्राचीन और अविश्वसनीय रूप से जटिल फैक्ट्री में काम करना सिखाने की कोशिश कर रहे हैं। यह फैक्ट्री कारें नहीं बनाती; यह सुपरकंप्यूटरों का उपयोग करके ब्रह्मांड के जन्म का अनुकरण (simulate) करती है। इसके ब्लूप्रिंट हजारों पन्नों लंबे हैं, जिन्हें दशकों में अलग-अलग लोगों द्वारा लिखा गया है, और यदि इंटर्न एक छोटी सी भी गलती करता है, तो पूरा सिमुलेशन क्रैश हो सकता है या, इससे भी बुरा, यह आपको ब्रह्मांड के काम करने के बारे में गलत उत्तर दे सकता है।
यह पेपर CelloAI के बारे में है, जो शोधकर्ताओं की एक टीम है जिन्होंने तय किया कि हमें AI को कोडिंग कौशल जांचने के लिए उपयोग किए जाने वाले मानक "परीक्षणों" (tests) की आवश्यकता नहीं है क्योंकि वे इस उच्च-दांव वाली फैक्ट्री के लिए पर्याप्त नहीं हैं। उन्होंने एक नया सेट विशेष प्रशिक्षण अभ्यास (benchmarks) बनाया है ताकि यह देखा जा सके कि क्या AI वास्तव में वैज्ञानिक कोडिंग के वास्तविक, जटिल काम को संभालने में सक्षम है।
यहाँ उनके तीन मुख्य अभ्यासों का सरल विवरण दिया गया है:
1. "अनुवादक" अभ्यास (कोड डॉक्यूमेंटेशन)
समस्या: फैक्ट्री के मैनुअलल का हाल बेहाल है। कुछ हिस्सों पर कोई लेबल नहीं है, और जो लेबल मौजूद हैं वे अस्पष्ट हैं। AI को हर मशीन के हिस्से के लिए स्पष्ट, संरचित नोट्स (जैसे "Doxygen" कमेंट्स) लिखने होंगे ताकि भविष्य के कर्मचारी जान सकें कि वह क्या करता है।
अभ्यास: उन्होंने विभिन्न AIs को ये नोट्स लिखने के लिए कहा।
- स्कोरकार्ड: उन्होंने केवल यह नहीं जांचा कि AI ने कुछ लिखा या नहीं। उन्होंने यह भी जांचा:
- क्या उसने कुछ छोड़ा? (कवरेज): क्या उसने हर एक पेंच और तार को लेबल किया?
- क्या इसका कोई अर्थ था? (सिमेंटिक्स): क्या इसने मशीन का सही वर्णन किया, या यह केवल ऐसा लग रहा था जैसे यह बिना सिर-पैर की बातें कर रहा हो?
परिणाम: अधिकांश AI हर हिस्से पर एक लेबल लगाने को लेकर बहुत अच्छे हैं (उच्च कवरेज), लेकिन वे एक अच्छा विवरण लिखने में संघर्ष करते हैं जो किसी मानव विशेषज्ञ के शब्दों से मेल खाता हो। यह एक ऐसे इंटर्न की तरह है जो हर उपकरण पर लेबल तो लगा देता है, लेकिन लिखता है "यह एक चीज़ है" बजाय इसके कि "यह बोल्ट कसने के लिए एक रिंच है।"
2. "मूविंग डे" अभ्यास (कोड पोर्टिंग)
समस्या: फैक्ट्री अपनी मशीनरी को अपग्रेड कर रही है। उन्हें एक जटिल प्रक्रिया को एक पुरानी, धीमी मशीन (CPU) से एक नई, सुपर-फास्ट मशीन (GPU) में ले जाने की आवश्यकता है। यह एक नाजुक, जटिल घड़ी तंत्र को लकड़ी के बक्से से एक हाई-टेक स्टील केस में ले जाने जैसा है बिना एक भी गियर को तोड़े।
अभ्यास: उन्होंने AIs को एक विशिष्ट, कठिन काम दिया: एक कोड का हिस्सा लें जो एक मानक कंप्यूटर पर चलता है और उसे फिर से लिखें ताकि वह एक ग्राफिक्स कार्ड (GPU) पर चल सके जिसका उपयोग उच्च गति वाले भौतिकी सिमुलेशन के लिए किया जाता है।
- स्कोरकार्ड: उन्होंने केवल यह नहीं पूछा, "क्या कोड सही दिख रहा था?" उन्होंने कोड को चलाया।
- क्या यह कंपाइल हुआ? (क्या यह चालू हुआ?)
- क्या यह चला? (क्या यह बिना क्रैश हुए काम कर गया?)
- क्या इसने सही उत्तर दिया? (क्या इसने भौतिकी का सही अनुकरण किया?)
परिणाम: यह सबसे कठिन परीक्षण था।
- आसान कार्य: सरल कार्य (जैसे काउंटर को रीसेट करना) AIs के लिए आसान थे।
- कठिन कार्य: जटिल "सिमुलेशन" कार्य एक आपदा थे। सबसे स्मार्ट AI भी जटिल प्रणालियों को बिना तोड़े चलाने के लिए कोड को सही ढंग से चलाने में 10 में से 1 या 2 बार से अधिक सफल नहीं हो पाए। इसने दिखाया कि जबकि AI छोटे स्निपेट्स लिखने में अच्छा है, लेकिन जटिल सिस्टम को स्थानांतरित करने के लिए आवश्यक "बड़ी तस्वीर" (big picture) के तर्क को समझने में वह संघर्ष करता है।
3. "डिटेक्टिव" अभ्यास (ग्राफिकल डेटा विश्लेषण)
समस्या: वैज्ञानिक समस्याओं को खोजने के लिए हजारों चार्ट और ग्राफ देखते हैं। यदि कोई ग्राफ कल की तुलना में थोड़ा अलग दिखता है, तो इसका मतलब कोई टूटी हुई मशीन या कोई नई खोज हो सकती है। मनुष्य इन "ग्लिच" (glitches) को पहचानने में अच्छे होते हैं। क्या एक AI ग्राफ की तस्वीर देखकर कह सकता है, "हे, वह रेखा अजीब है"?
अभ्यास: उन्होंने AIs को हिस्टोग्राम (बार चार्ट) की तस्वीरें दिखाईं जिनमें एक "सामान्य" रेखा और एक "निगरानी की गई" रेखा थी जिसमें कुछ त्रुटियां थीं।
- स्कोरकार्ड: AI को ठीक से बताना था कि रेखाएं कहाँ मेल नहीं खाती हैं और अजीब बिंदुओं की सूची बनानी थी।
परिणाम: AIs स्पष्ट त्रुटियों को पकड़ने में ठीक थे, लेकिन वे सटीक जासूस होने में बहुत अच्छे नहीं थे। कुछ मॉडलों ने सुराग पूरी तरह से मिस कर दिए, जबकि अन्य ने सुराग तो ढूंढ लिए लेकिन इस बात को लेकर भ्रमित हो गए कि समस्या वास्तव में कहाँ से शुरू हुई। यह एक जासूस को अपराध स्थल की फोटो दिखाने जैसा है; वे देख सकते हैं कि कुछ गलत है, लेकिन वे हमेशा सटीक उंगली से इशारा नहीं कर पाते।
मुख्य निष्कर्ष
इस पेपर का मुख्य संदेश यह है: हमें विज्ञान में AI के लिए बेहतर परीक्षणों की आवश्यकता है।
वर्तमान परीक्षण एक AI से एक साफ कागज पर गणित की पहेली हल करने के लिए पूछने जैसा है। लेकिन वास्तविक वैज्ञानिक कोडिंग एक बांध में रिसाव को ठीक करने जैसा है जबकि पानी उसके ऊपर से बह रहा हो। आप केवल कोड नहीं लिख सकते; आपको यह सुनिश्चित करना होगा कि यह एक विशाल, नाजुक प्रणाली में फिट बैठता है, कंपाइल होता है, चलता है, और भौतिकी के नियमों को नहीं तोड़ता है।
शोधकर्ताओं ने इन नए "अभ्यासों" को बनाया है ताकि भविष्य में हम AI मॉडलों की निष्पक्ष रूप से तुलना कर सकें और यह पता लगा सकें कि कौन से मॉडल वास्तव में वैज्ञानिकों को अगली पीढ़ी के सुपरकंप्यूटर बनाने में मदद करने के लिए तैयार हैं, न कि केवल वे जो होमवर्क निबंध लिखने में अच्छे हैं।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।