Benchmarking the Quantum Leap: Auditing LLM Evaluation for Quantum Code Generation
यह शोध पत्र कई सूट्स में 25 मॉडलों का बेंचमार्किंग करके क्वांटम कोड जनरेशन के लिए एलएलएम (LLM) मूल्यांकन की विश्वसनीयता का ऑडिट करता है, जो यह प्रकट करता है कि वर्तमान लीडरबोर्ड त्रुटिपूर्ण इवैल्यूएटर डिजाइनों, साझा बेंचमार्क निर्भरताओं और सांख्यिकीय महत्व की कमी से समझौता किए गए हैं, जिससे वैध प्रगति मूल्यांकन के लिए पृथक निष्पादन वातावरण और कठोर अनिश्चितता रिपोर्टिंग की आवश्यकता अनिवार्य हो जाती है।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
क्वांटम कंप्यूटिंग के उभरते क्षेत्र में, वैज्ञानिक ऐसी मशीनें बना रहे हैं जो उप-परमाणु दुनिया के विचित्र नियमों पर काम करती हैं ताकि उन समस्याओं को हल किया जा सके जिन्हें सुलझाने में आज के सुपरकंप्यूटरों को हजारों साल लग जाएंगे। इन मशीनों को चलाने के लिए, शोधकर्ताओं को जटिल निर्देश लिखने होते हैं, जिन्हें कोड कहा जाता है, जो हार्डवेयर को यह बताते हैं कि क्वांटम बिट्स (qubits) को कैसे नियंत्रित करना है। हाल ही में, एक बड़े भाषा मॉडल (large language model) नामक एक नए प्रकार के कृत्रिम बुद्धिमत्ता (AI) ने अपने आप यह कोड लिखने की क्षमता दिखाई है, ठीक वैसे ही जैसे एक कंप्यूटर प्रोग्राम ईमेल लिख सकता है या कहानियाँ लिख सकता है। इसने क्वांटम सॉफ्टवेयर के निर्माण को स्वचालित करने की दिशा में उत्साह जगा दिया है। हालांकि, केवल इसलिए कि एक कंप्यूटर टेक्स्ट जनरेट कर सकता है, इसका मतलब यह नहीं है कि उसके द्वारा बनाया गया कोड वास्तव में वास्तविक मशीन पर चलने पर काम करेगा। यह निर्धारित करना कि क्या ये कृत्रिम लेखक वास्तव में कार्यात्मक क्वांटम सर्किट बनाने में सक्षम हैं, एक कठिन कार्य है, जिसके लिए उनके आउटपुट का भौतिकी के कठोर नियमों और क्वांटम हार्डवेयर की विशिष्ट आवश्यकताओं के विरुद्ध परीक्षण करने के तरीके की आवश्यकता होती है।
ओक रिज, टेनेसी स्थित क्वांटम साइंस सेंटर के शोधकर्ताओं की एक टीम ने इन कृत्रिम बुद्धिमत्ता प्रणालियों को एक कठोर परीक्षा में डालने का निर्णय लिया। उन्होंने पंद्रह अलग-अलग मॉडलों को एकत्र किया, जिनमें सार्वजनिक रूप से उपलब्ध सामान्य-उद्देश्य वाले सिस्टम से लेकर क्वांटम भौतिकी पर विशेष रूप से प्रशिक्षित विशिष्ट प्रोग्राम तक शामिल थे। उन्होंने इन मॉडलों को पांच अलग-अलग कार्यों के सेटों में पांच सौ तीस विशिष्ट प्रोग्रामिंग चुनौतियों को हल करने के लिए कहा। इन चुनौतियों में बुनियादी सर्किट निर्माण से लेकर जटिल एल्गोरिदम डिजाइन तक सब कुछ शामिल था। शोधकर्ताओं ने केवल अंतिम स्कोर या लीडरबोर्ड पर रैंकिंग को नहीं देखा। इसके बजाय, उन्होंने एक विस्तृत ऑडिटिंग प्रणाली बनाई ताकि यह देख सके कि परीक्षणों का मूल्यांकन कैसे किया जा रहा है, और परीक्षण प्रक्रिया में छिपे हुए दोषों की जांच की जा सके। वे केवल यह नहीं जानना चाहते थे कि किस मॉडल का स्कोर सबसे अधिक है, बल्कि यह भी कि क्या वह स्कोर मॉडल की काम करने वाला कोड लिखने की वास्तविक क्षमता को सटीक रूप से दर्शाता है।
परिणामों ने एक साधारण विजेता और हारने वाले की सूची से कहीं अधिक जटिल परिदृश्य का खुलासा किया। कार्यों के सबसे आसान सेट पर, सबसे मजबूत मॉडल पहले से ही ऐसे स्तर पर प्रदर्शन कर रहे थे जहाँ लगभग हर एक प्रयास सही था, जिससे सफलता दर लगभग निन्यानवे प्रतिशत तक पहुँच गई। यह सुझाव देता है कि बुनियादी क्वांटम प्रोग्रामिंग के लिए, तकनीक उस बिंदु पर पहुँच गई है जहाँ वर्तमान परीक्षण सर्वश्रेष्ठ मॉडलों के बीच अंतर नहीं कर सकते। हालांकि, जब शोधकर्ताओं ने कठिन चुनौतियों की ओर रुख किया जिनमें गहन तर्क और बहु-चरणीय डिजाइन की आवश्यकता थी, तो सफलता दर काफी गिर गई, जिसमें शीर्ष मॉडलों ने केवल लगभग चौंसठ प्रतिशत समस्याओं को हल किया। यह इंगट करता है कि जबकि कृत्रिम बुद्धिमत्ता ने बुनियादी बातों में महारत हासिल कर ली है, वह क्वांटम इंजीनियरिंग के अधिक कठिन और सूक्ष्म पहलुओं के साथ संघर्ष कर रही है।
शायद सबसे आश्चर्यजनक खोज यह थी कि परीक्षण को डिजाइन करने का तरीका परिणाम को कितना बदल सकता है, जो कभी-कभी मॉडल के वास्तविक कौशल से भी अधिक होता है। कार्यों के एक विशिष्ट नए सेट में, शोधकर्ताओं ने पाया कि ग्रेडिंग सिस्टम उन विवरणों की जाँच कर रहा था जिनके लिए मूल निर्देशों में कभी नहीं पूछा गया था। जब उन्होंने बिना मॉडल द्वारा लिखे गए कोड को बदले, ग्रेडिंग प्रक्रिया से इन अतिरिक्त, अनचाहे चेकों को हटा दिया, तो एक अग्रणी मॉडल की सफलता दर शून्य प्रतिशत से बढ़कर लगभग पचानवे प्रतिशत हो गई। मॉडल में सुधार नहीं हुआ था; परीक्षण बस उन चीजों के प्रति बहुत सख्त था जिनकी उसे परवाह नहीं करनी चाहिए थी। यह निष्कर्ष वर्तमान प्रगति को मापने के तरीके में एक गंभीर खामी को उजागर करता है: एक उच्च स्कोर मॉडल की उस चीज़ का अनुमान लगाने की क्षमता को दर्शा सकता है जो परीक्षण चाहता है, न कि वास्तविक समस्या को हल करने की उसकी क्षमता को।
ऑडिट ने परीक्षण उपकरणों में तकनीकी त्रुटियों को भी उजागर किया जो गलत विफलताओं और गलत सफलताओं दोनों का कारण बन रही थीं। एक उदाहरण में, परीक्षण सॉफ्टवेयर उन जाँचों को चलाने में विफल रहा जिन्हें उसे करने के लिए बनाया गया था, जिससे गलत कोड को सही के रूप में पास होने दिया गया। दूसरे मामले में, परीक्षण वातावरण ने गलती से संदर्भ समाधान (reference solution) के हिस्सों को उस स्थान में शामिल कर लिया जहाँ मॉडल का कोड चल रहा था, जिससे मॉडल को उन उत्तरों तक पहुँच प्राप्त हो गई जो उसके पास नहीं होनी चाहिए थी। इन दोषों का अर्थ था कि पिछले बेंचमार्क के ऐतिहासिक स्कोर क्षमता के सटीक माप के रूप में भरोसेमंद नहीं थे। शोधकर्ताओं ने पाया कि कुछ मॉडल इसलिए विफल हुए क्योंकि परीक्षण टूटा हुआ था, जबकि अन्य इसलिए सफल हुए क्योंकि परीक्षण बहुत उदार था।
अंततः, अध्ययन यह निष्कर्ष निकालता है कि इन कृत्रिम बुद्धिमत्ता मॉडलों को रैंक करने का वर्तमान तरीका अपर्याप्त है। शीर्ष प्रदर्शन करने वाली प्रणालियों के बीच का अंतर अक्सर इतना कम होता है कि वह वास्तविक क्षमता के बजाय यादृच्छिक संयोग (random chance) के कारण हो सकता है। इसके अलावा, स्कोर परीक्षण के विशिष्ट डिजाइन और ग्रेडिंग टूल की विश्वसनीयता से अत्यधिक प्रभावित होते हैं। शोधकर्ता तर्क देते हैं कि क्वांटम कोड जनरेशन की प्रगति को वास्तव में समझने के लिए, समुदाय को सरल लीडरबोर्ड रैंकिंग से आगे बढ़ना चाहिए। उन्हें अनिश्चितता की रिपोर्ट करने, यह सत्यापित करने की आवश्यकता है कि परीक्षण वास्तव में सही ढंग से चल रहे हैं, और यह सुनिश्चित करने की आवश्यकता है कि मॉडलों का मूल्यांकन उन कार्यों पर किया जा रहा है जिनके लिए उन्हें कहा गया था, न कि छिपी हुई आवश्यकताओं या टूटे हुए ग्रेडिंग स्क्रिप्टों पर। जब तक ये मानक पूरे नहीं हो जाते, तब तक क्वांटम क्षेत्र में कृत्रिम बुद्धिमत्ता की वास्तविक क्षमताएं स्वयं मापन उपकरणों के दोषों के कारण अस्पष्ट रहेंगी।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।