QASM-Eval: A Dataset to Train and Evaluate LLMs on OpenQASM-3 Beyond Quantum Circuits
यह शोध पत्र QASM-Eval प्रस्तुत करता है, जो OpenQASM-3 की उन्नत हार्डवेयर-उन्मुख विशेषताओं, जैसे कि क्लासिकल फीडबैक और पल्स कंट्रोल, पर लार्ज लैंग्वेज मॉडल्स को प्रशिक्षित करने और उनका मूल्यांकन करने के लिए डिज़ाइन किया गया पहला व्यापक डेटासेट और बेंचमार्क है, जो यह प्रदर्शित करता है कि लक्षित फाइन-ट्यूनिंग इन महत्वपूर्ण NISQ-युग के प्रोग्रामिंग कार्यों में मॉडल के प्रदर्शन में काफी सुधार करती है।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
कल्पना कीजिए कि आप एक बहुत ही बुद्धिमान लेकिन अनुभवहीन प्रशिक्षु (apprentice) को एक बहुत ही नाजुक, उच्च-तकनीकी मशीन बनाने के लिए सिखाने की कोशिश कर रहे हैं। यह मशीन एक क्वांटम कंप्यूटर है।
लंबे समय तक, हमने इस प्रशिक्षु को जो निर्देश दिए थे वे एक साधारण रेसिपी की तरह थे: "इन सामग्रियों को मिलाएं, 10 मिनट तक पकाएं।" यह बुनियादी कार्यों के लिए काम करता था, लेकिन अब मशीन एक शोर वाले, कठिन चरण (जिसे NISQ युग कहा जाता है) में प्रवेश कर रही है। इसे विश्वसनीय रूप से काम करने के लिए, निर्देशों को बहुत अधिक विशिष्ट होने की आवश्यकता है। अब प्रशिक्षु को यह जानने की आवश्यकता है कि तापमान की जांच कब करनी है, बेकिंग के दौरान ओवन का दरवाजा कैसे समायोजित करना है, और यहाँ तक कि खुद हीट वेव्स (ऊष्मा तरंगों) के आकार को कैसे बदलना है।
इस अत्यंत-सटीक निर्देशों के लिए उपयोग की जाने वाली भाषा को OpenQASM 3 कहा जाता है। यह क्वांटम कंप्यूटरों के लिए "हार्डवेयर मैनुअल" है।
समस्या: प्रशिक्षु भ्रमित है
भले ही आर्टिफिशियल इंटेलिजेंस (AI) इस तरह की जटिल भाषा लिखने में बहुत अच्छा हो गया है, लेकिन एक बड़ी समस्या थी: किसी ने भी इस नई, जटिल भाषा के लिए विशेष रूप से कोई अभ्यास परीक्षण (practice test) नहीं बनाया था।
मौजूदा परीक्षण किसी को "केक बेक करने" (उच्च-स्तरीय तर्क) या "टूटे हुए टोस्टर को ठीक करने" (बुनियादी सर्किट) के लिए पूछने जैसे थे। लेकिन उन्होंने यह परीक्षण नहीं किया कि क्या प्रशिक्षु निम्नलिखित कार्य कर सकता है:
- रुकना और सोचना: बेकिंग की प्रक्रिया को रोकना, एक सेंसर की जांच करना, और उस रीडिंग के आधार पर यह निर्णय लेना कि क्या अधिक चीनी डालनी है (क्लासिकल लॉजिक)।
- समय का सटीक तालमेल: दरवाजा खोलने से पहले ठीक 0.0000001 सेकंड प्रतीक्षा करना, या दो ओवनों को पूरी तरह से सिंक्रोनाइज़ करना (टाइमिंग शेड्यूलिंग)।
- तरंगों को ट्यून करना: भोजन को जलने से बचाने के लिए हीट वेव्स के आकार को मैन्युअल रूप से समायोजित करना (पल्स कंट्रोल)।
इस विशिष्ट कौशल के लिए अभ्यास परीक्षण के बिना, AI मॉडल अनुमान लगा रहे थे, और वे बुरी तरह विफल हो रहे थे।
समाधान: QASM-Eval (अंतिम अभ्यास परीक्षा)
लेखकों ने QASM-Eval बनाया है। इसे AI के लिए एक विशाल, विशेष प्रशिक्षण जिम और एक अंतिम परीक्षा के रूप में समझें, जिसे विशेष रूप से OpenQASM 3 के लिए डिज़ाइन किया गया है।
- प्रशिक्षण सेट (The Training Set): उन्होंने 4,000 अभ्यास प्रश्न तैयार किए। ये केवल यादृच्छिक प्रश्न नहीं हैं; ये सावधानीपूर्वक तैयार किए गए परिदृश्य हैं जहाँ AI को गायब कोड को भरना होता है ताकि क्वांटम मशीन सही ढंग से काम कर सके।
- परीक्षा (The Exam): उन्होंने 100 प्रश्नों का एक सख्त परीक्षण बनाया।
- ग्रेडिंग सिस्टम (The Grading System): उन्होंने एक विशेष "रोबोट शिक्षक" (एक स्वचालित सत्यापनकर्ता) बनाया। यह रोबोट केवल यह नहीं देखता कि कोड सही दिख रहा है या नहीं; यह वास्तव में क्वांटम मशीन का अनुकरण (simulate) करता है ताकि यह देख सके कि क्या कोड सही परिणाम देता है, समय के नियमों का पालन करता है, और सिस्टम को क्रैश नहीं करता है।
उन्होंने क्या पाया
शोधकर्ताओं ने कई शीर्ष स्तर के AI मॉडलों (जैसे Llama और GPT) को इस नई परीक्षा के माध्यम से परखा। यहाँ क्या हुआ:
- "जीरो-शॉट" संघर्ष (The "Zero-Shot" Struggle): जब उन्होंने AI को बिना किसी मदद के परीक्षा देने के लिए कहा (सिर्फ "यह प्रश्न है, इसे हल करें"), तो परिणाम बहुत खराब थे। AI ऐसे छात्रों की तरह थे जिन्होंने सामान्य भौतिकी तो पढ़ी है लेकिन इस मशीन के विशिष्ट ब्लूप्रिंट को कभी देखा ही नहीं। वे सिंटैक्स (syntax) को सही नहीं कर सके, और टाइमिंग तो दूर की बात थी।
- "फ्यू-शॉट" बढ़त (The "Few-Shot" Boost): जब शोधकर्ताओं ने AI को समान समस्याओं को हल करने के तरीके के कुछ उदाहरण दिए (जैसे कि उत्तर कुंजी का एक नमूना दिखाना), तो स्कोर बढ़ गया। यह एक छात्र को एक उदाहरण के साथ चीट शीट देने जैसा था।
- "फाइन-ट्यूनिंग" की सफलता (The "Fine-Tuning" Breakthrough): यह सबसे बड़ी जीत थी। शोधकर्ताओं ने AI मॉडलों को विशेष रूप से उनके 4,000 अभ्यास प्रश्नों पर "प्रशिक्षित" किया।
- परिणाम: एक मध्यम आकार के AI मॉडल (Llama-8B) ने, इस विशिष्ट प्रशिक्षण के बाद, लगभग उतना ही प्रदर्शन किया जितना कि सबसे शक्तिशाली, महंगे AI (GPT-5.2) ने किया, जिसके पास कोई प्रशिक्षण नहीं था।
- विजेता (The Champion): एक बड़े AI मॉडल (Llama-70B) ने, प्रशिक्षण के बाद, महारत हासिल कर ली। उसने परीक्षा में 85% स्कोर किया, और उस शक्तिशाली AI को भी पीछे छोड़ दिया जिसे कुछ उदाहरण दिए गए थे।
मुख्य निष्कर्ष (The Takeaway)
पेपर यह निष्कर्ष निकालता है कि बाधा यह नहीं है कि AI क्वांटम भौतिकी में "मंद बुद्धि" है। बाधा यह है कि AI को OpenQASM 3 के विशिष्ट व्याकरण और नियमों का ज्ञान नहीं है।
एक समर्पित डेटासेट (QASM-Eval) बनाकर और AI को इस पर प्रशिक्षित करके, उन्होंने सिद्ध किया कि आप एक सामान्य-उद्देश्य वाले AI को एक अत्यधिक विश्वसनीय क्वांटम प्रोग्रामर में बदल सकते हैं। यह एक स्मार्ट व्यक्ति को लेने और उसे कार चलाने का ज्ञान देने के बाद, उसे फॉर्मूला 1 कार के लिए एक विशिष्ट मैनुअल और अभ्यास ट्रैक देने जैसा है; अचानक, वह रेस कार को पूरी तरह से चला सकता है।
यह डेटासेट अब सभी के उपयोग के लिए खुला है, जो बेहतर AI सहायकों के निर्माण में मदद कर रहा है जो मनुष्यों को अगली पीढ़ी के क्वांटम कंप्यूटरों को प्रोग्राम करने में मदद कर सकें।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।