Qiskit QuantumKatas: Adapting Microsoft's Quantum Computing exercises for LLM evaluation
यह शोध पत्र क्वांटम कंप्यूटिंग कार्यों पर LLMs के मूल्यांकन के लिए एक व्यापक बेंचमार्क के रूप में माइक्रोसॉफ्ट के QuantumKatas का Qiskit-आधारित अनुकूलन प्रस्तुत करता है, जो यह प्रकट करता है कि जबकि मॉडल ज्ञात एल्गोरिदम को लागू करने में उत्कृष्ट हैं, वे समस्या एनकोडिंग (problem encoding) में संघर्ष करते हैं और चेन-ऑफ-थॉट (chain-of-thought) प्रॉम्प्टिंग विभिन्न मॉडल आर्किटेक्चर में मिश्रित परिणाम देती है।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
कल्पना कीजिए कि आपके पास 350 पहेलियों की एक विशाल लाइब्रेरी है जिसे किसी को "क्वांटम" बोलना सिखाने के लिए डिज़ाइन किया गया है, जो एक अजीब नई भाषा है जिसका उपयोग क्वांटम कंप्यूटर को प्रोग्राम करने के लिए किया जाता है। वर्षों से, ये पहेलियाँ एक भाषा में लिखी गई थीं जिसे Q# (माइक्रोसॉफ्ट का डायलेक्ट) कहा जाता है।
यह शोध पत्र मुख्य रूप से दो चीजों के बारे में है:
- लाइब्रेरी का अनुवाद: लेखकों ने उन 350 पहेलियों को Qiskit में अनुवादित किया, जो आज के क्वांटम प्रोग्रामर्स द्वारा उपयोग किया जाने वाला सबसे लोकप्रिय "डायलेक्ट" (फ्रेमवर्क) है।
- छात्रों का परीक्षण: उन्होंने इस अनुवादित लाइब्रेरी का उपयोग 16 अलग-अलग आर्टिफिशियल इंटेलिजेंस (AI) मॉडल्स का परीक्षण करने के लिए एक विशाल परीक्षा के रूप में किया ताकि यह देखा जा सके कि वे इन क्वांटम पहेलियों को हल करने में कितने अच्छे हैं।
यहाँ उन्होंने क्या पाया, इसका विवरण सरल उपमाओं (analogies) का उपयोग करते हुए दिया गया है:
1. परीक्षा: "QuantumKatas"
QuantumKatas को एक वीडियो गेम की तरह समझें जिसमें 26 अलग-अलग स्तर (levels) हैं, जो "ट्यूटोरियल" (बहुत आसान) से लेकर "बॉस बैटल" (बहुत कठिन) तक जाते हैं।
- स्तर (Levels): कुछ स्तर AI को सरल करतब दिखाने के लिए कहते हैं, जैसे कि सिक्का उछालना (एक बेसिक गेट)। अन्य स्तर AI को जटिल पहेलियाँ हल करने के लिए कहते हैं, जैसे कि एक विशिष्ट एल्गोरिदम (Grover's search) का उपयोग करके घास के ढेर में छिपी सुई को खोजना या एक टूड़ी हुई मशीन को ठीक करना (error correction)।
- अनुवाद: लेखकों ने नई पहेलियाँ नहीं बनाईं; उन्होंने केवल मौजूदा पहेलियों को माइक्रोसॉफ्ट की Q# भाषा से IBM की Qiskit भाषा में अनुवादित किया। यह सुनिश्चित करता है कि कठिनाई का स्तर निष्पक्ष हो और अवधारणाएँ समान रहें।
- ग्रेडिंग: उन्होंने केवल AI को कोड लिखने के लिए नहीं कहा; उन्होंने कोड को एक सिम्युलेटर (एक वर्चुअल क्वांटम कंप्यूटर) में चलाया यह देखने के लिए कि क्या वह वास्तव में काम करता है। यदि गणित मेल नहीं खाता था, तो AI फेल हो गया।
2. छात्र: 16 AI मॉडल्स
उन्होंने 16 अलग-अलग AI "छात्रों" का परीक्षण किया।
- "एलीट" छात्र (Frontier Models): ये बड़े, महंगे, प्रोप्राइटरी मॉडल्स हैं (जैसे GPT-5.5, Claude Opus, Gemini 3.1)।
- "ओपन" छात्र (Open-Source Models): ये मुफ्त मॉडल्स हैं जिन्हें कोई भी डाउनलोड कर सकता है (जैसे Llama, Mistral, Gemma)।
परिणाम:
- अंतर (The Gap): एलीट छात्रों ने ओपन छात्रों की तुलना में बहुत अधिक अंक प्राप्त किए। औसतन, एलीट छात्रों ने लगभग 75% पहेलियाँ सही हल कीं, जबकि ओपन छात्रों ने केवल 49% सही कीं। यह एक ऑनर्स छात्र और एक केवल पास होने वाले छात्र के बीच के अंतर जैसा है।
- आकार हमेशा नहीं जीतता: दिलचस्प बात यह है कि "बड़ा दिमाग" (अधिक पैरामीटर्स) होने ने बेहतर स्कोर की गारंटी नहीं दी। कुछ छोटे, बेहतर तरीके से ट्यून किए गए मॉडल्स ने विशाल मॉडल्स से बेहतर प्रदर्शन किया। यह केवल इस बारे में नहीं है कि दिमाग कितना बड़ा है, बल्कि इस बारे में है कि उसे कैसे प्रशिक्षित किया गया है।
3. अध्ययन संकेत (Prompting Strategies)
शोधकर्ताओं ने यह देखने के लिए विभिन्न तरीकों से प्रश्न पूछे कि क्या इससे AI के प्रदर्शन में सुधार होता है।
- "दिखाओ वाला" तरीका (Few-Shot): उन्होंने AI को एक नया पहेली हल करने से पहले हल की गई कुछ पहेलियों के उदाहरण दिए। यह लगभग सभी के लिए सबसे विश्वसनीय तरीका था। यह एक छात्र को गणित की समस्या हल करने से पहले एक हल किया हुआ उदाहरण दिखाने जैसा है।
- "सोच कर बोलने वाला" तरीका (Chain-of-Thought): उन्होंने AI से कोड लिखने से पहले चरण-दर-चरण अपने तर्क को समझाने के लिए कहा।
- ट्विस्ट: यह "रीजनिंग-ट्यून्ड" मॉडल्स (वे जिन्हें गहराई से सोचने के लिए विशेष रूप से प्रशिक्षित किया गया है) के लिए बहुत अच्छा रहा, जिससे उनके स्कोर में वृद्धि हुई।
- नुकसान: अधिकांश अन्य मॉडल्स के लिए, सोच कर बोलना वास्तव में उन्हें और खराब बना देता था। यह एक छात्र को एक पहेली के हर चरण को बोलकर समझाने के लिए कहने जैसा है, और वे बात करने में इतने विचलित हो जाते हैं कि वे समाधान ही भूल जाते हैं।
- "बस कर दो" तरीका (Zero-Shot): बिना किसी उदाहरण के केवल प्रश्न पूछना। यह सबसे स्मार्ट मॉडल्स (जैसे GPT-5.5) के लिए सबसे अच्छा था, जिन्हें मदद की आवश्यकता नहीं थी।
4. वे कहाँ संघर्ष करते हैं?
AI छात्र कुछ चीजों में अच्छे थे और कुछ में बहुत खराब:
- मजबूत पक्ष: वे ज्ञात एल्गोरिदम को दोहराने में माहिर थे। यदि पहेली कहती थी, "Simon's Algorithm के लिए कोड लिखें," तो उन्होंने 82% बार इसे सही किया। यह एक रेसिपी को याद करने और फिर उसे पूरी तरह से बनाने जैसा है।
- कमजोर पक्ष: वे प्रॉब्लम एनकोडिंग (Problem Encoding) में संघर्ष करते हैं। यदि पहेली कहती थी, "इस बिखरी हुई वास्तविक दुनिया की समस्या (जैसे कि एक लॉजिक पුවली) को क्वांटम रेसिपी में बदलें," तो वे अक्सर विफल रहे (केवल 34% सफलता)। यह एक रेसिपी का पालन करने में माहिर होने लेकिन खुद से एक नया व्यंजन बनाने में अक्षम होने जैसा है।
- "मेजरमेंट" का जाल: उन्हें उन कार्यों में भी कठिनाई हुई जिनमें "मेजरमेंट" (क्वांटम स्टेट के परिणाम की जांच करना) शामिल था। यह वर्तमान AI के लिए एक विशिष्ट ब्लाइंड स्पॉट लगता है।
5. निष्कर्ष
- AI अच्छा हो रहा है, लेकिन पूर्ण नहीं है: सर्वश्रेष्ठ AI इन क्वांटम पहेलियों में से लगभग 83% को हल कर सकता है। इतने कठिन विषय के लिए यह प्रभावशाली है, लेकिन अभी तक पूर्ण नहीं है।
- "अनुवाद" की समस्या: AI ज्ञात पैटर्न की नकल करने में बेहतर है बजाय इसके कि वह एक नई, उलझी हुई समस्या को क्वांटम कोड में अनुवादित करे।
- एक आकार सभी के लिए उपयुक्त नहीं है: आपको हर AI के लिए एक ही प्रकार का "स्टडी हिंट" (प्रॉम्ट) का उपयोग नहीं करना चाहिए। कुछ को उदाहरणों की आवश्यकता होती है, कुछ को सोच कर बोलने की, और कुछ को बस अकेला छोड़ने की।
संक्षेप में, लेखकों ने सबसे लोकप्रिय भाषा में एक मानकीकृत "क्वांटम ड्राइवर का टेस्ट" बनाया। उन्होंने पाया कि हालांकि AI ज्ञात सड़कों पर गाड़ी चलाने में बहुत अच्छा है (मानक एल्गोरिदम), फिर भी वह तब संघर्ष करता है जब नक्शा गायब होता है (नई समस्याओं को हल करना)। "एलीट" AI मॉडल वर्तमान में सबसे अच्छे ड्राइवर हैं, लेकिन उनके और "ओपन" मॉडल्स के बीच का अंतर काफी बड़ा है।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।