When Close Enough Is Not Enough: Autoregressive Drift in Quantum Circuit Synthesis
यह शोध पत्र यह प्रदर्शित करता है कि जबकि ट्रांसफॉर्मर-आधारित मॉडल क्वांटम सर्किट को सफलतापूर्वक अनुकूलित कर सकते हैं जब अनुमानित आउटपुट पोस्ट-प्रोसेसिंग के माध्यम से सुधारा जात्मक हो, उनकी सटीक विविक्त संश्लेषण (डिस्क्रीट सिंथेसिस) के लिए विश्वसनीयता ऑटोरेग्रेसिव ड्रिफ्ट (autoregressive drift) द्वारा मौलिक रूप से सीमित है जो सर्किट की लंबाई बढ़ने के साथ प्रदर्शन में तीव्र गिरावट का कारण बनता है, एक ऐसी समस्या जिसे मॉडल-स्तरीय समायोजनों के बजाय केवल इन्फरेंस-टाइम सर्च और डेटा स्केलिंग द्वारा आंशिक रूप से ही कम किया जा सकता है।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
कल्पना कीजिए कि आप एक रोबोट को एक आदर्श लेगो (LEGO) किला बनाना सिखाने की कोशिश कर रहे हैं। आप उसे ईंटों का एक बिखरा हुआ ढेर (इनपुट सर्किट) दिखाते हैं और उसे इसे कम से कम "जादुई" ईंटों का उपयोग करके एक चिकना, कुशल संस्करण बनाने के लिए कहते हैं। यह क्वांटम सर्किट ऑप्टिमाइज़ेशन का काम है, और AMD के शोधकर्ताओं ने एक स्मार्ट AI रोबोट (एक "ट्रांसफॉर्मर") को यह करने के लिए प्रशिक्षित करने की कोशिश की।
यहाँ एक मोड़ है: रोबोट कुछ चीजों में अद्भुत है लेकिन कुछ अन्य चीजों में वह एक दीवार से टकरा जाता है, और इसका कारण एक गड़बड़ी है जिसे वे ऑटोरेग्रेसिव ड्रिफ्ट (autoregressive drift) कहते हैं।
दो दुनियाएँ: "धुंधली" बनाम "पिक्सेल-परफेक्ट"
शोधकर्ताओं ने रोबोट का परीक्षण दो अलग-अलग गेम मोड में किया।
मोड 1: धुंधली दुनिया (पैरामीटराइज्ड सर्किट्स)
इस मोड में, रोबोट एक ऐसा किला बनाता है जहाँ दीवारों के कोणों (angles) को थोड़ा बदला जा सकता है। यदि रोबोट किले का आकार सही बनाता है लेकिन दीवारें थोड़ी सी गलत झुकी हुई हैं, तो एक इंसान (या एक क्लासिकल कैलकुलेटर) बाद में आकर बस उन कोणों को सही कर सकता है।
- परिणाम: रोबोट यहाँ सुपरस्टार था। उसने संरचना को इतनी अच्छी तरह सीखा कि थोड़े से "नज" (नudge) के बाद, उसने 3 से 6 क्यूबिट्स वाले सर्किट्स पर 100% सटीक फिडेलिटी (1.000 का स्कोर) प्राप्त की। यह ऐसा है जैसे रोबोट ने ब्लूप्रिंट तो एकदम सही बनाया, और बिल्डर ने बस छोटी टेढ़ी रेखाओं को ठीक कर दिया।
मोड 2: पिक्सेल-परफेक्ट दुनिया (क्लिफोर्ड+टी सर्किट्स)
यह असली चुनौती है। यहाँ, रोबोट को कठोर, अलग-अलग (discrete) लेगो ईंटों के साथ निर्माण करना होगा। यहाँ बाद में कोणों को "नज" करने के लिए कोई विकल्प नहीं है। हर एक ईंट बिल्कुल सही जगह पर होनी चाहिए, अन्यथा पूरा किला पूरी तरह से अलग आकार में बदल जाएगा।
- परिणाम: यहीं पर रोबोट अपने ही पैरों में उलझने लगा। हालाँकि उसने खेल के नियमों (सिंटैक्स) को सीख लिया था और उसे पता था कि लगभग कितनी जादुई ईंटों का उपयोग करना है, फिर भी वह अक्सर बिल्कुल सही किला बनाने में विफल रहा।
- छोटे किलों (9 ईंटों या उससे कम) के लिए, रोबोट लगभग 88% बार सही था।
- मध्यम किलों (15-25 ईंटों) के लिए, मानक प्रशिक्षण डेटा के साथ सफलता गिरकर 8.4% हो गई, और जब रोबोट को काफी अधिक अभ्यास डेटा दिया गया, तो यह बढ़कर 23.4% हो गई।
- लंबे किलों (26+ ईंटों) के लिए, मानक डेटा के साथ सफलता 0% थी, और अतिरिक्त डेटा के साथ भी यह केवल 3.7% रही।
अपराधी: "डोमिनो प्रभाव" वाला ड्रिफ्ट
रोबोट लंबे, कठोर किलों को बनाने में क्यों विफल रहा? शोधकर्ताओं ने एक समस्या खोजी जिसे उन्होंने ऑटोरेग्रेसिव ड्रिफ्ट नाम दिया।
कल्पना कीजिए कि रोबोट एक कहानी लिख रहा है, एक बार में एक शब्द, बाएं से दाएं।
- वह पहला शब्द सही लिखता है।
- वह दूसरा शब्द सही लिखता है।
- लेकिन फिर, तीसरे शब्द पर, वह एक छोटी सी गलती करता है। शायद उसने "T" की जगह "S" ईंट लगा दी।
"धुंधली दुनिया" में, यह गलती मायने नहीं रखती क्योंकि आप बाद में कोण को ठीक कर सकते हैं। लेकिन "पिक्सेल-परफेक्ट दुनिया" में, वह एक गलत ईंट उसके बाद आने वाली हर एक ईंट के संदर्भ (context) को बदल देती है। रोबोट बाकी का किला एक टूटे हुए आधार के आधार पर बनाने की कोशिश करता है। त्रुटियाँ बढ़ती जाती हैं (cascade होती हैं), और जब तक वह अंत तक पहुँचता है, पूरी संरचना पूरी तरह से गलत हो चुकी होती है।
दस्तावेज़ दिखाते हैं कि यह ड्रिफ्ट अविश्वसनीय रूप से तेजी से होता है। रोबोट आमतौर पर पहले 1-2 ईंटों (अनुक्रम के लगभग 3%) के भीतर अपनी पहली गलती करता है। एक बार जब ऐसा हो जाता है, तो बाकी का अनुक्रम बर्बाद हो जाता है।
क्या काम नहीं आया (द "हार्डर" ट्रैप)
शोधकर्ताओं ने इसे ठीक करने के कई तरीके आजमाए, और वे बहुत स्पष्ट थे कि क्या मदद नहीं मिली:
- रोबोट को स्मार्ट बनाना (अधिक पैरामीटर्स): उन्होंने एक बड़ा दिमाग आजमाया (133.6 मिलियन पैरामीटर्स बनाम 44.8 मिलियन)। इससे थोड़ी मदद मिली, लेकिन ड्रिफ्ट की समस्या बनी रही।
- फाइन-ट्यूनिंग: उन्होंने रोबोट को विशेष रूप से कठिन, लंबे किलों पर प्रशिक्षित करने की कोशिश की। इससे कोई मदद नहीं मिली।
- मॉडल्स को मिलाना: उन्होंने दो अलग-अलग रोबोटों के आउटपुट को मिलाने की कोशिश की। इससे भी ज्यादा मदद नहीं मिली।
- बस अधिक प्रयास करना (इन्फरेंस-टाइम सर्च): उन्होंने किले के 200 अलग-अलग संस्करण बनाने और सबसे अच्छे को चुनने की कोशिश की। इससे मदद मिली, जिससे सफलता दर 7% से बढ़कर 22.5% हो गई, लेकिन यह अभी भी लंबे किलों को ठीक करने में सक्षम नहीं था।
वह एक चीज़ जिसने मदद की (अधिक डेटा)
केवल एक ही चीज़ थी जिसने रोबोट को महत्वपूर्ण बढ़ावा दिया: उसे अधिक अभ्यास देना।
- जब उन्होंने प्रशिक्षण डेटा को 2.5 गुना (200,000 उदाहरणों से 500,000 तक) बढ़ाया, तो रोबोट की सफलता दर लगभग दोगुनी हो गई।
- अधिक डेटा के साथ, रोबोट छोटे किलों को 94% बार सही बना पाया, और मध्यम किलों (15-25 ईंटों) को 23.4% बार सही बना सका।
- हालाँकि, ड्रिफ्ट की समस्या गायब नहीं हुई। इतने अधिक अतिरिक्त डेटा के साथ भी, सबसे लंबे किलों (26+ ईंटों) के लिए सफलता दर अभी भी केवल 3.7% थी। पहली गलती का "डोमिनो प्रभाव" अभी भी इतना मजबूत था कि केवल अधिक किताबें पढ़कर उसे दूर नहीं किया जा सकता था।
निष्कर्ष
पेपर यह निष्कर्ष निकालता है कि उन क्वांटम सर्किट्स के लिए जहाँ हर एक हिस्सा एकदम सही होना चाहिए, "काफी करीब होना" पर्याप्त नहीं है।
यदि आप बाद में छोटी गलतियों को ठीक कर सकते हैं (जैसे कि धुंधली दुनिया में), तो AI बहुत अच्छा काम करता है। लेकिन यदि आपको एक सटीक, डिस्क्रीट अनुक्रम की आवश्यकता है जहाँ एक गलत कदम सब कुछ बर्बाद कर देता है, तो AI की शुरुआत में ही रास्ते से भटक जाने (ड्रिफ्ट होने) की प्रवृत्ति एक बड़ी बाधा है। शोधकर्ता सुझाव देते हैं कि फिलहाल, इस AI का उपयोग एक "पीपहोल" (peephole) ऑप्टिमाइज़र के रूप में किया जा सकता है—कोड के छोटे, छोटे हिस्सों को ठीक करने के लिए जहाँ यह विश्वसनीय है, न कि पूरे जटिल सर्किट्स को शून्य से फिर से बनाने के लिए।
लेखक सावधानी बरतते हुए कहते हैं कि यह कोई हल की गई समस्या नहीं है। उन्होंने इन परिणामों को विशिष्ट सिमुलेशन पर मापा और पाया कि जबकि अधिक डेटा मदद करता है, लंबे अनुक्रमों में "ड्रिफ्ट" की मौलिक समस्या एक ऐसी बाधा बनी हुई है जिसे वर्तमान विधियों ने अभी तक पार नहीं किया है।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।