Gatekeepers and Hallucinations: A Layered Evaluation Framework for LLM-Driven Quantum Circuit Generation
यह शोध पत्र एलएलएम-संचालित क्वांटम सर्किट जनरेशन के लिए एक स्तरित मूल्यांकन ढांचे को प्रस्तुत करता है जो विशिष्ट विफलता मोड की पहचान करने और मॉडल आउटपुट तथा स्वयं मूल्यांकन बुनियादी ढांचे दोनों को मान्य करने की महत्वपूर्ण आवश्यकता को रेखांकित करने के लिए एक भौतिक गेटकीपर रूब्रिक, फिडेलिटी विश्लेषण और व्यवहारिक निरंतरता मेट्रिक्स को जोड़ता है।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
कल्पना कीजिए कि आप एक टीम के बेहद प्रतिभाशाली, तेज़ बोलने वाले आर्किटेक्ट्स (लार्ज लैंग्वेज मॉडल्स, या LLMs) को काम पर रख रहे हैं, जिन्हें एक बहुत ही विशिष्ट, हाई-टेक इमारत का ब्लूप्रिंट डिजाइन करना है: एक क्वांटम सर्किट। यह सिर्फ कोई साधारण इमारत नहीं है; यह एक ऐसी मशीन है जिसे परमाणुओं और सामग्रियों के व्यवहार का अनुकरण (simulate) करने के लिए बनाया गया है। यदि ब्लूप्रिंट में एक भी छोटी सी त्रुटि रह गई, तो पूरी मशीन ढह सकती है, या इससे भी बुरा, यह ऐसा दिखा सकती है जैसे यह बिल्कुल सही काम कर रही है, जबकि वास्तव में यह कुछ पूरी तरह से गलत कर रही होगी।
यह पेपर इस बात की रिपोर्ट कार्ड है कि ये "आर्किटेक्ट्स" कैसा प्रदर्शन कर रहे हैं, और इससे भी महत्वपूर्ण बात यह है कि यह उनकी गलतियों को पकड़ने के लिए एक नया सुरक्षा निरीक्षण तंत्र (safety inspection system) पेश करता है ताकि महंगे नुकसानों को रोका जा सके।
उनके निष्कर्षों का विवरण यहाँ दिया गया है, सरल उपमाओं (analogies) का उपयोग करते हुए:
1. समस्या: "साइलेंट सैबोटर" (Silent Saboteur - चुपके से नुकसान पहुँचाने वाला)
लेखकों ने पाया कि ये AI मॉडल ऐसा कोड लिखने में माहिर हैं जो देखने में सही लगता है (जैसे कि एक ब्लूप्रिंट जिसमें सही फोंट और रंग हैं), लेकिन वे अक्सर भौतिकी (physics) के मामले में विफल हो जाते हैं।
- जाल: कभी-कभी एक AI आत्मविश्वास के साथ कह सकता है, "मैंने हाइड्रोजन अणु के लिए एक सर्किट बनाया है," लेकिन यदि आप बारीकी से देखें, तो उसने वास्तव में कार्बन मोनोऑक्साइड के अणु के लिए निर्माण किया है।
- खतरा: अतीत में, हम केवल यह देखते थे कि क्या कोड चल रहा है। लेकिन लेखकों ने पाया कि कुछ त्रुटियाँ "साइलेंट" होती हैं। कोड चलता तो है, लेकिन वह गलत समस्या को हल कर रहा होता है। यह एक ऐसे शेफ की तरह है जो रेसिपी का पूरी तरह से पालन करता है लेकिन गलती से चीनी के बजाय नमक का उपयोग कर देता है; व्यंजन एक केक जैसा दिखता है, लेकिन स्वाद में वह एक नमकीन ईंट जैसा होता है।
2. समाधान: "थ्री-लेयर सिक्योरिटी चेक" (तीन-स्तरीय सुरक्षा जाँच)
इसे ठीक करने के लिए, टीम ने एक लेयर्ड इवैल्यूएशन फ्रेमवर्क (Layered Evaluation Framework) बनाया है। इसे एक हवाई अड्डे पर तीन चरणों वाले सुरक्षा चेकपॉइंट की तरह समझें, लेकिन क्वांटम कोड के लिए।
लेयर 1: गेटकीपर (ID चेक)
इससे पहले कि AI को कोई भारी काम करने की अनुमति दी जाए, उसे एक त्वरित स्क्रीनिंग से गुजरना होगा। सिस्टम पूछता है: "क्या आप भौतिकी के बुनियादी नियमों को समझते हैं? क्या आप जानते हैं कि हम किस अणु की बात कर रहे हैं? क्या आप सही उपकरणों का उपयोग करना जानते हैं?" यदि AI इस बुनियादी जांच में विफल रहता है, तो उसे तुरंत रोक दिया जाता है। यह खराब विचारों को आगे बढ़ने से रोककर समय और पैसा बचाता है।लेयर 2: फिडेलिटी ऑडिट (ब्लूप्रिंट तुलना)
यदि AI गेट पास कर लेता है, तो उसके ब्लूप्रिंट की तुलना एक "गोल्ड स्टैंडर्ड" संदर्भ से की जाती है।- उपमा: कल्पना करें कि AI दावा करता है, "मैंने 3 सपोर्ट बीम के साथ एक पुल बनाया है।" ऑडिटर गणित की जांच करते हैं और कहते हैं, "नहीं, इस आकार के पुल में भौतिकी के नियमों के आधार पर ठीक 3 बीम होने ही चाहिए। आपने 10 कहा। आप विफल रहे।"
- उन्होंने पाया कि कई मॉडलों ने ऐसे नंबरों का अनुमान लगाया (जैसे कि सर्किट में "नब्स" या पैरामीटर्स की संख्या) जो भौतिक रूप से असंभव थे, भले ही कोड एकदम सही दिख रहा था।
लेयर 3: कंसिस्टेंसी टेस्ट (द रिलायबिलिटी टेस्ट)
टीम ने एक ही AI को एक ही कार्य को कई बार करने के लिए कहा।- उपमा: यदि आप एक मानव आर्किटेक्ट को 5 बार एक घर का नक्शा बनाने के लिए कहते हैं, तो वे 5 थोड़े अलग संस्करण बना सकते हैं। लेकिन यदि वे एक विश्वसनीय मशीन हैं, तो उन्हें हर बार वही घर बनाना चाहिए।
- उन्होंने "डिजाइन एंट्रॉपी" (AI के मन बदलने की दर के लिए एक फैंसी शब्द) को मापा। उन्होंने पाया कि कुछ मॉडल बहुत सुसंगत (विश्वसनीय) थे, जबकि अन्य बहुत अस्थिर थे। दिलचस्प बात यह है कि एक शीर्ष मॉडल (Claude Sonnet 4.5) इतना सुसंगत था कि "टेम्परेचर" (सिस्टम की रैंडमनेस) को बदलने के बावजूद उसने बिल्कुल एक ही ब्लूप्रिंट तैयार किया।
3. सबसे बड़ा आश्चर्य: "फेक आईडी" घोटाला
पेपर का सबसे चौंकाने वाला हिस्सा AI की विफलता के बारे में नहीं था; बल्कि यह परीक्षण प्रणाली (testing system) की स्वयं की विफलता के बारे में था।
परिणामों की समीक्षा करते समय, लेखकों ने देखा कि दो अलग-अलग AI मॉडल (Llama 3 और DeepSeek) ने समान रूप से गलत कोड उत्पन्न किया। उन्हें लगा कि मॉडल भ्रमित (hallucinating) हो रहे हैं।
- जांच: उन्होंने "हार्नेस" (वह सॉफ्टवेयर प्लेटफॉर्म जिस पर टेस्ट चल रहा था) की जांच की और पाया कि एक बग था। जब AI मॉडल कोड बनाने में विफल रहे, तो परीक्षण प्लेटफॉर्म ने टेस्ट को जारी रखने के लिए चुपचाप एक पहले से बना हुआ "फालबैक" (fallback) टेम्पलेट डाल दिया।
- सीख: प्लेटफॉर्म ने अनजाने में झूठ बोला, जिससे ऐसा लगा कि AI ने गलती की है, जबकि वास्तव में गलती प्लेटफॉर्म की थी।
- निष्कर्ष: आप परीक्षण करने वाले सिस्टम पर तब तक भरोसा नहीं कर सकते जब तक आप उस टूल पर भरोसा न करें जिसका उपयोग परीक्षण के लिए किया जा रहा है। "गेटकीपर" को पूरे पाइपलाइन की जांच करनी चाहिए, जिसमें परीक्षण के लिए उपयोग किए जाने वाले उपकरण भी शामिल हैं।
4. "AI हेलुसिनेशन" के पांच प्रकार
पेपर AI की गलतियों को पांच विशिष्ट श्रेणियों में वर्गीकृत करता है, जैसे कि AI का मेडिकल डायग्नोसिस:
- ज्यामिति हेलुसिनेशन (Geometry Hallucination): "मैं कुत्ते के लिए घर बना रहा हूँ," लेकिन ब्लूप्रिंट बिल्ली के लिए है। (गलत अणु)।
- गैर-मौजूद API उपयोग (Nonexistent API Usage): "मैं 'सुपर-ड्रिल' टूल का उपयोग करूँगा।" (वह टूल सॉफ्टवेयर लाइब्रेरी में मौजूद ही नहीं है)।
- रनटाइम इंटीग्रेशन फेलियर (Runtime Integration Failure): ब्लूप्रिंट एकदम सही है, लेकिन निर्माण दल (सॉफ्टवेयर पाइपलाइन) इसे पढ़ते समय क्रैश हो जाता है।
- कन्स्ट्रेंट उल्लंघन (Constraint Violation): निर्देश थे "केवल मुझे ब्लूप्रिंट दें," लेकिन AI ने अपनी भावनाओं को समझाते हुए 10 पन्नों का निबंध लिख दिया।
- प्लासिबल-बट-अनवेरिफिएबल (Plausible-but-Unverifiable): AI एक सारांश देता है ("इसमें 10 नब्स हैं") लेकिन कोई वास्तविक कोड नहीं देता, जिससे आप यह जांच नहीं कर सकते कि यह सच है या नहीं।
सारांश
पेपर तर्क देता है कि जैसे-जैसे हम जटिल क्वांटम मशीनों को डिजाइन करने के लिए AI का उपयोग करना शुरू कर रहे हैं, हम केवल इस भरोसे नहीं रह सकते कि कोड "सही दिखता है।" हमें एक सख्त, बहु-स्तरीय निरीक्षण प्रणाली की आवश्यकता है जो यह जांचती है:
- क्या यह बुनियादी नियमों का पालन करता है? (गेटकीपर)
- क्या गणित भौतिक वास्तविकता से मेल खाता है? (फिडेलिटी)
- क्या परीक्षण प्रणाली स्वयं ईमानदार है? (ऑडिट)
इन जांचों के बिना, हम शानदार ढंग से लिखे गए लेकिन पूरी तरह से बेकार क्वांटम सिमुलेशन बनाने का जोखिम उठाते हैं। लेखक निष्कर्ष निकालते हैं कि यह "गेटकीपर" दृष्टिकोण वैकल्पिक नहीं है; यह सुनिश्चित करने का एकमात्र तरीका है कि जैसे-जैसे AI विज्ञान में एकीकृत हो रहा है, सुरक्षा बनी रहे।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।