Synthesis-in-the-Loop Evaluation of LLMs for RTL Generation: Quality, Reliability, and Failure Modes
यह शोध पत्र RTL जनरेशन पर 32 लैंग्वेज मॉडल्स का आकलन करने के लिए हार्डवेयर क्वालिटी इंडेक्स (HQI) का उपयोग करते हुए एक सिंथेसिस-इन-द-लूप मूल्यांकन ढांचा प्रस्तुत करता है, जो कार्यात्मक शुद्धता और हार्डवेयर कार्यान्वयन गुणवत्ता के बीच के अंतर को उजागर करने वाले विशिष्ट प्रदर्शन स्तरों और व्यवस्थित विफलता मोड को प्रकट करता है।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
कल्पना कीजिए कि आप एक घर डिजाइन करने के लिए आर्किटेक्ट्स की एक टीम को काम पर रख रहे हैं। अतीत में, आप शायद केवल उनसे घर का एक चित्र बनाने के लिए कहते और यह देखते कि वह चित्र दिखने में कैसा है। यदि चित्र में छत और दरवाजे होते, तो आप कहते, "बहुत अच्छा काम किया!"
लेकिन कंप्यूटर चिप्स (कंप्यूटर के दिमाग) बनाने की वास्तविक दुनिया में, केवल एक सुंदर चित्र पर्याप्त नहीं है। डिजाइन को बनाने योग्य (buildable), कुशल (efficient), और सुरक्षित (safe) होना चाहिए। यदि एक आर्किटेक्ट कांच की दीवार का चित्र बनाता है जिसे वास्तव में बनाया नहीं जा सकता, या एक ऐसी सीढ़ी जो बहुत अधिक जगह घेर लेती है, तो पूरा प्रोजेक्ट विफल हो जाता है।
यह शोध पत्र 32 अलग-अलग "AI आर्किटेक्ट्स" (लार्ज लैंग्वेज मॉडल्स) के लिए एक कठोर निरीक्षण रिपोर्ट की तरह है, जो कंप्यूटर चिप्स के ब्लूप्रिंट लिखने की कोशिश कर रहे हैं। केवल यह जांचने के बजाय कि AI का चित्र सही दिख रहा है या नहीं, शोधकर्ताओं ने एक विशेष परीक्षण मशीन बनाई है जो यह देखने के लिए कि क्या यह काम करता है, वास्तव में डिजाइन को बनाने (build) की कोशिश करती है।
यहाँ उनके निष्कर्षों का सरल उपमाओं (analogies) का उपयोग करके विवरण दिया गया है:
1. "बनाओ-यह" परीक्षण (सिंथेसिस-इन-द-लूप)
AI कोडिंग के लिए अधिकांश पिछले परीक्षण स्पेलिंग बी (वर्तनी प्रतियोगिता) की तरह थे: वे यह जांचते थे कि क्या AI ने शब्द सही लिखे हैं (सिंटैक्स) और क्या कहानी समझ में आती है (सिमुलेशन)।
इस शोध पत्र ने एक "निर्माण चरण" जोड़ा। उन्होंने AI के कोड को लिया और उसे एक फैक्ट्री प्रक्रिया (जिसे सिंथेसिस कहा जाता है) से गुजारा जो कोड को एक भौतिक चिप ब्लूप्रिंट में बदल देती है।
- परिणाम: कई AI "स्पेलिंग बी" में पास हो गए लेकिन "निर्माण" में विफल रहे। उन्होंने ऐसा कोड लिखा जो सही दिखता था लेकिन यदि आप इसे बनाने की कोशिश करते तो यह ढह जाता।
- नया स्कोर: उन्होंने एक "हार्डवेयर क्वालिटी इंडेक्स" (HQI) बनाया। इसे 0 से 100 तक के स्कोर के रूप में समझें जो न केवल यह मापता है कि डिजाइन काम करता है या नहीं, बल्कि यह भी कि यह कितनी कुशलता से स्थान और समय का उपयोग करता है, और फैक्ट्री ने उन्हें कितनी चेतावनियाँ दीं।
2. आर्किटेक्ट्स के तीन स्तर
जब उन्होंने 32 AI मॉडल्स को रैंक किया, तो उन्हें "बुरे" से "अच्छे" तक की एक सुचारू रेखा नहीं मिली। इसके बजाय, मॉडल तीन अलग-अलग समूहों में विभाजित थे, जैसे कि खेल टीमों की तीन अलग-अलग लीग:
- एलीट लीग (टियर 1): ये 14 मॉडल्स "मास्टर आर्किटेक्ट" हैं। वे लगातार ऐसे डिजाइन तैयार करते हैं जो न केवल बनाने योग्य हैं बल्कि अत्यधिक कुशल भी हैं। शीर्ष प्रदर्शन करने वाला मॉडल, Gemini-3-Pro, ने 100 में से प्रभावशाली 85 का स्कोर किया।
- अमेच्योर लीग (टियर 2): ये 15 मॉडल्स "जूनियर्स" हैं। वे साधारण घर बना सकते हैं, लेकिन जब डिजाइन जटिल होता है, तो वे गलतियाँ करने लगते हैं। वे एलीट लीग से लगभग 10 अंक पीछे हैं।
- नोविस लीग (टियर 3): ये 3 मॉडल्स "इंटर्न" हैं। उन्हें बुनियादी संरचना को पूरा करने में भी संघर्ष करना पड़ता है। उनके डिजाइन अक्सर निर्माण परीक्षण में पूरी तरह विफल हो जाते हैं।
3. "बेस्ट-ऑफ-फाइव" बनाम "फर्स्ट ट्राई" की समस्या
कल्पना कीजिए कि आप एक आर्किटेक्ट को घर डिजाइन करने के लिए कहते हैं।
- "बेस्ट-ऑफ-5" स्कोर: यदि आप आर्किटेक्ट को 5 अलग-अलग संस्करण बनाने के लिए कहते हैं और उनमें से सबसे अच्छा चुनते हैं, तो वे बहुत अच्छा काम कर सकते हैं।
- "फर्स्ट ट्राई" स्कोर: यदि आप उन्हें केवल एक संस्करण बनाने की अनुमति देते हैं और आपको उसका तुरंत उपयोग करना है, तो गुणवत्ता अक्सर काफी गिर जाती है।
शोध पत्र ने यहाँ एक बड़ा अंतर पाया। कुछ मॉडल्स उत्कृष्ट कृति बना सकते हैं यदि आप उन्हें पांच प्रयास दें, लेकिन उनका पहला प्रयास अक्सर औसत दर्जे का होता है।
- यह क्यों मायने रखता है: भविष्य में, हम चाहते हैं कि AI एजेंट स्वचालित रूप से काम करें (जैसे एक रोबोट जो चिप डिजाइन करता है और बिना किसी मानवीय जांच के अगले चरण पर बढ़ जाता है)। यदि रोबोट को अच्छा परिणाम पाने के लिए पांच प्रयासों का इंतजार करना पड़ता है, तो यह सब कुछ धीमा कर देता है। शोध पत्र कहता है कि ये AI अभी उस "रोबोट" वाली नौकरी के लिए पूरी तरह तैयार नहीं हैं क्योंकि उनका "पहला प्रयास" पर्याप्त विश्वसनीय नहीं है।
4. वे कैसे विफल होते हैं: "लेट" बनाम "अर्ली" क्रैश
शोधकर्ताओं ने देखा कि डिजाइन क्यों विफल हुए और उन्होंने AI के उद्गम के आधार पर एक दिलचस्प पैटर्न पाया:
- प्रोपराइटरी मॉडल्स (बड़ी टेक कंपनियाँ): ये AI उन छात्रों की तरह हैं जिन्होंने फाइनल परीक्षा के लिए बहुत कड़ी मेहनत की लेकिन परीक्षा में भ्रमित हो गए। वे आमतौर पर ऐसा कोड लिखते हैं जो शुरू में बिल्कुल सही दिखता है, लेकिन जब फैक्ट्री इसे बनाने की कोशिश करती है, तो वे प्रक्रिया के अंत में एक बाधा से टकराते हैं (जैसे यह महसूस करना कि दीवारें खड़ी होने के बाद दरवाजा गलत जगह पर है)।
- ओपन-वेट मॉडल्स (कम्युनिटी प्रोजेक्ट्स): ये AI उन छात्रों की तरह हैं जिन्होंने बुनियादी बातें छोड़ दीं। वे बहुत जल्दी विफल होते हैं। वे अक्सर डिजाइन के चारों ओर "रैपर" लगाना भूल जाते हैं या ऐसी सामग्रियों का उपयोग करने की कोशिश करते हैं जो वास्तविक दुनिया में मौजूद नहीं हैं (जैसे पानी से पुल बनाने की कोशिश करना)।
शोध पत्र सुझाव देता है कि ऐसा इसलिए होता है क्योंकि "ओपन" AI को मुख्य रूप से उस कोड पर प्रशिक्षित किया गया था जो परीक्षण (सिमुलेशन) के लिए था, जबकि "प्रोपराइटरी" AI ने अधिक कोड देखा है जो निर्माण (सिंथेसिस) के लिए था।
5. लागत बनाम गुणवत्ता
अंत में, उन्होंने कीमत की जांच की।
- महंगा जाल: कुछ सबसे महंगे AI मॉडल्स (जैसे वे जो उत्तर देने से पहले बहुत अधिक "सोचने" में समय बिताते हैं) चिप बनाने में सर्वश्रेष्ठ नहीं थे। वे धीमे और महंगे थे लेकिन बेहतर ब्लूप्रिंट नहीं बना पाए।
- वैल्यू पिक: कुछ सस्ते, तेज़ मॉडल्स (जैसे Gemini-3-Flash) ने बहुत कम लागत पर शीर्ष-स्तरीय डिजाइन तैयार किए। यह पता चला कि इस विशिष्ट कार्य के लिए, "ज़्यादा गहराई से सोचना" का मतलब "बेहतर बनाना" नहीं था।
निचोड़ (The Bottom Line)
यह शोध पत्र हमें बताता है कि हालांकि AI कोड लिखने में बहुत अच्छा हो रहा है जो सही दिखता है, फिर भी इसे ऐसा कोड लिखने में संघर्ष करना पड़ता है जो बनाने के लिए तैयार हो। कंप्यूटर चिप्स को डिजाइन करने के लिए AI का उपयोग करने के लिए, हमें केवल यह जांचना बंद करना होगा कि कोड एक परीक्षण पास करता है या नहीं, और यह जांचना शुरू करना होगा कि क्या इसे वास्तव में कुशलतापूर्वक निर्मित किया जा सकता है। जब तक "फर्स्ट ट्राई" की विश्वसनीयता में सुधार नहीं होता, हम इन AI आर्किटेक्ट्स पर अकेले काम करने के लिए पूरी तरह भरोसा नहीं कर सकते।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।