From Mirage to Grounding: Towards Reliable Multimodal Circuit-to-Verilog Code Generation
यह शोध पत्र एक महत्वपूर्ण "मिराज" (Mirage) घटना को प्रकट करता है जिसमें मल्टीमॉडल मॉडल विजुअल सर्किट डायग्राम को दरकिनार कर केवल टेक्स्ट आइडेंटिफायर के आधार पर कोड उत्पन्न करते हैं, और वेरीग्राउंड (VeriGround) को पेश करता है, जो कि एक 4B-पैरामीटर वाला मॉडल है जिसे गुमनामी (anonymization) और प्रेफरेंस अलाइनमेंट के साथ प्रशिक्षित किया गया है ताकि सर्किट डायग्राम से वेरिलॉग (Verilog) का विश्वसनीय और वास्तव में ग्राउंडेड रूपांतरण प्राप्त किया जा सके।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
एक बड़ी समस्या: "मिराज" (मृगतृष्णा) का प्रभाव
कल्पना कीजिए कि आप एक परीक्षा दे रहे हैं जहाँ आपको किसी शहर की तस्वीर के आधार पर उसका नक्शा बनाना है। हालाँकि, परीक्षा के निर्देशों में सड़कों के नाम (जैसे "मेन स्ट्रीट" और "ओक एवेन्यू") की एक सूची भी शामिल है।
शोधकर्ताओं ने पाया कि कई AI मॉडल नकल करते हैं। शहर की तस्वीर को देखकर यह समझने के बजाय कि सड़कें कहाँ से गुजरती हैं, AI उन नामों की सूची को पढ़ लेता है और बस उस नक्शे को दोहरा देता है जिसे वह पहले से जानता है।
"मिराज" (मृगतृष्णा) की घटना:
लेखकों ने इसे मिराज (फटा मोर्गाना) कहा है। यह रेगिस्तान में दिखने वाले पानी की तरह है जो वास्तव में वहाँ नहीं होता।
- परीक्षा: उन्होंने AI को एक वास्तविक सर्किट आरेख (तस्वीर) दिखाया और उसे कोड (नक्शा) लिखने के लिए कहा।
- चाल: उन्होंने वास्तविक तस्वीर को एक खाली सफेद तस्वीर से बदल दिया, लेकिन मॉड्यूल हेडर (नामों की सूची) को बिल्कुल वैसा ही रखा।
- परिणाम: आश्चर्यजनक रूप से, खाली तस्वीर के साथ भी AI का प्रदर्शन उतना ही अच्छा रहा, कभी-कभी तो इससे भी बेहतर!
यह साबित करता है कि AI ने सर्किट आरेख को वास्तव में "देखा" ही नहीं। उसने चित्र को पूरी तरह से अनदेखा कर दिया और केवल घटकों के नामों के आधार पर अनुमान लगाया। यदि नाम "Sum" और "Carry" थे, तो AI को पता था कि उसे एक "हाफ एडर" (Half Adder) बनाना है, बिना यह देखे कि आरेख में तार कैसे जुड़े हैं।
यह क्यों महत्वपूर्ण है: सिलिकॉन का जाल
यह क्यों महत्वपूर्ण है? शोध पत्र इसकी तुलना घर बनाने से करता है।
- सामान्य कोड: यदि एक वेब डिज़ाइनर गलती करता है, तो वेबसाइट केवल दिखने में खराब लगेगी। इसे आसानी से ठीक किया जा सकता है।
- सर्किट कोड: यदि AI सर्किट आरेख में गलती करता है, तो वह कोड एक भौतिक चिप (सिलिकॉन) पर अंकित हो जाता है। एक बार जब चिप बन जाती है, तो आप उस गलती को "Ctrl+Z" दबाकर वापस नहीं ले सकते। यह कंक्रीट की नींव डालने के बाद यह महसूस करने जैसा है कि दरवाजा गलत तरफ है। आपको पूरी इमारत को फिर से बनाना होगा।
यदि AI विजुअल वास्तविकता के बजाय टेक्स्ट के संकेतों के आधार पर भ्रम (hallucinate) पैदा करता है, तो यह ऐसे चिप बना सकता है जो कागज़ पर तो एकदम सही दिखते हैं, लेकिन वास्तविक दुनिया में विफल हो जाते हैं।
समाधान: "एमनेसिया" (विस्मृति) टेस्ट और एक नया AI
इसे ठीक करने के लिए, शोधकर्ताओं ने दो चीजें बनाईं: एक नया टेस्ट और एक नया AI मॉडल जिसका नाम VeriGround है।
1. नया टेस्ट: "C2VEVAL" (एमनेसिया टेस्ट)
उन्होंने एक बेंचमार्क बनाया जहाँ उन्होंने टेस्ट को "गुमनाम" (anonymize) कर दिया।
- सामान्य मोड: AI आरेख और नाम (जैसे "Clock", "Reset") देखता है।
- गुमनाम मोड: उन्होंने सभी नामों को सामान्य प्लेसहोल्डर्स जैसे "Val_0", "Val_1", और "Val_2" में बदल दिया।
- लक्ष्य: यदि AI वास्तव में चित्र को समझता है, तो उसे सामान्य नामों के साथ भी काम करना चाहिए। यदि वह केवल नामों का उपयोग करके नकल कर रहा था, तो वह विफल हो जाएगा।
परिणाम: जब उन्होंने नाम हटा दिए, तो अधिकांश बड़े AI मॉडलों का प्रदर्शन गिर गया। इसने पुष्टि की कि "मिराज" वास्तविक था। मॉडल वास्तव में चित्र को केवल 8-9% समय ही देख रहे थे।
2. नया AI: "VeriGround" (एक ईमानदार छात्र)
शोधकर्ताओं ने एक नया, छोटा AI (केवल 4 बिलियन पैरामीटर्स वाला, जो GPT-5 जैसे दिग्गजों की तुलना में बहुत छोटा है) प्रशिक्षित किया ताकि वह नकल करना बंद कर दे। उन्होंने तीन विशिष्ट प्रशिक्षण तकनीकों का उपयोग किया:
- ट्रिक A: "वेल्ड" (Veiled) ट्रेनिंग (गुमनामी): उन्होंने AI को गुमनाम डेटा से सीखने के लिए मजबूर किया। चूंकि वह नामों पर निर्भर नहीं रह सकता था, इसलिए उसे आरेख की वास्तविक रेखाओं और आकृतियों को पढ़ना ही सीखना पड़ा।
- ट्रिक B: "ना कहना" (Refusal Augmentation) ट्रेनिंग: उन्होंने AI को यह सिखाया कि यदि तस्वीर खाली है या निर्देशों से मेल नहीं खाती है, तो वह कहे, "मैं यह नहीं कर सकता।" यह AI को अनिश्चित होने पर अनुमान लगाने से रोकता है।
- ट्रिक C: "प्रथम प्रभाव" पर ध्यान (D-ORPO): यह एक तकनीकी समायोजन है। जब कोई AI उत्तर देने या मना करने का निर्णय लेता है, तो वह अपने जवाब के पहले शब्दों में ही यह निर्णय लेता है। शोधकर्ताओं ने AI को इन पहले कुछ शब्दों पर विशेष ध्यान देने के लिए बनाया ताकि वह उत्तर की लंबाई से भ्रमित हुए बिना सही चुनाव (बनाने बनाम मना करने के बीच) कर सके।
परिणाम: छोटे लेकिन शक्तिशाली
नए AI, VeriGround ने प्रभावशाली परिणाम प्राप्त किए:
- यह वास्तव में देखता है: "गुमनाम" टेस्ट के तहत (जहाँ नकल करना असंभव है), VeriGround ने अन्य सभी मॉडलों की तुलना में बहुत अधिक स्कोर किया, जो यह साबित करता है कि यह वास्तव में आरेखों को पढ़ता है।
- यह अंधाधुंध अनुमान नहीं लगाता: इसने खाली छवियों को 92% बार खारिज करना सीख लिया, फिर भी इसने बहुत कम बार वैध छवियों को खारिज किया (केवल 1.2% गलत रिजेक्शन)।
- यह अपनी क्षमता से अधिक प्रदर्शन करता है: हालांकि VeriGround एक "छोटा" मॉडल (4B पैरामीटर्स) है, इसने नामों की उपस्थिति में विशाल और महंगे "GPT-5.4" मॉडल के समान प्रदर्शन किया, और नाम हटा दिए जाने पर उससे भी बेहतर प्रदर्शन किया।
सारांश
यह शोध पत्र प्रकट करता है कि कई AI मॉडल सर्किट छवियों को कोड में बदलने के दौरान "केवल दिखावा" कर रहे हैं; वे केवल लेबल पढ़ते हैं और चित्र को अनदेखा कर देते हैं। लेखकों ने इस "मिराज" को उजागर करने के लिए एक नया टेस्ट बनाया और एक नया, ईमानदार AI (VeriGround) प्रशिक्षित किया जो वास्तव में चित्र को देखता है, भ्रमित होने पर मना करना जानता है, और इस कार्य में दिग्गजों से बेहतर प्रदर्शन करता है।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।