MultModLM: A multi-modal benchmark for Large-Language Model based hardware schematic generation
यह शोध पत्र MultModLM को प्रस्तुत करता है, जो RTL विवरणों से हार्डवेयर स्कीमैटिक्स (schematics) उत्पन्न करने की लार्ज लैंग्वेज मॉडल्स की क्षमता का आकलन करने के लिए एक मल्टी-मोडल बेंचमार्क और व्यापक मूल्यांकन ढांचा है, जो यह प्रकट करता है कि हालांकि मॉडल दृश्य रूप से व्याख्या योग्य आउटपुट उत्पन्न करते हैं, वे कार्यात्मक शुद्धता (functional correctness) के मामले में संघर्ष करते हैं और LLM-आधारित मूल्यांकनकर्ता हार्डवेयर डिज़ाइन में संरचनात्मक सटीकता का निर्णय लेने के लिए अविश्वसनीय हैं।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने नहीं लिखा है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
कल्पना कीजिए कि आपके पास एक बहुत ही बुद्धिमान, सुशिक्षित लाइब्रेरियन (लार्ज लैंग्वेज मॉडल, या LLM) है जो मशीनों के बारे में कहानियाँ लिखना जानता है। अब, कल्पना कीजिए कि आप उस लाइब्रेरियन से एक मशीन का ब्लूप्रिंट (नक्शा) बनाने के लिए कहते है, जो केवल इस लिखित विवरण पर आधारित हो कि वह मशीन कैसे काम करती है।
यह शोध पत्र, जिसका शीर्षक MultModLM है, अनिवार्य रूप से इन "लाइब्रेरियों" के लिए एक रिपोर्ट कार्ड है जब वे लिखित कोड (जिसे RTL कहा जाता है) से मशीन के ये ब्लूप्रिंट (हार्डवेयर स्कीमैटिक) बनाने की कोशिश करती हैं।
यहाँ बताया गया है कि लेखकों ने क्या किया और उन्हें क्या मिला, सरल उपमाओं का उपयोग करते हुए:
1. समस्या: "लुप्त कड़ी" (The Missing Link)
आमतौर पर, जब इंजीनियर कंप्यूटर चिप डिजाइन करते हैं, तो वे कोड (RTL) लिखते हैं और फिर उस कोड को एक दृश्य चित्र (स्कीमैटिक) में बदलने के लिए महंगे, विशेष सॉफ्टवेयर का उपयोग करते हैं। यह एक रेसिपी होने और फिर एक पेशेवर शेफ द्वारा उस व्यंजन का चित्र बनाने की आवश्यकता होने जैसा है।
हाल ही में, AI मॉडल कोड लिखने में बहुत अच्छे हो गए हैं, लेकिन किसी ने यह परीक्षण नहीं किया कि क्या वे उस कोड से मशीन के आरेख (डायग्राम) बना सकते हैं। कोई "परीक्षण" नहीं था यह देखने के लिए कि क्या AI यह कर सकता है। लेखकों ने यह परीक्षण बनाया, जिसे MultModLM कहा गया।
2. परीक्षण: 99 अलग-अलग पहेलियाँ
शोधकर्ताओं ने 99 अलग-अलग "पहेलियाँ" एकत्र कीं। ये डिजिटल सर्किट के लिखित विवरण थे, जो साधारण काउंटरों से लेकर जटिल नंबर-चेकिंग मशीनों तक विस्तृत थे।
- चुनौती: उन्होंने ये लिखित विवरण दो शीर्ष AI मॉडलों (GPT और Gemini) को दिए और उन्हें सर्किट डायग्राम बनाने के लिए कहा।
- ट्विस्ट: गणित की किसी समस्या के विपरीत जहाँ केवल एक सही उत्तर होता है, एक ही मशीन को बनाने के कई तरीके हो सकते हैं। ठीक वैसे ही जैसे आप लाल छत वाला या नीली छत वाला घर बना सकते हैं और वह अभी भी एक ही घर होगा, AI भी सर्किट को अलग-अलग तरीकों से बना सकता था। इसने उत्तरों को ग्रेड (अंक देना) करना बहुत कठिन बना दिया।
3. ग्रेडिंग प्रणाली: न्यायाधीशों का एक पैनल
चूंकि कोई एक "सही" ड्राइंग नहीं थी, इसलिए लेखक केवल एक कंप्यूटर का उपयोग करके यह जांच नहीं कर सकते थे कि ड्राइंग सही है या नहीं। इसके बजाय, उन्होंने एक बहु-चरणीय निर्णायक पैनल (multi-stage judging panel) बनाया:
- कलाकार खुद को परखता है: AI चित्र बनाता है और फिर अपने ही काम को ग्रेड देता है।
- प्रतिद्वंद्वी न्यायाधीश: दूसरा AI मॉडल उस ड्राइंग को देखता है और मूल कोड के विरुद्ध उसे ग्रेड देता है।
- अंध न्यायाधीश (The Blind Judge): एक AI केवल ड्राइंग को देखता है (कोड देखे बिना) यह देखने के लिए कि क्या ड्राइंग अपने आप में तर्कसंगत है।
- मानव विशेषज्ञ: वास्तविक इंजीनियरों ने यह देखने के लिए ड्राइंग्स को देखा कि क्या वे वास्तव में सही थे।
उन्होंने तकनीकी बारीकियों को ग्रेड करने के लिए एक चेकलिस्ट (रुब्रिक) का उपयोग किया, जैसे: "क्या तार सही ढंग से जुड़े हैं?" "क्या क्लॉक सिग्नल दिखाया गया है?" "क्या ड्राइंग पढ़ने में आसान है?"
4. बड़ी खोज: AI न्यायाधीश अनभिज्ञ हैं
यह इस शोध पत्र का सबसे आश्चर्यजनक हिस्सा है।
- परिणाम: जब शोधकर्ताओं ने AI न्यायाधीशों द्वारा दिए गए स्कोर की तुलना मानव विशेषज्ञों द्वारा दिए गए स्कोर से की, तो उन्होंने पाया कि दोनों के बीच लगभग शून्य सहमति थी।
- उपमा: कल्पना कीजिए कि आप एक रोबोट से पेंटिंग को ग्रेड करने के लिए कहते हैं। रोबोट इसे 10/10 देता है क्योंकि यह रंगीन दिखता है। मानव विशेषज्ञ इसे 2/10 देता है क्योंकि परिप्रेक्ष्य (perspective) गलत है। शोध पत्र में पाया गया कि AI न्यायाधीश तकनीकी ड्राइंग को ग्रेड करने के मामले में अनिवार्य रूप से "अनुमान" लगा रहे थे या मतिभ्रम (hallucinating) का शिकार थे। वे मानव विशेषज्ञों के साथ पूरी तरह से तालमेल से बाहर थे।
5. निष्कर्ष: AI बना तो सकता है, पर सत्यापित नहीं कर सकता
पत्र दो मुख्य निष्कर्ष निकालता है:
- AI बनाने की कोशिश कर सकता है: मॉडल ऐसे चित्र बना सकते थे जो सर्किट डायग्राम की तरह दिखते थे। वे पूर्ण नहीं थे, लेकिन दृश्य रूप से समझने योग्य थे।
- AI निर्णायक नहीं हो सकता: आप एक AI पर भरोसा नहीं कर सकते कि वह आपको बताए कि कोई हार्डवेयर डिज़ाइन सही है या नहीं। "AI-as-a-judge" पद्धति, जो निबंध लिखने या कोडिंग टेक्स्ट के लिए अच्छी तरह काम करती है, हार्डवेयर डायग्राम की संरचनात्मक सटीकता की जांच करने के मामले में पूरी तरह से विफल हो जाती है।
संक्षेप में: लेखकों ने यह देखने के लिए एक परीक्षण बनाया कि क्या AI कोड को मशीनों के चित्रों में बदल सकता है। उन्होंने पाया कि हालांकि AI चित्रों को बनाने की कोशिश कर सकता है, लेकिन वह उन्हें ग्रेड करने में बहुत खराब है। यदि आप जानना चाहते हैं कि कोई हार्डवेयर डिज़ाइन सही है या नहीं, तो आपको एक मानव विशेषज्ञ की आवश्यकता है, न कि किसी अन्य AI की।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।