🤖 machine learning

AttentionCap: Transformer Based Capacitance Matrix Learning Toward Full-Chip Extraction

यह शोध पत्र AttentionCap प्रस्तुत करता है, जो एक ट्रांसफॉर्मर-आधारित मॉडल है जिसमें एक ग्राम प्रतिनिधित्व ढांचा (Gram representation framework) और भौतिकी-संरेखित अटेंशन तंत्र (physics-aligned attention mechanisms) शामिल हैं, जो कई प्रोसेस नोड्स में फुल-चिप कैपेसिटेंस निष्कर्षण के लिए मौजूदा CNN विधियों की तुलना में बेहतर सटीकता और काफी तेज़ इन्फरेंस प्राप्त करता है और इसमें मजबूत हस्तांतरणीयता (transferability) है।

मूल लेखक: Jiechen Huang, Hector R. Rodriguez, Dingcheng Yang, Zuochang Ye, Yibo Lin, Wenjian Yu

प्रकाशित 2026-06-09

📖 6 मिनट में पढ़ें🧠 गहराई से पढ़ें

CC BY 4.0

मूल लेखक: Jiechen Huang, Hector R. Rodriguez, Dingcheng Yang, Zuochang Ye, Yibo Lin, Wenjian Yu

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

कल्पना कीजिए कि आप यह पता लगाने की कोशिश कर रहे हैं कि एक माइक्रोचिप के माध्यम से चलने वाले हजारों सूक्ष्म तारों के बीच कितनी बिजली "लीक" होती है या "कपल्स" (couples) होती है। कंप्यूटर चिप्स की दुनिया में, इसे कैपेसिटेंस एक्सट्रैक्शन (capacitance extraction) कहा जाता है। यदि आप इसमें गलती करते हैं, तो चिप बहुत धीमी हो सकती है, अत्यधिक गर्म हो सकती है, या पूरी तरह से विफल हो सकती है।

लंबे समय तक, इंजीनियरों ने इसे एक "पैटर्न मैचिंग" खेल का उपयोग करके हल किया। वे चिप के एक छोटे से हिस्से को देखते थे, उसे ज्ञात आकृतियों के एक विशाल, पहले से बने डिक्शनरी (शब्दकोश) से तुलना करते थे, और उत्तर का अनुमान लगाते थे। लेकिन जैसे-जैसे चिप्स छोटे और अधिक जटिल होते जा रहे हैं (उन्नत तकनीक नोड्स पर), यह डिक्शनरी प्रबंधित करना बहुत कठिन होता जा रहा है, और अनुमान भी कम सटीक होते जा रहे हैं।

यहाँ AttentionCap आता है, जो एक नया AI टूल है जिसका वर्णन इस पेपर में किया गया है, जो चिप के तारों के लिए एक सुपर-स्मार्ट जासूस की तरह काम करता है। यह कैसे काम करता है, इसके लिए सरल उपमाओं का उपयोग किया गया है:

1. पुराना तरीका बनाम नया तरीका

पुराना तरीका (CNN-Cap): कल्पना कीजिए कि आप लोगों की बात करने की बातचीत को समझने की कोशिश कर रहे हैं, लेकिन आप केवल एक धुंधली, लो-रिज़ॉल्यूशन वाली फोटो देख रहे हैं। आपको केवल दो लोगों पर ध्यान केंद्रित करने के लिए फोटो को क्रॉप करना पड़ता है ताकि आप यह अनुमान लगा सकें कि वे क्या कह रहे हैं। 10 लोगों के पूरे समूह को समझने के लिए, आपको 100 अलग-अलग फोटो लेनी होंगी (हर जोड़ी के लिए एक), जो धीमा और बोझिल है। साथ भी, यदि कमरा बदल जाता है (एक नया चिप डिज़ाइन प्रोसेस), तो आपको अपना पुराना फोटो डिक्शनरी फेंकना पड़ता है और फिर से शुरू करना पड़ता है।
नया तरीका (AttentionCap): कल्पना कीजिए कि एक जासूस जो एक ही बार में लोगों के पूरे समूह को देख सकता है। फोटो लेने के बजाय, वे सभी को एक साथ सुनते हैं और तुरंत समझते हैं कि हर कोई दूसरे के साथ कैसे संबंधित है। उन्हें किसी पहले से बनी डिक्शनरी की आवश्यकता नहीं है; वे बातचीत के नियमों को चलते-चलते (on the fly) सीख लेते हैं।

2. गुप्त नुस्खा: "ट्रांसफॉर्मर" (The Transformer)

यह पेपर एक प्रकार के AI का उपयोग करता है जिसे ट्रांसफॉर्मर कहा जाता है (वही तकनीक जो आधुनिक चैटबॉट्स के पीछे है)।

"अटेंशन" तंत्र (The "Attention" Mechanism): एक सामान्य बातचीत में, आप बोलने वाले व्यक्ति पर ध्यान देते हैं। एक चिप में, प्रत्येक तार पास के अन्य सभी तारों पर "ध्यान" देता है। पेपर में पाया गया कि जिस गणित का उपयोग यह गणना करने के लिए किया जाता है कि तार एक-दूसरे को कैसे प्रभावित करते हैं, वह लगभग वैसा ही है जैसा ट्रांसफॉर्मर यह गणना करने के लिए उपयोग करते हैं कि "अटेंशन" कैसे काम करता है।
"ग्राम रिप्रेजेंटेशन" (The "Gram Representation"): इसे हर तार को एक अद्वितीय "ID कार्ड" या "फिंगरप्रिंट" (जिसे एम्बेडिंग कहा जाता है) देने के रूप में सोचें। वायर A और वायर B के बीच सीधे संबंध की गणना करने के बजाय, AI इन ID कार्डों को बनाता है और फिर उनकी तुलना करता है। यदि ID कार्ड समान हैं, तो तार मजबूती से जुड़े हुए हैं। यह AI को एक बार में एक जोड़ी के बजाय, एक ही चरण में सभी तारों के संबंधों की गणना करने की अनुमति देता है।

3. "नकली" डेटा से सीखना

असली चिप डिज़ाइन अक्सर गुप्त (मालिकाना) और कठिन होते हैं। AI को प्रशिक्षित करने के लिए, शोधकर्ताओं ने असली चिप्स का उपयोग नहीं किया। इसके बजाय, उन्होंने एक आभासी कारखाना (सिंथेटिक डेटा जनरेटर) बनाया।

उन्होंने एक कंप्यूटर प्रोग्राम किया जो लाखों नकली वायर लेआउट उत्पन्न करता है, यह सुनिश्चित करते हुए कि वे भौतिकी के बुनियादी नियमों का पालन करते हैं।
उन्होंने नकली तारों के लिए "सही" उत्तरों की गणना करने के लिए एक सुपर-सटीक (लेकिन बहुत धीमे) भौतिक सिम्युलेटर का उपयोग किया।
उन्होंने AI को इन नकली वायर लेआउट को देखने और उत्तरों की भविष्यवाणी करने के लिए सिखाया।

4. "यूनिवर्सल ट्रांसलेटर" (मल्टी-नोड लर्निंग)

चिप डिज़ाइन में सबसे बड़ी समस्याओं में से एक यह है कि चिप की हर नई पीढ़ी (जैसे, 7nm, 65nm) के नियम थोड़े अलग होते हैं। आमतौर पर, आपको प्रत्येक के लिए एक अलग AI मॉडल की आवश्यकता होती है।

AttentionCap की ट्रिक: शोधकर्ताओं ने AI को एक विशेष "प्रोसेस नोड बैज" (एक एम्बेडिंग) दिया। जब AI एक तार को देखता है, तो वह यह भी देखता है कि वह किस "बैज" से संबंधित है।
परिणाम: AI ने बिजली के उन सामान्य नियमों को सीखा जो सभी चिप्स पर लागू होते हैं, साथ ही प्रत्येक चिप प्रकार की विशिष्ट बारीकियों को भी सीखा। इसका मतलब यह है कि यदि आप इसे किसी ऐसे बिल्कुल नए चिप प्रकार पर उपयोग करना चाहते हैं जिसे इसने पहले कभी नहीं देखा है, तो आपको इसे फाइन-ट्यून करने के लिए केवल थोड़े से नए डेटा (5,000 उदाहरणों) की आवश्यकता होगी। यह एक बहुभाषी (polyglot) को एक नई भाषा सिखाने जैसा है; उन्हें व्याकरण पहले से पता है, इसलिए उन्हें बस कुछ नए शब्द सीखने की आवश्यकता है।

5. परिणाम: तेज़ और सटीक

पेपर का दावा है कि जब उन्होंने वास्तविक, अनदेखे चिप डिज़ाइनों पर इस AI का परीक्षण किया:

सटीकता (Accuracy): यह अविश्वसनीय रूप से सटीक था, और तारों के बीच परस्पर क्रिया की गणना करने में बहुत कम गलतियाँ कीं। यह पिछले सर्वश्रेष्ठ तरीके (CNN-Cap) की तुलना में 4.6 से 5.7 गुना अधिक सटीक था।
गति (Speed): यह भविष्यवाणियां करने में 192 गुना तेज़ था। जहाँ पुराने तरीके को हजारों छोटी गणनाएँ करनी पड़ती थीं, वहीं AttentionCap ने एक ही बड़े झटके में सब कुछ कर दिया।
दक्षता (Efficiency): यह तारों की कई परतों वाले जटिल परिदृश्यों को एक साथ संभाल सकता था, जबकि पुराने तरीके संघर्ष करते थे या प्रत्येक संयोजन के लिए अलग मॉडल की आवश्यकता होती थी।

सारांश

AttentionCap एक नया AI है जो चिप के तारों के साथ एक कमरे में मौजूद लोगों के समूह की तरह व्यवहार करता है, एक "सुनने" वाले तंत्र (Transformer) का उपयोग करता है ताकि यह तुरंत समझ सके कि वे सभी एक-दूसरे को कैसे प्रभावित करते हैं। लाखों नकली उदाहरणों से सीखकर और विभिन्न चिप निर्माण प्रक्रियाओं की "बोली" को समझकर, यह उच्च गति और सटीकता के साथ विद्युत व्यवहार की भविष्यवाणी करता है, जिससे आधुनिक चिप डिज़ाइन में एक बड़ी बाधा दूर हो जाती है।

तकनीकी सारांश: AttentionCap: फुल-चिप एक्सट्रैक्शन की ओर ट्रांसफार्मर आधारित कैपेसिटेंस मैट्रिक्स लर्निंग

समस्या विवरण (Problem Statement)

जैसे-जैसे इंटीग्रेटेड सर्किट (IC) डिज़ाइन छोटे प्रोसेस नोड्स की ओर बढ़ रहा है, पैरासिटिक कैपेसिटेंस एक्सट्रैक्शन के लिए पारंपरिक नियम-आधारित पैटर्न मिलान (rule-based pattern matching) की सटीकता को बनाए रखना कठिन होता जा रहा है। हालांकि सटीक फील्ड सॉल्वर (field solvers) मौजूद हैं, लेकिन वे बढ़ते डिज़ाइन आकार के साथ स्केलेबिलिटी की चुनौतियों का सामना करते हैं, जिससे वे फुल-चिप एक्सट्रैक्शन के लिए अव्यावहारिक हो जाते हैं। फलस्वरूप, डीप लर्निंग-आधारित 2D कैपेसिटेंस मॉडल एक व्यवहार्य विकल्प के रूप में उभरे हैं। हालाँकि, मुख्य रूप से मल्टी-लेयर पर्सेप्ट्रॉन्स (MLPs) और कनवल्शनल न्यूरल नेटवर्क (CNNs) पर आधारित मौजूदा दृष्टिकोणों में गंभीर सीमाएँ हैं:

निश्चित इनपुट बाधाएं (Fixed Input Constraints): अधिकांश मॉडल निश्चित संख्या में कंडक्टरों या निश्चित मेटल-लेयर संयोजनों (आमतौर पर 3 लेयर्स) तक ही सीमित होते हैं, जो जटिल, परिवर्तनशील-लेआउट डिज़ाइनों के लिए उनकी प्रयोज्यता को सीमित करता है।
अकुशल अनुमान (Inefficient Inference): डेंसिटी-ग्रिड-आधारित CNN विधियाँ (जैसे, CNN-Cap) $n$ -कंडक्टर लेआउट के लिए पूर्ण कैपेसिटेंस मैट्रिक्स निकालने के लिए $n^2$ अनुमान पास (inference passes) की आवश्यकता रखती हैं, क्योंकि वे केवल एकल युग्म (pairwise) कैपेसिटेंस की भविष्यवाणी करती हैं।
खराब सामान्यीकरण क्षमता (Poor Generalizability): मौजूदा मॉडल आमतौर पर विशिष्ट प्रोसेस नोड्स और लेयर संयोजनों पर प्रशिक्षित होते हैं, जिससे एक ही प्रोसेस नोड के $m$ लेयर्स को कवर करने के लिए $\binom{m}{3}$ मॉडल और कई डेटासेट बनाने तथा उन्हें फिर से प्रशिक्षित करने की आवश्यकता होती है।

कार्यप्रणाली (Methodology)

लेखक AttentionCap का प्रस्ताव करते हैं, जो एक अनुकूलित ट्रांसफार्मर आर्किटेक्चर है जिसे विशेष रूप से पूर्ण $n \times n$ कैपेसिटेंस मैट्रिक्स सीखने के लिए डिज़ाइन किया गया है। यह कार्यप्रणाली कैपेसिटेंस मैट्रिक्स और सेल्फ-अटेंशन मैकेनिज्म के बीच संरचनात्मक समानता का लाभ उठाती है, जो दोनों ही $n$ -to- $n$ इंटरैक्शन को मॉडल करते हैं।

1. ग्राम प्रतिनिधित्व ढांचा (Gram Representation Framework)

यह पहचानते हुए कि कैपेसिटेंस मैट्रिक्स $C$ सममित (symmetric) और पॉजिटिव सेमी-डेफिनिट (positive semi-definite) है, लेखक एक ग्राम प्रतिनिधित्व का उपयोग करते हैं जहाँ $C = GG^\top$ है। व्यक्तिगत मैट्रिक्स तत्वों की भविष्यवाणी करने के बजाय, मॉडल एक सीक्वेंस-टू-सीक्वेंस मैपिंग सीखता है जहाँ प्रत्येक कंडक्टर को एक "कैपेसिटेंस एम्बेडिंग" (G में एक रो वेक्टर) में बदल दिया जाता है। पूर्ण कैपेसिटेंस मैट्रिक्स को फिर इन एम्बेडिंग्स के डॉट प्रोडक्ट के माध्यम से पुनर्गठित किया जाता है।

2. मॉडल आर्किटेक्चर (Model Architecture)

AttentionCap मानक ट्रांसफार्मर आर्किटेक्चर को कई भौतिकी-संरेखित (physics-aligned) विशेषज्ञताओं के साथ संशोधित करता है:

इनपुट प्रतिनिधित्व (Input Representation): मॉडल कंडक्टर निर्देशांक $(x, y, w, h)$ का एक अनुक्रम और, वैकल्पिक रूप से, एक प्रोसेस-नोड एम्बेडिंग स्वीकार करता है। भाषा मॉडलों के विपरीत, यह कोई पोजीशनल एनकोडिंग नहीं अपनाता है, क्योंकि कैपेसिटेंस मैपिंग स्वाभाविक रूप से परम्यूटेशन-इक्विवेरिएंट (permutation-equivariant) है (इनपुट में कंडक्टरों का क्रम भौतिक परिणाम को प्रभावित नहीं करता है)।
सिमेट्रिक-अटेंशन आउटपुट (Symmetric-Attention Output): आउटपुट लेयर में एक RMSNorm के बाद एक लीनियर प्रोजेक्शन होता है। अंतिम कैपेसिटेंस मैट्रिक्स $\hat{C} = \frac{1}{\sqrt{d}} \hat{G}\hat{G}^\top$ के रूप में परिकलित किया जाता है, जो प्रभावी रूप से एक सिमेट्रिक अटेंशन लेयर के रूप में कार्य करता है। इस भौतिक गुण को लागू करने के लिए कि विकर्णीय तत्व (self-capacitance) ऑफ-विकर्णीय तत्वों (coupling) के योग के बराबर हों, मॉडल $\hat{C}_{ii} = \sum_{j \neq i} \hat{C}_{ij}$ सेट करता है।
प्रोसेस-नोड एम्बेडिंग (Process-Node Embedding): मल्टी-नोड लर्निंग को सक्षम करने के लिए, एक लर्नेबल एम्बेडिंग वेक्टर जो विशिष्ट प्रोसेस नोड (डाइइलेक्ट्रिक स्टैक और वायर फीचर्स) का प्रतिनिधित्व करता है, उसे कंडक्टर कोऑर्डिनेट एम्बेडिंग्स में जोड़ा जाता है। यह एक एकल मॉडल को विभिन्न टेक्नोलॉजी नोड्स के बीच अंतर करने में सक्षम बनाता है।

3. नॉर्मलाइज्ड लैपलेसियन लॉस (Normalized Laplacian Loss)

कैपेसिटेंस मानों की विस्तृत डायनेमिक रेंज को संबोधित करने के लिए, लेखक एक नॉर्मलाइज्ड लैपलेसियन लॉस पेश करते हैं। फ्रोबेनियस नॉर्म एरर की गणना करने से पहले ग्राउंड ट्रुथ और प्रेडिक्टेड मैट्रिसेस को उनके विकर्णीय तत्वों के वर्गमूल ( $D^{-1/2} C D^{-1/2}$ ) द्वारा नॉर्मलाइज किया जाता है। यह बड़े कैपेसिटेंस मानों को लॉस फंक्शन पर हावी होने से रोकता है और विभिन्न पैमानों पर स्थिर प्रशिक्षण सुनिश्चित करता है।

4. सिंथेटिक डेटा जनरेशन (Synthetic Data Generation)

स्वामित्व वाले लेआउट डेटा की कमी को देखते हुए, लेखकों ने एक सिंथेटिक क्रॉस-सेक्शन जनरेटर विकसित किया है। यह टूल रैंडम तरीके से मेटल लेयर्स चुनकर, पॉइसन वितरण (Poisson distribution) के माध्यम से कंडक्टर काउंट को सैंपल करके, और डिज़ाइन नियमों का पालन करने वाले ज्यामितीय पैरामीटर (चौड़ाई, स्थिति) उत्पन्न करके विविध प्रशिक्षण नमूने बनाता है। यह दृष्टिकोण विशिष्ट लेआउट पैटर्न पर ओवरफिटिंग के बिना लाखों सिंथेटिक नमूनों पर प्रशिक्षण की अनुमति देता है।

प्रमुख योगदान (Key Contributions)

कैपेसिटेंस के लिए ट्रांसफार्मर: कैपेसिटेंस मैट्रिक्स लर्निंग के लिए ट्रांसफार्मर आर्किटेक्चर का पहला अनुप्रयोग, जो परिवर्तनशील-लंबाई वाला इनपुट और सिंगल इन्फरेंस पास में फुल-मैट्रिक्स आउटपुट सक्षम करता है।
फिजिक्स-अलाइन्ड डिज़ाइन: ग्राम रिप्रेजेंटेशन, सिमेट्रिक अटेंशन और नॉर्मलाइज्ड लैपलेसियन लॉस का एकीकरण यह सुनिश्चित करता है कि मॉडल कैपेसिटेंस मैट्रिक्स (सिमेट्री, पॉजिटिव सेमी-डेफिनिटनेस और लैपलेसियन स्ट्रक्चर) के भौतिक गुणों का सम्मान करे।
मल्टी-नोड ट्रांसफरैबिलिटी: प्रोसेस-नोड एम्बेडिंग्स का परिचय एक एकल मॉडल को कई प्रोसेस नोड्स और मेटल-लेयर संयोजनों में सीखने में सक्षम बनाता है, जिससे पुन: प्रशिक्षण की आवश्यकता काफी कम हो जाती है।
डेटा दक्षता: न्यूनतम फाइन-ट्यूनिंग (5,000 सैंपल और 4,000 स्टेप्स) के साथ अनदेखे प्रोसेस नोड्स पर ट्रांसफर करने की क्षमता प्रदर्शित की गई।

प्रयोगात्मक परिणाम (Experimental Results)

मॉडल को सिंथेटिक डेटा पर प्रशिक्षित किया गया और अनदेखे रियल-डिज़ाइन क्रॉस-सेक्शन्स (7nm और 65nm नोड्स) पर मूल्यांकन किया गया।

सटीकता (Accuracy): एक चुनौतीपूर्ण मल्टी-लेयर और मल्टी-नोड सेटिंग के तहत, AttentionCap ने अनदेखे रियल डिज़ाइनों पर सेल्फ-कैपेसिटेंस के लिए 0.67% त्रुटि और कपलिंग कैपेसिटेंस के लिए 3.99% त्रुटि प्राप्त की। यह CNN-Cap बेसलाइन की तुलना में त्रुटि में 4.6 $\times$ से 5.7 $\times$ की कमी दर्शाता है।
दक्षता (Efficiency): AttentionCap ने CNN-Cap की तुलना में अनुमान (inference) में 192 $\times$ की गति वृद्धि दिखाई, जिसका मुख्य कारण डेंसिटी-ग्रिड प्रोसेसिंग का उन्मूलन और सिंगल पास में पूर्ण मैट्रिक्स उत्पन्न करने की क्षमता है। प्रशिक्षण भी 18.5 $\times$ तेज़ था।
ट्रांसफरैबिलिटी (Transferability): 15nm, 28nm और 65nm नोड्स के मिश्रण पर प्री-ट्रेंड किए गए मॉडल को केवल 5,000 नमूनों का उपयोग करके एक नए 7nm नोड के लिए सफलतापूर्वक फाइन-ट्यून किया गया। इस फाइन-ट्यून किए गए मॉडल ने स्क्रैच से प्रशिक्षित मॉडल की तुलना में बेहतर प्रदर्शन किया, भले ही उस स्क्रैच-ट्रेंड मॉडल के पास 7nm डेटा का 90% उपलब्ध डेटा हो।
एब्लेशन स्टडीज (Ablation Studies): प्रयोगों ने पुष्टि की कि उच्च सटीकता प्राप्त करने के लिए नॉर्मलाइज्ड लैपलेसियन लॉस और SwiGLU एक्टिवेशन फंक्शन महत्वपूर्ण थे, जबकि अटेंशन मैकेनिज्म स्वयं जटिल मल्टी-कंडक्टर इंटरैक्शन को कैप्चर करने के लिए आवश्यक था (MLP बेसलाइन उपयोगी भविष्यवाणियां प्रदान करने में विफल रहे)।

महत्व (Significance)

पेपर का दावा है कि AttentionCap आधुनिक इलेक्ट्रॉनिक डिज़ाइन ऑटोमेशन (EDA) वर्कफ़्लो के लिए अत्यधिक व्यावहारिक मूल्य प्रदान करता है। फिक्स्ड-लेयर और फिक्स्ड-कंडक्टर मॉडलों की सीमाओं को दूर करके, यह फुल-चिप एक्सट्रैक्शन के लिए एक एकीकृत, ट्रांसफर करने योग्य समाधान प्रदान करता है। सिंथेटिक डेटा पर प्रशिक्षण लेने और न्यूनतम डेटा के साथ नए प्रोसेस नोड्स पर ट्रांसफर करने की क्षमता, उन्नत नोड्स के लिए कैपेसिटेंस मॉडल विकसित करने में प्राथमिक बाधा को संबोधित करती है। लेखक AttentionCap को केवल एक क्रमिक सुधार के रूप में नहीं, बल्कि स्केलेबल, डीप-लर्निंग-आधारित पैरासिटिक एक्सट्रैक्शन की ओर एक आधारभूत बदलाव के रूप में देखते हैं जो IC डिज़ाइन की विकसित होती जटिलता के अनुकूल हो सकता है।