💻 computer science

Trilinear Compute-in-Memory Architecture for Energy-Efficient Transformer Acceleration

यह शोध पत्र TrilinearCIM प्रस्तुत करता है, जो एक नवीन डबल-गेट FeFET-आधारित कंप्यूट-इन-मेमोरी आर्किटेक्चर है जो बैक-गेट मॉड्यूलेशन का उपयोग करके डायनेमिक ट्रांसफॉर्मर अटेंशन गणनाओं को बिना रनटाइम रीप्रोग्रामिंग के पूरी तरह से नॉन-वोलेटाइल मेमोरी के भीतर निष्पादित करता है, जिससे पारंपरिक CIM दृष्टिकोणों की तुलना में महत्वपूर्ण ऊर्जा और लेटेंसी सुधार प्राप्त होता है।

मूल लेखक: Md Zesun Ahmed Mia, Jiahui Duan, Kai Ni, Abhronil Sengupta

प्रकाशित 2026-04-10

📖 6 मिनट में पढ़ें🧠 गहराई से पढ़ें

CC BY 4.0

मूल लेखक: Md Zesun Ahmed Mia, Jiahui Duan, Kai Ni, Abhronil Sengupta

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

यहाँ "Trilinear Compute-in-Memory Architecture for Energy-Efficient Transformer Acceleration" पेपर का सरल, रोज़मर्रा की भाषा और रचनात्मक उपमाओं (analogies) के साथ अनुवाद दिया गया है।

बड़ी समस्या: "ब्लैकबोर्ड को फिर से लिखने" की बाधा (The "Rewriting the Blackboard" Bottleneck)

कल्पना कीजिए कि एक सुपर-इंटेलिजेंट लाइब्रेरियन (Transformer AI) है जिसे किसी सवाल का जवाब देने के लिए एक किताब पढ़नी है।

पुराना तरीका (Standard Computers): लाइब्रेरियन को एक विशाल लाइब्रेरी शेल्फ (मेमोरी) और अपने डेस्क (प्रोसेसर) के बीच बार-बार दौड़ना पड़ता है। हर बार जब उसे किसी नई जानकारी की ज़रूरत होती है, तो वह उसे उठाता है, डेस्क पर लाता है, गणित करता है, और फिर वापस रख देता है। यह बार-बार आना-जाना धीमा है और बहुत ऊर्जा खर्च करता है।
"इन-मेमोरी" तरीका (CIM): इसे ठीक करने के लिए, इंजीनियरों ने एक ऐसा पुस्तकालय बनाया है जहाँ किताबें ही डेस्क का काम करती हैं। लाइब्रेरियन गणित वहीं कर सकता है जहाँ किताबें रखी हुई हैं। यह बहुत तेज़ है और इसमें कम ऊर्जा लगती है।

लेकिन यहाँ एक पेंच है:
एक सामान्य लाइब्रेरी में, किताबें (weights) हमेशा के लिए एक जैसी रहती हैं। लेकिन एक Transformer AI में, हर एक वाक्य के साथ "किताबें" बदल जाती हैं।

उपमा (Analogy): कल्पना कीजिए कि लाइब्रेरियन को हर बार कमरे में एक नए छात्र के आने पर पूरे ब्लैकबोर्ड को फिर से लिखना पड़ता है।
- एक सामान्य "इन-मेमोरी" कंप्यूटर में, ब्लैकबोर्ड एक विशेष सामग्री (Non-Volatile Memory) से बना होता है जो लिखावट को अच्छी तरह थामे रखता है, लेकिन इसे मिटाना और फिर से लिखना धीमा, महंगा है और समय के साथ बोर्ड को घिस देता है।
- क्योंकि AI को प्रति सेकंड लाखों बार इस बोर्ड को फिर से लिखना पड़ता है, इसलिए "फिर से लिखने" वाला हिस्सा ही मुख्य बाधा बन जाता है। यह ऐसा है जैसे लाइब्रेरियन अपना 90% समय बोर्ड मिटाने में बिता रहा हो और केवल 10% समय वास्तव में किताबें पढ़ने में।

समाधान: "जादुई चॉक" (TrilinearCIM)

शोधकर्ताओं (Penn State और Notre Dame से) ने एक नए प्रकार का ब्लैकबोर्ड और उस पर लिखने का एक नया तरीका ईजाद किया है। वे इसे TrilinearCIM कहते हैं।

1. जादुई चॉकबोर्ड (DG-FeFET)

एक साधारण ब्लैकबोर्ड के बजाय, वे Double-Gate Ferroelectric FET (DG-FeFET) का उपयोग करते हैं।

ऊपरी परत (The Static Weight): इसे आप बोर्ड पर लिखी स्थायी लिखावट मान सकते हैं। यह AI का "ज्ञान" है। यह हमेशा वहीं रहता है और इसे मिटाने की ज़रूरत नहीं होती।
निचली परत (The Dynamic Modulator): यह "जादुई चॉक" है। स्थायी टेक्स्ट को मिटाने और नया लिखने के बजाय, लाइब्रेरियन एक विशेष चुंबकीय छड़ी (back-gate voltage) का उपयोग करता है ताकि वह अस्थायी रूप से स्थायी टेक्स्ट के दिखने के तरीके को बदल सके।
- उपमा: कल्पना कीजिए कि स्थायी टेक्स्ट कहता है "5"। जब आप छड़ी घुमाते हैं, तो "5" जादू से एक सेकंड के लिए "12" में बदल जाता है ताकि गणित किया जा सके, और फिर तुरंत वापस "5" बन जाता है। आपने कभी भी बोर्ड को मिटाया या फिर से नहीं लिखा; आपने बस उसे देखने का नज़रिया बदल दिया।

2. तीन-हाथों वाला गणित (Trilinear)

कंप्यूटर पर होने वाला मानक गणित आमतौर पर दो चीजों को शामिल करता है: Input × Weight।
लेकिन Transformer AI को तीन तरफा तालमेल की ज़रूरत होती है: Input × Weight × Another Input।

पुराना तरीका: आपको पहला परिणाम लिखना पड़ता था, उसे मिटाना पड़ता था, फिर दूसरा परिणाम लिखना पड़ता था, और फिर उन्हें गुणा करना पड़ता था। (बहुत अधिक फिर से लिखना!)
नया तरीका (Trilinear): "जादुई चॉक" (back-gate) की वजह से, कंप्यूटर एक साथ Input × Weight × Modulation कर सकता है।
- यह एक ऐसे कैलकुलेटर की तरह है जो स्क्रीन को साफ़ किए बिना एक साथ तीन संख्याओं को गुणा कर सकता है।

यह क्यों एक गेम चेंजर है

शोधकर्ताओं ने इस नए सिस्टम का परीक्षण लोकप्रिय AI मॉडलों (जैसे भाषा के लिए BERT और इमेज के लिए ViT) पर किया। उन्हें क्या पता चला:

मिटाने का झंझट खत्म: क्योंकि यह सिस्टम वैल्यू को फिर से लिखने के बजाय "जादुई चॉक" का उपयोग करके उन्हें बदलने के लिए उपयोग करता है, यह धीमी और ऊर्जा-खपत वाली 'फिर से लिखने' की प्रक्रिया को पूरी तरह से समाप्त कर देता है।
गति और ऊर्जा:
- ऊर्जा: यह 46% तक कम ऊर्जा का उपयोग करता है। यह एक ऐसी कार चलाने जैसा है जिसकी माइलेज अचानक 46% बेहतर हो गई क्योंकि उसने रेड लाइट पर रुककर इंजन चालू रखने की आदत छोड़ दी है।
- गति: यह 20% तेज़ चलता है क्योंकि लाइब्रेरियन बोर्ड मिटाने में समय बर्बाद नहीं कर रहा है।
दीर्घायु (Longevity): चूंकि बोर्ड को लगातार मिटाया और फिर से लिखा नहीं जा रहा है, इसलिए यह जल्दी घिसेगा नहीं। "ब्लैकबोर्ड" बहुत लंबे समय तक चलेगा।

ट्रेड-ऑफ (एक कमी)

कोई भी चीज़ एकदम परफेक्ट नहीं होती।

आकार: हर मेमोरी सेल में "जादुई छड़ी" (back-gate drivers) जोड़ने के लिए, चिप पुराने डिज़ाइन की तुलना में लगभग 37% बड़ी होनी चाहिए।
इमेज सटीकता (Image Accuracy): हालांकि यह टेक्स्ट (जैसे वाक्यों को समझने) के लिए अद्भुत काम कर रहा था, लेकिन यह इमेज (जैसे बिल्ली बनाम कुत्ते को पहचानने) के लिए थोड़ा कम सटीक था। शोधकर्ताओं का मानना है कि ऐसा इसलिए है क्योंकि "जादुई चॉक" थोड़ी सी "धुंधलापन" (fuzziness) पैदा करता है जिसे मानव आँखें टेक्स्ट में नोटिस नहीं करतीं, लेकिन कंप्यूटर विज़न मॉडल इसके प्रति बहुत संवेदनशील होते हैं।

निष्कर्ष

यह पेपर एक शानदार आर्किटेक्चरल बदलाव का प्रस्ताव करता है। AI को अपनी मेमोरी को लगातार फिर से लिखने के लिए मजबूर करने के बजाय (जो धीमा है और चीज़ों को खराब करता है), उन्होंने एक ऐसा मेमोरी चिप बनाया है जो बिना खुद को फिर से लिखे, मौके पर ही अपने व्यवहार को गतिशील रूप से बदल सकता है।

सरल शब्दों में: उन्होंने एक ऐसे कंप्यूटर को बदल दिया जिसे लगातार अपने व्हाइटबोर्ड को साफ करने के लिए रुकना पड़ता था, और उसे एक ऐसे कंप्यूटर में बदल दिया जो बस एक जादुई छड़ी लहराकर संख्याओं को तुरंत बदल सकता है। यह AI को तेज़, सस्ता और अधिक टिकाऊ बनाता है, जिससे ऐसी स्मार्ट AI का रास्ता साफ होता है जो बहुत अधिक बिजली खर्च नहीं करती।

यहाँ शोध पत्र "Trilinear Compute-in-Memory Architecture for Energy-Efficient Transformer Acceleration" का विस्तृत तकनीकी सारांश दिया गया है।

1. समस्या विवरण (Problem Statement)

ट्रांसफॉर्मर आर्किटेक्चर, हालांकि NLP और कंप्यूटर विज़न में प्रभावी है, अपनी सेल्फ-अटेंशन मैकेनिज्म (self-attention mechanism) के कारण महत्वपूर्ण हार्डवेयर दक्षता चुनौतियों का सामना करता है।

डायनेमिक ऑपरेंड्स (Dynamic Operands): CNNs के विपरीत, जहाँ वेट्स (weights) ट्रेनिंग के बाद स्थिर रहते हैं, ट्रांसफॉर्मर्स प्रत्येक इनपुट सीक्वेंस के लिए डायनेमिक ऑपरेंड्स ( $Q, K, V$ ) उत्पन्न करते हैं।
"राइट" (Write) की बाधा: पारंपरिक कंप्यूट-इन-मेमोरी (CIM) एक्सेलेरेटर्स (जो ReRAM, PCM, या FeFET का उपयोग करते हैं) वेट स्टेशनैरिटी (weight stationarity) पर निर्भर करते हैं। डायनेमिक अटेंशन को संभालने के लिए, मौजूदा CIM दृष्टिकोणों को हर इन्फरेंस (inference) के लिए नए $K$ और $V$ मैट्रिसेस के साथ NVM एरेज़ को बार-बार प्रोग्राम करना पड़ता है।
परिणाम:
- लेटेंसी और ऊर्जा (Latency & Energy): NVM राइट्स, रीड्स की तुलना में कई गुना अधिक धीमे और अधिक ऊर्जा खपत वाले होते हैं।
- एंड्योरेंस (Endurance): बार-बार प्रोग्रामिंग करने से मेमोरी सेल्स पर दबाव पड़ता है, जिससे डिवाइस का जीवनकाल काफी कम हो जाता है।
- हाइब्रिड ट्रेड-ऑफ (Hybrid Trade-offs): हालिया समाधान (जैसे, X-Former) डायनेमिक राइट्स से बचने के लिए अटेंशन को डिजिटल CMOS पर ऑफलोड करते हैं, लेकिन इससे NVM के उच्च एरिया डेंसिटी और लो लीकेज लाभों का त्याग करना पड़ता है।

2. कार्यप्रणाली: TrilinearCIM

लेखक TrilinearCIM का प्रस्ताव करते हैं, जो डबल-गेट फेरोइलेक्ट्रिक FET (DG-FeFET) पर आधारित एक नया आर्किटेक्चर है, जो रनटाइम NVM रीप्रोग्रामिंग के बिना संपूर्ण अटेंशन मैकेनिज्म को इन-मेमोरी निष्पादित करता है।

मुख्य डिवाइस फिजिक्स: DG-FeFET

संरचना: इस डिवाइस में एक टॉप-गेट (TG) है जिसमें फेरोइलेक्ट्रिक लेयर है और एक बैक-गेट (BG) है जो एक डाइइलेक्ट्रिक द्वारा अलग किया गया है।
मैकेनिज्म:
- टॉप-गेट (Top-Gate): पोलराइजेशन स्टेट के माध्यम से स्थिर, नॉन-वोलेटाइल वेट ( $W$ ) को स्टोर करता है।
- बैक-गेट (Back-Gate): एक वोलेटाइल (volatile) कंट्रोल पाथ प्रदान करता है। बैक-गेट पर वोल्टेज ( $V_{BG}$ ) लगाने से डिवाइस का चैनल कंडक्टेंस ( $G$ ) रैखिक रूप से मॉड्यूलेट होता है।
- ट्रिलिनियर प्रिमिटिव (Trilinear Primitive): आउटपुट करंट तीन ऑपरेंड्स का एक फंक्शन बन जाता है:
  $I_{DS} \approx V_{DS} \cdot G_0 \cdot (1 + \eta_{BG} \cdot V_{BG})$
  जहाँ $V_{DS}$ इनपुट वोल्टेज है, $G_0$ स्टोर किया गया वेट है, और $V_{BG}$ डायनेमिक मॉड्यूलेशन सिग्नल है। यह एक तीन-ऑपरेंड मल्टीप्लाई-एक्युमुलेट (MAC) ऑपरेशन सक्षम करता है: $Y = A \cdot B \cdot C$ ।

आर्किटेक्चर और डेटाफ्लो

यह आर्किटेक्चर प्रोजेक्शन और अटेंशन चरणों को तीन ट्रिलिनियर चरणों में फ्यूज करता है, जिससे इंटरमीडिएट टेंसर स्टोरेज की आवश्यकता समाप्त हो जाती है:

चरण 1 (स्केल्ड क्वेरी जनरेशन): $R_1 = X \cdot W_Q^T / \sqrt{d_k}$ की गणना करता है। स्केलिंग फैक्टर को एक स्टैटिक बैक-गेट बायस के माध्यम से लागू किया जाता है।
चरण 2 (स्कोर सिंथेसिस): $R_2 = R_1 \cdot W_K \cdot X^T$ की गणना करता है। इनपुट सीक्वेंस $X$ (ट्रांसपोज़ किया हुआ) बैक-गेट के कंडक्टेंस को डायनेमिक रूप से मॉड्यूलेट करता है। यह $K$ मैट्रिक्स को स्पष्ट रूप से बनाने से बचाता है।
चरण 3 (वैल्यू एग्रीगेशन): $Result = \text{Softmax}(R_2) \cdot X \cdot W_V^T$ की गणना करता है। अटेंशन स्कोर वैल्यूज को एग्रीगेट करने के लिए बैक-गेट को मॉड्यूलेट करते हैं।

मुख्य डेटाफ्लो नवाचार:

कोई इंटरमीडिएट स्टोरेज नहीं: इंटरमीडिएट टेंसर ( $Q, K, V$ ) को ग्लोबल बफ़र्स या ऑफ-चिप DRAM में कभी भी स्टोर नहीं किया जाता है।
जीरो रनटाइम राइट्स: स्टैटिक वेट्स ( $W_Q, W_K, W_V$ ) को केवल एक बार प्रोग्राम किया जाता है। डायनेमिक इनपुट्स ( $X$ ) और स्कोर को वोलेटाइल बैक-गेट वोल्टेज मॉड्यूलेशन के माध्यम से संभाला जाता है, जिसके लिए जीरो फेरोइलेक्ट्रिक स्विचिंग की आवश्यकता होती है।

3. मुख्य योगदान

नया ट्रिलिनियर CIM प्रिमिटिव: DG-FeFET बैक-गेट मॉड्यूलेशन का उपयोग करके मानक दो-ऑपरेंड CIM प्रतिमान को नेटिव तीन-ऑपरेंड ऑपरेशन ( $A \cdot B \cdot C$ ) तक विस्तारित करता है।
डायनेमिक NVM राइट्स का उन्मूलन: फेरोइलेक्ट्रिक स्टेट को रीप्रोग्राम किए बिना पूर्ण इन-मेमोरी अटेंशन कंप्यूटेशन प्राप्त करता है, जो एंड्योरेंस और राइट-लेटेंसी बाधाओं को हल करता है।
बफ़र प्रेशर में कमी: प्रोजेक्शन और अटेंशन को फ्यूज करके, एक साथ बफ़र स्टोरेज की आवश्यकता वाले मैट्रिसेस की संख्या तीन ( $X, Q, K$ ) से घटकर एक ( $X$ ) रह जाती है, जिससे बफ़र क्षमता की आवश्यकता ~3x कम हो जाती है।
"ऑल-इन-मेमोरी" दक्षता की बहाली: यह सिद्ध करता है कि पूरा अटेंशन डेटाफ्लो को NVM कोर्स के भीतर रखना संभव है, जिससे हाइब्रिड CMOS/NVM दृष्टिकोणों में खोए हुए एरिया और लीकेज लाभ वापस मिल जाते हैं।

4. प्रयोगात्मक परिणाम

आर्किटेक्चर का मूल्यांकन BERT-base (GLUE बेंचमार्क) और ViT-base (ImageNet, CIFAR) पर TransCIM सिमुलेशन फ्रेमवर्क (NeuroSim पर आधारित) का उपयोग करके किया गया था।

प्रदर्शन और दक्षता (BERT-base)

ऊर्जा (Energy): पारंपरिक FeFET CIM (बाइलिनियर) की तुलना में प्रति इन्फरेंस ऊर्जा में 46.6% तक की कमी।
लेटेंसी (Latency): इन्फरेंस लेटेंसी में 20.4% तक का सुधार।
थ्रूपुट (Throughput): 22.7% से 25.5% की वृद्धि।
एरिया ओवरहेड (Area Overhead): प्रति-कॉलम बैक-गेट ड्राइवर्स और DACs के कारण एरिया में 37.3% की वृद्धि।
TOPS/W: सीक्वेंस की लंबाई के आधार पर 22.8% से 39.2% का सुधार।

सटीकता (Accuracy)

NLP (GLUE): TrilinearCIM ने बाइलिनियर बेसलाइन की तुलना में 9 में से 7 कार्यों पर बेहतर प्रदर्शन किया (जैसे, QNLI पर +3.74%, MNLI पर +3.14%)। यह स्थिरता बाइलिनियर दृष्टिकोणों में निहित बार-बार होने वाले मिक्सड-सिग्नल कन्वर्जन और रीमैपिंग त्रुटियों से बचने से आती है।
विज़न (ViT): ImageNet/CIFAR पर Trilinear ने बाइलिनियर की तुलना में थोड़ी कम सटीकता दिखाई। लेखक इसका श्रेय बैक-गेट DAC द्वारा पेश किए गए क्वांटिज़ेशन नॉइज़ को देते हैं, जो विज़न कार्यों के लिए महत्वपूर्ण स्पार्स, हाई-मैग्निट्यूड आउटलियर स्कोर को विकृत करता है।

एब्लेशन स्टडीज (Ablation Studies)

प्रिसिजन (Precision): एक 1-बिट सेल / 6-बिट ADC कॉन्फ़िगरेशन ने GLUE कार्यों पर 2-बिट बेसलाइन से बेहतर प्रदर्शन करते हुए सबसे अच्छा सटीकता-से-दक्षता ट्रेड-ऑफ प्रदान किया।
सब-एरे साइज (Sub-array Size): छोटे सब-एरे (32x32) ने बेहतर लेटेंसी और मेमोरी यूटिलाइजेशन प्रदान किया, जबकि बड़े एरे (64x64) ने उच्च एब्सोल्यूट TOPS/W प्रदान किया।

5. महत्व

प्रतिमान परिवर्तन (Paradigm Shift): यह पूर्ण रूप से बिना रनटाइम रीप्रोग्रामिंग के केवल NVM कोर्स के भीतर पूर्ण ट्रांसफॉर्मर अटेंशन कंप्यूटेशन करने वाला पहला आर्किटेक्चर है।
एंड्योरेंस समाधान: यह NVM में डायनेमिक अटेंशन के लिए "राइट एंड्योरेंस" संकट को मौलिक रूप से संबोधित करता है, जिससे लॉन्ग-कॉन्टेक्स्ट इन्फरेंस (जैसे, डॉक्यूमेंट प्रोसेसिंग, डायलॉग) मेमोरी-सेंट्रिक हार्डवेयर पर व्यवहार्य हो जाता है।
स्केलेबिलिटी: TrilinearCIM के ऊर्जा और लेटेंसी लाभ सीक्वेंस की लंबाई बढ़ने के साथ अनुकूल रूप से स्केल होते हैं, क्योंकि पारंपरिक CIM में डायनेमिक राइट्स की लागत टोकन के साथ रैखिक रूप से बढ़ती है, जबकि TrilinearCIM की लागत रीड्स द्वारा नियंत्रित रहती है।
भविष्य की दिशा: हालांकि विज़न सटीकता के लिए और अधिक अनुकूलन (जैसे, नॉइज़-अवेयर ट्रेनिंग) की आवश्यकता है, यह आर्किटेक्चर सिद्ध करता है कि "ऑल-इन-मेमोरी" कंप्यूटिंग अगली पीढ़ी के ट्रांसफॉर्मर एक्सेलेरेटर्स के लिए एक व्यवहार्य मार्ग है, बशर्ते हार्डवेयर मल्टी-गेट मॉड्यूलेशन का समर्थन कर सके।