🔬 physics

Thermodynamic cost of inference and learning in physical neural networks

यह शोध पत्र यह प्रदर्शित करता है कि जबकि भौतिक तंत्रिका नेटवर्क (physical neural networks) में अर्ध-स्थैतिक अनुमान (quasi-static inference) में कोई ऊष्मप्रवैगिक लागत नहीं आती है, पैरामीटर सीखना एक अपरिहार्य ऊर्जा व्यय वहन करता है, जिससे यह स्थापित होता है कि तंत्रिका गणना की मौलिक ऊष्मप्रवैगिक कीमत अंकगणितीय प्रसंस्करण के बजाय स्मृति भंडारण द्वारा निर्धारित होती है।

मूल लेखक: Alexei Tkachenko

प्रकाशित 2026-08-18

📖 8 मिनट में पढ़ें🧠 गहराई से पढ़ें

CC BY 4.0

मूल लेखक: Alexei Tkachenko

मूल पेपर CC BY 4.0 (https://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

जब भी कोई कंप्यूटर किसी समस्या को हल करता है या कोई नया पैटर्न सीखता है, तो वह ऊर्जा खर्च करता है। हम इसे उन विशाल बिजली संयंत्रों में देखते हैं जो हमारे डेटा केंद्रों को शक्ति प्रदान करते हैं और हमारे लैपटॉप से निकलने वाली गर्मी में भी देखते हैं। दशकों से, वैज्ञानिक यह सोच रहे हैं कि इस ऊर्जा लागत का कितना हिस्सा हमारी वर्तमान तकनीक की खामी है, और कितना प्रकृति का एक मौलिक नियम है जिससे कोई भी मशीन कभी बच नहीं सकती। डिजिटल कंप्यूटरों के लिए मानक उत्तर 'लैंडावर के सिद्धांत' (Landauer's principle) नामक एक नियम से आता है। यह कहता है कि यदि कोई मशीन सूचना के एक टुकड़े को मिटाती है, तो उसे थोड़ी मात्रा में अपरिहार्य ऊष्मा उत्सर्जित करनी पड़ती है। यह नियम हमारे प्रोसेसर के भीतर मौजूद बाइनरी स्विचों पर लागू होता है, जहाँ सूचना को "ऑन" या "ऑफ" जैसे अलग और स्थिर अवस्थाओं के रूप में संग्रहीत किया जाता है। हालाँकि, कई शोधकर्ता अब एक अलग प्रकार का कंप्यूटर बना रहे हैं। ये भौतिक न्यूरल नेटवर्क (physical neural networks) हैं, जो प्रकाश, यांत्रिक भागों, या इलेक्ट्रॉनिक सर्किट से बने ऐसे उपकरण हैं जो संतुलन की स्थिति में ढलकर गणना करते हैं, ठीक वैसे ही जैसे एक गेंद ढलान से नीचे लुढ़ककर सबसे निचले बिंदु को खोज लेती है। क्योंकि ये मशीनें कठोर स्विचों को बदलने पर निर्भर नहीं करती हैं, इसलिए बिट्स को मिटाने के पुराने नियम उन पर उसी तरह लागू नहीं हो सकते। प्रश्न यह है कि क्या ये नई मशीनें लगभग बिना किसी ऊर्जा के गणना और सीख सकती हैं, या क्या वे भी एक कठिन भौतिक सीमा से बंधी हुई हैं।

ब्रुकहेवन नेशनल लेबोरेटरी के एक शोधकर्ता ने अब यह सटीक रूप से मानचित्रित किया है कि इन भौतिक नेटवर्कों को कितनी ऊर्जा की आवश्यकता होती है। उन्होंने प्रयोगशाला में कोई भौतिक उपकरण नहीं बनाया; इसके बजाय, उन्होंने एक विस्तृत गणितीय मॉडल बनाया जो एक न्यूरल नेटवर्क को स्प्रिंग्स और भार (weights) की एक प्रणाली के रूप में मानता है। उनके मॉडल में, नेटवर्क की परतों के बीच के संबंध कठोर निर्देश नहीं बल्कि लचीली बाधाएं हैं, जैसे स्प्रिंग्स जो सिस्टम को एक विशिष्ट आकार की ओर खींचते हैं। जब नेटवर्क को एक इनपुट दिया जाता है, तो यह बस उस आकार में ढल जाता है जो सभी स्प्रिंग्स को एक साथ संतुष्ट करता है। इस दृष्टिकोण ने वैज्ञानिक को दो अलग-अलग प्रक्रियाओं की ऊर्जा लागत की गणना करने की अनुमति दी: 'अनुमान' (inference), जो एक समस्या को हल करने की क्रिया है, और 'सीखना' (learning), जो मशीन को समस्या को बेहतर ढंग से हल करने के लिए प्रशिक्षित करने की क्रिया है। उनके निष्कर्ष इन मशीनों के भौतिकी में एक आश्चर्यजनक विभाजन प्रकट करते हैं। उन्होंने पाया कि सोचने की क्रिया, यानी अनुमान, सैद्धांतिक रूप से शून्य ऊर्जा के साथ की जा सकती है यदि मशीन पर्याप्त रूप से धीरे चले। लागत केवल तब आती है जब मशीन को तेजी से चलने के लिए मजबूर किया जाता है। इसके विपरीत, सीखने की क्रिया में एक स्थायी ऊर्जा मूल्य होता जिसे टाला नहीं जा सकता, चाहे मशीन कितनी भी धीमी गति से क्यों न संचालित हो।

शोधकर्ता ने पाया कि अनुमान (inference) के लिए, ऊर्जा लागत नेटवर्क के भीतर कनेक्शनों या "भारों" (weights) की संख्या द्वारा निर्धारित नहीं होती है, जैसा कि डिजिटल कंप्यूटरों में होता है। इसके बजाय, लागत नेटवर्क की चौड़ाई पर निर्भर करती है, या इस पर कि एक समय में कितने न्यूरॉन्स सक्रिय हैं। यदि मशीन को धीरे-धीरे ढलने की अनुमति दी जाती है, और एक इनपुट से दूसरे इनपुट तक आराम से आगे बढ़ती है, तो इसमें बिल्कुल भी कार्य (work) करने की आवश्यकता नहीं होती है। ऐसा इसलिए है क्योंकि मशीन हमेशा साम्यावस्था (equilibrium) की स्थिति में होती है, वह ऊर्जा की एक चिकनी घाटी के साथ फिसलती है और उसे कभी भी किसी पहाड़ी पर चढ़ने या स्मृति मिटाने की आवश्यकता नहीं पड़ती। ऊर्जा केवल तभी खर्च होती है जब मशीन को उसकी प्राकृतिक विश्राम गति से तेज चलने के लिए धकेला जाता है। इस तेज़ शासन (fast regime) में, आवश्यक ऊर्जा मशीन द्वारा अपने स्टेट स्पेस (state space) के माध्यम से तय की गई दूरी और उसे लेने में लगने वाले समय के अनुपात में होती है। सिमुलेशन ने दिखाया कि सबसे तेज़ उपयोगी गति पर भी, ऊर्जा लागत उल्लेखनीय रूप से कम है, जो नेटवर्क की चौड़ाई के प्रत्येक आयाम के लिए परिवेश की तापीय ऊर्जा (thermal energy) के लगभग बराबर है। इसका अर्थ है कि लागत नेटवर्क की कुल जटिलता के बजाय उसके आकार (width) के साथ बढ़ती है। दस लाख सक्रिय न्यूरॉन्स वाले नेटवर्क के लिए, ऊर्जा लागत एक एकल कण की सूक्ष्म तापीय ऊर्जा के दस लाख गुना के बराबर है, जो वर्तमान डिजिटल हार्डवेयर द्वारा खपत की जाने वाली ऊर्जा से अरबों गुना कम है।

हालाँकि, सीखना एक अलग कहानी बताता है। जब मशीन को प्रशिक्षित किया जाता है, तो इनपुट और वांछित आउटपुट दोनों को एक ही समय में सिस्टम पर थोपा जाता है। यह नेटवर्क के स्प्रिंग्स के भीतर एक संघर्ष, या तनाव पैदा करता है, क्योंकि वर्तमान सेटिंग्स इनपुट और लक्ष्य दोनों को एक साथ संतुष्ट नहीं कर सकतीं। सीखने के लिए, मशीन को इस तनाव को कम करने के लिए अपने आंतरिक भार (weights) को समायोजित करना चाहिए। शोधकर्ता ने पाया कि भार को समायोजित करने की इस प्रक्रिया में एक अपरिहार्य ऊर्जा लागत आती है। अनुमान के विपरीत, यह लागत तब भी गायब नहीं होती जब प्रशिक्षण अनंत रूप से धीरे किया जाता है। हर बार जब एक भार बदला जाता है, तो ऊर्जा का एक छोटा सा हिस्सा ऊष्मा के रूप में नष्ट हो जाता है, जो प्रति पैरामीटर परिवेश की तापीय ऊर्जा के कुछ गुना के बराबर होता है। यह लागत मशीन के ज्ञान को परिभाषित करने वाले पूरे मापदंडों (parameters) के सेट के लिए एक बार लगती है। यह इस पर निर्भर नहीं करता कि मशीन प्रशिक्षण के दौरान कितने उदाहरण देखती है, बल्कि इस पर निर्भर करता है कि उसके पास कितने भार (weights) हैं। यह डिजिटल प्रशिक्षण के बिल्कुल विपरीत है, जहाँ मशीन को प्रत्येक उदाहरण के लिए सूचना को मिटाना और फिर से लिखना पड़ता है, जिससे एक विशाल ऊर्जा बिल बनता है जो डेटासेट के आकार के साथ बढ़ता है।

शोधकर्ता ने इन विचारों का परीक्षण करने के लिए एक छोटे नेटवर्क का अनुकरण किया जिसे हस्तलिखित अंकों (handwritten digits) को पहचानने के लिए प्रशिक्षित किया गया था, जो मशीन लर्निंग का एक मानक कार्य है। उन्होंने देखा कि कैसे मशीन व्यवहार करती है जब वे विभिन्न संख्याओं के बीच स्विच करते हैं और जैसे-जैसे वे सटीकता में सुधार के लिए भार को समायोजित करते हैं। परिणाम उनके सैद्धांतिक अनुमानों से पूरी तरह मेल खाते हैं। जब मशीन से तेजी से अंक का अनुमान लगाने के लिए कहा गया, तो ऊर्जा की खपत तेजी से बढ़ी, और इसकी सटीकता गिर गई क्योंकि इसके द्वारा किया गया कार्य सिस्टम में गर्मी की यादृच्छिक हलचल (random jiggling) के बराबर हो गया। लेकिन जब मशीन को धीरे चलने की अनुमति दी गई, तो उसने लगभग बिना किसी ऊर्जा के समस्या को हल किया, और इसकी सटीकता उच्च बनी रही। प्रशिक्षण के दौरान, उन्होंने देखा कि भार को समायोजित करने में खर्च होने वाली ऊर्जा एक सटीक पैटर्न का पालन करती है, जो पुष्टि करती है कि सीखने के प्रत्येक बिट के लिए ऊष्मा की एक छोटी, निश्चित मात्रा निकलती है। सिमुलेशन ने दिखाया कि एक बार जब मशीन ने कार्य सीख लिया, तो उस ज्ञान को बनाए रखने के लिए आवश्यक ऊर्जा नगण्य थी, लेकिन उस ज्ञान को पहली बार लिखने के लिए आवश्यक ऊर्जा एक मौलिक, अपरिहार्य लागत थी।

ये निष्कर्ष बताते हैं कि एक न्यूरल नेटवर्क की ऊष्मप्रवैगिकी कीमत (thermodynamic price) उसके अंकगणित के बजाय उसकी स्मृति (memory) द्वारा निर्धारित होती है। परिणाम की गणना करना लगभग मुफ्त है, जो केवल इस बात से सीमित है कि मशीन को कितनी तेजी से चलने के लिए मजबूर किया जाता है। हालाँकि, सीखना करने के लिए, मशीन की भौतिक संरचना में मापदंडों को लिखने के लिए एक छोटा लेकिन स्थायी शुल्क देना आवश्यक है। यह अंतर कंप्यूटिंग के भविष्य के लिए एक नया दृष्टिकोण प्रदान करता है। जबकि डिजिटल मशीनें प्रत्येक ऑपरेशन के लिए बिट्स को मिटाने की लागत से बंधी हुई हैं, भौतिक मशीनें संभावित रूप से ऊर्जा दक्षता के मामले में कई गुना बेहतर गणना कर सकती हैं। वर्तमान हार्डवेयर और इन सैद्धांतिक सीमाओं के बीच का शेष अंतर भौतिकी के नियमों की खामी के कारण नहीं है, बल्कि हमारी वर्तमान सामग्रियों और डिजाइनों की अक्षमताओं के कारण है। यह अध्ययन एक स्पष्ट रोडमैप प्रदान करता है कि क्या संभव है, यह दिखाते हुए कि यदि हम ऐसी मशीनें बना सकें जो वास्तव में अपने समाधानों में ढल सकें, तो बुद्धिमत्ता की ऊर्जा लागत को ब्रह्मांड द्वारा अनुमत न्यूनतम स्तर तक कम किया जा सकता है।

तकनीकी सारांश: भौतिक तंत्रिका नेटवर्क (Physical Neural Networks) में अनुमान (Inference) और सीखने (Learning) की ऊष्मप्रवैगिकी लागत (Thermodynamic Cost)

समस्या विवरण
डीप न्यूरल नेटवर्क के तीव्र विस्तार ने प्रशिक्षण (training) और अनुमान (inference) दोनों के लिए ऊर्जा की बढ़ती मांगों को जन्म दिया है। जबकि वर्तमान हार्डवेयर अक्षमताओं का दस्तावेजीकरण अच्छी तरह से किया गया है, एक मौलिक प्रश्न बना हुआ है: विशिष्ट डिवाइस कार्यान्वयन से स्वतंत्र, तंत्रिका गणना (neural computation) के लिए अंतर्निहित ऊर्जात्मक लागत क्या है? डिजिटल हार्डवेयर के लिए, मानक ऊष्मप्रवैगिकी बेंचमार्क लैंडावर का सिद्धांत (Landauer's principle) है, जो तार्किक रूप से अपरिवर्तनीय (logically irreversible) कार्यों के लिए प्रति मिटाया गया बिट $k_B T \ln 2$ का न्यूनतम अपव्यय (dissipation) निर्धारित करता है। हालाँकि, यह सीमा मेटास्टेबल, बहु-स्थिर सूचना-वाहक अवस्थाओं पर लागू होती है और उन निरंतर एनालॉग गणनाओं या भौतिक प्रणालियों को सीधे बाधित नहीं करती है जो क्लॉक वाले डिजिटल गेटों के बजाय विश्राम (relaxation) और साम्यावस्था (equilibration) के माध्यम से कार्य करती हैं। यह शोध पत्र ऊर्जा-आधारित भौतिक तंत्रिका नेटवर्क के ऊष्मप्रवैगिक सीमाओं को निर्धारित करने का प्रयास करता है, विशेष रूप से इस बात पर ध्यान केंद्रित करता है कि जब एक नेटवर्क को हैमिल्टनियन (Hamiltonian) द्वारा शासित भौतिक प्रणाली के रूप में मॉडल किया जाता है, तो अनुमान और सीखने के लिए कितनी ऊर्जा आवश्यक होती है।

कार्यप्रणाली (Methodology)
लेखक एक सैद्धांतिक ढांचा प्रस्तावित करता है जो एक सामान्य फीडफॉरवर्ड न्यूरल नेटवर्क को एक भौतिक हैमिल्टनियन में समाहित करता है:

हैमिल्टनियन एम्बेडिंग (Hamiltonian Embedding): एक मानक फीडफॉरवर्ड नेटवर्क जिसे परतों $x_n$ , भार (weights) $W_n$ , और बायस (biases) $b_n$ के रूप में परिभाषित किया गया है, उसे एक लोचदार ऊर्जा फलन (elastic energy function) में मैप किया जाता है:
$H(x; \theta) = \frac{\kappa}{2} \sum_{n=1}^L \|x_n - f_n(W_n x_{n-1} + b_n)\|^2$
यहाँ, प्रत्येक परत संबंध को एक लोचदार अनुकूलता बाधा (elastic compatibility constraint) के रूप में माना जाता है जिसकी कठोरता (stiffness) $\kappa$ है। "फीडफॉरवर्ड अवस्था" शून्य-ऊर्जा मैनिफोल्ड ( $H=0$ ) के अनुरूप है। हॉपफील्ड नेटवर्क (Hopfield networks) के विपरीत जहाँ अवस्थाएँ अट्रैक्टर्स (attractors) होती हैं, यह निर्माण एक अत्यधिक अपभ्रष्ट (degenerate) ग्राउंड-स्टेट मैनिफोल्ड बनाता है जहाँ प्रत्येक इनपुट एक अद्वितीय, शून्य-ऊर्जा संगत अवस्था का चयन करता है।
गतिकी (Dynamics): सिस्टम ओवरडैम्प्ड लैंग्विन गतिकी (overdamped Langevin dynamics: $\dot{x}_n = -\mu \nabla_{x_n} H + \text{noise}$ ) के माध्यम से विकसित होता है।
अनुमान बनाम प्रशिक्षण (Inference vs. Training):
- अनुमान (Inference): इसे एक निश्चित इनपुट के तहत छिपी हुई (hidden) और आउटपुट चरों के शून्य-ऊर्जा मैनिफोल्ड की ओर विश्राम (relaxation) के रूप में मॉडल किया गया है।
- प्रशिक्षण (Training): इसे एक अति-निर्धारित (overconstrained) प्रक्रिया के रूप में मॉडल किया गया है जहाँ इनपुट और लक्ष्य आउटपुट दोनों को क्लैंप किया जाता है, जिससे उत्पन्न तनाव (strain/loss) यांत्रिक बल संतुलन (mechanical force balance) के माध्यम से पैरामीटर अपडेट को संचालित करता है (बैकप्रोपैगेशन)।
ऊष्मप्रवैगिक सीमाएँ (Thermodynamic Bounds): शोध पत्र थर्मल अवस्थाओं के बीच सिस्टम को चलाने के लिए आवश्यक कार्य के सटीक बंधों को व्युत्पन्न करता है। यह इष्टतम परिवहन (optimal transport) के लिए वासेरस्टीन-2 दूरी ( $W_2$ ) का उपयोग करता है और इसे कुलबैक-लीब्लर (KL) डाइवर्जेंस और फिशर-राओ दूरी (Fisher-Rao distance) से जुड़ी सूचना-ज्यामितीय सीमा तक शिथिल (relax) करता है।
संख्यात्मक सत्यापन (Numerical Validation): सिमुलेशन एक न्यूनतम भौतिक नेटवर्क (आर्किटेक्चर 64 $\to$ 20 $\to$ 10) पर हस्तलिखित अंकों के डेटासेट (MNIST) पर प्रशिक्षित किए गए थे। सिमुलेशन ने विभिन्न प्रोटोकॉल गति और तापमान के तहत कार्य अपव्यय, विश्राम समय और सटीकता का परीक्षण किया।

प्रमुख योगदान और परिणाम

क्वासी-स्टेटिक सीमा में प्रतिवर्ती अनुमान (Reversible Inference in the Quasi-Static Limit):
शोध पत्र सिद्ध करता है कि एम्बेडेड नेटवर्क की साम्यावस्था मुक्त ऊर्जा (equilibrium free energy) सभी तापमानों पर इनपुट और सभी मापदंडों (भार और बायस) से स्वतंत्र है। फलस्वरूप, किसी भी इनपुट संक्रमण के लिए मुक्त ऊर्जा में परिवर्तन ( $\Delta F$ ) बिल्कुल शून्य है। क्वासी-स्टेटिक सीमा (अनंत रूप से धीमी संचालन) में, अनुमान के लिए शून्य कार्य की आवश्यकता होती है। यह डिजिटल प्रणालियों के विपरीत है जहाँ गणना में अक्सर बिट्स को मिटाना शामिल होता है; यहाँ, गणना एक मोनोस्टेबल, आइसोस्टैटिक प्रतिक्रिया है जो शून्य-ऊर्जा मैनिफोल्ड के साथ चलती है, जिससे लैंडावर लागत पूरी तरह से बच जाती है।
सीमित-गति अनुमान लागत (Finite-Speed Inference Cost):
सीमित-गति संचालन के लिए, आवश्यक कार्य प्रारंभिक और अंतिम थर्मल अवस्थाओं के बीच वर्ग वासेरस्टीन-2 दूरी के वर्ग और प्रोटोकॉल अवधि $\tau$ के अनुपात द्वारा निम्नतम स्तर पर सीमित है।
- इस सीमा को एक एंट्रोपिक माप में शिथिल किया गया है: $E_{inf} \ge d k_B T \Gamma_{inf} \frac{\tau_L}{\tau}$ , जहाँ $d$ सबसे चौड़ी परत की चौड़ाई है, $\tau_L$ विसारक समय-पैमाना (diffusive timescale) है, और $\Gamma_{inf}$ सिग्नल-टू-नॉइज़ अनुपात से संबंधित एक फिडेलिटी कारक है।
- सबसे तेज़ उपयोगी गति पर (जहाँ $\tau \approx \tau_{inf}$ ), फिडेलिटी और विश्राम समय एक दूसरे को रद्द कर देते हैं, जिससे लगभग सबसे चौड़ी परत के प्रत्येक आयाम के लिए $k_B T$ की लागत प्राप्त होती है।
- महत्वपूर्ण रूप से, यह लागत नेटवर्क की चौड़ाई (न्यूरॉन्स की संख्या) के साथ स्केल करती है, न कि मापदंडों (सिनैप्स) की संख्या के साथ। सिमुलेशन ने पुष्टि की कि मापा गया कार्य परिवहन सीमा (transport bound) को 4% के भीतर संतृप्त करता है।
- जब अपव्यतित कार्य थर्मल स्केल ( $k_B T$ ) से नीचे गिर जाता है, तो सटीकता समाप्त हो जाती है, जो पुष्टि करती है कि विश्वसनीयता कार्य और थर्मल विभेदन क्षमता (thermal distinguishability) के अनुपात द्वारा निर्धारित होती है।
सीखने की अपरिहार्य लागत (Irreducible Cost of Learning):
सीखना मौलिक रूप रूप से भिन्न है। क्योंकि प्रशिक्षण के लिए मापदंडों (भार और बायस) को बदलना आवश्यक है, इसमें एक अपरिहार्य लागत होती है जो क्वासी-स्टेटिक सीमा में भी बनी रहती है।
- कुल प्रशिक्षण लागत में एक डेटा-प्रस्तुति पद (जो धीमी प्रस्तुति के साथ शून्य हो जाता है) और एक पैरामीटर-एनीलिंग पद शामिल है।
- पैरामीटर-एनीलिंग लागत पूरे प्रशिक्षण रन के लिए संपूर्ण पैरामीटर के लिए कुछ $k_B T$ के लगभग है। यह लागत पैरामीटर कॉन्फ़िगरेशन स्थापित करने के लिए एक बार ली जाती है, जबकि डिजिटल प्रशिक्षण प्रत्येक डेटा प्रस्तुति के लिए एक इरेज़र (erasure) लागत चुकाता है।
- यह लागत मापदंडों की संख्या ( $N_\theta$ ) के साथ स्केल करती है लेकिन क्वासी-स्टेटिक सीमा में डेटासेट के आकार से स्वतंत्र है (डिजिटल बेंचमार्क के विपरीत जो $N_\theta \times \text{Dataset Size}$ के साथ स्केल करते हैं)।
डिजिटल बेंचमार्क के साथ तुलना:
शोध पत्र लैंडावर सीमा (16-बिट अंकगणित के लिए अपरिversible डिजिटल हार्डवेयर) के साथ इन भौतिक बंधों की तुलना करता है।
- अनुमान (Inference): भौतिक लागत ( $\sim d k_B T$ ) डिजिटल लैंडावर बेंचमार्क ( $\sim N_\theta k_B T$ ) की तुलना में कई गुना कम है क्योंकि भौतिक नेटवर्क अंकगणितीय संचालन के बजाय ज्यामिति के माध्यम से गुणा करते हैं।
- प्रशिक्षण (Training): भौतिक लागत एक बार की पैरामीटर अपडेट लागत है, जबकि डिजिटल प्रशिक्षण प्रत्येक टोकन के लिए इरेज़र लागत वहन करता है।
- शोध पत्र का तालिका 1 अनुमान लगाता है कि भौतिक अनुमान लैंडावर बेंचमार्क की तुलना में $\sim 10^5$ गुना और वर्तमान हार्डवेयर अनुमानों की तुलना में $\sim 10^{13}$ गुना अधिक कुशल हो सकता है, जबकि भौतिक प्रशिक्षण डिजिटल प्रशिक्षण की तुलना में समान लाभ प्रदान करता है क्योंकि इसमें प्रति-टोकन इरेज़र लागत का अभाव है।

महत्व और दावे
शोध पत्र का दावा है कि यह तंत्रिका गणना (neural computation) की मौलिक ऊष्मप्रवैगिक कीमत स्थापित करता है, जो अंकगणित (अनुमान) और स्मृति (सीखना) की लागतों के बीच अंतर करता है।

अनुमान (Inference): इसकी ऊष्मप्रवैगिक लागत नेटवर्क की चौड़ाई और संचालन की गति द्वारा निर्धारित होती है, न कि इसके पैरामीटर काउंट द्वारा। आदर्श सीमा में, स्वयं गणना निःशुल्क है; लागत केवल थर्मल नॉइज़ से सिग्नल को अलग करने के लिए आवश्यक सीमित गति से उत्पन्न होती है।
सीखना (Learning): इसकी लागत स्मृति के पहलू द्वारा संचालित होती—अर्थात, मापदंडों को लिखना। यह लागत क्वासी-स्टेटिक सीमा में भी अपरिहार्य है, लेकिन इसे पूरे डेटासेट पर फैलाया (amortize) जा सकता है, जिससे यह डिजिटल प्रशिक्षण की तुलना में बहुत सस्ता हो जाता है जो प्रत्येक उदाहरण के लिए भुगतान करता है।
भौतिक बनाम डिजिटल: शोध यह सुझाव देता है कि भौतिक तंत्रिका नेटवर्क न केवल इंजीनियरिंग सुधारों के माध्यम से, बल्कि इसलिए भी डिजिटल कार्यान्वयन को कम कर सकते हैं क्योंकि वे गणना के दौरान सूचना को मिटाने से जुड़ी मौलिक लैंडावर लागत से बचते हैं। एक तंत्रिका नेटवर्क की "ऊष्मप्रवैगिक कीमत" इस प्रकार इसके स्मृति (सीखना) से अधिक जुड़ी है, न कि इसके अंकगणित (अनुमान) से।

लेखक नोट करते हैं कि ये बंध आदर्श सबस्ट्रेट्स (substrates) पर लागू होते हैं; वास्तविक दुनिया की लागतें (डेटा रूपांतरण, नियंत्रण, गैर-आदर्श सामग्रियां) वर्तमान में हावी हैं। इसके अतिरिक्त, मॉडल एक एफाइन-प्लस-एक्टिवेशन संरचना मानता है और अभी तक अटेंशन मैकेनिज्म (attention mechanisms) या प्रशिक्षण के बाद भारों को संग्रहीत करने की लागतों को संबोधित नहीं करता है। फिर भी, परिणाम भविष्य के न्यूरोमॉर्फिक और भौतिक कंप्यूटिंग आर्किटेक्चरों के मूल्यांकन के लिए एक कठोर ऊष्मप्रवैगिक आधार रेखा प्रदान करते हैं।

तकनीकी सारांश: भौतिक तंत्रिका नेटवर्क (Physical Neural Networks) में अनुमान (Inference) और सीखने (Learning) की ऊष्मप्रवैगिकी लागत (Thermodynamic Cost)

इसी तरह के और पेपर