🔬 condensed matter

The Thermodynamic Costs of Simple Linear Regression

यह शोध पत्र सटीक और स्टोकेस्टिक ग्रेडिएंट डिसेंट-आधारित सरल रैखिक प्रतिगमन (simple linear regression) की ऊर्जा लागतों के लिए ऊष्मागतिक निचली सीमाओं (thermodynamic lower bounds) को व्युत्पन्न करता है, इन सीमाओं का उपयोग इष्टतम डेटासेट आकारों के लिए ऊर्जा-जागरूक स्केलिंग कानूनों को स्थापित करने और एल्गोरिद्मिक बेमेल (algorithmic mismatches) से एंट्रॉपी उत्पादन को निचली सीमा देने के तरीकों को निर्धारित करने के लिए करता है।

मूल लेखक: Samuel H. D'Ambrosia, Sultan M. Daniels, Michael R. DeWeese, Anant Sahai

प्रकाशित 2026-05-20

📖 7 मिनट में पढ़ें🧠 गहराई से पढ़ें

CC BY 4.0

मूल लेखक: Samuel H. D'Ambrosia, Sultan M. Daniels, Michael R. DeWeese, Anant Sahai

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

यहाँ "The Thermodynamic Costs of Simple Linear Regression" शोध पत्र का सरल भाषा और रचनात्मक उपमाओं के साथ विवरण दिया गया है।

बड़ी तस्वीर: सीखने का ऊर्जा बिल

कल्पना कीजिए कि आप एक रोबोट को कागज पर बिखरे हुए बिंदुओं (dots) के बीच एक सीधी रेखा खींचना सिखा रहे हैं। यह एक बुनियादी कार्य है जिसे लिनियर रिग्रेशन (linear regression) कहा जाता है। आमतौर पर, हम इस बारे में सोचते हैं कि रोबोट कितना सटीक है या वह कितनी तेजी से सीखता है।

यह शोध पत्र एक अलग सवाल पूछता है: उस रेखा को सीखने के लिए जानकारी को "जलाने" (burn) की कितनी ऊर्जा लागत आती है?

लेखक भौतिक विज्ञान की एक अवधारणा का उपयोग करते हैं जिसे लैंडावर का सिद्धांत (Landauer's Principle) कहा जाता है। इसे ऐसे समझें: हर बार जब एक कंप्यूटर जानकारी का एक हिस्सा मिटाता है (जैसे कि नया अनुमान लगाने के लिए पुराने अनुमान को भूल जाना), तो उसे थोड़ी मात्रा में ऊष्मा (heat) छोड़नी पड़ती है। यह ताश की गड्डी को फेंटने जैसा है; यदि आप उन्हें पूरी तरह से व्यवस्थित करना चाहते हैं, तो आपको कुछ कार्डों को किनारे फेंकना होगा, और उस "फेंकने" में ऊर्जा खर्च होती है। यह शोध पत्र ठीक से गणना करता है कि एक साधारण रेखा सीखने की प्रक्रिया में कितनी ऊर्जा बर्बाद होती है।

मुख्य पात्र: डेटा और बिट्स

लागत को समझने के लिए, लेखक देखते हैं कि कंप्यूटर संख्याओं को कैसे संग्रहीत करते हैं। कंप्यूटर संख्याओं को हमेशा $3.14159...$ की तरह पूर्ण और सुचारू रूप से स्टोर नहीं करते। वे उन्हें बिट्स (bits) (0 और 1) में विभाजित करते हैं।

वे एक विशिष्ट प्रारूप पर ध्यान केंद्रित करते हैं जिसे फ्लोटिंग-पॉइंट नंबर्स (floating-point numbers) कहा जाता है, जिसका उपयोग आधुनिक कंप्यूटर दशमलव (decimals) को संभालने के लिए करते हैं। एक फ्लोटिंग-पॉइंट नंबर वैज्ञानिक पद्धति (scientific notation) की तरह होता है:

एक्सपोनेंट (The Exponent): यह "ज़ूम लेवल" है। यह बताता है कि संख्या बहुत बड़ी है (जैसे कोई आकाशगंगा) या बहुत छोटी (जैसे रेत का कण)।
मैंटिसा (The Mantissa): यह "विवरण स्तर" (detail level) है। यह विशिष्ट अंकों (जैसे 3, 1, 4, आदि) को बताता है।

बड़ी खोज:
शोध पत्र पाता है कि मैंटिसा (विवरण वाले बिट्स) सबसे महंगा हिस्सा है।

उपमा: कल्पना कीजिए कि एक्सपोनेंट वह बॉक्स है जिसमें आप अपना डेटा रखते हैं, और मैंटिसा उस बॉक्स के अंदर रखी वस्तुओं की संख्या है।
लेखक दिखाते हैं कि अधिक "ज़ूम स्तर" (एक्सपोनेंट बिट्स) जोड़ने से बहुत अधिक ऊर्जा खर्च नहीं होती है। लेकिन अधिक "विवरण" (मैंटिसा बिट्स) जोड़ने से बहुत अधिक लागत आती है।
क्यों? क्योंकि कंप्यूटर को डेटा के सामान्य आकार को जानने की तुलना में उसके विशिष्ट विवरणों को मिटाने के लिए अधिक मेहनत करनी पड़ती है। यदि आपके पास बहुत अधिक शोर वाला (noisy) डेटासेट है, तो कंप्यूटर को सिग्नल खोजने के लिए बहुत अधिक "विवरण" को प्रोसेस करना पड़ता है, जिससे अधिक ऊष्मा उत्पन्न होती है।

सीखने के दो तरीके: कैलकुलेटर बनाम हाइकर

शोध पत्र दो तरीकों की तुलना करता है जिनसे रोबोट रेखा सीखता है:

सटीक लिनियर रिग्रेशन (द कैलकुलेटर - The Calculator):
- यह कैसे काम करता है: रोबोट एक ही बार में सभी बिंदुओं को देखता है और एक जादुई सूत्र का उपयोग करके तुरंत सटीक रेखा खींच देता है।
- लागत: ऊर्जा की लागत लगभग पूरी तरह से इस बात पर निर्भर करती है कि आपने उसे कितने बिंदु (डेटा पॉइंट्स) दिए हैं। जितने अधिक बिंदु होंगे, एक सही रेखा पर स्थिर होने के लिए पुराने संभावनाओं को "मिटाने" में उतनी ही अधिक ऊर्जा लगेगी।
स्टोकेस्टिक ग्रेडिएंट डिसेंट / SGD (द हाइकर - The Hiker):
- यह कैसे काम करता है: सभी बिंदुओं को देखने के बजाय, रोबोट छोटे कदम उठाता है। वह कुछ बिंदुओं को देखता है, एक रेखा का अनुमान लगाता है, कुछ और बिंदुओं को देखता है, और सुधार करता है। वह ऐसा हजारों बार करता है।
- लागत: यह और भी महंगा है। क्योंकि रोबोट लगातार "अनुमान लगा रहा है और सुधार कर रहा है," वह लगातार अपने पिछले अनुमानों को मिटा रहा है। ऊर्जा की लागत उसके द्वारा लिए गए कदमों की संख्या के साथ बढ़ती है।

निष्कर्ष: दोनों ही मामलों में, डेटा की मात्रा ऊर्जा लागत का सबसे बड़ा चालक है। आप मशीन को जितना अधिक डेटा खिलाएंगे, वह पैटर्न खोजने के लिए उतनी ही अधिक ऊष्मा उत्पन्न करेगी।

"स्वीट स्पॉट": जब अधिक डेटा एक बर्बादी है

लेखक फिर एक व्यावहारिक प्रश्न पूछते हैं: क्या अधिक डेटा का उपयोग करना कभी सार्थक है?

कल्पना कीजिए कि आप एक व्यवसाय चला रहे हैं। आप अपने मॉडल को प्रशिक्षित करने के लिए बिजली (ऊर्जा लागत) का भुगतान करते हैं, और आपको उन ग्राहकों से भुगतान मिलता है जो आपके मॉडल का उपयोग करते हैं (राजस्व)।

यदि आप बहुत कम डेटा का उपयोग करते हैं, तो आपका मॉडल खराब होता है, और ग्राहक बहुत कम भुगतान करते हैं।
यदि आप बहुत अधिक डेटा का उपयोग करते हैं, तो आपका मॉडल एकदम सटीक होता है, लेकिन बिजली का बिल बहुत बड़ा होता है।

शोध पत्र एक "स्केलिंग लॉ" (नियम) निकालता है जो डेटा की इष्टतम मात्रा (optimal amount) को ढूंढता है।

उपमा: कल्पना कीजिए कि आप डार्ट (dart) के खेल में लक्ष्य (bullseye) को हिट करने की कोशिश कर रहे हैं।
- यदि डार्टबोर्ड हिल रहा है (उच्च शोर/noise), तो 1,000 डार्ट फेंकने से आपको केंद्र में हिट करने में 100 डार्ट फेंकने से बेहतर मदद नहीं मिलेगी। आपने बस 900 अतिरिक्त डार्ट फेंकने की ऊर्जा बर्बाद कर दी है।
- शोध पत्र दिखाता है कि क्योंकि "अपरिहार्य शोर" (irreducible noise) मौजूद है (तथ्य यह है कि डेटा अव्यवस्थित है), एक ऐसा बिंदु आता है जहाँ अधिक डेटा का उपयोग करने से मिलने वाली थोड़ी बेहतर सटीकता की तुलना में बिजली का बिल अधिक हो जाता है।

"मिसमैच" लागत: छिपा हुआ शुल्क

अंत में, शोध पत्र मिसमैच कॉस्ट (Mismatch Cost) नामक एक अवधारणा को छूता है।

उपमा: कल्पना कीजिए कि आप एक चौकोर टुकड़े को गोल छेद में फिट करने की कोशिश कर रहे हैं। यदि आप ज़बरदस्ती करते हैं, तो घर्षण (friction/ऊष्मा) पैदा होता है।
कंप्यूटिंग में, यदि आपका शुरुआती डेटा उस "आदर्श" शुरुआती स्थिति से मेल नहीं खाता जिसे मशीन सबसे कुशल होने के लिए चाहती है, तो आप अतिरिक्त ऊष्मा उत्पन्न करते हैं।
लेखक इस "घर्षण लागत" का अनुमान लगाने का एक तरीका प्रस्तावित करते हैं, भले ही हमें कंप्यूटर चिप के सटीक भौतिक विज्ञान का पता न हो। वे दिखाते हैं कि यदि आपका डेटा "अजीब" है या मशीन की आदर्श अपेक्षाओं में फिट नहीं बैठता है, तो आपको अतिरिक्त ऊर्जा टैक्स देना पड़ता है।

सारांश

कंप्यूटिंग में गर्मी खर्च होती है: हर बार जब एक कंप्यूटर एक साधारण रेखा सीखता है, तो वह जानकारी मिटाने के लिए ऊर्जा जलाता है।
विवरण महंगे होते हैं: संख्या के विशिष्ट अंक (मैंटिसा) सामान्य आकार (एक्सपोनेंट) की तुलना में अधिक ऊर्जा खर्च करते हैं।
अधिक डेटा = अधिक ऊष्मा: ऊर्जा लागत का प्राथमिक चालक डेटा की विशाल मात्रा है।
एक सीमा होती है: कभी-कभी, थोड़ा बेहतर मॉडल पाने के लिए अधिक डेटा का उपयोग करना एक बुरा सौदा होता है क्योंकि बिजली का बिल लाभ से अधिक हो जाता है।
शोर मायने रखता है: शोर वाले डेटा को प्रोसेस करने के लिए अधिक ऊर्जा की आवश्यकता होती है क्योंकि कंप्यूटर को सिग्नल खोजने के लिए अधिक मेहनत करनी पड़ती है।

यह शोध पत्र हमें भविष्य के लिए बेहतर AI बनाने के बारे में नहीं बताता है; यह केवल एक बहुत ही सरल गणितीय समस्या सीखने के भौतिकी पर एक मूल्य टैग लगाता है, यह दिखाते हुए कि सूचना की एक ऊष्मप्रवैगिकी लागत (thermodynamic cost) होती है।

तकनीकी सारांश: सरल रैखिक प्रतिगमन (Simple Linear Regression) की ऊष्मप्रवैगिकी लागत (Thermodynamic Costs)

समस्या विवरण
डेटा-संचालित मॉडलों का निर्माण और परिनियोजन वैश्विक ऊर्जा खपत का एक महत्वपूर्ण और बढ़ता हुआ हिस्सा है। जैसे-जैसे भौतिक कंप्यूटिंग घटक छोटे होते जा रहे हैं, यह समझना कि मौलिक ऊष्मप्रवैगिकी सीमाएँ (thermodynamic bounds) मॉडलिंग एल्गोरिदम पर कैसे लागू होती हैं, तेजी से महत्वपूर्ण होता जा रहा है। जबकि विविक्त एल्गोरिदम (discrete algorithms) और बाइनरी वर्गीकरण कार्यों के लिए ऊष्मप्रवैगिकी सीमाओं का अध्ययन किया गया है, वास्तविक-मान वाले इनपुट और डिजिटल हार्डवेयर के लिए क्वांटाइज्ड (quantized) मापदंडों पर संचालित होने वाले प्रतिगमन एल्गोरिदम—विशेष रूप से—के अनुप्रयोग का अन्वेषण अभी तक नहीं किया गया है। यह शोध पत्र एक मौलिक मॉडलिंग एल्गोरिदम: सरल रैखिक प्रतिगमन (एक एकल-पैरामीटर मॉडल जिसमें शून्य इंटरसेप्ट है) की ऊष्मप्रवैगिकी लागतों को संबोधित करता है।

कार्यप्रणाली
लेखक एक रैखिक मॉडल को फिट करने की दो विधियों के ऊष्मप्रवैगिकी लागतों का विश्लेषण करते हैं: सटीक रैखिक प्रतिगमन (विश्लेषणात्मक समाधान) और स्टोकेस्टिक ग्रेडिएंट डिसेंट (SGD) के माध्यम से रैखिक प्रतिगमन। विश्लेषण निम्नलिखित ढांचे का पालन करता है:

भौतिक मॉडल और लेखांकन परंपरा: अध्ययन चक्रीय उपकरणों के लिए मानक लेखांकन परंपरा (Wolpert का अनुसरण करते हुए) को अपनाता है, जो तार्किक रूप से अपरिवर्तनीय गणनाओं (logically irreversible computations) की ऊष्मप्रवैगिकी लागतों को ट्रैक करता है। यह मानता है कि भौतिक प्रणाली तापमान $T$ पर तापीय संतुलन में बिट्स से बनी है। ऊर्जा की लागत लैंडावर के सिद्धांत (Landauer's principle) द्वारा सीमित है, जहाँ न्यूनतम कार्य आवश्यक कार्य $\Delta E_{min} = -T \Delta S_{sys}$ के समानुपाती होता है, जो कंप्यूटिंग सिस्टम की ऊष्मप्रवैगिकी एंट्रॉपी में कमी को दर्शाता है।
क्वांटाइजेशन और एंट्रॉपी: यह पहचानते हुए कि आधुनिक डीप लर्निंग सिस्टम फ्लोटिंग-पॉइंट निरूपणों का उपयोग करते हैं, लेखक निरंतर चर (continuous variables) के फ्लोटिंग-पॉइंट नंबरों में क्वांटाइज किए गए विविक्त एंट्रॉपी (discrete entropy) को व्युत्पन्न करते हैं। वे गैर-समान बिन संरचना (non-uniform bin structure) के लिए यूनिफॉर्म लैटिस फ्रेमवर्क का विस्तार करते हैं।
- वे निरंतर चरों की डिफरेंशियल एंट्रॉपी और उनके फ्लोटिंग-पॉइंट समकक्षों की विविक्त एंट्रॉपी के बीच एक संबंध स्थापित करते हैं।
- वे फ्लोटिंग-पॉइंट नंबरों में क्वांटाइज किए गए गाऊसी-वितरित (Gaussian-distributed) चरों की एंट्रॉपी के लिए विश्लेषणात्मक सन्निकटन (approximations) निकालते हैं, जिसमें एक्सपोनेंट बिट्स और मैंटिसा बिट्स के योगदानों के बीच अंतर किया जाता है।
लागत गणना:
- सटीक प्रतिगमन (Exact Regression): लैंडावर लागत की गणना इनपुट डेटासेट ( $n$ डेटा बिंदु) की एंट्रॉपी और आउटपुट मॉडल पैरामीटर ( $\hat{w}$ ) की एंट्रॉपी के बीच के अंतर के रूप में की जाती है।
- SGD: लागत की गणना $\tau$ अपडेट चरणों पर लैंडावर लागतों को जोड़कर की जाती है। लेखक मॉडल पैरामीटर के समय के वितरण को अनुमानित करने के लिए ऑर्नस्टीन-उलेंबैक प्रक्रिया (Ornstein-Uhlenbeck process) का उपयोग करके SGD गतिकी (dynamics) को मॉडल करते हैं।
स्केलिंग कानून (Scaling Laws): लेखक लाभ को अधिकतम करने के लिए एक इष्टतम डेटासेट आकार ( $n^*$ ) निर्धारित करने हेतु एक अनुकूलन समस्या (optimization problem) तैयार करते हैं। यह प्रॉफिट फंक्शन ऊर्जा लागत (ऊर्जा और अनुमान की कीमतों को शामिल करते हुए) और अनुमान से प्राप्त राजस्व (सामान्यीकरण त्रुटि पर निर्भर) के बीच संतुलन बनाता है।
मिसमैच कॉस्ट (MMC): शोध पत्र एक विधि पर चर्चा करता है जो मिसमैच कॉस्ट—कुल एंट्रॉपी उत्पादन को कम करने वाली इष्टतम वितरण से भिन्न इनपुट वितरण से उत्पन्न होने वाली अतिरिक्त एंट्रॉपी—को निचली सीमा (lower-bound) प्रदान करती है, जो केवल रिवर्सिबल लैंडावर बाउंड से परे है।

मुख्य योगदान और परिणाम

फ्लोटिंग-पॉइंट नंबरों की एंट्रॉपी: यह शोध पत्र फ्लोटिंग-पॉइंट नंबरों की एंट्रॉपी के लिए एक सैद्धांतिक आधार प्रदान करता है। यह प्रदर्शित करता है कि गाऊसी चरों के लिए, मैंटिसा बिट्स की एंट्रॉपी उच्च और वेरिएंस के संबंध में अपेक्षाकृत स्थिर होती है, जबकि एक्सपोनेंट बिट्स की एंट्रॉपी कम होती है। विशेष रूप से, शून्य-माध्य गाऊसी (zero-mean Gaussian) के लिए अनुमानित विविक्त एंट्रॉपी $\tilde{H}_s(p) \approx p + 2.46$ बिट्स है, जहाँ $p$ परिशुद्धता (precision) है।
डेटा आकार और मैंटिसा बिट्स का प्रभुत्व: सटीक प्रतिगमन और SGD दोनों में, ऊष्मप्रवैगिकी लागत मुख्य रूप से डेटासेट के आकार ( $n$ $n$ ) और फ्लोटिंग-पॉइंट निरूपण की परिशुद्धता ( $p$ $p$ ) द्वारा संचालित होती है।
- मैंटिसा बिट्स की उच्च एंट्रॉपी के कारण मैंटिसा बिट्स लागत में महत्वपूर्ण योगदान देते हैं।
- एक्सपोनेंट बिट्स की संख्या बढ़ाने का ऊष्मप्रवैगिकी लागतों पर नगण्य प्रभाव पड़ता है, बशर्ते कि ओवरफ्लो और अंडरफ्लो से बचा जा सके।
- इनपुट डेटा में उच्च सिग्नल-टू-नॉइज़ रेशियो (SNR) से कम ऊष्मप्रवैगिकी लागत प्राप्त होती है।
ऊर्जा-सटीकता ट्रेड-ऑफ: व्युत्पन्न स्केलिंग कानून मॉडल की सटीकता (सामान्यीकरण त्रुटि) और ऊर्जा लागत के बीच एक ट्रेड-ऑफ प्रकट करते हैं। मॉडल के भविष्यवाणियों की अपरिहार्य त्रुटि (irreducible error) एक ऐसी दहलीज बनाती है जहाँ सटीकता बढ़ाने के लिए अधिक डेटा का उपयोग करना, अनुमान के लिए उपयोगकर्ता की मांग और संबंधित ऊर्जा लागत को देखते हुए, ऊर्जात्मक रूप से उचित नहीं है।
एल्गोरिदम की तुलना: विश्लेषण दिखाता है कि एक निश्चित कार्य के लिए, सटीक रैखिक प्रतिगमन के लिए इष्टतम डेटासेट का आकार आमतौर पर SGD के लिए इष्टतम आकार के बराबर या उससे कम होता है, हालांकि SGD हाइपरपैरामीटर्स (लर्निंग रेट, बैच साइज) इस इष्टतम मान को महत्वपूर्ण रूप से प्रभावित करते हैं।
मिसमैच कॉस्ट बाउंड: शोध पत्र पैरामीटराइज्ड निरंतर इनपुट वितरण वाले एल्गोरिदम के लिए मिसमैच कॉस्ट को निचली सीमा देने के लिए एक वेरिएशनल दृष्टिकोण प्रस्तुत करता है, जो रिवर्सिबल लैंडावर बाउंड से परे लागतों का अनुमान लगाने की एक विधि प्रदान करता है।

महत्व और दावे
लेखक दावा करते हैं कि यह कार्य न्यूरल नेटवर्क वेट्स (जैसे, एक्सपोनेंट बिट्स में कम एंट्रॉपी, मैंटिसा बिट्स में उच्च एंट्रॉपी) की एंट्रॉपी के संबंध में अनुभवजन्य अवलोकनों के लिए एक सैद्धांतिक आधार प्रदान करता है। परिणाम सुझाव देते हैं कि:

ऊष्मप्रवैगिकी दक्षता: मैंटिसा बिट्स ऊष्मप्रवैगिकी रूप से महंगे हैं, जबकि एक्सपोनेंट बिट्स सस्ते हैं। यह bfloat16 जैसे नंबर फॉर्मेट की प्रभावकारिता का समर्थन करता है जो एक्सपोनेंट परिशुद्धता को बनाए रखते हुए मैंटिसा बिट्स को कम करते हैं।
डेटा गुणवत्ता: कम शोर वाला, अधिक संरचित डेटा (उच्च SNR) प्रशिक्षण के लिए कम मौलिक ऊर्जा लागत प्रदान करता है।
अनुकूलन (Optimization): एक ऊर्जा-इष्टतम डेटासेट आकार मौजूद है; सटीकता में सुधार के लिए डेटा आकार को अंधाधुंध बढ़ाना, अपरिहार्य शोर फ्लोर (noise floor) के कारण ऊष्मप्रवैगिकी और आर्थिक दृष्टिकोण से प्रतिकूल हो सकता है।
भावी दिशाएं: यह शोध पत्र इस एकल-पैरामीटर विश्लेषण को मल्टी-पैरामीटर मॉडलों को समझने की दिशा में एक कदम के रूप में प्रस्तुत करता है, जो न्यूरल टेंगेंट कर्नेल (Neural Tangent Kernel) के माध्यम से संभावित सामान्यीकरण का सुझाव देता है। यह स्वीकार करता है कि पर्यावरण में वास्तविक एंट्रॉपी प्रवाह ( $\Delta S_{env}$ ) और विशिष्ट मिसमैच लागतों को निर्धारित करने के लिए हार्डवेयर कार्यान्वयन (जैसे, CMOS) के विशिष्ट भौतिक मॉडलिंग की आवश्यकता है, जो भविष्य के कार्य के लिए छोड़ा गया है।

यह अध्ययन कोई नया हार्डवेयर या विशिष्ट प्रयोगात्मक प्रोटोकॉल प्रस्तावित नहीं करता है, बल्कि मौजूदा रैखिक मॉडलिंग एल्गोरिदम और उनके स्केलिंग कानूनों का मूल्यांकन करने के लिए एक ऊष्मप्रवैगिकी ढांचा प्रदान करता है।