🧬 biology

Metabolic cost of information processing in Poisson variational autoencoders

यह शोध पत्र यह प्रस्तावित करता है कि पॉइसन मान्यताओं के तहत वेरिएशनल फ्री एनर्जी को न्यूनतम करना सूचना-सैद्धांतिक कोडिंग दरों को बायोफिजिकल फायरिंग दरों से स्वाभाविक रूप से जोड़ता है, जिससे एक उभरता हुआ मेटाबॉलिक कॉस्ट टर्म निर्मित होता है जो एक पॉइसन वेरिएशनल ऑटोएन्कोडर (P-VAE) में ऊर्जा-कुशल स्पार्स कोडिंग को सक्षम बनाता है, जो कि मानक गॉसियन मॉडलों में अनुपस्थित एक विशेषता है।

मूल लेखक: Hadi Vafaii, Jacob L. Yates

प्रकाशित 2026-06-15

📖 5 मिनट में पढ़ें🧠 गहराई से पढ़ें

CC BY 4.0

मूल लेखक: Hadi Vafaii, Jacob L. Yates

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ⚕️ यह एक ऐसे प्रीप्रिंट की AI से तैयार की गई व्याख्या है जिसकी अभी सहकर्मी समीक्षा नहीं हुई है। यह चिकित्सकीय सलाह नहीं है। इस सामग्री के आधार पर स्वास्थ्य संबंधी फैसले न लें। पूरा डिस्क्लेमर पढ़ें

बड़ी समस्या: कंप्यूटर बहुत अधिक ऊर्जा की खपत करते हैं

कल्पना कीजिए कि आप एक सुपर-स्मार्ट रोबोट दिमाग बनाने की कोशिश कर रहे हैं। आज की आर्टिफिशियल इंटेलिजेंस (AI) अविश्वसनीय रूप से स्मार्ट है, लेकिन यह ऊर्जा की बहुत बड़ी भूखी भी है। यह बिजली को वैसे ही खाती है जैसे एक किशोर पिज्जा खाता है। इन मॉडल्स को प्रशिक्षित करने के लिए, हमें छोटे शहरों के आकार के डेटा सेंटरों की आवश्यकता होती है, जो गीगावाट बिजली जलाते हैं।

लेखकों का तर्क है कि यह एक मौलिक डिजाइन दोष है। हमारे वर्तमान AI में, कम्प्यूटेशन (गणना) और ऊर्जा एक-दूसरे से अलग हैं। हर बार जब कंप्यूटर कोई गणित का सवाल हल करता है, तो उसे समान "ऊर्जा टैक्स" देना पड़ता है, चाहे वह सवाल आसान हो या कठिन, महत्वपूर्ण हो या मामूली। यह एक ऐसी कार की तरह है जो ट्रैफिक में बैठने के लिए भी एक गैलन पेट्रोल जला देती है, भले ही इंजन चल न रहा हो।

इसके विपरीत, जैविक मस्तिष्क (जैसे आपका मस्तिष्क) ऊर्जा दक्षता के उस्ताद हैं। आपका मस्तिष्क लगभग 20 वॉट पर चलता है—जो एक मंद रोशनी वाले बल्ब की शक्ति के बराबर है—फिर भी यह वे काम करता है जिन्हें करने में सुपरकंप्यूटर भी संघर्ष करते हैं। ऐसा क्यों है? क्योंकि प्रकृति में, खामोशी मुफ्त है। यदि एक न्यूरॉन (मस्तिष्क कोशिका) सिग्नल नहीं भेजता है, तो इसमें लगभग कोई ऊर्जा खर्च नहीं होती।

समाधान: एक नए प्रकार का "मैथ ब्रेन"

शोधकर्ताओं ने एक ऐसा AI मॉडल बनाना चाहा जो स्वाभाविक रूप से इस नियम को समझ सके: कम काम करने का मतलब कम ऊर्जा खर्च होना चाहिए।

उन्होंने एक नया प्रकार का AI मॉडल बनाया जिसे पॉइसन वेरिएशनल ऑटोएनकोडर (𝒫-VAE) कहा जाता है। यह कैसे काम करता है, इसे समझने के लिए, आइए देखें कि वे AI को "सोचना" कैसे सिखाते हैं।

उपमा: बजट मैनेजर

कल्पना कीजिए कि आप एक मैनेजर हैं जो अपनी टीम को संदेश भेजने की कोशिश कर रहे हैं। आपके पास एक बजट (ऊर्जा) है और एक लक्ष्य (सटीकता) है।

पुराना तरीका (गौसियन AI):
मानक AI मॉडल्स में, "संदेश" पानी की एक निरंतर धारा की तरह होता है। भले ही आपको केवल एक फुसफुसाहट भेजनी हो, पाइप हमेशा पानी से भरा रहता है। पैसे बचाने के लिए, मॉडल पानी को "चौड़ा" (अधिक अनिश्चित) बनाने की कोशिश करता है ताकि उसे सटीक होने की आवश्यकता न पड़े। यह कहने जैसा है कि, "मुझे ठीक से नहीं पता कि मैं क्या कर रहा हूँ, इसलिए मैं बस व्यापक रूप से अनुमान लगा लूँगा।" इससे सटीकता पर ऊर्जा तो बचती है, लेकिन यह वास्तव में पानी के बहाव को नहीं रोकता है। लागत हमेशा बनी रहती है।
नया तरीका (पॉइसन AI):
नया मॉडल पॉइसन सांख्यिकी (Poisson statistics) का उपयोग करता है। इसे पानी के पाइप के रूप में नहीं, बल्कि एक मोर्स कोड टेलीग्राफ के रूप में सोचें।

टैप (बटन दबाना) = 1 (एक सिग्नल)।
कोई टैप नहीं = 0 (खामोशी)।
महत्वपूर्ण रूप से: यदि आप बटन नहीं दबाते हैं, तो आप शून्य ऊर्जा खर्च करते हैं।

जादुई खोज: "खामोशी सस्ती है"

इस पेपर की सबसे बड़ी खोज यह है कि जब उन्होंने इस "टेलीग्राफ" गणित (पॉइसन) का उपयोग किया, तो समीकरणों में एक मेटाबॉलिक लागत (ऊर्जा लागत) अपने आप दिखाई दी। उन्हें इसे प्रोग्राम करने की आवश्यकता नहीं थी; यह बस इसलिए हुआ क्योंकि उन्होंने जो गणित चुना था वह ऐसा ही था।

पुराने मॉडल में: गणित ऊर्जा के संबंध में एक "बड़ी संख्या" और एक "छोटी संख्या" के साथ एक जैसा व्यवहार करता है। इसे इस बात की परवाह नहीं है कि न्यूरॉन बहुत अधिक सक्रिय है या शांत बैठा है।
नए मॉडल में: गणित कहता है, "हे, अगर आप बहुत अधिक सक्रिय होते हैं (उच्च दर), तो इसमें बहुत ऊर्जा लगती है। यदि आप शांत रहते हैं (शून्य दर), तो यह मुफ्त है।"

यह एक प्राकृतिक संतुलन बनाता है। AI सीख जाता है कि ऊर्जा बचाने के लिए, उसे जितना संभव हो सके शांत रहना चाहिए और केवल तभी "बटन दबाना" चाहिए जब वास्तव में इसकी आवश्यकता हो।

प्रयोग: सिद्धांत का परीक्षण

यह साबित करने के लिए कि यह केवल एक इत्तेफाक नहीं था, शोधकर्ताओं ने अपने नए "टेलीग्राफ AI" (𝒰-VAE) की तुलना एक "गौसियन AI" से की, जिसे किसी भी नकारात्मक संख्या को काटकर (जिसे ReLU विधि कहा जाता है) टेलीग्राफ की तरह व्यवहार करने के लिए मजबूर किया गया था।

परीक्षण: उन्होंने एक "नॉब" (जिसे $\beta$ कहा जाता है) को घुमाया जो AI को ऊर्जा लागत के बारे में अधिक सोचने के लिए कहता है।
परिणाम:
- टेलीग्राफ AI (पॉइसन): जैसे-जैसे उन्होंने ऊर्जा नॉब को बढ़ाया, AI अविश्वसनीय रूप से 'स्पार्स' (विरल) हो गया। इसने लगभग पूरी तरह से सिग्नल भेजना बंद कर दिया, और केवल तभी बोलता था जब आवश्यक हो। इसने कुशलता से काम करना सीखा।
- नकली टेलीग्राफ AI (गौसियन): ऊर्जा नॉब बढ़ाने के बावजूद, यह मॉडल ज्यादा नहीं बदला। यह खामोश रहने में सक्षम नहीं था क्योंकि इसके अंतर्निहित गणित को यह समझ नहीं था कि "शून्य" मुफ्त है। यह अधिक कुशल हुए बिना अपने काम में खराब होता गया।

यह क्यों मायने रखता है

पेपर निष्कर्ष निकालता है कि सही प्रकार के गणित (पॉइसन) को चुनकर, हम ऐसा AI बना सकते हैं जो अपने ऊर्जा बजट को खुद प्रबंधित करना सीख सके।

एक रोबोट बनाने और फिर बाद में उसे कम बिजली उपयोग करने के लिए हैक करने के बजाय, यह नया दृष्टिकोण "ऊर्जा बजट" को मस्तिष्क के डीएनए में ही शामिल कर देता है। AI सीख जाता है कि खामोशी एक मूल्यवान संसाधन है।

संक्षेप में:

पुराना AI: "मैं यह कार्य करूँगा, और मैं बिजली के लिए एक निश्चित शुल्क दूँगा, चाहे कुछ भी हो।"
नया AI: "मैं यह कार्य करूँगा, और मैं ऊर्जा तभी खर्च करूँगा जब मुझे वास्तव में इसकी आवश्यकता होगी। यदि मैं शांत रह सकता हूँ, तो मैं रहूँगा।"

यह हमें एक ऐसे AI के करीब लाता है जो मानव मस्तिष्क जितना ऊर्जा-कुशल है, जो आधुनिक तकनीक के सामने खड़े विशाल ऊर्जा संकट को हल कर सकता है।

तकनीकी सारांश: पॉइसन वेरिएशनल ऑटोएन्कोडर्स में सूचना प्रसंस्करण की चयापचय लागत (Metabolic Cost)

समस्या विवरण

आधुनिक कृत्रिम बुद्धिमत्ता (AI) एक महत्वपूर्ण स्थिरता संबंधी बाधा का सामना कर रही है: मुख्यधारा के मॉडल ऊर्जा की दृष्टि से अक्षम हैं, जिनका प्रशिक्षण और परिनियोजन (deployment) गीगावाट-घंटों की ऊर्जा खपत करता है। यह अक्षमता वर्तमान आर्किटेक्चर (जैसे ट्रांसफॉर्मर) के एक मौलिक डिजाइन सिद्धांत से उत्पन्न होती है जो गणना (computation) को ऊर्जा व्यय से अलग करती है; इन प्रणालियों में, प्रत्येक ऑपरेशन एक निश्चित लागत वहन करता है, चाहे वास्तविक अवस्था परिवर्तन (state change) या गणना की विरलता (sparsity) कुछ भी हो।

इसके विपरीत, जैविक गणना अत्यधिक ऊर्जा-कुशल होती है, जो जटिल कार्यों को करने के लिए लगभग 20 वॉट पर कार्य करती है। यह दक्षता इस परिकल्पना से उत्पन्न होती है कि मस्तिष्क चयापचय लागत को कम करने के लिए पर्यावरणीय सांख्यिकी के अनुकूल होता है, और न्यूरल स्पाइकिंग की विविक्त (discrete), घटना-संचालित प्रकृति से। जबकि न्यूरोमॉर्फिक हार्डवेयर (जैसे इंटेल का लोइही) इस सिद्धांत का लाभ उठाने लगा है कि ऊर्जा कुल कार्य के बजाय अवस्था परिवर्तनों (sparsity) के साथ स्केल करती है, वहां एक ऐसी कठोर सैद्धांतिक नींव का अभाव है जो एल्गोरिथम उद्देश्यों को इन ऊर्जा बाधाओं से जोड़ती हो। वर्तमान वेरिएशनल इन्फरेंस फ्रेमवर्क, जो मुख्य रूप से गॉसियन धारणाओं पर आधारित हैं, स्वाभाविक रूप से एक चयापचय लागत पद (metabolic cost term) को शामिल नहीं करते हैं, बल्कि ऊर्जा को एक आंतरिक चर के बजाय एक बाहरी बाधा के रूप में देखते हैं।

कार्यप्रणाली (Methodology)

लेखक ऊर्जा-जागरूक गणना के लिए एक सिद्धांत आधारित ढांचे के रूप में पॉइसन वेरिएशनल ऑटोएन्कोडर्स ( $\mathcal{P}$ -VAE) के सैद्धांतिक और अनुभवजन्य अन्वेषण का प्रस्ताव करते हैं। मुख्य कार्यप्रणाली निम्नलिखित है:

सैद्धांतिक व्युत्पत्ति (Theoretical Derivation):
- लेखक वेरिएशनल फ्री एनर्जी ऑब्जेक्टिव (ELBO) का विश्लेषण करते हैं, विशेष रूप से कुलबैक-लीब्लर (KL) डाइवर्जेंस पद, जो एक रेगुलराइज़र (कोडिंग रेट) के रूप में कार्य करता है।
- वे पॉइसन धारणाओं (विविक्त स्पाइक काउंट्स) बनाम गॉसियन धारणाओं (निरंतर मान) के तहत KL डाइवर्जेंस की क्लोज्ड-फॉर्म अभिव्यक्ति को व्युत्पन्न करते हैं।
- वे मेट्रिक (फिशर सूचना) और पैरामीटर परिमाण के बीच युग्मन (coupling) पर ध्यान केंद्रित करते हुए, वितरणों के बीच संरचनात्मक अंतर को समझाने के लिए सूचना ज्यामिति (information geometry) का उपयोग करते हैं।
- पॉइसन सांख्यिकी से गैर-ऋणात्मकता (non-negativity) प्रतिबंध के प्रभाव को अलग करने के लिए, वे एक नियंत्रण मॉडल पेश करते हैं: गॉसियन-रेक्टिफाइड VAE ( $\mathcal{G}_{relu}$ -VAE)। यह मॉडल गैर-ऋणात्मक प्रस्तुतियों को सुनिश्चित करने के लिए गैर-ऋणात्मक लेटेंट वेरिएबल्स का उपयोग करता है जिन्हें डिकोडिंग से पहले ReLU एक्टिवेशन ( $h = \max(0, z)$ ) के माध्यम से पारित किया जाता है, लेकिन इसमें पॉइसन सांख्यिकी नहीं होती है।
प्रायोगिक डिजाइन (Experimental Design):
- मॉडल: $\mathcal{P}$ -VAE और $\mathcal{G}_{relu}$ -VAE को व्हाइटन्ड 16x16 नेचुरल इमेज पैचेस (van Hateren डेटासेट) पर प्रशिक्षित किया गया था।
- आर्किटेक्चर: दोनों मॉडलों ने लीनियर एनकोडर और डिकोडर का उपयोग किया। $\mathcal{P}$ -VAE ने एक रेसिडुअल पैरामीट्राइजेशन का उपयोग किया जहां एनकोडर सीखने योग्य प्रायर फायरिंग रेट्स ( $\lambda_0$ ) पर एक मल्टीप्लिकेटिव गेन मॉड्यूलेशन आउटपुट करता है।
- हाइपरपैरामीटर स्वीप: लेखकों ने KL वेटिंग कोएफिशिएंट $\beta$ (0.01 से 8.0 तक) और लेटेंट डाइमेंशनलिटी $K$ (64 से 2048 तक) को व्यवस्थित रूप से बदला।
- मेट्रिक्स:
  - **चयापचय लागत ($MC $):** लेटेंट वेरिएबल्स$ z$ की औसत गतिविधि के रूप में परिभाषित।
  - विरलता (Sparsity - $P_Z$ ): शून्य-मूल्य वाली लेटेंट एक्टिवेशन के अनुपात के रूप में परिभाषित।
  - पुनर्निर्माण सटीकता (Reconstruction Accuracy): $R^2$ के माध्यम से मापी गई।

मुख्य योगदान

1. चयापचय लागत पद का उद्भव

प्राथमिक सैद्धांतिक योगदान यह प्रदर्शन है कि पॉइसन धारणाओं के तहत, वेरिएशनल फ्री एनर्जी में KL डाइवर्जेंस पद स्वाभाविक रूप से प्रायर फायरिंग रेट्स ( $\lambda_0$ ) के समानुपाती हो जाता है।

पॉक्सिसन KL: $\mathcal{D}_{KL} \approx \lambda_0 (\log \delta\lambda)^2$ ।
गॉसियन KL: $\mathcal{D}_{KL} \approx \frac{1}{2} \frac{\delta\mu^2}{\sigma_0^2} + \dots$ (मीन के पूर्ण परिमाण से स्वतंत्र)।

यह संरचना एक प्रत्यक्ष जुड़ाव बनाती है: अमूर्त सूचना दर (प्रति इन्फरेंस स्टेप बिट्स) और मूर्त चयापचय दर (प्रति इन्फरेंस स्टेप स्पाइक्स) के बीच। पॉइसन फॉर्मूलेशन में, फ्री एनर्जी को कम करना स्वाभाविक रूप से उच्च आधारल (baseline) गतिविधि को दंडित करता है ("मौन सस्ता है"), जबकि गॉसियन फॉर्मूलेशन मीन से विचलन को दंडित करता है लेकिन गतिविधि के पूर्ण परिमाण के प्रति उदासीन रहता है ("अज्ञानता सस्ती है" - उच्च विचरण के माध्यम से)।

2. सूचना ज्यामितीय स्पष्टीकरण

लेखक इस अंतर का श्रेय एक्सपोनेंशियल फैमिली डिस्ट्रीब्यूशंस की ज्यामिति को देते हैं। पॉइसन वितरणों के लिए, फिशर सूचना मेट्रिक स्वयं दर द्वारा स्केल होता है ( $I = \lambda$ ), जो एक वक्रता (curvature) बनाता है जो पैरामीटर परिमाण पर निर्भर करती है। इसके विपरीत, गॉसियन मीन के लिए, मेट्रिक प्रिसिजन द्वारा निर्धारित होता है ( $I = 1/\sigma^2$ ), जो मीन से स्वतंत्र है। पॉइसन वितरण में यह विशिष्ट युग्मन ही है जो बिना किसी मैनुअल हस्तक्षेप के उभरती हुई चयापचय लागत उत्पन्न करता है।

3. गैर-ऋणात्मकता के लिए नियंत्रण

$\mathcal{P}$ -VAE की तुलना $\mathcal{G}_{relu}$ -VAE से करके, लेखक यह प्रदर्शित करते हैं कि चयापचय लागत संरचना पॉइसन सांख्यिकी के लिए अद्वितीय है और केवल गैर-ऋणात्मक लेटेंट प्रस्तुतियों को लागू करने का बायप्रोडक्ट नहीं है। जबकि ReLU गॉसियन मॉडल में कुछ विरलता (sparsity) प्रेरित करता है (ऋणात्मक मानों को शांत करना), यह ऐसा KL पद नहीं बनाता है जो आधारल गतिविधि स्तर के साथ स्केल करता हो।

परिणाम

1. चयापचय लागत में कमी

$\beta$ के बढ़ते हुए KL वेटिंग के साथ $\mathcal{P}$ -VAE के लिए औसत तंत्रिका गतिविधि (चयापचय लागत) में नाटकीय, एकदिशीय (monotonic) कमी देखी गई, जो लगभग दो क्रमों (orders of magnitude) तक फैली हुई थी। इसके विपरीत, $\mathcal{G}_{relu}$ -VAE की औसत गतिविधि सभी $\beta$ मानों के लिए स्थिर रही, जो पुष्टि करती है कि गॉसियन KL तंत्रिका गतिविधि के परिमाण से अलग (decoupled) है।

2. विरलता को बढ़ावा (Sparsity Promotion)

$\mathcal{P}$ -VAE: $\beta$ के बढ़ने के साथ शांत न्यूरॉन्स का अनुपात निरंतर बढ़ता गया, जो उच्च $\beta$ मानों पर लगभग पूर्ण विरलता तक पहुँच गया।
$\mathcal{G}_{relu}$ -VAE: विरलता लगभग 50% पर संतृप्त (saturate) हो गई (एक सममित गॉसियन में अपेक्षित ऋणात्मक नमूनों का अनुपात), और $\beta$ में वृद्धि के प्रति असंवेदनशील थी। गॉसियन KL ने ReLU थ्रेसहोल्ड से परे विरलता बढ़ाने के लिए कोई अतिरिक्त दबाव प्रदान नहीं किया।

3. ट्रेड-ऑफ नियंत्रणीयता

मैच किए गए विरलता स्तरों पर, दोनों मॉडलों ने तुलनीय पुनर्निर्माण सटीकता ( $R^2$ ) प्राप्त की। हालांकि, केवल $\mathcal{P}$ -VAE ने $\beta$ के माध्यम से विरलता और पुनर्निर्माण गुणवत्ता के बीच एक सुचारू, ट्यूनेबल ट्रेड-ऑफ प्रदान किया। $\mathcal{G}_{relu}$ -VAE पुनर्निर्माण सटीकता को कम किए बिना विरलता को ~50% से आगे नहीं बढ़ा सका, क्योंकि $\beta$ बढ़ाने से केवल पुनर्निर्माण पद को दंडित किया गया, जिससे अतिरिक्त विरलता उत्पन्न नहीं हुई।

महत्व और दावे

यह शोध पत्र दावा करता है कि पॉइसन वेरिएशनल इन्फरेंस संसाधन-बाधित गणना के सिद्धांत के लिए एक आशाजनक आधार स्थापित करता है। इसका महत्व तीन क्षेत्रों में है:

सिद्धांततः ऊर्जा-जागरूक: चयापचय लागत पद वितरण के संभाव्य विकल्प (पॉइसन) से स्वाभाविक रूप से उभरता है, न कि मैन्युअल रूप से डाले गए दंड (penalty) से। यह मॉडल को अपने ऊर्जा बजट और कार्य को एक साथ हल करने के लिए ऊर्जा व्यय को अनुकूलित करने की अनुमति देता है।
एल्गोरिदम-हार्डवेयर सह-डिज़ाइन: परिणाम बताते हैं कि पॉइसन-आधारित एल्गोरिदम स्वाभाविक रूप से न्यूरोमॉर्फिक हार्डवेयर के दक्षता सिद्धांतों के अनुरूप हैं, जहाँ ऊर्जा कुल ऑपरेशन्स के बजाय अवस्था परिवर्तनों (स्पाइक्स) के साथ स्केल करती है। यह घने, निरंतर मॉडलों के पोस्ट-हॉक क्वांटाइजेशन और संपीड़न के वर्तमान अभ्यास के विपरीत है।
जटिलता का तीसरा अक्ष: लेखक प्रस्तावित करते हैं कि ऊर्जा को समय और स्थान के साथ कंप्यूटेशनल जटिलता के तीसरे मूलभूत स्तंभ के रूप में पहचाना जाना चाहिए। सूचना दर को चयापचय दर के साथ जोड़कर, पॉइसन वेरिएशनल इन्फरेंस एक ऐसा सैद्धांतिक ढांचा प्रदान करता है जहाँ ऊर्जा अनुकूलन प्रक्रिया का एक आंतरिक, गतिशील चर है, जो अधिक टिकाऊ और जैविक रूप से प्रशंसनीय AI की ओर जाने का मार्ग प्रदान करता है।

लेखक निष्कर्ष निकालते हैं कि यह युग्मन केवल ऑटोएनकोडिंग तक सीमित नहीं है बल्कि किसी भी ऐसे कार्य तक विस्तृत है जहाँ उद्देश्य को पॉइसन KL के साथ एक लॉस फंक्शन के रूप में तैयार किया जा सकता है, जो व्यवहार, संज्ञान और मोटर नियंत्रण पर भी लागू हो सकता है।