🔬 condensed matter

Activation Functions, Statistics and Learning of Higher-Order Interactions in Restricted Boltzmann Machines

यह शोध पत्र विश्लेषणात्मक रूप से इस बात का चित्रण करता है कि कैसे प्रतिबंधित बोल्ट्ज़मैन मशीनों (Restricted Boltzmann Machines) में विभिन्न हिडन यूनिट सक्रियण फलन (hidden unit activation functions), प्रेरित अंतःक्रियाओं के सांख्यिकी और जटिल, उच्च-क्रम डेटा संरचनाओं को सीखने की क्षमता को प्रभावित करते हैं, यह प्रदर्शित करते हुए कि घातांकीय (Exponential) फलन जैसी तेजी से बढ़ती गैर-रैखिकताएं ऐसे पैटर्न के प्रतिनिधित्व और सीखने को महत्वपूर्ण रूप से सुगम बना सकती हैं।

मूल लेखक: Giovanni di Sarra, Yasser Roudi

प्रकाशित 2026-05-20

📖 5 मिनट में पढ़ें🧠 गहराई से पढ़ें

CC BY 4.0

मूल लेखक: Giovanni di Sarra, Yasser Roudi

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

कल्पना कीजिए कि आप एक कंप्यूटर को डेटा में जटिल पैटर्न पहचानना सिखाने की कोशिश कर रहे हैं, जैसे कि भीड़ में एक विशिष्ट चेहरे को पहचानना या किसी गाने के मूड को समझना। इसे करने के लिए, कंप्यूटर एक "मस्तिष्क" का उपयोग करता है जो सरल इकाइयों की परतों से बना होता है। इस तरह का एक लोकप्रिय मस्तिष्क है जिसे रेस्ट्रिक्टेड बोल्ट्ज़मैन मशीन (RBM) कहा जाता है।

एक RBM को एक दो-मंजिला इमारत के रूप में सोचें:

ग्राउंड फ्लोर (दृश्य इकाइयाँ - Visible Units): यहीं पर डेटा रहता है (तस्वीरें, ध्वनियाँ, संख्याएँ)।
दूसरी मंजिल (छिपी हुई इकाइयाँ - Hidden Units): यहीं पर "सोचने" का काम होता है। ये इकाइयाँ ग्राउंड फ्लोर को देखती हैं और डेटा पॉइंट्स को जोड़ने वाले छिपे हुए नियमों को समझने की कोशिश करती हैं।

बड़ा सवाल यह है कि यह पेपर पूछता है: दूसरी मंजिल की इकाइयों का "व्यक्तित्व" (personality) यह कैसे प्रभावित करता है कि कंप्यूटर क्या सीखता है?

तकनीकी शब्दों में, इस "व्यक्तित्व" को एक्टिवेशन फंक्शन (activation function) कहा जाता है। यह एक नियम है जो तय करता है कि एक इकाई प्राप्त सूचना के प्रति कितनी मजबूती से प्रतिक्रिया देगी। शोधकर्ताओं ने चार अलग-अलग "व्यक्तित्वों" का परीक्षण किया:

लीनियर (Linear): एक कोमल, सीधी रेखा वाली प्रतिक्रिया।
स्टेप (Step): एक ऑन/ऑफ स्विच (जैसे बिजली का स्विच)।
ReLU: एक "रेक्टिफाइड" स्विच जो नकारात्मक इनपुट को अनदेखा करता है लेकिन सकारात्मक इनपुट को आने देता है।
एक्सपोनेंशियल (Exponential): एक ऐसी इकाई जो थोड़ा सा इनपुट मिलते ही अपनी प्रतिक्रिया की ताकत में विस्फोट कर देती है।

मुख्य खोज: सरल बनाम जटिल संबंध

पेपर यह खुलासा करता है कि इस "व्यक्तित्व" का चुनाव उन प्रकार के संबंधों को बदल देता है जिन्हें कंप्यूटर आसानी से समझ सकता है।

"सरल" व्यक्तित्व (लीनियर, स्टेप, ReLU):
कल्पना कीजिए कि ये इकाइयाँ ऐसे लोगों की तरह हैं जिन्हें केवल जोड़ियों (pairs) की परवाह है। यदि आपके पास दोस्तों का एक समूह है, तो एक "स्टेप" या "ReLU" इकाई यह पहचानने में माहिर है कि "एलिस और बॉब हमेशा साथ रहते हैं।" यह सरल, दो-व्यक्ति कनेक्शन खोजने में अच्छी है। हालांकि, यह जटिल समूह की गतिशीलता (group dynamics) को समझने में संघर्ष करती है, जैसे कि "एलिस, बॉब और चार्ली तभी साथ रहेंगे जब डेव भी वहां होगा।" ये जटिल, बहु-व्यक्ति नियम (जिन्हें हायर-ऑर्डर इंटरैक्शन कहा जाता है) कंप्यूटर की स्मृति में खो जाते हैं या बहुत कमजोर हो जाते हैं।

"विस्फोटक" व्यक्तित्व (Exponential):
अब, एक ऐसी इकाई की कल्पना करें जो इनपुट के प्रति बेतहाशा प्रतिक्रिया देती है। शोधकर्ताओं ने पाया कि यदि आप इस एक्सपोनेंशियल फंक्शन का उपयोग करते हैं, तो कंप्यूटर उन जटिल समूह की गतिशीलता को समझने में बहुत बेहतर हो जाता है। यह आसानी से सीख सकता है कि "एलिस, बॉब और चार्ली" का एक विशेष बंधन है जो तब तक मौजूद नहीं होता जब तक वे सब साथ न हों।

"सरलता का सागर" बनाम "जटिलता का द्वीप"

लेखकों ने अपने निष्कर्षों को समझाने के लिए एक विशाल महासागर के चतुर रूपक (analogy) का उपयोग किया है:

सरल मॉडलों का सागर: अधिकांश एक्टिवेशन फंक्शन (जैसे ReLU या Step) के लिए, कंप्यूटर की "स्वाभाविक अवस्था" सरल, घटते हुए संबंधों का एक सागर है। यदि आप कंप्यूटर पर यादृच्छिक (random) भार/वेट्स फेंकते हैं, तो वह लगभग हमेशा सरल जोड़ियों को ही सीखेगा। जटिल नियम, इस सागर में दुर्लभ द्वीपों की तरह हैं; वे इतने कठिन हैं कि कंप्यूटर संयोग से उन्हें शायद ही कभी ढूंढ पाता है।
जटिलता का द्वीप: हालांकि, एक्सपोनेंशियल फंक्शन के साथ, परिदृश्य बदल जाता है। मापदंडों (parameters) का एक विशिष्ट क्षेत्र (कंप्यूटर की शुरुआती सेटिंग्स को सेट करने का एक विशिष्ट तरीका) है जहाँ कंप्यूटर स्वाभाविक रूप से जटिल, गैर-घटते संबंधों के सागर में तैरता है। इस ज़ोन में, जटिल समूह नियम सरल जोड़ियों के जितने ही सामान्य हैं।

जब आप कंप्यूटर को प्रशिक्षित करते हैं तो क्या होता है?

शोधकर्ताओं ने यह देखने के लिए विभिन्न प्रकार के डेटा पर इन कंप्यूटरों को प्रशिक्षित करने का अनुकरण (simulate) किया कि क्या होता है।

सरल डेटा सीखना: जब उन्होंने कंप्यूटर को सरल नियमों (केवल जोड़ियों) वाले डेटा पर प्रशिक्षित किया, तो सभी प्रकार के एक्टिवेशन फंक्शन ने अच्छा काम किया। उन सभी ने प्रभावी ढंग से सरल नियमों को सीखा।
जटिल डेटा सीखना: जब उन्होंने कंप्यूटर को जटिल, बहु-व्यक्ति नियमों वाले डेटा पर प्रशिक्षित किया:
- लीनियर, स्टेप और ReLU: कंप्यूटर जटिल नियमों को सीखने में विफल रहा। इसके बजाय, इसने जटिल डेटा पर एक सरल स्पष्टीकरण थोपने की कोशिश की। इसने मूल रूप से समूह की गतिशीलता को "हार मान लिया" और केवल व्यक्तिगत हिस्सों को सीखा, जिससे बड़ी तस्वीर छूट गई।
- एक्सपोनेंशियल: कंप्यूटर सफल रहा। क्योंकि इसकी स्वाभाविक अवस्था जटिल नियमों के अनुकूल थी, यह डेटा की जटिल, उच्च-क्रम (high-order) की गतिशीलता को सीखने और उसे दोहराने में सक्षम था।

"सरलता का पूर्वाग्रह" (Simplicity Bias)

पेपर निष्कर्ष निकालता है कि न्यूरल नेटवर्क में एक अंतर्निहित "सरलता का पूर्वाग्रह" होता है। वे स्वाभाविक रूप से सरल, निम्न-स्तरीय कनेक्शनों को पहले सीखना पसंद करते हैं। यह आमतौर पर एक अच्छी बात है, लेकिन इसका मतलब है कि वे मौलिक रूप से जटिल डेटा के साथ संघर्ष करते हैं।

मुख्य बात यह है कि एक्सपोनेंशियल एक्टिवेशन फंक्शन चुनकर, आप इस पूर्वाग्रह को तोड़ सकते हैं। आप कंप्यूटर को इस तरह ट्यून कर सकते हैं कि वह स्वाभाविक रूप से उन जटिल, उच्च-क्रम के पैटर्न को सीखने के लिए तैयार रहे जिन्हें अन्य प्रकार के नेटवर्क या तो अनदेखा कर देंगे या प्रदर्शित करने में विफल रहेंगे।

संक्षेप में: यदि आप चाहते हैं कि आपका AI सरल जोड़ियों को समझे, तो लगभग कोई भी "व्यक्तित्व" काम करेगा। लेकिन यदि आप चाहते हैं कि वह जटिल समूह की गतिशीलता को समझे, तो आपको उसे "एक्सपोनेंशियल" व्यक्तित्व देना होगा, जो कंप्यूटर को केवल टुकड़ों को नहीं, बल्कि पूरी तस्वीर को देखने के लिए स्वाभाविक रूप से सक्षम बनाता है।

तकनीकी सारांश: प्रतिबंधित बोल्ट्ज़मैन मशीनों (RBMs) में सक्रियण फलन (Activation Functions), सांख्यिकी और उच्च-क्रम अंतःक्रियाओं का सीखना

समस्या विवरण
यद्यपि तंत्रिका नेटवर्क (neural networks) को असंख्य मापदंडों और गैर-रेखीय सक्रियण फलनों के संयोजन के माध्यम से छिपे हुए पैटर्न को पहचानने की अपनी क्षमता के लिए व्यापक रूप से पहचाना जाता है, लेकिन छिपे हुए यूनिट के सक्रियण फलन के 'रूप' का नेटवर्क प्रदर्शन और प्रतिनिधित्व क्षमता पर विशिष्ट प्रभाव सैद्धांतिक रूप से कम खोजा गया है। हालांकि अनुभवजन्य साक्ष्य बताते हैं कि सिग्मोइडल इकाइयों की तुलना में ReLU जैसे गैर-रेखीय तत्व अभिसरण (convergence) और प्रदर्शन में सुधार करते हैं, लेकिन इस बात का व्यवस्थित सैद्धांतिक मूल्यांकन करना अभी भी शेष है कि विभिन्न सक्रियण फलन कैसे एक RBM द्वारा दर्शा जाने वाली सांख्यिकीय नियमितताओं को प्रभावित करते हैं। विशेष रूप से, यह स्पष्ट नहीं है कि सक्रियण फलन का चयन कैसे उस डेटा संरचना को सीखने और दर्शाने की RBM की क्षमता को प्रभावित करता है जो मजबूत उच्च-क्रम अंतःक्रियाओं (pairwise से परे की अंतःक्रियाएं) द्वारा विशेषता युक्त होती है।

लेखक प्रतिबंधित बोल्ट्ज़मैन मशीनों (RBMs) और परस्पर क्रिया करने वाले बाइनरी चरों के मॉडलों के बीच द्वैत (duality) का लाभ उठाते हैं। छिपी हुई इकाइयों पर मार्जिनलाइज़ करके, एक RBM को सटीक रूप से एक ऐसे मॉडल में मैप किया जा सकता है जहाँ दृश्य इकाइयाँ (visible units) मनमाने क्रम $s$ के पदों के साथ सीधे परस्पर क्रिया करती हैं। अंतःक्रिया पद $I_{i_1, \dots, i_s}$ को विश्लेषणात्मक रूप से छिपे हुए स्तर की गैर-रैखिकता और दृश्य इकाइयों से जुड़े भारों (weights) के फलन के रूप में व्यक्त किया जाता है।

अध्ययन दो मुख्य विश्लेषणात्मक चरणों में आगे बढ़ता है:

सटीक सांख्यिकीय विश्लेषण: लीनियर (Linear) और एक्सपोनेंशियल (Exponential/Poisson) सक्रियण फलनों के लिए, लेखक उन प्रेरित अंतःक्रिया पदों के अपेक्षित मानों और सहसंबंधों (moments) के लिए सटीक विश्लेषणात्मक व्यंजक प्राप्त करते हैं जब भार एक गाऊसी वितरण (Gaussian distribution) से लिए जाते हैं।
लघु उतार-चढ़ाव विस्तार (Small Fluctuation Expansion): स्टेप (Step/Sigmoid) और ReLU सक्रियण फलनों के लिए, जहाँ सटीक समाधान अधिक जटिल हैं, लेखक औसत भार $w_0$ के आसपास अंतःक्रिया पदों के दूसरे-क्रम के विस्तार (second-order expansion) का उपयोग करते हैं। यह सन्निकटन इन गैर-रैखिकताओं के प्रत्याशा (expectations) और प्रसरण (variances) की गणना करने की अनुमति देता है।

इन विश्लेषणात्मक भविष्यवाणियों को विशिष्ट ग्राउंड-ट्रुथ वितरणों पर प्रशिक्षण प्रक्रियाओं के संख्यात्मक सिमुलेशन के विरुद्ध मान्य किया जाता है, जिसमें घटते अंतःक्रिया मॉडल (जहाँ क्रम के साथ अंतःक्रिया की शक्ति घटती है) और गैर-घटते मॉडल (जहाँ उच्च-क्रम की अंतःक्रियाएं महत्वपूर्ण हैं) शामिल हैं।

मुख्य योगदान और परिणाम

अंतःक्रिया स्थानों का लक्षण वर्णन: यह शोध पत्र चार सक्रियण फलनों के लिए प्रतिनिधित्व योग्य मॉडलों के स्थान का विश्लेषणात्मक रूप से लक्षण वर्णन करता है: लीनियर, स्टेप, ReLU, और एक्सपोनेंशियल।
- लीनियर RBM: केवल गैर-शून्य युग्म-अंतःक्रियाएं (fields और pairwise terms) उत्पन्न करता है; सभी उच्च-क्रम की अंतःक्रियाएं शून्य होती हैं।
- एक्सपोनेंशियल RBM: एक समृद्ध अंतःक्रिया संरचना प्रदर्शित करता है जहाँ उच्च-क्रम के पद गैर-शून्य होते हैं। महत्वपूर्ण रूप से, यदि पैरामीटर $\gamma_1 > 1$ है (एक स्थिति जो भार के माध्य और प्रसरण द्वारा निर्धारित होती है), तो अंतःक्रिया पदों का अपेक्षित मान अंतःक्रिया क्रम $s$ के साथ तेजी से बढ़ सकता है।
- स्टेप और ReLU RBM: हालांकि वे उच्च-क्रम की अंतःक्रियाएं उत्पन्न करते हैं, विश्लेषण से पता चलता है कि निम्न-क्रम की अंतःक्रियाएं आम तौर पर हावी रहती हैं, और अंतःक्रिया का परिमाण आमतौर पर क्रम के साथ घटता है।
उतार-चढ़ाव विश्लेषण (Fluctuation Analysis): अध्ययन उन स्थितियों की पहचान करता है जहाँ अंतःक्रिया पदों में उतार-चढ़ाव उनके अपेक्षित मानों से अधिक हो जाते हैं। एक्सपोनेंशियल सक्रियण के लिए, एक ऐसा पैरामीटर क्षेत्र मौजूद है जहाँ उच्च-क्रम की अंतःक्रियाओं के लिए उतार-चढ़ाव निम्न-क्रम की अंतःक्रियाओं की तुलना में बड़े होते हैं, एक ऐसी घटना जो लीनियर, स्टेप, या ReLU मामलों में नहीं देखी जाती है।
सीखने की गतिशीलता और "घटते" बनाम "गैर-घटते" मॉडल:
- लेखक घटते मॉडल (decaying models) को उन मॉडलों के रूप में परिभाषित करते हैं जहाँ क्रम के साथ अंतःक्रिया का परिमाण घटता है, और गैर-घटते मॉडल (non-decaying models) को उन मॉडलों के रूप में जहाँ ऐसा नहीं होता है।
- सामान्य निष्कर्ष: कमजोर युग्मन (weak coupling) शासन में, विभिन्न डेटा पर प्रशिक्षित RBMs अंततः घटते अंतःक्रिया मॉडल की ओर प्रवृत्त होते हैं, चाहे सक्रियण फलन कुछ भी हो। यह एक "सरलता पूर्वाग्रह" (simplicity bias) का सुझाव देता है जहाँ सीखने की प्रक्रिया निम्न-क्रम की विशेषताओं का पक्ष लेती है।
- एक्सपोनेंशियल अपवाद: विशिष्ट पैरामीटर क्षेत्रों में (बड़ा माध्य भार $w_0$ या बड़ा भार प्रसरण), एक्सपोनेंशियल सक्रियण वाले RBMs एक गैर-घटते शासन (non-decaying regime) में प्रवेश करते हैं। इस शासन में, एन्सेम्बल (ensemble) में मॉडलों का एक महत्वपूर्ण हिस्सा होता है जहाँ उच्च-क्रम की अंतःक्रियाएं निम्न-क्रम की तुलना में बराबर या बड़ी होती हैं।
- प्रशिक्षण प्रदर्शन: मजबूत गैर-घटते (जैसे शुद्ध तीन-शरी/three-body) अंतःक्रियाओं वाले ग्राउंड-ट्रुथ डेटा पर प्रशिक्षित होने पर:
  - स्टेप, ReLU, या लीनियर सक्रियण वाले RBMs गैर-घटते ढांचे को पुनर्गठित करने में विफल रहते हैं, प्रभावी रूप से डेटा को घटते मॉडल के रूप में सीखते हैं (निम्न-क्रम के पदों के साथ उच्च-क्रम के पदों का अनुमान लगाते हैं)।
  - एक्सपोनेंशियल सक्रियण वाले RBMs गैर-घटते अंतःक्रिया ढांचे को सफलतापूर्वक पुनर्गठित करते हैं और काफी कम कुलबैक-लीब्लर (KL) डाइवर्जेंस प्राप्त करते हैं, बशर्ते कि पैरामीटर विश्लेषणात्मक रूप से निर्धारित गैर-घटते शासन के भीतर हों।

महत्व और दावे
यह शोध पत्र दावा करता है कि सक्रियण फलन का चयन एक महत्वपूर्ण डिजाइन पैरामीटर है जो RBM के "प्रतिनिधित्व पूर्वाग्रह" (representational bias) को निर्धारित करता है।

सैद्धांतिक अंतर्दृष्टि: यह कार्य एक सैद्धांतिक ढांचा प्रदान करता है जो दिखाता है कि तेजी से बढ़ती गैर-रैखिकताएं, विशेष रूप से एक्सपोनेंशियल फलन, उच्च-क्रम के बड़े अंतःक्रिया पदों वाले डेटा संरचनाओं के प्रतिनिधित्व और सीखने को सुगम बना सकती हैं। यह RBM के सांख्यिकीय एन्सेम्बल को घटते से गैर-घटते शासन में स्थानांतरित करके प्राप्त किया जाता है।
सरलता पूर्वाग्रह (Simplicity Bias): परिणाम सुझाव देते हैं कि तंत्रिका नेटवर्क में देखा जाने वाला "सरलता पूर्वाग्रह" (निम्न-क्रम की विशेषताओं को पहले सीखने की प्रवृत्ति) न केवल सीखने के एल्गोरिदम (जैसे, स्टोकेस्टिक ग्रेडिएंट डिसेंट) से, बल्कि सक्रियण फलन द्वारा पेश किए गए अंतर्निहित प्रतिनिधित्व पूर्वाग्रह से भी उत्पन्न हो सकता है। अधिकांश मानक सक्रियण फलन (ReLU, Step) स्वाभाविक रूप से निम्न-क्रम की अंतःक्रियाओं का पक्ष लेते हैं।
व्यावहारिक निहितार्थ: उच्च-क्रम सहसंबंधों वाले कार्यों के लिए, एक्सपोनेंशियल सक्रियण फलन मानक गैर-रैखिकताओं की तुलना में एक सैद्धांतिक लाभ प्रदान करता है, बशर्ते कि मॉडल मापदंडों को उस विशिष्ट शासन के लिए ट्यून किया जाए जहाँ गैर-घटते अंतःक्रिया स्थिर होते हैं।

लेखक निष्कर्ष निकालते हैं कि हालांकि उनका विश्लेषण यादृच्छिक एन्सेम्बल और विशिष्ट ग्राउंड ट्रुथ पर निर्भर करता है, लेकिन यह समझने के लिए एक सिद्धांत आधारित आधार प्रदान करता है कि सक्रियण फलन कैसे RBM के प्रतिनिधित्व परिदृश्य को आकार देते हैं, जो उच्च-क्रम सांख्यिकीय नियमितताओं को पकड़ने वाले कार्यों के लिए आर्किटेक्चर के डिजाइन को निर्देशित कर सकता है।

मुख्य खोज: सरल बनाम जटिल संबंध

"सरलता का सागर" बनाम "जटिलता का द्वीप"

जब आप कंप्यूटर को प्रशिक्षित करते हैं तो क्या होता है?

"सरलता का पूर्वाग्रह" (Simplicity Bias)

इसी तरह के और पेपर