← नवीनतम पेपर
💻 computer science

Distributional Neurons: Making Uncertainty a Unit of Computation

यह शोध पत्र EVE को प्रस्तुत करता है, जो एक वेरिएशनल न्यूरॉन है जो वितरण संबंधी लेटेंट अवस्थाओं (distributional latent states) को प्रसारित करके अनिश्चितता को एक कम्प्यूटेशनल प्रिमिटिव के रूप में मानता है, और यह प्रदर्शित करता है कि यह न्यूरॉन-स्तरीय दृष्टिकोण प्रतिस्पर्धी पॉइंट सटीकता बनाए रखते हुए डेंस MLPs और ट्रांसफॉर्मर आर्किटेक्चर दोनों में अनिश्चितता अंशांकन (uncertainty calibration) और प्रदर्शन में सुधार करता है।

मूल लेखक: YVES RUFFENACH

प्रकाशित 2026-07-21
📖 8 मिनट में पढ़ें🧠 गहराई से पढ़ें

मूल लेखक: YVES RUFFENACH

मूल पेपर CC BY 4.0 (https://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

एक मस्तिष्क कोशिका का गुप्त जीवन

कल्पना कीजिए कि आप एक कंप्यूटर को फोटो में बिल्ली पहचानने के लिए प्रशिक्षित करने की कोशिश कर रहे हैं। आप एक डिजिटल मस्तिष्क बनाते हैं जो "न्यूरॉन्स" नामक छोटे, सरल प्रोसेसर की परतों से बना होता है। इन डिजिटल मस्तिष्कों के मानक संस्करण में, प्रत्येक न्यूरॉन एक कठोर, एकनिष्ठ रोबोट की तरह कार्य करता है। वह जानकारी लेता है, गणना करता है, और एक एकल, निश्चित उत्तर देता है: एक विशिष्ट संख्या। यदि रोबोट कहता है "0.8," तो यही एकमात्र सत्य है जिसे वह जानता है। उसे नहीं पता कि वह केवल अनुमान लगा रहा है, या तस्वीर धुंधली है, या उसका दिन ही खराब है। यह पूर्ण निश्चितता की दुनिया है, भले ही दुनिया कितनी भी अव्यवस्थित क्यों न हो।

लेकिन वास्तविक जीवन "शायद" से भरा है। जब आप कोहरे में एक धुंधली आकृति देखते हैं, तो आप केवल "बिल्ली" या "बिल्ली नहीं" नहीं देखते; आप थोड़ा अनिश्चित महसूस करते हैं। वैज्ञानिक लंबे समय से कंप्यूटर को उस अनिश्चितता को महसूस करना सिखाने की कोशिश कर रहे हैं, आमतौर पर पूरे मस्तिष्क को हिलाकर या अंत में संदेह की अतिरिक्त परतें जोड़कर। हालाँकि, एक नया अध्ययन बताता है कि हम शायद गलत दृष्टिकोण से समस्या को देख रहे हैं। पूरे मस्तिष्क को अनिश्चित बनाने के बजाय, क्या होगा अगर हम स्वयं उन छोटे, व्यक्तिगत निर्माण खंडों (building blocks) को अनिश्चित बना दें? यह शोध एक सरल, चंचल प्रश्न पूछता है: क्या होगा यदि डिजिटल मस्तिष्क का प्रत्येक एकल न्यूरॉन एक कठोर रोबोट नहीं, बल्कि एक छोटा जुआरी हो जो अपनी जेब में कुछ अलग संभावनाएँ रखता हो?

EVE से मिलिए: वह न्यूरॉन जो अपने विकल्प खुले रखता है

इस शोध पत्र में, इविस रफ़ेनाच (Yves Ruffenach) नामक एक शोधकर्ता एक नए प्रकार के डिजिटल न्यूरॉन का परिचय देते हैं जिसे EVE कहा जाता है। एक मानक न्यूरॉन को एक फैक्ट्री वर्कर के रूप में सोचें जो हर बार एक विशिष्ट भाग पर स्टैम्प लगाता है। दूसरी ओर, EVE एक ऐसे वर्कर की तरह है जो केवल एक भाग पर स्टैम्प नहीं लगाता; वे उस भाग के थोड़े अलग संस्करणों का एक पूरा बॉक्स बनाते हैं, उनमें से एक को यादृच्छिक (random) रूप से चुनते हैं, और फिर अगली परत बनाने के लिए उसका उपयोग करते हैं।

शोध पत्र इसे एक "डिस्ट्रिब्यूशनल न्यूरॉन" (distributional neuron) कहता है। एक एकल संख्या (जैसे 5.0) पास करने के बजाय, EVE एक वितरण (distribution)—संभावित संख्याओं के एक पूरे बादल—को पास करता है। वह यह एक "पोस्टीरियर" (posterior - एक फैंसी शब्द जिसका अर्थ है उसकी वर्तमान सर्वोत्तम धारणा कि क्या सत्य हो सकता है) और एक "प्रायर" (prior - जो वह सामान्य रूप से संभव समझता है) रखकर करता है। वह इस बादल से एक यादृच्छिक "लेटेंट स्टेट" (latent state) को सैंपल करता है, अपना काम करने के लिए उस यादृच्छिक अवस्था का उपयोग करता है, और फिर परिणाम को आगे भेज देता है। महत्वपूर्ण रूप से, न्यूरॉन को "KL रेगुलराइजेशन" दंड का उपयोग करके अपने आंतरिक अनुमानों को ईमानदार रखने के लिए प्रशिक्षित किया जाता है, जो एक शिक्षक की तरह है जो न्यूरॉन को धीरे से डांटता है यदि वह बिना किसी ठोस कारण के बेतहाशा अनुमान लगाने लगे।

अध्ययन इस विचार का परीक्षण तीन अलग-अलग चरणों में करता है, जैसे कि एक वैज्ञानिक एक एकल कोशिका को देखता है, फिर एक पूरा अंग बनाता है, और अंत में उसे एक जटिल मशीन में डाल देता है।

चरण 1: सूक्ष्मदर्शी (The Microscope)
सबसे पहले, शोधकर्ताओं ने एक एकल न्यूरॉन को अलग किया ताकि यह देखा जा सके कि वह अकेले क्या कर सकता है। उन्होंने एक खेल सेट किया जहाँ लक्ष्य उन संख्याओं की भविष्यवाणी करना था जिनमें एक विशिष्ट, बदलते हुए "शोर" (noise/यादृच्छिकता) के साथ जुड़ा हुआ था। उन्होंने EVE की तुलना तीन अन्य प्रकार के न्यूरॉन्स से की:

  1. एक मानक, उबाऊ नियतात्मक (deterministic) न्यूरॉन (कठोर रोबोट)।
  2. एक "मैच्ड" नियतात्मक न्यूरॉन जिसमें समान मात्रा में कंप्यूटिंग शक्ति थी लेकिन कोई यादृच्छिकता नहीं थी।
  3. एक विशेष "हेटरोसेडास्टिक" (heteroscedastic) न्यूरॉन जिसे स्पष्ट रूप से अंत में अनिश्चितता की भविष्यवाणी करने के लिए बताया गया था।

परिणाम दिलचस्प थे। मानक रोबोट संख्या का अनुमान लगाने में ठीक था लेकिन यह जानने में बहुत बुरा था कि वह कितना अनिश्चित था। "मैच्ड" रोबोट भी मानक वाले जितना ही अनिश्चित था। लेकिन EVE? वह एक सितारा था। जबकि उसने शक्तिशाली मैच्ड रोबोट जितनी ही सटीकता से संख्याओं का अनुमान लगाया, वह वास्तविक अनिश्चितता को ट्रैक करने में अविश्वसनीय रूप से अच्छा था। वास्तव में, वह 93.9% बार वास्तविक शोर पैटर्न के साथ संरेखित (align) हुआ, जबकि मानक रोबोट शून्य से मुश्किल से ऊपर था। EVE ने साबित कर दिया कि एक एकल न्यूरॉन अनिश्चितता को अपने भीतर रखने के लिए सीख सकता है, न कि केवल आउटपुट पर।

चरण 2: गहरा ढेर (The Deep Stack)
इसके बाद, शोधकर्ताओं ने पूछा: "क्या यह तब काम करता है जब आप इनके ऊपर 128 न्यूरॉन्स का ढेर लगाते हैं?" उन्होंने इमारतों की ऊर्जा दक्षता की भविष्यवाणी करने के लिए एक विशाल, गहरा न्यूरल नेटवर्क बनाया (128 परतें गहरी, प्रत्येक परत में 128 न्यूरॉन्स)। यह "कंपोजिशन" (composition) का एक वास्तविक परीक्षण है: क्या ये अनिश्चित न्यूरॉन मिलकर काम कर सकते हैं बिना पूरे सिस्टम के अराजकता में ढह जाए?

जवाब एक जोरदार "हाँ, लेकिन एक चेतावनी के साथ" था। जब उन्होंने गहरे नेटवर्क का परीक्षण किया, तो EVE ने मॉडल की अनिश्चितता को संभालने की क्षमता में महत्वपूर्ण सुधार किया। इसने "नेगेटिव लॉग लाइकलीहुड" (एक स्कोर जो बताता है कि मॉडल संभावनाओं की पूरी श्रृंखला की कितनी अच्छी भविष्यवाणी करता है) को लगभग 18.8% कम कर दिया और सभी पांच परीक्षणों में अन्य अनिश्चितता स्कोर में 4.5% से 8.3% का सुधार किया। हालाँकि, जब केवल सटीक संख्या का अनुमान लगाने की बात आई (जिसे MSE और MAE द्वारा मापा गया), तो EVE मानक रोबोट के लगभग बराबर था, कभी थोड़ा बेहतर, कभी थोड़ा बदतर। बड़ी जीत यह थी कि संकेत (signal) 128 परतों के माध्यम से यात्रा करते समय "अनिश्चितता" गायब नहीं हुई; यह जीवित और मापने योग्य बनी रही। शोधकर्ताओं ने यह भी नोट किया कि इसके साथ एक लागत भी आई: EVE चलाने के लिए लगभग 7.1 गुना धीमा था क्योंकि इसे वह सारा अतिरिक्त सैंपलिंग और गणित करना पड़ता था।

चरण 3: ट्रांसफार्मर ब्रिज (The Transformer Bridge)
अंत में, शोधकर्ताओं ने EVE को एक आधुनिक "ट्रांसफार्मर" आर्किटेक्चर में फिट करने की कोशिश की, जो उन भाषा मॉडलों के प्रकार का मस्तिष्क है जो निबंध लिखते हैं या आपसे चैट करते हैं। उन्होंने ट्रांसफार्मर के मानक "फीड-फॉरवर्ड" भागों को EVE न्यूरॉन्स से बदल दिया और उससे एक कहानी में अगले शब्द की भविष्यवाणी करने के लिए कहा (PG-19 नामक डेटासेट का उपयोग करके)।

परिणामों ने सुझाव दिया कि EVE वास्तव में इन जटिल, आधुनिक प्रणालियों में डाला जा सकता है। EVE-संचालित ट्रांसफार्मर ने अगले शब्द की भविष्यवाणी करने की अपनी क्षमता में सुधार किया (परप्लेक्सिटी को 189.74 से घटाकर 161.94 कर दिया) और सही शब्द का अनुमान लगाने में बेहतर हुआ (सटीकता 0.1938 से बढ़कर 0.2064 हो गई)। इसने "नॉन-डेजेनरेट मोंटे कार्लो अनिश्चितता सिग्नल" भी उत्पन्न किए, जो एक फैंसी तरीका है यह कहने का कि जब मॉडल से कई बार अनुमान लगाने के लिए कहा गया, तो इसने केवल एक ही अनुमान को दोहराने के बजाय अलग-अलग, दिलचस्प उत्तर दिए जो इसकी अनिश्चितता को दर्शाते थे। हालाँकि, अध्ययन में पाया गया कि "अनिश्चितता" मुख्य रूप से नेटवर्क की पहली परत में हो रही थी; गहरी परतों ने अभी तक अपनी पूरी क्षमता का उपयोग नहीं किया था।

इसका क्या अर्थ है (और क्या नहीं)

शोध पत्र सुझाव देता है कि अनिश्चितता को गणना की एक मौलिक इकाई बनाना—सीधे न्यूरॉन के भीतर—एक व्यवहार्य और शक्तिशाली विचार है। यह दिखाता है कि आप इस व्यवहार को अलग कर सकते हैं, इसके साथ गहरे नेटवर्क बना सकते हैं, और यहाँ तक कि इसे सबसे उन्नत भाषा मॉडलों में भी जोड़ सकते हैं।

हालाँकि, लेखक इस बात का दावा करने में सावधान हैं कि यह कोई जादुई समाधान (magic bullet) नहीं है। वे स्पष्ट रूप से इस विचार को खारिज करते हैं कि यह केवल अधिक कंप्यूटिंग शक्ति के बारे में है; समान शक्ति वाले एक मानक न्यूरॉन को समान परिणाम नहीं मिले। वे यह भी नोट करते हैं कि जबकि EVE अनिश्चितता के लिए महान है, यह हमेशा केवल सटीक संख्या के बारे में "सही" होने में नहीं जीतता है। गहरे नेटवर्क परीक्षणों में, मानक त्रुटि दरें (MSE और MAE) बहुत करीब थीं, और कभी-कभी मानक मॉडल थोड़ा बेहतर था। इसके अलावा, अध्ययन स्वीकार करता है कि वर्तमान संस्करण धीमा है और ट्रांसफार्मर प्रयोग में "अनिश्चितता" अभी तक सभी परतों में पूरी तरह से संतुलित नहीं थी।

संक्षेप में, EVE सुझाव देता है कि यदि हम चाहते हैं कि कंप्यूटर दुनिया की अव्यवस्था को समझें, तो हमें केवल अंत में एक "संदेह" बटन नहीं जोड़ना चाहिए। हमें उन छोटे निर्माण खंडों को स्वयं कुछ विकल्प खुले रखने, उनसे नमूने लेने और अज्ञात के साथ सहज होने के लिए सिखाना चाहिए। यह डिजिटल मस्तिष्क बनाने के तरीके में एक छोटा, चंचल बदलाव है, लेकिन यह उन्हें दुनिया को थोड़ा हमारे जैसा देखने में मदद कर सकता है।

अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?

आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।

Digest आज़माएँ →