📊 statistics

From Bayes' Rule to Bayes Rules: Optimal Information Processing and Axiomatic Foundations Beyond Probability

यह शोध पत्र संभाव्यतात्मक अनुमान (possibilistic inference) के लिए एक मानक अद्यतन नियम स्थापित करता है, जो सूचना-संरक्षण और स्वयंसिद्ध दृष्टिकोणों दोनों से व्युत्पन्न है, जो उत्पाद (product) और सुप्रीमम नॉर्मलाइजेशन (supremum normalization) के माध्यम से पूर्व (prior) और संभावना (likelihood) को संयोजित करता है और एपिस्टेमिक स्ट्रेंथ (epistemic strength) को नियंत्रित करने के लिए एक लर्निंग-रेट पैरामीटर पेश करता है।

मूल लेखक: Jeremie Houssineau, Badr-Eddine Chérief-Abdellatif

प्रकाशित 2026-07-10

📖 7 मिनट में पढ़ें🧠 गहराई से पढ़ें

CC BY 4.0

मूल लेखक: Jeremie Houssineau, Badr-Eddine Chérief-Abdellatif

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

कल्पना कीजिए कि आप एक रहस्य सुलझाने की कोशिश कर रहे हैं एक जासूस के रूप में। आपके पास एक अंतर्ज्ञान है कि अपराधी कौन हो सकता है (आपका prior या पूर्व विश्वास), और आपको अपराध स्थल पर एक नया सुराग मिलता है (आपका data या डेटा)। मानक सांख्यिकी (standard statistics) की दुनिया में, आप इन दोनों को जोड़ने के लिए बेयस के नियम (Bayes' Rule) नामक एक प्रसिद्ध विधि का उपयोग करते हैं।

लेकिन क्या होगा यदि आपका अंतर्ज्ञान एक सटीक प्रायिकता (जैसे "70% निश्चित") नहीं है? क्या होगा यदि यह एक धुंधली भावना की तरह है, जैसे कि एक "संभावना"? शायद आपको लगता है कि अपराधी बटलर हो सकता है, या माली, या रसोइया, लेकिन आपके पास सटीक संख्याएँ नहीं हैं। यहीं पर संभावना सिद्धांत (Possibility Theory) काम आता है। यह अनिश्चितता को संभालने का एक तरीका है जो संख्याओं को जोड़ने पर निर्भर नहीं करता, बल्कि इस पर निर्भर करता है कि क्या "संभव" है उसका "अधिकतम" (maximum या supremum) क्या है।

यह शोध पत्र, जिसका शीर्षक है "From Bayes' Rule to Bayes Rules," एक बड़ा सवाल पूछता है: यदि हम मानक प्रायिकताओं का उपयोग करना बंद कर देते हैं और इन धुंधले "संभावना" मानचित्रों का उपयोग करना शुरू कर देते हैं, तो क्या अभी भी अपने विश्वासों को अपडेट करने का एक एकल, सटीक तरीका मौजूद है?

बड़ी खोज: एक नियम जो सब पर शासन करता है

लेखक, जेरेमी हुसिनो (Jeremie Houssineau) और बद्र-एडिन शेरीफ-अब्दलातीफ (Badr-Eddine Chérief-Abdellatif), तर्क देते हैं कि हाँ, ऐसा है। इस धुंधली दुनिया में भी, अपने विश्वासों को अपडेट करने का एक "कैनोनिकल" (एकमात्र सत्य) तरीका है।

उन्होंने इस नियम को दो पूरी तरह से अलग दृष्टिकोणों से देखकर खोजा, जैसे दो जासूस अलग-अलग उपकरणों के साथ एक ही मामले को सुलझा रहे हों:

"सूचना संरक्षण" वाला जासूस (The "Information Conservation" Detective): यह जासूस मानता है कि जब आप अपने पुराने अंतर्ज्ञान को नए सुरागों के साथ जोड़ते हैं, तो आपको अनजाने में नए तथ्य बनाना नहीं चाहिए या पुराने तथ्यों को खोना नहीं चाहिए। आपको बस जो आप पहले से जानते हैं उसे पुनर्व्यवस्थित करना चाहिए। यह सुनिश्चित करते हुए कि कोई सूचना बनाई या नष्ट नहीं की गई है, उन्होंने एक विशिष्ट सूत्र निकाला।
"तार्किक सुसंगतता" वाला जासूस (The "Logical Coherence" Detective): यह जासूस पूछता है, "यदि मैं अपने विश्वासों को चरण-दर-चरण अपडेट करता हूँ, या यदि मैं पहेली के एक छोटे हिस्से को देखता हूँ, तो क्या मेरा तर्क अभी भी समझ में आता है?" तर्कसंगत अपडेट के लिए आवश्यक सख्त नियमों (axioms) का एक सेट निर्धारित करके, इस जासूस ने ठीक उसी सूत्र तक पहुँच बनाई।

सूत्र (The Formula):
जो नियम उन्होंने खोजा वह आश्चर्यजनक रूप से सरल है। अपना नया विश्वास (जिसे posterior कहा जाता है) प्राप्त करने के लिए, आप अपने पुराने अंतर्ज्ञान (prior) को नए सुराग (likelihood) से गुणा करते हैं, और फिर परिणाम में सबसे बड़ी संख्या से विभाजित करते हैं ताकि यह सुनिश्चित हो सके कि सब कुछ "1 से 0" के पैमाने में फिट बैठता है।

गणितीय भाषा में, यह इस प्रकार दिखता है:
$\text{नया विश्वास} = \frac{\text{पुराना अंतर्ज्ञान} \times \text{नया सुराग}}{\text{परिणाम में सबसे बड़ी संख्या}}$

यह "sup-normalised prior-likelihood product" है। यह क्लासिक बेयस के नियम का "धुंधली दुनिया वाला चचेरा भाई" है।

"जादुई नॉब" (सीखने की दर - The Learning Rate)

यहाँ वह मोड़ है जिसके बारे में यह शोध पत्र बहुत सावधान है। इस धुंधली दुनिया में, एक विशेष "नॉब" या पैरामीटर है (आइए इसे $w$ कहें) जो यह नियंत्रित करता है कि आपका विश्वास कितना मजबूत है।

जो शोध पत्र सिद्ध करता है: यह नियम इस नॉब की किसी भी सेटिंग के लिए पूरी तरह से काम करता है।
जो शोध पत्र खारिज करता है: आप केवल डेटा को देखकर इस नॉब की सटीक सेटिंग का पता नहीं लगा सकते। शोध पत्र स्पष्ट रूप से कहता है कि यह स्ट्रेंथ पैरामीटर साक्ष्य (evidence) से अकेले पहचाना जाने योग्य (identifiable) नहीं है।

इसे ऐसे सोचिए: यदि आप एक रेडियो ट्यून करने की कोशिश कर रहे हैं, तो डेटा आपको बताता है कि कौन सा गाना बज रहा है, लेकिन यह नहीं बताता कि वॉल्यूम कितना होना चाहिए। आपको वॉल्यूम खुद तय करना होगा कि आप पहले से उस रेडियो स्टेशन पर कितना भरोसा करते हैं। शोध पत्र तर्क देता है कि केवल डेटा से इस वॉल्यूम नॉब को "सीखने" की कोशिश करना एक बेकार रास्ता है; यह आपकी अपनी धारणा के बारे में एक विकल्प है, न कि संख्याओं में छिपा हुआ कोई तथ्य।

इस शोध पत्र का "ना" क्या है

लेखक इस बारे में बहुत स्पष्ट हैं कि यह नियम क्या नहीं है:

यह नई जानकारी बनाने का तरीका नहीं है। यदि आपका अपडेट नियम आपके विश्वास को डेटा और आपके पुराने अंतर्ज्ञान से अधिक निश्चित बना देता है, तो आपने सूचना "बनाई" है, जिसे यह शोध पत्र एक गलती मानता है।
यह सूचना खोने का तरीका नहीं है। यदि आपका अपडेट आपको उतना अनिश्चित बना देता है जितना कि आपको होना चाहिए था, तो आपने सूचना "खो" दी है।
यह ऐसा तरीका नहीं है जिसके लिए आपको यह जानने की आवश्यकता हो कि डेटा कैसे उत्पन्न किया गया था उसकी सटीक "सत्य" प्रायिकता क्या है। वास्तव में, यह पूरा सिस्टम तब काम करने के लिए बनाया गया है जब आपके पास वे सटीक प्रायिकताएँ नहीं होती हैं।

वे कितने आश्वस्त हैं?

लेखक अपनी खोजों को लेकर अत्यंत आश्वस्त हैं, लेकिन वे इसके दायरे के प्रति सटीक हैं।

सिद्ध (Proven): उन्होंने गणितीय रूप से सिद्ध किया है (कठोर तर्क और सिद्धांतों का उपयोग करके) कि यदि आप सूचना को संरक्षित करना चाहते हैं या संभावना-आधारित दुनिया में तार्किक रूप से सुसंगत रहना चाहते हैं, तो आपको ही इस विशिष्ट अपडेट नियम का उपयोग करना होगा। यह कोई अनुमान नहीं है; यह एक व्युत्पत्ति (derivation) है।
सिमुलेशन नहीं (Not a Simulation): उन्होंने केवल यह देखने के लिए कंप्यूटर सिमुलेशन नहीं चलाया कि यह काम करता है या नहीं; उन्होंने एक तार्किक ढांचा बनाया जो इस नियम को एकमात्र उत्तर बनने के लिए मजबूर करता है।
हर चीज़ के लिए "हल" की गई समस्या नहीं: वे स्वीकार करते हैं कि हालांकि उन्होंने नियम खोज लिया है, लेकिन उन्होंने यह समस्या हल नहीं की है कि हर स्थिति के लिए सही "वॉल्यूम नॉब" ( $w$ ) कैसे चुना जाए। वे सुझाव देते हैं कि इस नॉब को बाहरी लक्ष्यों के आधार पर कैलिब्रेट (समायोजित) करने की आवश्यकता है, जैसे कि यह सुनिश्चित करना कि आपके पूर्वानुमान सही क्षेत्र को कवर करते हैं, न कि इसे डेटा से स्वचालित रूप से सीखा जाना चाहिए।

एक जिज्ञासु किशोर के लिए निष्कर्ष

कल्पना कीजिए कि आप एक रोबोट बना रहे हैं जो दुनिया से सीखता है। यदि आप रोबोट को मानक गणित का उपयोग करने के लिए कहते हैं, तो वह प्रायिकताओं को जोड़ता है। लेकिन यदि दुनिया अस्त-व्यस्त है और आप संख्याओं के बारे में निश्चित नहीं हो सकते, तो आप रोबोट को "संभावना" गणित का उपयोग करने के लिए कहते हैं।

यह शोध पत्र रोबोट को बताता है: "यहाँ आपके मस्तिष्क को अपडेट करने का एकमात्र तरीका है जिससे आप खुद से झूठ न बोलें या जो आप जानते थे उसे न भूलें। अपने पुराने अनुमान को नए सुराग से गुणा करें, और उसे नॉर्मलाइज़ करें। और ध्यान रहे, केवल सुरागों को देखकर यह अनुमान लगाने की कोशिश न करें कि आपका विश्वास कितना 'मजबूत' होना चाहिए; आपको वह मजबूती खुद तय करनी होगी।"

यह धुंधली दुनिया के लिए नियमों का एक नया सेट है, जो यह साबित करता है कि भले ही चीजें पूरी तरह से स्पष्ट न हों, फिर भी उनके बारे में सोचने का एक सटीक तरीका मौजूद है।

तकनीकी सारांश: बेयज़ के नियम से बेयज़ नियमों तक

समस्या विवरण
मानक बेयज़ियन अनुमान (Bayesian inference) संभाव्यता सिद्धांत (probability theory) पर निर्भर करता है, जहाँ अनिश्चितता योगात्मक (additive) होती है और बेयज़ के नियम के माध्यम से अपडेट की जाती है। हालाँकि, शास्त्रीय सांख्यिकी और आधुनिक मशीन लर्निंग अक्सर इस ढांचे से विचलित होते हैं, और लॉस-आधारित अपडेट (loss-based updates), टेंपर्ड पोस्टीरियर्स (tempered posteriors), या साक्ष्य-विलय योजनाओं (evidence-fusion schemes) का उपयोग करते हैं जहाँ अनिश्चितता स्वाभाविक रूप से योगात्मक नहीं होती है। एक मौलिक प्रश्न बना हुआ है: क्या बेयज़ का नियम सूचना प्रसंस्करण का "सही" नियम बनाता है, और यह सूचना के गणितीय प्रतिनिधित्व पर कैसे निर्भर करता है? विशेष रूप से, जब एक निश्चित पैरामीटर के बारे में अनिश्चितता को संभाव्यता वितरण के बजाय एक संभावना फलन (possibility function) (जो संभाव्यता वितरण का मैक्सिटिव (maxitive) अनुरूप है) द्वारा दर्शाया जाता है, तो सिद्धांतिक रूप से क्या अपडेट नियम होना चाहिए?

कार्यप्रणाली
यह शोध पत्र इस समस्या को सूचना प्रसंस्करण (information processing) के रूप में देखते हुए इस पर दृष्टिकोण बनाता है। यह संभावना सिद्धांत (possibility theory) के ढांचे के अनुकूल होने के लिए शास्त्रीय संभाव्यता व्युत्पत्तियों का अनुसरण करते हुए, दो पूरक मौलिक दृष्टिकोणों से कैनोनिकल अपडेट नियम को व्युत्पन्न करता है।

दृष्टिकोण 1: इष्टतम सूचना प्रसंस्करण (सूचना संरक्षण)
- ढांचा: लेखक सूचना संरक्षण सिद्धांत (Information Conservation Principle - ICP) को एक संभावना सेटिंग में पुनर्गठित करते हैं, जो पारंपरिक रूप से ज़ेलर [1988] और स्केलर क्रॉस-एन्ट्रॉपी से जुड़ा है।
- मुख्य तंत्र: सूचना को एक स्केलर (जैसे एंट्रॉपी) में संकुचित करने के बजाय, यह शोध पत्र संभावना फलनों में अंतर्निहित पॉइंटवाइज पार्शियल ऑर्डर (pointwise partial order) का उपयोग करता है ( $f \preceq g \iff \forall \theta, f(\theta) \leq g(\theta)$ )।
- व्युत्पत्ति: एक पॉइंटवाइज सूचना स्कोर $S$ को पेश करके जो ऑर्डर-निरंतरता (order-consistency), सामान्यीकरण (normalisation), और स्वतंत्र संयोजन (product t-norm) के तहत योगात्मकता को संतुष्ट करता है, लेखक एक कैनोनिकल लॉगरिदमिक सूचना मानचित्र व्युत्पन्न करते हैं: $I[f](\theta) = -\log f(\theta)$ ।
- संरक्षण: एक सूचना प्रसंस्करण नियम (IPR) को तब इष्टतम माना जाता है जब वह न तो सूचना की हानि और न ही सूचना का निर्माण करता है। इसे एक सूचना असंतुलन कार्यात्मक (information imbalance functional) $\Delta(\text{IPR})$ के माध्यम से औपचारिक रूप दिया गया है, जो पैरामीटर स्पेस पर एक फलन है न कि एक स्केलर। शर्त $\Delta(\text{IPR}) = 0$ (पॉइंटवाइज समानता) अद्वितीय अपडेट नियम की पहचान करती है।
दृष्टिकोण 2: स्वयंसिद्ध दृष्टिकोण (सुसंगतता/Coherence)
- ढांचा: लेखक बिस्सिरि एट अल. [2016] द्वारा स्थापित सामान्यीकृत बेयज़ियन अनुमान के सुसंगतता स्वयंसिद्धों (coherence axioms) के एक संभावना समकक्ष का प्रस्ताव करते हैं।
- स्वयंसिद्ध: अपडेट नियम $\psi[\ell, \pi]$ $ψ [ℓ, π]$ (जो एक प्रायर $\pi$ $π$ और लॉस $\ell$ $ℓ$ को पोस्टीरियर में मैप करता है) को निम्नलिखित को संतुष्ट करना चाहिए:
  - अनुक्रमिक सुसंगतता (Sequential coherence) (A2.1)।
  - प्रतिबंध अनुकूलता (Restriction compatibility) (A2.2)।
  - लॉस में एकतुल्यता/मोनोटोनिसिटी (Monotonicity in loss) (A2.3)।
  - रिक्त लॉस और योगात्मक शिफ्ट के प्रति अपरिवर्तनीयता (Invariance to vacuous losses and additive shifts) (A2.4, A2.5)।
- व्युत्पत्ति: संभाव्यता मामले में जहाँ सामान्यीकरण एक समाकलन (integral) है, संभावना व्युत्पत्ति के लिए यह स्थापित करना आवश्यक है कि मैक्सिटिव प्रतिबंध (maxitive restriction) पेयरवाइज ऑड्स को संरक्षित करता है और बाइनरी अपडेट ट्रिपल्स (triples) पर सुसंगत (cohere) होते हैं। ये स्वयंसिद्ध नियम पोस्टीरियर को एक विशिष्ट कार्यात्मक रूप लेने के लिए मजबूर करते हैं।

मुख्य योगदान और परिणाम

कैनोनिकल अपडेट नियम:
दोनों व्युत्पत्तियाँ एक ही अद्वितीय अपडेट नियम पर सहमत होती हैं, जिसे संभावना बेयज़ नियम (possibilistic Bayes' rule) कहा जाता है:
$\pi(\theta | y) = \frac{\pi(\theta) L(\theta | y)}{\sup_{\vartheta \in \Theta} \pi(\vartheta) L(\vartheta | y)}$
जहाँ $\pi(\theta)$ प्रायर संभावना फलन है और $L(\theta | y)$ लाइकलीहुड (या साक्ष्य) है।
- यदि इनपुट एक सैंपलिंग वितरण $p_\theta(y)$ है, तो $L$ लाइकलीहुड है।
- यदि इनपुट एक जेनेरिक लॉस $\ell(\theta, y)$ है, तो $L(\theta | y) \propto \exp(-w \ell(\theta, y))$ , जहाँ $w \geq 0$ एक लर्निंग-रेट पैरामीटर है।
लर्निंग रेट ( $w$ ) की भूमिका:
शोध पत्र स्पष्ट करता है कि पैरामीटर $w$ (जो एपिस्टेमिक स्ट्रेंथ को नियंत्रित करता है) दोनों व्युत्पत्तियों के लिए एक्सोजेनस (exogenous) है।
- दृष्टिकोण 1 में, $w$ एक लॉस को एविडेंस संभावना फलन में बदलने के समय एक एनकोडिंग विकल्प है।
- दृष्टिकोण 2 में, $w$ एक स्थिरांक है जो सुसंगतता स्वयंसिद्धों द्वारा अनिर्धारित रहता है।
- परिणाम: $w$ साक्ष्य के सामान्यीकरण से पहचान योग्य (identifiable) नहीं है। संभावना साक्ष्य को अधिकतम करना केवल स्वीकार्य स्ट्रेंथ्स को उनके न्यूनतम मूल्यों की ओर ले जाता है। अतः, $w$ एपिस्टेमिक स्ट्रेंथ के संबंध में एक मॉडलिंग विकल्प है, न कि डेटा-पहचान योग्य मात्रा।
सूचना हानि और निर्माण:
पॉइंटवाइज पार्शियल ऑर्डर का उपयोग करते हुए, शोध पत्र सूचना हानि और निर्माण के बीच वास्तविक, अवलोकन योग्य घटनाओं के रूप में अंतर करता है, जो संभाव्यता सेटिंग में एक स्केलर सारांश के विपरीत है।
- एक IPR सूचना का निर्माण नहीं करता यदि पोस्टीरियर हर जगह बेयज़ अपडेट द्वारा डोमिनेट किया जाता है ( $g \preceq \pi(\cdot|y)$ )।
- एक IPR सूचना की हानि नहीं करता यदि पोस्टीरियर बेयज़ अपडेट द्वारा डोमिनेट किया जाता है ( $g \succeq \pi(\cdot|y)$ )।
- बेयज़ नियम वह अद्वितीय IPR है जो सूचना हानि और निर्माण दोनों से एक साथ बचता है।
मौजूदा कार्य के साथ संबंध:
- व्युत्पन्न नियम हालिया इमप्रिसाइस प्रोबेबिलिस्टिक साहित्य (जैसे मार्टिन [2026]) द्वारा प्रस्तावित सुप-नॉर्मलाइज्ड प्रायर-लाइकलीहुड प्रोडक्ट के अनुरूप है।
- सूचना असंतुलन फलन मैक्सिटिव डॉन्स्कर-वरदान द्वैतता (maxitive Donsker–Varadhan duality) (सिंह एट अल. [2025]) के इंटीग्रेंड (integrand) के अनुरूप है, जो दर्शाता है कि बेयज़ नियम द्वैत निरंतरता सीमाओं (dual consistency bounds) का अद्वितीय सामान्य ऑप्टिमाइज़र है।

महत्व और दावे
शोध पत्र का दावा है कि बेयज़ का नियम केवल एक सूत्र नहीं है, बल्कि सूचना के अंतर्निहित कैलकुलस (योगात्मक बनाम मैक्सिटिव) और डेटा-टू-पैरामीटर लिंक की प्रकृति द्वारा अनुक्रमित नियमों का एक परिवार है।

मौलिक औचित्य: शोध पत्र तर्क देता है कि सुप-नॉर्मलाइज्ड प्रोडक्ट केवल एक ह्यूरिस्टिक या एक लाइकलीहुड को आंशिक प्रायर जानकारी के साथ संयोजित करने के लिए एक सुविधाजनक विकल्प नहीं है; यह सूचना संरक्षण और सुसंगतता के मूलभूत सिद्धांतों द्वारा अनिवार्य (forced) है।
जनरलाइज्ड बेयज़ का स्पष्टीकरण: यह लर्निंग रेट के संबंध में सामान्यीकृत बेयज़ियन अपडेट्स की अस्पष्टता को यह प्रदर्शित करके हल करता है कि संभावना ढांचे में, यह पैरामीटर डेटा से आंतरिक रूप से गैर-पहचान योग्य (non-identifiable) है, और इसके बजाय एपिस्टेमिक स्ट्रेंथ के अंशांकन (calibration) के रूप में कार्य करता है।
दायरा: यह कार्य मौलिक और स्वयंसिद्ध (axiomatic) है। यह नए अनुभवजन्य एल्गोरिदम या व्यापक प्रयोगात्मक तुलनाओं का प्रस्ताव नहीं करता है, बल्कि इस बात का सैद्धांतिक आधार प्रदान करता है कि क्यों सुप-नॉर्मलाइज्ड अपडेट संभावना अनुमान के लिए कैनोनिकल विकल्प है। यह सुझाव देता है कि यह ढांचा स्वाभाविक रूप से निरंतर पैरामीटर स्पेस में विस्तारित हो सकता है क्योंकि संभावना फलन पॉइंटवाइज़ परिभाषित होते हैं।

संक्षेप में, शोध पत्र यह प्रदर्शित करता है कि जब अनिश्चितता को संभावना फलनों द्वारा दर्शाया जाता है, तो सूचना संसाधित करने का "सही" तरीका अनिवार्य रूप से एक सुप-नॉर्मलाइज्ड अपडेट नियम की ओर ले जाता है, जिसमें लर्निंग रेट एक सीखने योग्य सांख्यिकी के बजाय एक बाहरी अंशांकन पैरामीटर के रूप में कार्य करता है।

बड़ी खोज: एक नियम जो सब पर शासन करता है

"जादुई नॉब" (सीखने की दर - The Learning Rate)

इस शोध पत्र का "ना" क्या है

वे कितने आश्वस्त हैं?

एक जिज्ञासु किशोर के लिए निष्कर्ष

इसी तरह के और पेपर