On Dependence Measures Based on $\Phi$-Divergence, $\Phi$-Entropy, and Their Matrix Forms

सूचना के अध्ययन में, वैज्ञानिक लंबे समय से दो चीजों एक-दूसरे पर कितनी निर्भर हैं, इसे मापने के लिए एक एकल, शक्तिशाली उपकरण पर भरोसा करते रहे हैं। यह उपकरण, जिसे 'म्युचुअल इंफॉर्मेशन' (mutual information) के रूप में जाना जाता है, एक सार्वभौमिक अनुवादक की तरह कार्य करता है, जो चरों (variables) के बीच छिपे संबंधों को परिमाणित करता है, चाहे वे संचार चैनल में संकेत हों, कोशिका में जीन हों, या महाद्वीप में मौसम के पैटर्न। यह दो चीजों के एक साथ होने की वास्तविकता की तुलना उनके अलग-अलग होने की अपेक्षा से करके काम करता है। दशकों से, यह विशिष्ट विधि मानक रही है क्योंकि यह विश्वसनीय नियमों के एक सेट का पालन करती है, जो भौतिकी के नियमों के समान है, जिससे शोधकर्ता यह तर्क बनाने में सक्षम होते हैं कि सूचना कैसे प्रवाहित और रूपांतरित होती है। हालाँकि, एक स्वाभाविक प्रश्न उठता है: क्या होगा यदि हम इस मानक उपकरण को एक अलग, अधिक लचीले मापक यंत्र से बदल दें? वैज्ञानिक लंबे समय से जानते हैं कि दो प्रायिकता वितरणों (probability distributions) के बीच की दूरी को मापने के कई तरीके हैं, लेकिन यह स्पष्ट नहीं था कि क्या ये वैकल्पिक उपाय उन्हीं सुरुचिपूर्ण नियमों को बनाए रख सकते हैं जो मूल को इतना उपयोगी बनाते हैं।

यह अनिश्चितता शोधकर्ताओं चेन्यु वांग और अमीन गोहारी द्वारा किए गए एक नए अन्वेषण का शुरुआती बिंदु है। उन्होंने एक गणितीय अवधारणा जिसे 'कॉन्वेक्स फंक्शन' (convex function) कहा जाता है, पर आधारित सूचना मापन के एक परिवार का पता लगाने के लिए प्रयास किया, जो अनिवार्य रूप से एक ऐसे आकार का वर्णन करता है जो एक कटोरे की तरह ऊपर की ओर मुड़ा हुआ होता है। वितरणों के बीच एक नए प्रकार के अंतर को परिभाषित करने के लिए इस आकार का उपयोग करके, उन्होंने निर्भरता का एक नया माप बनाया। उन्होंने पाया कि जबकि यह नया माप गणितीय रूप से सुदृढ़ है और कुछ बुनियादी नियमों का पालन करता है, यह मूल उपकरण के सबसे महत्वपूर्ण संरचनात्मक गुणों को बनाए रखने में विफल रहता है। विशेष रूप रूप से, यह चरों के क्रम को बदलने पर सममित (symmetric) व्यवहार नहीं करता है, न ही यह सशर्त संबंधों (conditional relationships)—जहाँ आप पहले से कुछ जानकारी जानते हैं—को उस तरह से संभालता है जैसा कि अपेक्षित होता है। इस समरूपता और पूर्वानुमान की कमी का अर्थ था कि इस नए माप का उपयोग मूल के समान जटिल समस्याओं को हल करने के लिए नहीं किया जा सकता था, जिससे सैद्धांतिक टूलकिट में एक रिक्तता पैदा हो गई।

इस अंतराल को पाटने के लिए, शोधकर्ताओं ने अपने नए माप का एक परिष्कृत संस्करण पेश किया, जिसे वे "मैक्स-Φ-म्युचुअल इंफॉर्मेशन" (max-Φ-mutual information) कहते हैं। दो चरों के बीच के संबंध का केवल एक एकल स्नैपशॉट लेने के बजाय, यह नया दृष्टिकोण उस सबसे मजबूत संबंध की तलाश करता है जिसे एक तीसरे, छिपे हुए चर को पेश करके प्रकट किया जा सकता है। कल्पना कीजिए कि आप दो लोगों के बीच के संबंध को न केवल सीधे देखकर, बल्कि यह देखकर समझने की कोशिश कर रहे हैं कि वे विभिन्न प्रश्नों या परिदृश्यों के प्रति कैसी प्रतिक्रिया देते हैं। सभी संभावित परिदृश्यों पर अनुकूलन (optimizing) करके, यह नया माप खोई हुई समरूपता और अन्य महत्वपूर्ण गुणों को बहाल करता है। शोधकर्ताओं ने सिद्ध किया कि यह परिष्कृत माप मूल मानक की तरह व्यवहार करता है, उन नियमों का पालन करता है जो इसे अर्थ खोए बिना छोटे हिस्सों में तोड़े जाने और पुनर्गठित होने की अनुमति देते हैं। उन्होंने एक आश्चर्यजनक सीमा भी खोजी: इस नए माप के पूर्ण रूप से कार्य करने के लिए, अंतर्निहित गणितीय आकार बहुत विशिष्ट होना चाहिए। यदि आकार बहुत व्यापक है, तो यह न केवल दो चरों के बीच के संबंध को पकड़ता है, बल्कि उनमें से प्रत्येक में निहित यादृच्छिकता (randomness) या शोर (noise) की मात्रा को भी पकड़ लेता है।

टीम ने फिर इन विचारों को आगे बढ़ाया, साधारण संख्याओं से जटिल मैट्रिसेस (matrices) की ओर बढ़े, जो संख्याओं के ग्रिड हैं जिनका उपयोग कई परस्पर क्रिया करने वाले भागों वाले सिस्टम, जैसे क्वांटम अवस्थाओं या उच्च-आयामी डेटा का वर्णन करने के लिए किया जाता है। उन्होंने मैट्रिक्स प्रणालियों के लिए एक नया "रिबन" (ribbon) परिभाषित किया, जो एक ऐसी अवधारणा है जो इस सीमा का वर्णन करती है कि सूचना को कैसे संकुचित या संसाधित किया जा सकता है। उन्होंने दिखाया कि यह मैट्रिक्स रिबन सुसंगत व्यवहार करता है, प्रणालियों के संयोजन होने पर या जब सूचना फिल्टर की एक श्रृंखला से गुजरती है, तब भी अपने गुणों को बनाए रखता है। यह कार्य "नो-सिग्नलिंग बॉक्सेस" (no-signaling boxes) के अध्ययन में तत्काल अनुप्रयोग रखता है, जो भौतिकी और सूचना सिद्धांत की सीमाओं का पता लगाने के लिए उपयोग किए जाने वाले सैद्धांतिक उपकरण हैं। शोधकर्ताओं ने प्रदर्शित किया कि उनके नए मैट्रिक्स रिबन यह ट्रैक कर सकते हैं कि ये उपकरण जटिल नेटवर्क में एक साथ जुड़े होने पर कैसे व्यवहार करते हैं, जो उन प्रणालियों में सूचना के प्रवाह को समझने का एक नया तरीका प्रदान करता है जो शास्त्रीय सहज ज्ञान को चुनौती देते हैं।

शायद सबसे महत्वपूर्ण खोज यह है कि इन नए मापों का व्यवहार चुने गए विशिष्ट गणितीय आकार पर बहुत अधिक निर्भर करता है। कुछ आकारों के लिए, नया माप पुराने, परिचित उपकरण का केवल एक स्केल किया हुआ संस्करण है। अन्य के लिए, यह अनंत हो जाता है या ऐसे तरीकों से व्यवहार करता है जिन्हें बांधना असंभव है। शोधकर्ताओं ने सटीक रूप से पहचाना कि कौन से आकार किन परिणामों की ओर ले जाते हैं, यह सिद्ध करते हुए कि मूल, मानक माप निर्भरता को पकड़ने और व्यक्तिगत यादृच्छिकता को अनदेखा करने के बीच एक आदर्श संतुलन बनाए रखने में अद्वितीय है। उन्होंने यह भी दिखाया कि जब चर स्वतंत्र होते हैं, तो नया माप उन्हें सही ढंग से पहचानता है, लेकिन केवल सख्त शर्तों के तहत। यह कार्य केवल एक नया सूत्र नहीं देता है; यह निर्भरता को मापने के पूरे परिदृश्य का मानचित्रण करता है, यह प्रकट करता है कि कौन से गणितीय उपकरण वास्तविक दुनिया की जटिलता को संभालने के लिए पर्याप्त मजबूत हैं और कौन से दबाव में टूट जाते हैं।

इन शोध के निहितार्थ सूचना सिद्धांत की नींव तक विस्तृत हैं। विभिन्न निर्भरता मापन के तरीकों के बीच संबंधों को स्पष्ट करके, लेखक संचार, क्रिप्टोग्राफी और जटिल प्रणालियों के अध्ययन में भविष्य की खोजों के लिए एक स्पष्ट मार्ग प्रदान करते हैं। उन्होंने दिखाया है कि हालांकि दो चीजों के बीच की दूरी को मापने के कई तरीके हैं, लेकिन उनमें से केवल कुछ ही उन गहरे, संरचनात्मक नियमों को संरक्षित करते हैं जो हमें सूचना की एक सुसंगत समझ बनाने की अनुमति देते हैं। शोध पत्र नए असमानताओं (inequalities) और सीमाओं का एक सेट प्रदान करके समाप्त होता है जिनका उपयोग शोधकर्ता उन प्रणालियों में सूचना प्रवाह की सीमाओं का परीक्षण करने के लिए कर सकते हैं जो पहले बहुत जटिल थे। ऐसा करके, उन्होंने न केवल एक विशिष्ट गणितीय पहेली को हल किया है, बल्कि एक अधिक पूर्ण चित्र भी प्रदान किया है कि कैसे सूचना ब्रह्मांड को एक साथ बांधती है।