ML-PWS: Estimating the Mutual Information Between Experimental Time Series Using Neural Networks

कल्पना कीजिए कि आप यह पता लगाने की कोशिश कर रहे हैं कि दो लोगों, एलिस और बॉब के बीच एक गुप्त संदेश कितना प्रसारित हो रहा है, जो एक बहुत ही शोर वाले वॉकी-टॉकी पर बात कर रहे हैं। विज्ञान की दुनिया में, इसे "सूचना संचरण" (information transmission) कहा जाता है। चाहे वह मस्तिष्क में न्यूरॉन्स के संकेत हों, शेयर बाजार की खबरों पर प्रतिक्रिया हो, या एक कोशिका अपने वातावरण को महसूस कर रही हो, वैज्ञानिक यह जानना चाहते हैं: कहानी कितनी तेजी से और कितनी स्पष्टता से पहुँच रही है? इसे मापने का मानक तरीका "सूचना दर" (information rate) कहलाता है। यह कुछ इस तरह है जैसे यह गिनना कि एलिस प्रति सेकंड कितने अनूठे शब्द बोल सकती है जिन्हें बॉब वास्तव में समझ पाता है, शोर और गलतफहमियों को नजरअंदाज करते हुए।

समस्या यह है कि वास्तविक जीवन के संकेत सरल शब्द नहीं होते; वे डेटा के जटिल, घुमावदार पथ होते हैं जो हर मिलीसेकंड में बदलते रहते हैं। इन जटिल, उच्च-आयामी (high-dimensional) पथों के लिए सूचना दर की गणना करना समुद्र तट पर रेत के प्रत्येक कण को गिनने की कोशिश करने जैसा है जबकि एक तूफान चल रहा हो। पारंपरिक गणितीय विधियाँ अक्सर विफल हो जाती हैं क्योंकि डेटा बहुत जटिल होता है, और वे या तो बहुत अधिक अनुमान लगा लेती हैं या शोर में फंस जाती हैं। वैज्ञानिक सीधे डेटा से इस "सूचना दर" को मापने का एक तरीका खोज रहे थे, बिना यह जाने कि खेल के सटीक नियम पहले से क्या हैं।

यहीं पर एक नई विधि ML-PWS आती है, जिसे शोधकर्ता मैनुअल रेनहार्ड्ट, गैस्पर टकाचिक और पीटर रेन टेन वोल्डे ने विकसित किया है। इस दृष्टिकोण को एक चतुर दो-चरणीय जादू के रूप में सोचें। पहले, वे एक "जेनरेटिव मॉडल" (generative model) का उपयोग करते हैं—एक प्रकार का आर्टिफिशियल इंटेलिजेंस जो एक सुपर-स्मार्ट छात्र की तरह काम करता है—जो अस्त-व्यस्त डेटा का अध्ययन करता है और सीखता है कि सिस्टम कैसे व्यवहार करता है। यह उस छात्र की तरह है जो एलिस और बॉब की बातचीत को घंटों तक देखता है और फिर उनकी बातचीत की शैली का एक सटीक सिमुलेशन बनाता है। लेकिन यहाँ मोड़ यह है: केवल एक सिमुलेशन होना ही सटीक संख्या प्राप्त करने के लिए पर्याप्त नहीं है।

यहीं पर दूसरा चरण, जिसे पाथ वेट सैंपलिंग (PWS) कहा जाता है, मंच पर आता है। कल्पना कीजिए कि AI छात्र ने सभी संभावित बातचीत का एक मानचित्र बना लिया है। PWS एक कठोर गणितीय तकनीक है जो इस मानचित्र के माध्यम से चलती है, यह जाँचती है कि बातचीत ने कौन सा संभावित पथ लिया होगा और उसकी संभावना कितनी थी। AI द्वारा सीखे गए इस "मानचित्र" को इस सावधानीपूर्वक गणितीय यात्रा के साथ जोड़कर, शोधकर्ता सूचना दर का एक कठोर निचला स्तर (rigorous lower bound) निकाल सकते हैं। सरल शब्दों में, इसका मतलब है कि वे पूरी निश्चितता के साथ कह सकते हैं: "सूचना कम से कम इतनी गति से बह रही है।" उन्होंने इसे नकली डेटा पर परीक्षण करके सिद्ध किया जहाँ उन्हें सटीक उत्तर पहले से पता था, और उनकी विधि ने लक्ष्य को पूरी तरह से छुआ, जबकि अन्य लोकप्रिय विधियाँ या तो बहुत कम अनुमान लगाती थीं या गलत उत्तर देती थीं। उन्होंने इसे सालामैंडर न्यूरॉन्स के वास्तविक डेटा पर भी लागू किया, जिससे यह पता चला कि यह नया उपकरण यह मापने में सक्षम है कि न्यूरॉन्स का एक समूह वास्तव में कितनी जानकारी साझा कर रहा है, जिससे यह पता चला कि जब कोशिकाएं मिलकर काम करती हैं, तो वे कभी-कभी खुद को दोहराती हैं, जो कुल सूचना की गति को कम कर देता है।

मूल विचार: रहस्यों को गिनने के लिए नियमों को सीखना

यह शोध पत्र एक पेचीदा समस्या का समाधान करता है: आप यह कैसे मापते हैं कि किसी सिस्टम के माध्यम से कितनी जानकारी प्रवाहित हो रही है जब आप उसके अंतर्निहित नियमों को नहीं जानते? आमतौर पर, "सूचना दर" की गणना करने के लिए, आपको प्रत्येक संभावित परिणाम की सटीक संभावना जानने की आवश्यकता होती है। यदि आपके पास सिस्टम का एक गणितीय मॉडल है (जैसे कि न्यूरॉन के फायर होने का वर्णन करने वाला समीकरणों का एक सेट), तो आप सटीक उत्तर प्राप्त करने के लिए पाथ वेट सैंपलिंग (PWS) नामक तकनीक का उपयोग कर सकते हैं। यह एक बोर्ड गेम के नियम पुस्तिका होने जैसा है; आप जीतने की संभावनाओं की पूरी तरह से गणना कर सकते हैं।

लेकिन वास्तविक दुनिया में, हमारे पास शायद ही कभी नियम पुस्तिका होती है। हमारे पास केवल "टाइम-सीरीज डेटा" होता है—एक रिकॉर्डिंग कि क्या हुआ। हम इनपुट (उत्तेजना) और आउटपुट (प्रतिक्रिया) देखते हैं, लेकिन हमें उन्हें जोड़ने वाले छिपे हुए गणित का पता नहीं होता। पिछली विधियों ने अनुमानों का उपयोग करके नियमों का अनुमान लगाने की कोशिश की (जैसे यह मान लेना कि सब कुछ एक साधारण बेल कर्व है) या अन्य मशीन लर्निंग तकनीकों का उपयोग किया जो अक्सर अविश्वसनीय परिणाम देती थीं, या तो सूचना को कम आंकती थीं या डेटा बहुत जटिल होने पर पूरी तरह से विफल हो जाती थीं।

समाधान: जासूस के रूप में AI, न्यायाधीश के रूप में गणित

लेखक ML-PWS का प्रस्ताव करते हैं, जो दो दुनियाओं के सर्वश्रेष्ठ का मिश्रण है।

1. जासूस (मशीन लर्निंग): सबसे पहले, वे प्रयोगात्मक टाइम-सीरीज डेटा को एक न्यूरल नेटवर्क में डालते हैं। यह नेटवर्क एक "जेनरेटिव मॉडल" बनने के लिए प्रशिक्षित किया जाता है। यह केवल डेटा को याद नहीं करता; यह 'कंडीशनल प्रोबेबिलिटी' (सप्रतिबंध प्रायिकता) सीखता है। हमारे वॉकी-टॉकी वाले उदाहरण में, यह सीखता है: "यदि एलिस यह विशिष्ट वाक्यांश कहती है, तो बॉब के उस विशिष्ट वाक्यांश को सुनने की संभावना क्या है?" नेटवर्क इनपुट के पूरे इतिहास और पिछले आउटपुट के आधार पर आउटपुट की भविष्यवाणी करना सीखता है। यह ऐसा है जैसे AI बातचीत की "शैली" को इतनी अच्छी तरह सीख लेता है कि वह अगले शब्द की सटीक भविष्यवाणी कर सकता है।
2. न्यायाधीश (पाथ वेट सैंपलिंग): एक बार जब AI ने यह शैली सीख ली, तो शोधकर्ता केवल वहीं नहीं रुकते। वे AI की भविष्यवाणियों को PWS तकनीक के लिए "नियम पुस्तिका" के रूप में उपयोग करते हैं। क्योंकि AI ने कंडीशनल प्रोबेबिलिटी (इनपुट के दिए जाने पर आउटपुट की संभावना) सीख ली है, इसलिए PWS विधि अब इनपुट पर 'मार्गीनालाइज़' (marginalize) कर सकती है। यह एक फैंसी तरीका है यह कहने का कि वे आउटपुट होने की कुल संभावना की गणना कर सकते हैं, चाहे इनपुट कुछ भी रहा हो, इन सभी संभावनाओं को जोड़कर जो AI ने भविष्यवाणी की थी।

यह क्यों एक बड़ी बात है: "लोअर बाउंड" की गारंटी

इस शोध पत्र का सबसे रोमांचक हिस्सा गारंटी है। सूचना मापने के लिए कई मशीन लर्निंग तरीके "ब्लैक बॉक्स" होते हैं। आप उन्हें चलाते हैं, और वे आपको एक संख्या देते हैं, लेकिन आपको नहीं पता होता कि वह संख्या बहुत अधिक है, बहुत कम है, या बस संयोगवश सही है।

लेखक गणितीय रूप से सिद्ध करते हैं कि उनकी विधि एक कठोर निचला स्तर (rigorous lower bound) प्रदान करती है। इसका अर्थ है कि उनके द्वारा गणना की गई संख्या हमेशा वास्तविक सूचना दर के बराबर या उससे कम होगी। यह थोड़ा रूढ़िवादी (सच्चाई को कम आंकना) हो सकता है, लेकिन यह कभी झूठ नहीं बोलेगा कि वहां वास्तव में जितनी जानकारी है उससे अधिक जानकारी मौजूद है। विज्ञान के लिए यह महत्वपूर्ण है क्योंकि यह शोधकर्ताओं को एक सुरक्षित, विश्वसनीय आधार प्रदान करता है। यदि वे कहते हैं कि "सूचना दर प्रति सेकंड कम से कम 5 बिट्स है," तो वे जानते हैं कि यह शून्य नहीं है।

उन्होंने इसे तीन अलग-अलग सिंथेटिक सिस्टम (ज्ञात गणितीय मॉडलों द्वारा उत्पन्न नकली डेटा) पर परीक्षण किया जहाँ उन्हें "ग्राउंड ट्रुथ" (वास्तविक उत्तर) पता था।

• परीक्षण: उन्होंने ML-PWS की तुलना Gaussian approximation (जो मानता है कि सब कुछ एक सरल वक्र है), DoE (डिफरेंस ऑफ एंट्रोपिस), और MINE एवं InfoNCE जैसे वेरिएशनल एस्टिमेटर्स से की।
• परिणाम: लगभग हर मामले में, ML-PWS सबसे सटीक था। यह ग्राउंड ट्रुथ के बेहद करीब रहा।
  • Gaussian approximation तब विफल हो गया जब सिस्टम नॉन-लीनियर (जब इनपुट और आउटपुट के बीच का संबंध सीधा नहीं था) था।
    • Variational estimators (जैसे MINE और InfoNCE) एक "सीलिंग" (छत) से टकरा गए। वे उच्च सूचना दर को नहीं माप सके क्योंकि उनका गणित जटिल डेटा या लंबे ट्रैजेक्टरी के साथ अटक जाता है। वे मूल रूप से हार मान लेते थे और कहते थे, "यह अधिकतम इतना है," भले ही यह वास्तव में बहुत अधिक हो।
  • DoE कभी-कभी सूचना को बढ़ा-चढ़ाकर बताता था, जिससे वह अविश्वसनीय हो जाता था।

वास्तविक दुनिया का अनुप्रयोग: न्यूरॉन्स को सुनना

यह दिखाने के लिए कि यह केवल एक खिलौना प्रयोग नहीं है, लेखकों ने वास्तविक जैविक डेटा पर ML-PWS लागू किया: एक सालामैंडर की आँखों के 50 रेटिनल गैंग्लियन सेल्स की रिकॉर्डिंग। ये कोशिकाएं स्क्रीन पर ऊपर-नीचे चलते हुए एक बार (bar) को देख रही थीं।

• सेटअप: उन्होंने एक न्यूरल नेटवर्क को इन न्यूरॉन्स के फायरिंग पैटर्न की भविष्यवाणी करने के लिए प्रशिक्षित किया।
• निष्कर्ष: उन्होंने व्यक्तिगत न्यूरॉन्स और पूरे समूह के लिए सूचना दर की गणना की।
• आश्चर्य: जब उन्होंने समूह को देखा, तो उन्होंने पाया कि कुल सूचना दर व्यक्तिगत दरों के योग से कम थी। ऐसा इसलिए था क्योंकि न्यूरॉन्स "रिडंडेंट" (redundant) थे—वे सभी एक ही बात कह रहे थे। समूह नई जानकारी नहीं जोड़ रहा था; वह केवल उसे दोहरा रहा था।
• चैनल कैपेसिटी: उन्होंने मॉडल का उपयोग यह पूछने के लिए भी किया, "किस प्रकार का चलता हुआ बार (bar) सबसे अधिक जानकारी ले जा सकता है?" इनपुट (बार की गति) को अनुकूलित करके, उन्होंने एक विशिष्ट पैटर्न पाया जो प्रयोग में उपयोग किए गए पैटर्न की तुलना में काफी अधिक जानकारी ले जा सकता था। यह सुझाव देता है कि सालामैंडर का दृश्य तंत्र बहुत अधिक कुशल हो सकता है यदि दुनिया अलग तरह से चलती।

निष्कर्ष

यह शोध पत्र केवल अनुमान लगाने का नया तरीका नहीं है; यह जानने का एक नया तरीका है। एक मशीन को सिखाकर कि वह किसी सिस्टम के नियमों को सीखे और फिर उन सीखे गए नियमों के आधार पर सूचना को गिनने के लिए कठोर गणित का उपयोग करके, लेखकों ने एक ऐसा उपकरण बनाया है जो शक्तिशाली और ईमानदार दोनों है। यह स्वीकार करता है कि वह सब कुछ नहीं जानता (एक निचला स्तर प्रदान करके), लेकिन यह गारंटी देता है कि जो वह जानता है वह ठोस है। जो कोई भी जटिल प्रणालियों—मस्तिष्क से लेकर शेयर बाजार और इंजीनियर किए गए उपकरणों तक—के माध्यम से सूचना के प्रवाह को समझने की कोशिश कर रहा है, उसके लिए यह विधि डेटा के समुद्र में एक विश्वसनीय दिशा-सूचक यंत्र (compass) प्रदान करती है।