Integrating Out, Twice:The Open-System Case That Neural-Network Ensemble Theory Is Missing
यह शोध पत्र न्यूरल नेटवर्क एन्सेम्बल्स के क्लोज्ड-सिस्टम (बंद-प्रणाली) की तुलना परमाणु अभिक्रिया सिद्धांत के ओपन-सिस्टम (खुली-प्रणाली) एनालॉग्स के साथ करने वाला एक सैद्धांतिक ढांचा स्थापित करता है, और अंततः यह निष्कर्ष निकालता है कि निरंतर स्पेक्ट्रा और तरंग-समान व्यवहार के अभाव के कारण मुख्यधारा की लर्निंग में बाद वाले की विशिष्ट नॉन-हर्मिटियन डायनेमिक्स संरचनात्मक रूप से अनुपस्थित हैं, जिससे परिचालन अनिश्चितता का वास्तविक स्रोत क्लोज्ड-सिस्टम पत्राचार के भीतर स्थित होता है।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
यहाँ "Integrating Out, Twice" पेपर का सरल भाषा और रोज़मर्रा के उदाहरणों का उपयोग करते हुए स्पष्टीकरण दिया गया है।
मुख्य विचार: चीजों को अनदेखा करने के दो तरीके
कल्पना कीजिए कि आप एक जटिल प्रणाली को समझने की कोशिश कर रहे हैं, जैसे कि एक भीड़भाड़ वाला कमरा या एक न्यूरल नेटवर्क (एक प्रकार का AI)। कभी-कभी, आप सिस्टम के हर एक व्यक्ति या हर एक नंबर पर नज़र नहीं रख सकते। आपको उस हिस्से पर ध्यान केंद्रित करने के लिए सिस्टम के एक हिस्से को अनदेखा (ignore) करने का निर्णय लेना पड़ता है जिस पर आप ध्यान देना चाहते हैं।
भौतिकी (physics) और गणित में, किसी सिस्टम के एक हिस्से को "अनदेखा" करने या "इंटीग्रेट आउट" करने की यह क्रिया एक मानक प्रक्रिया है। लेखक, जिन लेई (Jin Lei), तर्क देते हैं कि ऐसा करने के दो बहुत अलग तरीके हैं, और जबकि AI शोधकर्ता मुख्य रूप से एक तरीके का उपयोग करते हैं, परमाणु भौतिक विज्ञानी (nuclear physicists) दूसरे तरीके में महारत हासिल कर चुके हैं।
1. "बंद" तरीका (जो AI करता है)
उपमा: कल्पना कीजिए कि आप दोस्तों के एक समूह की फोटो खींच रहे हैं, लेकिन आप बैकग्राउंड को धुंधला (blur) करने का निर्णय लेते हैं।
- क्या होता है: आप बैकग्राउंड के विवरण खो देते हैं, लेकिन आपके दोस्तों की फोटो पूरी तरह से स्पष्ट और "पूर्ण" रहती है। ब्लर होने से आपके दोस्तों की रोशनी या ऊर्जा कम नहीं होती; यह बस बैकग्राउंड डेटा को हटा देता है।
- AI में: जब AI शोधकर्ता एक न्यूरल नेटवर्क में रैंडम नंबरों (पैरामीटर्स) का औसत निकालते हैं, तो उन्हें एक "बंद" परिणाम प्राप्त होता है। गणित सरल, वास्तविक और सममित (symmetrical) रहता है। यह एक लॉसलेस (lossless) सारांश है। कुछ भी "बाहर नहीं निकलता।"
2. "खुला" तरीका (जो परमाणु भौतिकी करती है)
उपमा: कल्पना कीजिए कि आप एक कमरे में हैं जिसका दरवाज़ा थोड़ा खुला हुआ है। आप कमरे के अंदर की हवा के दबाव (air pressure) को ट्रैक करने की कोशिश कर रहे हैं।
- क्या होता है: दरवाज़े से हवा बाहर निकल जाती है। यदि आप केवल कमरे के अंदर की हवा का वर्णन करने का प्रयास करते हैं, तो आपके वर्णन को इस तथ्य का हिसाब रखना होगा कि हवा बाहर जा रही है। गणित "लीकी" (leaky) और जटिल हो जाता है। आपको एक सख्त बहीखाता (रसीद) रखना होगा कि वास्तव में कितनी हवा बाहर निकली और कहाँ गई।
- परमाणु भौतिकी में: इसे ऑप्टिकल मॉडल (Optical Model) कहा जाता है। जब एक नाभिक (nucleus) कणों के साथ परस्पर क्रिया करता है, तो कुछ कण "कंटीनम" (बाकी ब्रह्मांड) में निकल जाते हैं। नाभिक का वर्णन करने वाला गणित "नॉन-हर्मिटियन" (non-Hermitian) हो जाता है (एक फैंसी तरीका कहने का कि यह जटिल और लीकी है)। महत्वपूर्ण रूप से, गणित में एक फ्लक्स लेजर (Flux Ledger) शामिल होता है: सिस्टम से निकली संभावना (probability) का एक सटीक लेखा-जोखा।
पेपर का मुख्य दावा
लेखक कहते हैं: "AI केवल 'बंद' संस्करण कर रहा है। यह 'खुले' संस्करण को मिस कर रहा है।"
AI शोधकर्ताओं के पास अपने "बंद" गणित और परमाणु भौतिकी के बीच अनुवाद करने के लिए एक बेहतरीन शब्दकोश है। उदाहरण के लिए:
- न्यूरल टेंगेंट कर्नेल (AI कैसे सीखता है) वही है जो फिशर सेंसिटिविटी कर्नेल (एक परमाणु मॉडल परिवर्तनों के प्रति कितना संवेदनशील है) है।
- अनंत-चौड़ाई वाला AI (Infinite-width AI) वही है जो एक गौसियन प्रोसेस (Gaussian Process) है (एक मानक सांख्यिकीय उपकरण)।
हालाँकि, लेखक का तर्क है कि AI "खुले" पक्ष के प्रति अंधा है। AI जिस भी जानकारी को हटा देता है (जैसे वाक्य में एक शब्द को अनदेखा करना या नेटवर्क के एक हिस्से को काट देना), वह उसे एक साधारण गलती या अनुमान त्रुटि (approximation error) के रूप में देखता है। वह इसे भौतिक नुकसान (physical loss) के रूप में नहीं देखता जिसे ट्रैक और संरक्षित किया जाना चाहिए।
"फ्लक्स लेजर" (Flux Ledger)
परमाणु भौतिकी में, जब कण बाहर निकलते हैं, तो सिद्धांत केवल यह नहीं कहता कि, "ओह, हमने कुछ खो दिया।" यह कहता है, "हमने चैनल A में ठीक 0.5 यूनिट संभावना और चैनल B में 0.2 यूनिट खो दी है, और यहाँ वह गणित है जो इसे साबित करता है।"
लेखक ने AI के लिए यह "फ्लक्स लेजर" बनाने की कोशिश की। उन्होंने पूछा: यदि हम AI के "अनदेखे" हिस्सों को एक लीक होते दरवाज़े के रूप में देखते हैं, तो क्या हम खोई हुई संभावना को ट्रैक कर सकते हैं?
आश्चर्यजनक परिणाम ("नकारात्मक" निष्कर्ष)
लेखक ने यह देखने के लिए परीक्षण किए कि क्या यह "खुला" गणित वास्तविक AI मॉडल (जैसे बड़े भाषा मॉडल में अटेंशन मैकेनिज्म या विशेषज्ञों को चुनने वाले राउटर) के लिए काम करता है।
परिणाम: यह ज्यादातर विफल रहा।
- क्यों? "खुले" गणित के काम करने के लिए, जिस हिस्से को आप अनदेखा करते हैं, उसे एक ऐसे अनंत महासागर की तरह होना चाहिए जहाँ लहरें हमेशा के लिए यात्रा कर सकें (एक निरंतर स्पेक्ट्रम)।
- समस्या: AI मॉडल आमतौर पर सीमित और "डिसिपेटिव" (dissipative - जो शांत होकर स्थिर हो जाते हैं) होते हैं। उनमें वह "अनंत महासागर" जैसा गुण नहीं होता।
- परिणाम: जब लेखक ने AI पर "खुला" गणित थोपने की कोशिश की, तो "फ्लक्स लेजर" या तो मौजूद नहीं था, या वह "लॉस" केवल उस डेटा को काटने के तरीके का एक आर्टिफैक्ट (artifact) था, न कि कोई वास्तविक भौतिक गुण।
"हैलुसिनेशन" (Hallucination) ट्विस्ट
लेखक ने एक लोकप्रिय विचार को भी देखा: क्या यह "लीकेज" वाला गणित यह पता लगा सकता है कि AI कब हैलुसिनेट (मनगढ़ंत बातें बनाना) कर रहा है?
जवाब: नहीं।
- कारण: जब एक AI आत्मविश्वास के साथ हैलुसिनेट करता है, तो वह वास्तव में बहुत "बंद" होता है। वह एक गलत उत्तर के प्रति मजबूती से प्रतिबद्ध होता है। "लीकेज" (अनिश्चितता) कम है क्योंकि मॉडल खुद के बारे में आश्वस्त है।
- वास्तविक अनिश्चितता: वह अनिश्चितता जो मायने रखती है (एपिस्टेमिक अनिश्चितता—कि क्या मॉडल उत्तर जानता है) गणित के "बंद" हिस्से में रहती है (एन्सेम्बल का वेरिएंस), न कि "खुले" हिस्से में।
सारांश
- मानचित्र: पेपर एक नक्शा बनाता है जो दिखाता है कि AI और परमाणु भौतिकी चीजों को "अनदेखा" करने के लिए एक ही बीजगणित (algebra) साझा करते हैं।
- अंतराल (Gap): AI केवल "बंद" (lossless) संस्करण का उपयोग करता है। परमाणु भौतिकी के पास "खुले" (leaky) संस्करण के लिए एक पूरी तरह से विकसित सिद्धांत है, जिसमें खोई हुई चीज़ों का सख्त हिसाब रखा जाता है।
- परीक्षण: लेखक ने इस "खुले" सिद्धांत को AI में लाने की कोशिश की।
- निर्णय: यह अच्छी तरह से काम नहीं किया। वास्तविक AI मॉडल बहुत सीमित और "रिलैक्सेशनल" (relaxational) हैं ताकि वे उस जटिल, तरंग-नुमा "खुले" गणित का समर्थन कर सकें जिसका परमाणु भौतिकी उपयोग करती है। वे "खुले" फीचर्स जिन्हें लेखक ढूंढने की उम्मीद कर रहे थे, या तो गायब थे या केवल गणितीय आर्टिफैक्ट्स थे।
संक्षेप में: यह पेपर एक चेतावनी है। यह हमें बताता है कि भले ही हम परमाणु भौतिकी से कुछ गणित उधार ले सकते हैं, लेकिन उनके द्वारा उपयोग किए जाने वाले विशिष्ट "लीकी" उपकरण (जो भागने वाले कणों को ट्रैक करते हैं) वर्तमान AI आर्किटेक्चर में स्वाभाविक रूप से फिट नहीं होते हैं। AI में जो "उपयोगी" अनिश्चितता है, वह अभी भी "बंद" सांख्यिकीय पक्ष में पाई जाती है, न कि "खुले" गतिशील पक्ष में।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।