Characterizing optimal hierarchical policy inference on graphs via non-equilibrium thermodynamics

तकनीकी सारांश: गैर-संतुलन ऊष्मागतिकी (Non-Equilibrium Thermodynamics) के माध्यम से ग्राफ पर इष्टतम पदानुक्रमित नीति अनुमान (Optimal Hierarchical Policy Inference) का लक्षण वर्णन

समस्या विवरण
पदानुक्रम (Hierarchies) को स्टोकेस्टिक इष्टतम नियंत्रण (stochastic optimal control) और जैविक नियंत्रण प्रणालियों, दोनों के लिए मौलिक माना जाता है, जो कम्प्यूटेशनल लाभ प्रदान करते हैं और संवेदी-मोटर (sensorimotor) एवं संज्ञानात्मक नियंत्रण के मूल सिद्धांतों के रूप में कार्य कर सकते हैं। हालाँकि, सभी स्थानिक रिज़ॉल्यूशन (spatial resolutions) पर अवस्था-स्थान पदानुक्रमों (state-space hierarchies) के निर्माण के लिए एक सैद्धांतिक रूप से न्यायसंगत विधि, और विशेष रूप से एक नीति अनुमान प्रक्रिया के माध्यम से उनके विकास को चित्रित करने की विधि, अब तक अप्राप्य रही है। यह शोध पत्र विवरणात्मक (ad-hoc) निर्माणों पर निर्भर किए बिना इन पदानुक्रमित संरचनाओं को प्रकट करने वाले असतत मार्कोव निर्णय प्रक्रियाओं (discrete Markov Decision Processes - MDPs) के मानकीकृत निरूपण प्राप्त करने की चुनौती का समाधान करता है।

कार्यप्रणाली
लेखक एक ऐसी औपचारिकता प्रस्तावित करते हैं जो गैर-संतुलन ऊष्मागतिकी के दृष्टिकोण से असतत MDPs में नीति अनुमान (policy inference) की व्याख्या करती है।

1. मुक्त ऊर्जा न्यूनीकरण (Free Energy Minimization) के रूप में MDP प्रारूप:
   मानक MDP उद्देश्य—संचयी पुरस्कार (cumulative reward) को अधिकतम करना—को एक मुक्त ऊर्जा फलन $J[\pi]$ के रूप में पुनर्गठित किया गया है। एक रैखिक रूप से समाधान योग्य ढांचे (KL Control) में MDP को समाहित करके, यह उद्देश्य अपेक्षित पुरस्कार और नीति जटिलता (एन्ट्रॉपी) के बीच एक संतुलन शामिल करता है। इष्टतम नीति $\pi^*$ को एक गिब्स-बोल्ट्ज़मैन वितरण (Gibbs-Boltzmann distribution) के माध्यम से व्यक्त किया जाता है, जो एक पूर्व नीति $\pi_{prior}$ और पुरस्कार संकेत के बीच संतुलन बनाता है।

2. ऊष्मागतिक व्याख्या (Thermodynamic Interpretation):
   योजना (Planning) को एक भौतिक प्रक्रिया के रूप में परिकल्पित किया गया है जहाँ "कण" (particles), जो अवस्था प्रक्षेपवक्र (state trajectories) का प्रतिनिधित्व करते हैं, एक प्रारंभिक घनत्व (पूर्व नीति) से एक तापीय संतुलन (इष्टतम नीति) की ओर विकसित होते हैं। यह विकास एक क्षमता $\Psi(x) = -R(x)$ द्वारा नियंत्रित होता है। स्टोकेस्टिक कण गतिकी (stochastic particle dynamics) का अनुकरण करने के बजाय, शोध पत्र समय $\tau$ के सापेक्ष प्रक्षेपवक्र घनत्व $\pi_\tau$ के विकास का विश्लेषण करता है।

3. फोकर-प्लांक गतिकी (Fokker-Planck Dynamics):
   नीति घनत्व का विकास फोकर-प्लांक (FP) समीकरण द्वारा वर्णित है। लेखक स्थापित करते हैं कि FP समीकरण के अनुसार $\pi_\tau$ का समय विकास, वासेस्टीन मेट्रिक (Wasserstein metric) के सापेक्ष मुक्त ऊर्जा फलन $J[\pi]$ पर सबसे तीव्र ढाल (steepest descent) के रूप में होता है। इसका तात्पर्य है कि FP समीकरण एक इष्टतम नीति अनुमान एल्गोरिदम की गतिकी का वर्णन करता है जो पूर्व (prior) को इष्टतम नीति में परिवर्तित करता है।

4. असततकरण और अवस्था-स्थान प्रक्षेपण (Discretization and State-Space Projection):
   असतत MDPs पर इसे लागू करने के लिए, अंतर्निहित लैंगवेन गतिकी (Langevin dynamics) के एक मार्कोव श्रृंखला सन्निकटन (Markov chain approximation) का उपयोग करके निरंतर FP समीकरण को असतत बनाया गया है। इससे एक असतत FP समीकरण (समीकरण 5) प्राप्त होता है जो एक सामान्यीकृत क्षमता $\bar{\Psi}(x) = -R(x) + \log \pi(x)$ द्वारा संचालित होता है।
   महत्वपूर्ण रूप से, लेखक प्रक्षेपवक्र-स्तर के प्रवाह (trajectory-level flux) को अवस्था स्तर पर "पुल बैक" (pull back) करते हैं। प्रत्येक अवस्था पर कुल प्रवाह को जोड़कर, वे एक गतिशील अवस्था पदानुक्रम (dynamic state hierarchy) प्राप्त करते हैं। इसे एक असतत लाप्लासियन ऑपरेटर $\Delta_D$ का उपयोग करके ज्यामितीय रूप से व्यक्त किया गया है, जो नीति की मार्कोव श्रृंखला के मौलिक आव्यूह (fundamental matrix) द्वारा परिभाषित है:
   $$\dot{\pi}(x) = \Delta_D J_\pi(x)$$
   यहाँ, $J_\pi(x)$ अवस्था $x$ पर मुक्त ऊर्जा के स्थानीय योगदान (योजना जटिलता) का प्रतिनिधित्व करता है।

प्रमुख योगदान और परिणाम

• मानक पदानुक्रमित निरूपण (Normative Hierarchical Representation): शोध पत्र अवस्था-स्थान पदानुक्रमों को इष्टतम नीति अनुमान के उपोत्पाद के रूप में एक औपचारिक व्युत्पत्ति प्रस्तुत करता है। पदानुक्रम पूर्व-निर्धारित नहीं है बल्कि नीति प्रवाह की गतिकी से उभरता है।
• अवरोधों (Bottlenecks) की पहचान: एक नियमित ग्राफ (एक सामान्य बेंचमार्क जिसमें सजातीय स्थानीय संरचना लेकिन वैश्विक अवरोध होते हैं) के अनुप्रयोग में, प्रस्तावित मीट्रिक $\Delta_D J_\pi(x)$ सफलतापूर्वक बॉटलनेक अवस्थाओं की पहचान करता है। इन अवस्थाओं पर नीति प्रवाह का परिमाण उनके इष्टतम पदानुक्रम में रैंक के अनुरूप होता है।
• सूचना-सैद्धांतिक सत्यापन (Information-Theoretic Validation): लेखक प्रदर्शित करते हैं कि प्रवाह मीट्रिक से प्राप्त पदानुक्रमित क्रम, बॉटलनेक पहचान के संबंध में मानव व्यवहार संबंधी डेटा के साथ संरेखित होता है। इसके अतिरिक्त, वे दिखाते हैं कि इस पदानुक्रमित नमूनाकरण क्रम का उपयोग करने वाला एक "ओरेकल प्लानर" (oracle planner) उम्मीदवार प्रक्षेपवक्रों की एन्ट्रॉपी को (अर्थात सूचना प्राप्त करता है) यादृच्छिक नमूनाकरण की तुलना में अधिक कुशलता से कम करता है। पदानुक्रम में उच्चतम रैंक वाली अवस्थाएँ लघुतम पथ के संबंध में सर्वाधिक सूचना प्रदान करती हैं।

महत्व और दावे
यह शोध पत्र नीति अनुमान प्रक्रियाओं के लिए अनुकूलता के सिद्धांत (principle of optimality) को स्थापित करने का दावा करता है: फोकर-प्लांक समीकरण उन प्रक्रियाओं के अपेक्षित समय विकास का वर्णन करता है जो मुक्त ऊर्जा उद्देश्य पर सबसे तीव्र ढाल का अनुसरण करते हैं। प्रक्षेपवक्र स्थान (trajectory space) में कार्य करके, यह दृष्टिकोण सभी पैमानों पर अवस्था-स्थान संरचना को अनुमान प्रक्रिया में एकीकृत करता है।

लेखक इस कार्य को एक "मानक परिप्रेक्ष्य" (normative perspective) प्रदान करने वाले एक प्रारंभिक अध्ययन के रूप में प्रस्तुत करते हैं। वे सुझाव देते हैं कि यह ढांचा मानव संज्ञान में इष्टतम नियंत्रण और पदानुक्रमित निरूपणों के बीच एक सैद्धांतिक कड़ी प्रदान करता है। इसका महत्व प्राकृतिक नियोजन और समस्या-समाधान में व्यवहार संबंधी और तंत्रिका संबंधी गतिकी के पहलुओं को समझाने की क्षमता में निहित है, हालांकि लेखक विनम्रतापूर्वक नोट करते हैं कि इन सिद्धांतों को व्यावहारिक एल्गोरिदम में शामिल करना एक खुला प्रश्न बना हुआ है। यह कार्य यह दावा नहीं करता है कि यह सभी पदानुक्रमित शिक्षण समस्याओं को हल कर देता है, बल्कि यह एक औपचारिक लक्षण वर्णन प्रदान करता है कि इष्टतम पदानुक्रम सैद्धांतिक रूप से कैसे विकसित होने चाहिए।