Optimal feedback control under stepwise equilibration and partial observation

तकनीकी सारांश: चरणबद्ध साम्यावस्था और आंशिक अवलोकन के तहत इष्टतम फीडबैक नियंत्रण

समस्या विवरण
यह शोध पत्र एक मेसोस्कोपिक प्रणाली को फीडबैक नियंत्रण का उपयोग करके एक परिमित-समय रूपांतरण (finite-time transformation) के माध्यम से संचालित करने के लिए आवश्यक कार्य (work) को न्यूनतम करने की समस्या का समाधान करता है। जबकि धीमी गति वाले ड्राइविंग शासन (slow-driving regimes) में ऐसे रूपांतरणों के लिए ओपन-लूप प्रोटोकॉल थर्मोडायनामिक लंबाई (thermodynamic length) द्वारा अच्छी तरह से परिभाषित हैं, इसके अनुरूप फीडबैक समस्या—आंशिक अवलोकन के तहत इष्टतम परिमित-क्षितिज (finite-horizon) क्लोज्ड-लूप प्रोटोकॉल का निर्माण करना—अभी भी कम समझ में आई है। मौजूदा समाधान अक्सर अनुमानों (जैसे ट्रंकेटेड बिलीफ स्टेट्स, लर्नड पॉलिसीज) पर निर्भर करते हैं या विशिष्ट मामलों (जैसे एकल मापन, पैसिव पार्टिकल्स) तक सीमित होते हैं। लेखक "चरणबद्ध साम्यावस्था" (stepwise equilibration) शासन में संचालित प्रणालियों पर ध्यान केंद्रित करते हैं, जहाँ नियंत्रण क्रियाएं शोर युक्त संकेतों (noisy signals) द्वारा ट्रिगर की जाती हैं जो सूक्ष्म अवस्था (microscopic state) के साथ सांख्यिकीय रूप से सह-संबंधित होती हैं, और प्रणाली अपने ऊर्जा परिदृश्य (energy landscape) में तीव्र, मापन-सशर्त परिवर्तनों के बीच पूर्णतः साम्यावस्था (equilibrate) प्राप्त कर लेती है।

कार्यप्रणाली
लेखक नियंत्रण समस्या को एक विशिष्ट संरचनात्मक सीमा के भीतर 'पार्शियली ऑब्जर्वेबल मार्कोव डिसीजन प्रोसेस' (POMDP) के रूप में मॉडल करते हैं: थर्मलाइजेशन-ऑब्जर्वेशन-क्वेंच (thermalization–observation–quench) चक्र।

1. चरणबद्ध साम्यावस्था सीमा: प्रोटोकॉल $N$ असतत चक्रों से बना है। प्रत्येक चक्र में, प्रणाली वर्तमान हैमिल्टनियन $H_n$ के साम्यावस्था वितरण (equilibrium distribution) में शिथिल होती है, एक अवलोकन $o_n$ प्राप्त किया जाता है, और एक तात्कालिक, अवलोकन-सशर्त क्वेंच (quench) हैमिल्टनियन को $H_{n+1}$ में अपडेट करता है।
2. अवस्था न्यूनीकरण (State Reduction): चूंकि प्रणाली प्रत्येक निर्णय चरण पर साम्यावस्था प्राप्त कर लेती है, इसलिए पिछले हस्तक्षेपों की स्मृति मिट जाती है। नियंत्रक द्वारा प्रसारित एकमात्र अवस्था चर (state variable) स्वयं हैमिल्टनियन (या उसके पैरामीटर्स) है, न कि गैर-साम्यावस्था अवस्थाओं पर एक जटिल बिलीफ डिस्ट्रीब्यूशन।
3. बेलमैन पुनरावृत्ति (Bellman Recursion): यह संरचनात्मक सरलीकरण अनुकूल नियंत्रण समस्या को अवलोकन-सशर्त हैमिल्टनियन अपडेट पर एक सटीक परिमित-क्षितिज बेलमैन पुनरावृत्ति में बदल देता है। वैल्यू फंक्शन $V_r(H)$, $r$ चरणों में लक्ष्य हैमिल्टनियन $H_f$ तक पहुँचने के लिए न्यूनतम अपेक्षित शेष कार्य को दर्शाता है।
4. विश्लेषणात्मक समाधान: लेखक इस ढांचे को एक मानक बेंचमार्क पर लागू करते हैं: एक निश्चित कठोरता $k$ वाला एक आयामी हार्मोनिक ट्रैप, जिसे $\lambda=0$ से $\lambda=L$ तक स्थानांतरित किया गया है। अवलोकन चैनल ट्रांसलेशन-कोवेरिएंट (जैसे एडिटिव गौसियन नॉइज़) है। वे पुनरावृत्ति को हल करने के लिए द्विघात संरचना (quadratic structure) और साम्यावस्था वितरण की गौसियन प्रकृति का लाभ उठाते हैं।

मुख्य योगदान और परिणाम

1. सटीक इष्टतम फीडबैक नियम:
   स्थानांतरित हार्मोनिक ट्रैप के लिए, लेखक एक क्लोज्ड-फॉर्म इष्टतम फीडबैक नियम व्युत्पन्न करते हैं। किसी भी चरण पर इष्टतम ट्रैप केंद्र $\lambda^*$ नियंत्रक के सूक्ष्म अवस्था के अनुमान $\hat{x}$ और लक्ष्य $L$ के बीच एक क्षितिज-भारित समझौता (horizon-weighted compromise) है:
   $$\lambda^*(o; r) = \frac{r-1}{r}\hat{x}(o; \lambda) + \frac{1}{r}L$$
   जहाँ $r$ शेष चक्रों की संख्या है। प्रोटोकॉल के शुरुआती चरण में (बड़े $r$ के साथ), नियंत्रक कार्य निकालने के लिए अनुमानित उतार-चढ़ाव (fluctuation) को ट्रैक करता है; जैसे-जैसे समय सीमा निकट आती है (छोटे $r$ के साथ), नियंत्रक का ध्यान एंडपॉइंट बाधा (endpoint constraint) को लागू करने पर केंद्रित हो जाता है।

2. कार्य का ट्रांसपोर्ट-इंफॉर्मेशन अपघटन (Transport–Information Decomposition):
   दिखाया गया है कि न्यूनतम अपेक्षित कार्य $W^*_N$ दो अलग-अलग पदों में विभाजित होता है:
   $$W^*_N = \underbrace{\frac{k_B T}{2} \frac{\mathcal{L}^2}{N}}_{\text{थर्मोडायनामिक-लंबाई ट्रांसपोर्ट लागत}} - \underbrace{\frac{k_B T}{2} \chi (N - H_N)}_{\text{अवलोकन-सक्षम निष्कर्षण}}$$

• प्रथम पद साम्यावस्था वितरण को ले जाने की ज्यामितीय लागत है, जो थर्मोडायनामिक लंबाई $\mathcal{L} = \sqrt{\beta k} L$ पर आधारित ओपन-लूप इष्टतम को पुनः प्राप्त करता है।
• दूसरा पद एक ऋणात्मक "निष्कर्षण" (extraction) पद है जो $\chi$ के समानुपाती है, जो मापन द्वारा हल किए गए साम्यावस्था उतार-चढ़ाव (सिग्नल-टू-नॉइज़ रेशियो) का अंश है।
• यह अपघटन एक क्रॉसओवर को प्रकट करता है: कम चक्रों के लिए, ट्रांसपोर्ट लागत हावी होती है (विघटनकारी); अधिक चक्रों के लिए, सूचना-सक्षम निष्कर्षण ट्रांसपोर्ट लागतों से अधिक हो जाता है, जिसके परिणामस्वरूप "बेयर" ऋणात्मक कार्य (apparent harvesting) प्राप्त होता है।

3. ओवरहेड के साथ इष्टतम चक्र गणना:
   जब प्रति हस्तक्षेप (मापन, क्रियान्वयन, ईंधन) एक निश्चित भौतिक लागत $c$ (ओवरहेड) लगती है, तो कुल लागत $J_N = W^*_N + cN$ को $N$ के एक परिमित मान पर न्यूनतम किया जाता है। लेखक आयामहीन ओवरहेड $\hat{c} = 2c/k_B T$ और रेजोल्यूशन $\chi$ के आधार पर $N^*$ के लिए एक स्पष्ट डिजाइन नियम व्युत्पन्न करते हैं। एक परिमित इष्टतम केवल तभी मौजूद होता है यदि ओवरहेड प्रति-चक्र निष्कर्षण दर ($\hat{c} > \chi$) से अधिक हो।

4. थर्मोडायनामिक व्यवहार्यता और लैंडावर बाउंड (Landauer's Bound):
   यह शोध पत्र उस "अपैरेंट हार्वेस्ट" (apparent harvest) शासन की आलोचनात्मक जांच करता है जहाँ $W^*_N < 0$ होता है। मापन रिकॉर्ड बनाने और उसे रीसेट करने की थर्मोडायनामिक लागत (लैंडावर बाउंड) को ध्यान में रखते हुए, लेखक दिखाते हैं कि सूचना प्रसंस्करण की न्यूनतम लागत प्रति चक्र $k_B T I(x; o)$ है।

• एक गौसियन चैनल के लिए, पारस्परिक सूचना (mutual information) $I(x; o)$ ओवरहेड पर एक निचली सीमा निर्धारित करती है जो $\chi$ के निष्कर्षण थ्रेशोल्ड से सख्ती से अधिक है।
• फलस्वरूप, जब मेमोरी को रीसेट करने की लागत शामिल की जाती है, तो शुद्ध कार्य हमेशा गैर-ऋणात्मक होता है। "अनलिमिटेड हार्वेस्ट" का शासन थर्मोडायनामिक रूप से अप्राप्य है। बेयर (bare) गणना में दिखने वाला ऋणात्मक कार्य, अवलोकनों को शून्य पर मूल्यवान मानने के कारण उत्पन्न हुआ एक बुककीपिंग आर्टिफैक्ट (bookkeeping artifact) है।

महत्व
यह शोध पत्र दावा करता है कि यह चरणबद्ध साम्यावस्था सीमा में इष्टतम फीडबैक नियंत्रण के लिए एक सामान्य संरचना का पहला विश्लेषणात्मक रूप से हल करने योग्य उदाहरण प्रदान करता है। इसका महत्व निम्नलिखित में निहित है:

• सटीकता: एक सामान्यतः कठिन POMDP को एक हल करने योग्य परिमित-क्षितिज बेलमैन पुनरावृत्ति में बदलना, जहाँ अवस्था केवल हैमिल्टनियन है।
• भौतिक अंतर्दृष्टि: ज्यामितीय ट्रांसपोर्ट लागत को सूचना-सक्षम निष्कर्षण से स्पष्ट रूप से अलग करना, और यह स्पष्ट करना कि फीडबैक कब कार्य निकालने (harvest) जैसा प्रतीत होता है।
• थर्मोडायनामिक निरंतरता: यह प्रदर्शित करना कि जब सूचना प्रसंस्करण की पूर्ण थर्मोडायनामिक लागत (लैंडावर लागत) शामिल की जाती है, तो ऐसे प्रोटोकॉल का शुद्ध कार्य गैर-ऋणात्मक होता है, और फीडबैक चक्रों की एक परिमित इष्टतम संख्या हमेशा चुनी जाती है।
• व्यापकता: हालांकि क्लोज्ड-फॉर्म समाधान एक अनुवादित हार्मोनिक ट्रैप के लिए विशिष्ट है, अंतर्निहित पुनरावृत्ति किसी भी ऊर्जा परिदृश्य और अवलोकन चैनल पर लागू होती है, जो वहां एक ढांचा प्रदान करती है जहाँ विश्लेषणात्मक समाधान संभव नहीं है।

लेखक नोट करते हैं कि ये परिणाम मौजूदा फीडबैक-ट्रैप प्रयोगों (जैसे कोलाइडल इंफॉर्मेशन इंजन) में सीधे परीक्षण योग्य हैं और ऐसी प्रणालियों में फीडबैक चक्रों की संख्या के लिए एक कठोर डिजाइन नियम प्रदान करते हैं।