🤖 machine learning

Distributional Active Inference

यह शोधपत्र एक औपचारिक अमूर्तता (formal abstraction) प्रस्तुत करता है जो एक्टिव इन्फरेंस को डिस्ट्रीब्यूशनल रिइन्फोर्समेंट लर्निंग फ्रेमवर्क में एकीकृत करता है, जिससे स्पष्ट ट्रांजिशन डायनेमिक्स मॉडलिंग की आवश्यकता के बिना रोबोटिक प्रणालियों के लिए सैंपल-एफिशिएंट ऑप्टिमल कंट्रोल सक्षम होता है।

मूल लेखक: Abdullah Akgül, Gulcin Baykal, Manuel Haußmann, Mustafa Mert Çelikok, Melih Kandemir

प्रकाशित 2026-08-06

📖 4 मिनट में पढ़ें☕ कॉफ़ी ब्रेक में पढ़ें

CC BY 4.0

मूल लेखक: Abdullah Akgül, Gulcin Baykal, Manuel Haußmann, Mustafa Mert Çelikok, Melih Kandemir

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

कल्पना कीजिए कि आप एक रोबोट को एक अराजक, अप्रत्याशित दुनिया में नेविगेट करना सिखाने की कोशिश कर रहे हैं। इसे अच्छी तरह से करने के लिए, रोबोट के पास दो सुपरपावर होने चाहिए: उसे संवेदी डेटा (जैसे कि वह क्या देखता है और सुनता है) के सैलाब को कुछ उपयोगी चीज़ में व्यवस्थित करने में सक्षम होना चाहिए, और उसे स्मार्ट मूव्स लेने के लिए भविष्य में बहुत आगे तक योजना बनाने में सक्षम होना चाहिए। दशकों से, रिनफोर्समेंट लर्निंग (RL) का क्षेत्र मशीनों को योजना बनाना सिखाने के लिए मुख्य तरीका रहा है। RL को एक ऐसे छात्र के रूप में सोचें जो प्रयास और त्रुटि (ट्रायल एंड एरर) के माध्यम से सीखता है, यह अनुमान लगाकर कि कौन से कार्य सर्वोत्तम पुरस्कारों की ओर ले जाते हैं ताकि वह अपने स्कोर को अधिकतम कर सके। हालाँकि, यह छात्र अक्सर अक्षम होता है; इसे सीखने के लिए लाखों बार चीज़ों को आज़माना पड़ता है, और इसे तब संघर्ष करना पड़ता है जब दुनिया इतनी जटिल हो कि उसे अपने दिमाग में पूरी तरह से सिम्युलेट करना कठिन हो।

यहाँ एक्टिव इन्फेरेंस (Active Inference) आता है, जो इस सिद्धांत से प्रेरित है कि जैविक मस्तिष्क कैसे काम करते हैं। केवल अनुमान लगाने के बजाय, मस्तिष्क को एक 'प्रेडिक्शन मशीन' के रूप में देखा जाता है जो लगातार अपने अनुभवों के आश्चर्य (सरप्राइज) को कम करने की कोशिश करती है। यह विभिन्न भविष्यों की कल्पना करके और उस विकल्प को चुनकर योजना बनाता है जो सबसे अधिक "निश्चित" या कम आश्चर्यजनक महसूस होता है। हालांकि यह सुनने में शक्तिशाली लगता है, पारंपरिक एक्टिव इन्फेरेंस एक कोने में फंसा हुआ है: इसमें आमतौर पर रोबोट के लिए दुनिया कैसे काम करती है, इसका एक सटीक और विस्तृत मानचित्र (एक "वर्ल्ड मॉडल") बनाने की आवश्यकता होती है। ये मानचित्र बनाना गणनात्मक रूप से महंगा है और जटिल कार्यों के लिए अक्सर असंभव है। वैज्ञानिक खुद से एक बड़ा सवाल पूछ रहे हैं: क्या हम एक पूर्ण विश्व मानचित्र बनाने के भारी बोझ के बिना एक्टिव इन्फेरेंस के स्मार्ट प्लानिंग लाभ प्राप्त कर सकते हैं?

यह शोध पत्र एक नई विधि प्रस्तुत करता है जिसे डिस्ट्रीब्यूशनल एक्टिव इन्फेरेंस (DAIF) कहा जाता है जो "हाँ" में उत्तर देता है। शोधकर्ता एक चतुर शॉर्टकट का प्रस्ताव करते हैं। ठीक यह अनुमान लगाने के बजाय कि आगे क्या होगा (जैसे कि एक विशिष्ट तापमान या स्थिति), DAAF एक साथ संभावनाओं की पूरी श्रृंखला और उनकी संभावनाओं की भविष्यवाणी करने पर ध्यान केंद्रित करता है। वे इसे "डिस्ट्रीब्यूशनल" लर्निंग कहते हैं। कल्पना कीजिए कि कल बारिश होगी या नहीं, इसका अनुमान लगाने के बजाय, आप पूरे मौसम के पूर्वानुमान को सीखते हैं: हल्की बूंदाबांदी की 20% संभावना, धूप की 50% संभावना और तूफान की 30% संभावना। संभावनाओं के इस पूर्ण चित्र को सीखकर, रोबोट प्रभावी ढंग से योजना बना सकता है बिना यह जाने कि बारिश को नियंत्रित करने वाले भौतिक विज्ञान के सटीक नियम क्या हैं।

यह पत्र सुझाव देता है कि डिस्ट्रीब्यूशनल लर्निंग के "पूर्ण चित्र" वाले दृष्टिकोण को एक्टिव इन्फेरेंस के "सरप्राइज-मिनिमाइजिंग" तर्क के साथ जोड़कर, रोबोट बहुत तेज़ी से और अधिक कुशलता से सीख सकते हैं। लेखकों ने कंप्यूटर सिमुलेशन में इस विचार का परीक्षण किया। सरल ग्रिड-वर्ल्ड गेम्स में, उन्होंने पाया कि उनकी नई विधि, DAIF, उन समस्याओं को हल कर सकती थी जिन्हें अन्य विधियाँ हल करने में विफल रहीं, विशेष रूप से जब समस्याएँ कठिन हो गईं और उनमें और आगे तक देखने की आवश्यकता थी। सॉफ्ट रोबोट और वीडियो-आधारित नियंत्रण से जुड़े अधिक जटिल, वास्तविक दुनिया जैसे सिमुलेशन में, DAIF ने लगातार वर्तमान सर्वोत्तम विधियों को पछाड़ दिया, और कम प्रयासों के साथ इन प्रणालियों को नियंत्रित करना सीखा। परिणाम बताते हैं कि यह दृष्टिकोण एजेंटों को सीमित कंप्यूटिंग शक्ति के साथ जटिल वातावरण को संभालने की अनुमति देता है, बिल्कुल वैसे ही जैसे मानव मस्तिष्क करता है, यानी वास्तविकता के पूर्ण सिमुलेशन को जबरन चलाने (ब्रूट-फोर्स) के बजाय जानकारी को कुशलतापूर्वक व्यवस्थित करके।

तकनीकी सारांश: डिस्ट्रीब्यूशनल एक्टिव इन्फरेंस (Distributional Active Inference)

समस्या विवरण (Problem Statement)

जटिल रोबोटिक वातावरण में इष्टतम नियंत्रण (Optimal control) दो परस्पर जुड़े हुए चुनौतियों का सामना करता है: संवेदी अवस्था (sensory state) सूचना का कुशल संगठन और दूरदर्शी कार्य नियोजन (far-sighted action planning)। जबकि सुदृढीकरण शिक्षण (Reinforcement Learning - RL) नियोजन को संबोधित करता है, यह अक्सर नमूना अक्षमता (sample inefficiency) से ग्रस्त होता है क्योंकि यह आमतौर पर केवल नियोजन पर ही ध्यान केंद्रित करता है। एक्टिव इन्फरेंस (Active Inference - AIF), जो जैविक बुद्धिमत्ता की व्याख्या करने वाला एक प्रक्रिया सिद्धांत है, इन दोनों को 'एक्सपेक्टेड फ्री एनर्जी' (Expected Free Energy - EFE) को कम करके संबोधित करता है। हालाँकि, आर्टिफिशियल इंटेलिजेंस में मौजूदा AIF अनुप्रयोग मुख्य रूप से मॉडल-आधारित दृष्टिकोणों तक सीमित हैं जिनमें स्पष्ट ट्रांज़िशन डायनेमिक्स (transition dynamics) को सीखने की आवश्यकता होती है, जो कि कम्प्यूटेशनल रूप से महंगा और अक्सर अव्यवहारिक है।

यह शोध पत्र जिस मुख्य समस्या को संबोधित करता है वह यह है कि कैसे एक्टिव इन्फरेंस के प्रदर्शन लाभों को एक ऐसे ढांचे में एकीकृत किया जाए जिसमें स्पष्ट ट्रांज़िशन मॉडल सीखने की आवश्यकता न हो, जिससे AIF को मॉडल-फ्री और डिस्ट्रीब्यूशनल सेटिंग्स के लिए सुलभ बनाया जा सके।

कार्यप्रणाली (Methodology)

लेखक एक्टिव इन्फरेंस और डिस्ट्रीब्यूशनल RL के बीच के अंतर को पाटने के लिए एक तीन-चरणीय सैद्धांतिक और एल्गोरिद्मिक ढांचा प्रस्तावित करते हैं:

1. एक्टिव इन्फरेंस का कठोर निरूपण (Rigorous Formulation of Active Inference)

लेखक बेयसियन (Bayesian) और कॉज़ल इन्फरेंस (causal inference) के प्रथम सिद्धांतों से AIF उद्देश्य को पुन: व्युत्पन्न करते हैं। मानक वेरिएशनल इन्फरेंस सेटअप पर 'डू-कैलकुलस' (do-calculus) लागू करके, वे प्रदर्शित करते हैं कि मानक AIF उद्देश्य एक सरल समकक्ष रूप को स्वीकार करता है।

वे दिखाते हैं कि वांछित वितरण $P_R(X)$ (जो रिवॉर्ड के रूप में कार्य करता है) के साथ अवलोकन योग्य अवस्था $X$ में हस्तक्षेप करना, प्रोडक्ट रूल के तहत अवलोकन योग्य को लेटेंट वेरिएबल्स $(Y, S)$ से अलग कर देता है।
इससे एक सरलीकृत ELBO (एविडेंस लोअर बाउंड) प्राप्त होता है जहाँ उद्देश्य में एक रिकंस्ट्रक्शन टर्म, एक पॉलिसी एंट्रॉपी टर्म, और वांछित अवस्था वितरण के लॉग-प्रोबेबिलिटी को प्रेडिक्टेड ट्रेजेक्टरी के तहत अधिकतम करने वाला एक टर्म शामिल है।
महत्वपूर्ण रूप से, यह निरूपण प्रकट करता है कि AIF को प्रेडिक्टिव कोडिंग के एक रूप के रूप में देखा जा सकता है जहाँ एजेंट वांछित परिणामों को फिट करने के लिए एक वर्ल्ड मॉडल को अनुकूलित करता है, बिना हर कदम के लिए जटिल पोस्टीरियर लेटेंट्स के अनुमान की आवश्यकता के।

2. पुश-फॉरवर्ड सुदृढीकरण शिक्षण (Push-Forward Reinforcement Learning)

स्पष्ट ट्रांज़िशन मॉडलिंग के बिना AIF को एकीकृत करने के लिए, लेखक पुश-फॉरवर्ड RL पेश करते हैं, जो डिस्ट्रीब्यूशनल RL का सामान्यीकरण है।

ट्रेजेक्टरी मेजर्स (Trajectory Measures): वे रिटर्न डिस्ट्रीब्यूशन को केवल एक अपेक्षा (expectation) के रूप में नहीं, बल्कि एक पॉलिसी के माध्यम से प्रेरित ट्रेजेक्टरी मेजर के "पुश-फॉरवर्ड" के रूप में परिभाषित करते हैं।
स्टेट एब्स्ट्रैक्शन (State Abstraction): वे स्टेट एब्स्ट्रैक्शंस (लेटेंट स्पेस) और डिस्ट्रीब्यूशनल RL के बीच संबंध को औपचारिक रूप देते हैं। एक एनकोडर $S$ और एक डिकोडर $P_D$ को परिभाषित करके, वे दिखाते हैं कि लेटेंट स्पेस पर डिस्ट्रीब्यूशनल RL करना एक कंपोजिट कर्नेल ऑपरेटर लगाने के समान है।
कॉन्ट्रैक्शन मोडुलस (Contraction Modulus): एक प्रमुख सैद्धांतिक परिणाम (थ्योरम 3.5) स्थापित करता है कि लेटेंट स्पेस में डिस्ट्रीबशनल बेलमैन ऑपरेटर का कॉन्ट्रैक्शन मोडुलस एनकोडर ( $L_E$ ) और डिकोडर ( $L_D$ ) के लिप्सचिट्ज़ कांस्टेंट (Lipschitz constants) के उत्पाद द्वारा स्केल होता है। यदि लेटेंट स्पेस कुशल संपीड़न (छोटा $L_E$ ) प्रदान करता है और रिवॉर्ड-प्रासंगिक संरचना (छोटा $L_D$ ) को कैप्चर करता है, तो बेलमैन बैकअप का अभिसरण (convergence) त्वरित हो जाता है।
एल्गोरिदम टेम्पलेट: वे पुश-फॉरवर्ड पॉलिसी इटरेशन (PPI) का प्रस्ताव करते हैं, जो कच्चे स्टेट्स के बजाय एनकोडिंग मेजर्स के स्पेस पर बेलमैन रेसिडुअल को कम करता है, जिससे मॉडल-आधारित और मॉडल-फ्री दृश्यों का प्रभावी एकीकरण होता है।

3. डिस्ट्रीब्यूशनल एक्टिव इन्फरेंस (DAIF)

लेखक उपरोक्त सिद्धांत को डिस्ट्रीब्यूशनल एक्टिव इन्फरेंस (DAIF) नामक एक व्यावहारिक एल्गोरिदम में स्थापित करते हैं।

तंत्र (Mechanism): DAIF एक स्टेट-एक्शन एमोर्टाइज्ड पैरामेट्रिक डिस्ट्रीब्यूशन (एक एनकोडर) सीखता है जो ऑब्जर्वेशन्स को लेटेंट स्पेस में मैप करता है। इसके बाद यह इस लेटेंट स्पेस पर टेम्पोरल-डिफरेंस क्वांटाइल मैचिंग करता है।
कार्यान्वयन विवरण (Implementation Details):
- क्वांटाइल रिग्रेशन समस्या को एसिमेट्रिक लैप्लेस डिस्ट्रीब्यूशन (ALD) के मैक्सिमम लाइकलीहुड एस्टीमेशन (MLE) के रूप में फ्रेम किया गया है।
- स्केल पैरामीटर ( $\sigma_\tau$ ) पर क्वांटाइल अनुमानों के आसपास अनिश्चितता को इनवर्स-गामा प्रायर (Inverse-Gamma prior) का उपयोग करके मॉडल किया गया है। यह पोस्टीरियर वेरिएंस एक अंतर्निहित एपिस्टेमिक अनसर्टेन्टी (epistemic uncertainty) के रूप में कार्य करता है, जो स्पष्ट एक्सप्लोरेशन बोनस के बिना थॉम्पसन सैंपलिंग (Thompson sampling) के समान एक्सप्लोरेशन प्रेरित करता है।
- एल्गोरिदम एक डीप एक्टर-क्रिटिक आर्किटेक्चर का उपयोग करता है जिसमें ट्विन क्रिटिक्स, बेलमैन टारगेट्स के लिए मिन-क्लिपिंग और डिलेड एक्टर अपडेट्स (TD3 के समान) शामिल हैं, लेकिन यह मानक वैल्यू टारगेट्स के स्थान पर AIF ऑब्जेक्टिव से प्राप्त डिस्ट्रीबशनल रिटर्न्स का उपयोग करता है।
मुख्य अंतर: पारंपरिक AIF के विपरीत, DAIF एक फॉरवर्ड ट्रांज़िशन मॉडल ( $P(X'|X, A)$ ) नहीं सीखता है। इसके बजाय, यह लेटेंट स्पेस में सैंपल किए गए ट्रांज़िशन्स से सीधे रिटर्न डिस्ट्रीब्यूशन सीखता है, जिससे यह ट्रांज़िशन डायनेमिक्स मॉडलिंग की लागत से बचते हुए AIF के स्टेट एब्स्ट्रैक्शन के लाभ प्राप्त करता है।

मुख्य योगदान (Key Contributions)

सैद्धांतिक एकीकरण: यह शोध पत्र मॉडल-आधारित, डिस्ट्रीब्यूशनल और मॉडल-फ्री RL के बीच एक औपचारिक एब्स्ट्रैक्शन प्रदान करता है, यह प्रदर्शित करते हुए कि कैसे AIF को डिस्ट्रीब्यूशनल ढांचे में निर्बाध रूप से एकीकृत किया जा सकता है।
सरलीकृत AIF ऑब्जेक्टिव: डू-कैलकुलस का उपयोग करके, लेखक एक सरलीकृत AIF ऑब्जेक्टिव निकालते हैं जो मानक फॉर्मूलेशन में जटिल पोस्टीरियर लेटेंट्स के अनुमान की आवश्यकता को समाप्त करता है, जो इसे आधुनिक RL में उपयोग किए जाने वाले वेरिएशनल इन्फरेंस मैकेनिज्म के अधिक करीब लाता है।
पुश-फॉरवर्ड फ्रेमवर्क: "पुश-फॉरवर्ड RL" का परिचय स्टेट एब्स्ट्रैक्शंस और डिस्ट्रीब्यूशनल बेलमैन ऑपरेटर्स के बीच एक कठोर गणितीय लिंक प्रदान करता है, यह दिखाते हुए कि लेटेंट स्पेस संपीड़न अभिसरण दरों (convergence rates) को कैसे प्रभावित करता है।
DAIF एल्गोरिदम: DAIF का प्रस्ताव, जो एक व्यावहारिक एल्गोरिदम है, जो (स्पष्ट ट्रांज़िशन मॉडल सीखने के कम्प्यूटेशनल ओवरहेड के बिना) AIF जैसे प्रदर्शन लाभ (स्टेट एब्स्ट्रैक्शन के माध्यम से कुशल नियोजन) प्राप्त करता है।

प्रयोगात्मक परिणाम (Experimental Results)

लेखक टैबुलर और कंटीन्यूअस कंट्रोल कार्यों में DAIF का मूल्यांकन करते हैं:

टैबुलर प्रयोग (Latent RiverSwim): एक ग्रिड वर्ल्ड में जहाँ रिवॉर्ड-प्रासंगिक डायनेमिक्स एक 1D लेटेंट मैनिफोल्ड पर स्थित हैं, DAIF प्लानिंग हॉराइजन बढ़ने के साथ मॉडल-आधारित (PSRL-PI) और डिस्ट्रीब्यूशनल (IQQL) बेसलाइन्स दोनों को काफी बेहतर प्रदर्शन करता है। जब स्टेट एब्स्ट्रैक्शन कोई लाभ नहीं देता (प्लेन RiverSwim), तो DAAF डिस्ट्रीब्यूशनल RL के समान प्रदर्शन करता है।
कंटीन्यूअस कंट्रोल: DAIF का परीक्षण तीन बेंचमार्क सूट्स पर किया गया था:
- EvoGym: सॉफ्ट रोबोट लोकमोशन और मैनिपुलेशन।
- DeepMind Control Suite (DMC): विभिन्न मॉर्फोलॉजी के साथ कंटीन्यूअस कंट्रोल।
- DMC Vision: रॉ पिक्सेल ऑब्जर्वेशन्स से कंट्रोल।
प्रदर्शन: DAIF ने सभी सूट्स में लगातार स्टेट-ऑफ-द-आर्ट प्रदर्शन हासिल किया, विशेष रूप से जटिल डायनेमिक्स या उच्च-आयामी स्टेट स्पेस वाले वातावरणों में (जैसे, "Catcher-v0", "Dog Run", "Quadruped Run")।
दक्षता: जबकि DAIF को मानक डिस्ट्रीब्यूशनल एक्टर-क्रिटिक्स की तुलना में लगभग 12% अधिक वॉल-क्लॉक टाइम की आवश्यकता होती है, यह ओवरहेड अन्य मॉडल-आधारित या एक्सप्लोरेशन-हैवी मेथड्स जैसे DSAC (26%) और DRND (37%) की तुलना में कम है।

महत्व और दावे (Significance and Claims)

यह शोध पत्र दावा करता है कि एक्टिव इन्फरेंस विशेष रूप से तब शक्तिशाली होता है जब एजेंट के पास सीमित कम्प्यूटेशनल क्षमताएं होती हैं, जो जैविक मस्तिष्क की स्थितियों की नकल करता है। AIF को डिस्ट्रीब्यूशनल RL के एक सरल विस्तार के रूप में प्रस्तुत करके, लेखक तर्क देते हैं कि AIF के प्रदर्शन लाभ (नियोजन के लिए संवेदी सूचना का कुशल संगठन) को स्पष्ट फॉरवर्ड मॉडल सीखने की निषेधात्मक लागत के बिना प्राप्त किया जा सकता है।

यह कार्य सुझाव देता है कि संवेदी संगठन और नियोजन की "दोहरी समस्या" को वातावरण के पूर्ण ट्रांज़िशन डायनेमिक्स को मॉडल करने के बजाय एक ऐसे लेटेंट रिप्रेजेंटेशन को सीखने के माध्यम से सबसे अच्छी तरह से हल किया जा सकता है जहाँ रिटर्न डिस्ट्रीब्यूशन संकुचित और संरचित हो। लेखक DAIF को सभी RL के विकल्प के रूप में नहीं, बल्कि उन चुनौतीपूर्ण वातावरणों के लिए एक मजबूत पद्धति के रूप में देखते हैं जहाँ सैंपल दक्षता और कम्प्यूटेशनल बाधाएं महत्वपूर्ण हैं। वे सीमाओं को स्वीकार करते हुए कहते हैं कि DAIF स्पष्ट रूप से एपिस्टेमिक और इंस्ट्रुमेंटल वैल्यू टर्म्स को अलग नहीं करता है (अंतर्निहित अनिश्चितता पर निर्भर रहते हुए) और वर्तमान में लेटेंट बॉटलनेक साइज आर्किटेक्चर-डिपेंडेंट है, न कि एडेप्टिवली सीखा गया।