🧬 biology

Probabilistic Recurrent Intention Switching Model

यह शोध पत्र PRISM को प्रस्तुत करता है, जो एक नवीन इनवर्स रिइन्फोर्समेंट लर्निंग फ्रेमवर्क है जो नॉन-मार्कोवियन इंटेंशन स्विचिंग को मॉडल करने के लिए एक लाइटवेट रिकरेंट नेटवर्क का उपयोग करता है, जिससे सटीक क्लोज्ड-फॉर्म ऑप्टिमाइज़ेशन सक्षम होता है और ग्रिडवर्ल्ड, मेज़, और बड़े पैमाने के रोबोटिक मैनिपुलेशन कार्यों में टेम्पोरली कोहेरेंट लक्ष्यों को रिकवर करने में उत्कृष्ट प्रदर्शन प्रदर्शित होता है।

मूल लेखक: Wenyuan Sheng, Hao Zhu, Joschka Boedecker

प्रकाशित 2026-05-27

📖 6 मिनट में पढ़ें🧠 गहराई से पढ़ें

CC BY 4.0

मूल लेखक: Wenyuan Sheng, Hao Zhu, Joschka Boedecker

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ⚕️ यह एक ऐसे प्रीप्रिंट की AI से तैयार की गई व्याख्या है जिसकी अभी सहकर्मी समीक्षा नहीं हुई है। यह चिकित्सकीय सलाह नहीं है। इस सामग्री के आधार पर स्वास्थ्य संबंधी फैसले न लें। पूरा डिस्क्लेमर पढ़ें

कल्पना कीजिए कि आप किसी को कोई जटिल कार्य करते हुए देख रहे हैं, जैसे कि एक भूलभुलैया में दौड़ता हुआ चूहा या किसी रोबोटिक हाथ द्वारा बर्तन सजाना। कंप्यूटर के लिए, यह केवल गतिविधियों की एक लंबी सूची जैसा दिखता है: बाएं मुड़ा, आगे बढ़ा, पकड़ा, दाएं मुड़ा।

लेकिन एक इंसान के रूप में, हम उन गतिविधियों के पीछे की कहानी जानते हैं। चूहा सिर्फ "चल" नहीं रहा था; पहले, वह पानी की तलाश में था, फिर वह थक गया और घर जाने की ओर मुड़ गया, और शायद बाद में वह बस मजे के लिए भटक रहा (exploring) था। रोबोट सिर्फ "अपना हाथ नहीं हिला" रहा था; वह एक कप के पास पहुँच रहा था, उसे पकड़ रहा था, उसे ले जा रहा था, और फिर रुक गया था।

समस्या यह है कि सामान्य कंप्यूटर प्रोग्राम जो इन व्यवहारों को समझने की कोशिश करते हैं, वे आमतौर पर यह मान लेते हैं कि कर्ता (actor) का पूरे वीडियो के दौरान केवल एक ही लक्ष्य (single goal) होता है। वे एक ही "पुरस्कार" (reward) खोजने की कोशिश करते हैं (जैसे "निकास तक पहुँचना") जो हर एक हरकत को समझा सके। यह तब विफल हो जाता है जब कर्ता बीच में ही अपने लक्ष्य बदल देता है।

समाधान: PRISM

इस शोध के लेखकों ने PRISM (प्रॉबेबिलिस्टिक रिकरेंट इंटेंशन स्विचिंग मॉडल) नामक एक नया टूल बनाया है। PRISM को एक बहुत ही समझदार फिल्म निर्देशक के रूप में समझें जो कच्चे फुटेज को देखता है और वास्तविक समय (real-time) में पटकथा (script) तैयार करता है।

यह कैसे काम करता है, इसके सरल उदाहरण यहाँ दिए गए हैं:

1. "रिकरेंट" मेमोरी (नोटबुक)
पुराने तरीके केवल तत्काल अतीत को देखकर अगले लक्ष्य का अनुमान लगाने की कोशिश करते थे (जैसे कि एक गोल्डफिश जिसकी याददाश्त केवल 3 सेकंड की होती है) या डेटा में मैन्युअल रूप से पिछले कुछ चरणों को जोड़ देते थे (जो बहुत जल्दी अव्यवस्थित और विशाल हो जाता है)।

PRISM एक रिकरेंट न्यूरल नेटवर्क (Recurrent Neural Network) का उपयोग करता है, जो एक ऐसे पात्र की तरह है जो नोटबुक रखता है। जैसे-जैसे चूहा या रोबोट चलता है, नोटबुक अब तक जो कुछ भी हुआ है उसका सारांश अपडेट करती रहती है।

उदाहरण: यदि एक चूहा 10 बार दीवार से टकराता है, तो नोटबुक केवल "दीवार से टकराना" नहीं देखती। यह देखती है कि "निराशा बढ़ रही है।" यह मॉडल को यह समझने में मदद करता है कि चूहा अपने लक्ष्य को इसलिए बदल सकता है क्योंकि उसका इतिहास ऐसा है, न कि केवल इसलिए कि वह अभी क्या देख रहा है।

2. "सॉफ्ट स्विच" (डिमर स्विच)
एक सख्त "ऑन/ऑफ" स्विच के बजाय, जहाँ एजेंट या तो "लक्ष्य A" है या "लक्ष्य B", PRISM एक डिमर स्विच का उपयोग करता है। हर एक क्षण में, यह एक संभावना (probability) की गणना करता है: "70% संभावना है कि एजेंट पानी की तलाश में है, और 30% संभावना है कि वह बस घूम रहा है।" यह लक्ष्यों के बीच के बदलाव को सहज और वास्तविक बनाता है।

3. "मैजिक स्प्लिट" (पहेली सुलझाने वाला)
इन समस्याओं का सबसे कठिन हिस्सा आमतौर पर यह होता है कि आपको लक्ष्यों और पुरस्कारों (rewards) दोनों का अनुमान एक साथ लगाना पड़ता है, जो एक बहुत बड़ी और उलझी हुई गणितीय पहेली है।

लेखकों ने एक गणितीय ट्रिक (जिसे 'एक्सपेक्टेशन-मैक्सिमाइजेशन' कहा जाता है) को सिद्ध किया है जो इस पहेली को विभाजित (split) करने की अनुमति देती है।

चरण A: वे नोटबुक का उपयोग करके लक्ष्यों का अनुमान लगाते हैं।
चरण B: एक बार लक्ष्य अनुमानित हो जाने के बाद, वे प्रत्येक लक्ष्य के लिए अलग-अलग पुरस्कारों को हल करते हैं।
चरण C: वे इसे दोहराते हैं।
क्योंकि वे पुरस्कार वाले हिस्से को एक ज्ञात, तेज़ फॉर्मूले (जिसे 'इनवर्स एक्शन-वैल्यू इटरेशन' कहा जाता है) का उपयोग करके हल कर सकते हैं, इसलिए यह पूरी प्रक्रिया अविश्वसनीय रूप से तेज़ है। यह विशेषज्ञों की एक टीम की तरह है जहाँ एक व्यक्ति कथानक (plot) का पता लगाता है, और फिर तीन अन्य लोग तुरंत प्रत्येक पात्र के पीछे के उद्देश्य को समझते हैं, बजाय इसके कि एक व्यक्ति सब कुछ एक साथ करने की कोशिश करे।

उन्होंने क्या परीक्षण किया

टीम ने PRISM का परीक्षण तीन बहुत अलग "फिल्मों" में किया:

ग्रिड में निराश चूहा: उन्होंने एक काल्पनिक दुनिया बनाई जहाँ एक चूहा दीवारों से टकराने पर निराश हो जाता है। पुराने मॉडल यहाँ विफल रहे क्योंकि वे टक्करों की संख्या (इतिहास) को याद नहीं रख सके। PRISM ने निराशा को याद रखा और सही ढंग से भविष्यवाणी की कि चूहा कब हार मानकर दूसरे व्यवहार की ओर स्विच करेगा।
भूलभुलैया में असली चूहा: उन्होंने पानी की तलाश में अंधेरी भूलभुलैया में दौड़ते चूहों के वास्तविक डेटा का उपयोग किया। PRISM सफलतापूर्वक तीन अलग-अलग "मोड्स" की पहचान करने में सफल रहा जो जीव विज्ञानियों द्वारा पहले से ज्ञात थे: पानी की तलाश (Water-Seeking), घर वापसी (Homing), और भटकना (Exploring)। इसने पिछले तरीकों की तुलना में बेहतर प्रदर्शन किया और स्वचालित रूप से "स्विचिंग पॉइंट्स" का पता लगाया।
रोबोटिक हाथ (BridgeData V2): यह सबसे बड़ा परीक्षण था। उन्होंने इसमें एक इंसान द्वारा किचन के काम करने के लिए रोबोटिक हाथ को नियंत्रित करने के घंटों के वीडियो डाले। PRISM को पहले से कोई जानकारी नहीं थी कि "पकड़ना" (grasp) या "ले जाना" (carry) क्या है। फिर भी, इसने कच्चे वीडियो को देखा और वीडियो को चार स्पष्ट अध्यायों में विभाजित किया: निकट पहुँचना (Approach) (वस्तु के पास जाना), पकड़ना (Grasp) (हाथ बंद करना), ले जाना (Carry) (वस्तु को हिलाना), और खाली बैठना (Idle) (इंतज़ार करना/समायोजन करना)।

यह क्यों महत्वपूर्ण है

शोध पत्र का दावा है कि PRISM इस प्रकार के "मल्टी-गोल" विश्लेषण को बड़े पैमाने पर, वास्तविक दुनिया के रोबोट डेटा पर सफलतापूर्वक लागू करने वाला पहला तरीका है।

यह तेज़ है: यह एक मानक लैपटॉप पर मिनटों में चलता है, जबकि पुराने तरीकों को इसमें बहुत समय लग सकता है या वे क्रैश हो सकते हैं।
यह व्याख्या योग्य (Interpretable) है: यह केवल एक संख्या नहीं देता; यह आपको हर क्षण में एजेंट क्या चाहता था, उसका एक नक्शा देता है। आप आउटपुट को देख सकते हैं और कह सकते हैं, "आह, ठीक वहीं, रोबोट कप को पकड़ने की कोशिश कर रहा था।"
यह दोनों के लिए काम करता है: यह सुझाव देता है कि जैविक मस्तिष्क (चूहे) और कृत्रिम मस्तिष्क (रोबोट) दोनों जिस तरह से लक्ष्यों के बीच स्विच करते हैं, वह मौलिक रूप से समान है: वे दोनों निर्णय लेने के लिए स्मृति और इतिहास पर निर्भर करते हैं।

संक्षेप में, PRISM एक ऐसा उपकरण है जो क्रियाओं की एक लंबी, भ्रमित करने वाली धारा को स्पष्ट अध्यायों वाली एक स्पष्ट कहानी में बदल देता है, जो "क्या" के पीछे छिपे "क्यों" को प्रकट करता है।

तकनीकी सारांश: प्रोबेबिलिस्टिक रिकरेंट इंटेंशन स्विचिंग मॉडल (PRISM)

समस्या विवरण
मानक इनवर्स रिइन्फोर्समेंट लर्निंग (IRL) यह मानती है कि एक एकल, स्थिर रिवॉर्ड फंक्शन (reward function) एजेंट के व्यवहार को संचालित करता है। हालांकि, वास्तविक दुनिया के एजेंट—चाहे वे जैविक हों (जैसे भूलभुलैया में चूहे) या कृत्रिम (जैसे टेलीऑपरेटेड रोबोट)—एक ही एपिसोड के भीतर अलग-अलग लक्ष्यों या रणनीतियों के बीच अक्सर स्विच करते हैं। मौजूदा मल्टी-इंटेंशन IRL दृष्टिकोण इन स्विचों को प्रभावी ढंग से मॉडल करने में संघर्ष करते हैं:

डायनामिक IRL (DIRL): यह सुचारू, निरंतर रिवॉर्ड वेरिएशन मानती है, जो डिस्क्रीट स्ट्रैटेजी स्विचिंग के साक्ष्यों के विपरीत है और इसके लिए कंप्यूटेशनल रूप से महंगा इन्फरेंस ( $T$ बेलमैन सॉल्व्स) आवश्यक है।
Hierarchical Inverse Q-Learning (HIQL): यह इंटेंशन ट्रांजिशन को एक मेमोरीलेस मार्कोव चेन के रूप में मॉडल करती है, जो थकान या तृप्ति जैसे कारकों द्वारा संचालित इतिहास-निर्भर (history-dependent) स्विचों को पकड़ने में विफल रहती है। इसका इन्फरेंस बाउम-वेल्च एल्गोरिदम के कारण खराब स्केलिंग ( $O(nK^2)$ ) प्रदर्शित करता है।
SWIRL: यह स्टेट ऑग्मेंटेशन के माध्यम से इतिहास को शामिल करती है, लेकिन इससे स्टेट स्पेस तेजी से ( $|S|^L$ ) बढ़ता है, जो व्यावहारिक इतिहास लंबाई को सीमित कर देता है।

परिणामस्वरूप, कोई भी मौजूदा विधि बड़े, नॉन-मार्कोवियन वातावरण में स्वाभाविक रूप से स्केल नहीं कर पाती है या व्याख्या योग्य, डिस्क्रीट इंटेंशन को रिकवर नहीं कर पाती है।

कार्यप्रणाली: PRISM
लेखक प्रोबेबिलिस्टिक रिकरेंट इंटेंशन स्विचिंग मॉडल (PRISM) का प्रस्ताव करते हैं, एक ऐसा फ्रेमवर्क जो फिक्स्ड ट्रांजिशन मॉडल्स और मैनुअल स्टेट ऑग्मेंटेशन को एक लाइटवेट रिकरेंट न्यूरल नेटवर्क (RNN) से बदल देता है।

मॉडल आर्किटेक्चर:
- हिडन-इंटेंशन MDP (HI-MDP): वातावरण को एक लेटेंट इंटेंशन स्पेस $Z = \{1, \dots, K\}$ वाले MDP के रूप में मॉडल किया गया है।
- रिकरेंट गेटिंग: एक पैरामेट्रिक फंक्शन $f_\theta$ (एक RNN, LSTM, या ट्रांसफॉर्मर) प्रत्येक टाइमस्टेप पर इंटेंशन के सॉफ्ट प्रोबेबिलिटी डिस्ट्रीब्यूशन को ऑब्जर्वेशन हिस्ट्री $\phi_{1:t}$ से मैप करता है। यह मॉडल को स्पष्ट स्टेट ऑग्मेंटेशन के बिना जटिल, इतिहास-निर्भर स्विचिंग मैकेनिज्म को कैप्चर करने की अनुमति देता है।
- पर-इंटेंशन रिवॉर्ड्स: प्रत्येक इंटेंशन $k$ एक विशिष्ट रिवॉर्ड फंक्शन $r_k$ से जुड़ा होता है। माना जाता है कि इंटेंशन $k$ के तहत एक्सपर्ट की पॉलिसी $r_k$ से प्राप्त एक बोल्ट्ज़मैन-ऑप्टिमल पॉलिसी है।
इन्फरेंस और ऑप्टिमाइजेशन:
- EM डिकम्पोजिशन: लेखक सिद्ध करते हैं कि PRISM के लिए EM ऑब्जेक्टिव सटीक रूप से स्वतंत्र सब-प्रॉब्लम्स में विभाजित हो जाता है, जिसमें किसी वेरिएशनल एप्रोक्सिमेशन की आवश्यकता नहीं होती है।
  - E-Step: प्रत्येक टाइमस्टेप के लिए पोस्टीरियर रिस्पॉन्सिबिलिटी $P(z_t=k | \xi, \psi, \Theta)$ की गणना करता है। पोस्टीरियर के फैक्टराइजेशन के कारण, यह स्टेप प्रति ट्रजेक्टरी $O(nK) $के रूप में स्केल करता है, जो मार्कोव-चेन-आधारित विधियों के$ O(nK^2)$ लागत की तुलना में एक महत्वपूर्ण सुधार है।
  - M-Step:
    - रिवॉर्ड अपडेट: प्रत्येक रिवॉर्ड फंक्शन $r_k$ को क्लोज्ड फॉर्म में इंडिपेंडेंटली 'वेटेड इनवर्स एक्शन-वैल्यू इटरेशन' (IAVI) समस्या को हल करके अपडेट किया जाता है।
    - नेटवर्क अपडेट: गेटिंग नेटवर्क के पैरामीटर्स $\theta$ को असाइन किए गए इंटेंशन की संभावना को अधिकतम करने के लिए ग्रेडिएंट डिसेंट के माध्यम से अपडेट किया जाता है, जिसे स्पार्स स्विचिंग को बढ़ावा देने के लिए $\ell_1$ और स्मूथ ट्रांजिशन को बढ़ावा देने के लिए KL-डाइवर्जेंस द्वारा रेगुलराइज किया जाता है।
ट्रेनिंग ऑब्जेक्टिव:
लॉस फंक्शन इंटेंशन असाइनमेंट के नेगेटिव लॉग-लाइक्लिहुड को टेम्पोरल स्मूथनेस पेनल्टी के साथ जोड़ता है ताकि अनावश्यक स्विचिंग को रोका जा सके और आवश्यक होने पर स्विच करने की क्षमता बनी रहे।

प्रमुख योगदान

PRISM फ्रेमवर्क: एक नवीन मल्टी-इंटेंशन IRL विधि जो इंटेंशन डायनेमिक्स को मॉडल करने के लिए रिकरेंट नेटवर्क का उपयोग करती है, जिससे मैनुअल स्टेट ऑग्मेंटेशन के बिना एंड-टू-एंड हिस्ट्री-डिपेंडेंट स्विचिंग को सीखना संभव होता है।
सैद्धांतिक गारंटी: एक प्रमाण कि EM ऑब्जेक्टिव स्वतंत्र प्रति-इंटेंशन रिवॉर्ड सब-प्रॉब्लम्स में सटीक रूप से विभाजित होता है, जिन्हें IAVI के माध्यम से क्लोज्ड फॉर्म में हल किया जा सकता है।
कंप्यूटेशनल दक्षता: पोस्टीरियर फैक्टराइजेशन के माध्यम से प्राप्त $O(nK)$ E-स्टेप, जो मार्कोव-आधारित दृष्टिकोणों में उपयोग किए जाने वाले फॉरवर्ड-बैकवर्ड एल्गोरिदम की क्वाड्रेटिक जटिलता से बचता है।
प्रथम बड़े पैमाने का रोबोटिक अनुप्रयोग: ब्रिजडेटा V2 (BridgeData V2) रोबोटिक मैनिपुलेशन डेटासेट पर मल्टी-इंटेंशन IRL का अनुप्रयोग, जो न्यूरोसाइंस से परे सामान्यीकरण करने की इसकी क्षमता को प्रदर्शित करता है।
व्याख्यात्मकता (Interpretability): तीन अलग-अलग डोमेन में अनलेबल डेमोंस्ट्रेशन से नाम योग्य, टेम्पोरल रूप से सुसंगत इंटेंशन और रिवॉर्ड मैप्स की रिकवरी।

प्रायोगिक परिणाम
PRISM का मूल्यांकन बढ़ते जटिलता वाले तीन डेटासेट्स पर किया गया:

फ्रस्ट्रेशन ग्रिडवर्ल्ड (नॉन-मार्कोवियन वैलिडेशन):
- सेटअप: एक नियंत्रित वातावरण जहाँ एक एजेंट एक छिपे हुए "फ्रस्ट्रेशन काउंटर" (एक सख्त नॉन-मार्कोवियन स्टेट) के आधार पर अपनी रणनीति बदलता है।
- परिणाम: PRISM ने HIQL, IAVI और MaxEnt IRL की तुलना में उच्चतम टेस्ट लॉग-लाइक्लिहुड और सबसे कम अपेक्षित वैल्यू डिफरेंस हासिल किया। महत्वपूर्ण रूप से, PRISM ने संचित फ्रस्ट्रेशन को सफलतापूर्वक ट्रैक किया और तीव्रता से इंटेंशन बदला, जबकि HIQL (मेमोरीलेस) इस संचयी प्रकृति को पकड़ने में विफल रहा।
माउस लैबिरिंथ (जैविक डेटा):
- सेटअप: पानी की कमी वाले चूहों द्वारा 127-नोड वाली भूलभुलैया में नेविगेट करने का वास्तविक डेटा।
- परिणाम: PRISM ने SWIRL और अन्य बेसलाइन्स की तुलना में बेहतर टेस्ट लॉग-लाइक्लिहुड दिखाया। इसने तीन अलग-अलग, व्याख्या योग्य इंटेंशन रिकवर किए: वॉटर-सीकिंग (पानी की खोज), होमिंग (घर वापसी), और एक्सप्लोरेशन (अन्वेषण)। रिकवर किए गए रिवॉर्ड मैप्स और सेगमेंटेशन बाउंड्रीज ज्ञात जैविक प्रेरणाओं और व्यवहारिक घटनाओं (जैसे वॉटर-पोर्ट विज़िट) के साथ संरेखित थे।
ब्रिजडेटा V2 (रोबोटिक मैनिपुलेशन):
- सेटअप: उच्च-आयामी विजुअल ऑब्जर्वेशन के साथ मानव-टेलीऑपरेटेड रोबोटिक मैनिपुलेशन कार्यों का एक बड़ा डेटासेट।
- परिणाम: बिना किसी सुपरविजन या पूर्व ज्ञान के, PRISM ने चार टेम्पोरल रूप से सुसंगत मैनिपुलेशन चरणों की खोज की: अप्रोच/डिपार्ट (पहुंचना/दूर जाना), ग्रास्प (पकड़ना), कैरी (ले जाना), और आइडल (खाली बैठना)। इस विधि ने बेसलाइन्स की तुलना में उच्च होल्ड-आउट लॉग-लाइक्लिहुड प्राप्त किया, जो यह दर्शाता है कि डिस्क्रीट इंटेंशन स्विचिंग जैविक और कृत्रिम दोनों एजेंटों में लक्ष्य-निर्देशित व्यवहार का एक सामान्य गुण है।

महत्व और दावे
पेपर का दावा है कि PRISM अनुक्रमिक व्यवहार (sequential behavior) में लेटेंट गोल्स को रिकवर करने के लिए एक स्केलेबल, सैद्धांतिक रूप से आधारित समाधान प्रदान करता है। यह सिद्ध करके कि EM ऑब्जेक्टिव सटीक रूप से विभाजित होता है, लेखक दिखाते हैं कि क्लोज्ड-फॉर्म रिवॉर्ड रिकवरी की कंप्यूटेशनल व्यवहार्यता से समझौता किए बिना जटिल इतिहास-निर्भर स्विचिंग को मॉडल किया जा सकता है।

इसका महत्व इस प्रदर्शन में निहित है कि:

डिस्क्रीट गोल स्विचिंग जैविक और कृत्रिम दोनों एजेंटों में प्रचलित है।
इतिहास-निर्भर स्विचिंग (नॉन-मार्कोवियन डायनेमिक्स) को मैनुअल फीचर इंजीनियरिंग या स्टेट ऑग्मेंटेशन के बिना एंड-टू-एंड सीखा जा सकता है।
रिकवर किए गए रिवॉर्ड मैप्स जटिल डेमोंस्ट्रेशन के पीछे के लेटेंट उद्देश्यों को समझने के लिए एक संरचित, व्याख्या योग्य लेंस प्रदान करते हैं, जो केवल पॉलिसी इमिटेशन से आगे बढ़कर यह समझते हैं कि एक एजेंट किसी विशेष क्षण में क्यों कार्य करता है।

लेखक सीमाओं को स्वीकार करते हैं, जिसमें वर्तमान में डिस्क्रीट MDPs पर निर्भरता (विजुअल डेटा के लिए डिस्क्रीटाइजेशन की आवश्यकता) और ऑफलाइन ऑपरेशन शामिल है। वे सुझाव देते हैं कि भविष्य के कार्य मॉडल-फ्री एक्सटेंशन (IAVI के स्थान पर मॉडल-फ्री इनवर्स Q-लर्निंग का उपयोग करना) और रियल-टाइम इंटेंशन मॉनिटरिंग के लिए ऑनलाइन एक्सटेंशन की खोज कर सकते हैं।

समाधान: PRISM

उन्होंने क्या परीक्षण किया

यह क्यों महत्वपूर्ण है

तकनीकी सारांश: प्रोबेबिलिस्टिक रिकरेंट इंटेंशन स्विचिंग मॉडल (PRISM)

इसी तरह के और पेपर