तकनीकी सारांश: PRISM – अनुक्रमिक निर्णय लेने के लिए धारणा तर्क इंटरलीव्ड (Perception Reasoning Interleaved for Sequential Decision Making)

1. समस्या विवरण

अनुक्रमिक निर्णय लेने के लिए एम्बोडीड एजेंटों (embodied agents) में लार्ज लैंग्वेज मॉडल्स (LLMs) और विजन-लैंग्वेज मॉडल्स (VLMs) का एकीकरण एक महत्वपूर्ण "धारणा-तर्क-निर्णय" (perception–reasoning–decision) अंतराल का सामना कर रहा है। जबकि LLMs तार्किक तर्क करने में उत्कृष्ट हैं और VLMs विजुअल इनपुट को प्रोसेस कर सकते हैं, वर्तमान दृष्टिकोण अक्सर इन मॉड्यूल को अलग-अलग रखते हैं। मानक पाइपलाइनों में, एक VLM निष्क्रिय रूप से एक सामान्य दृश्य विवरण उत्पन्न करता है जिसे फिर निर्णय लेने के लिए एक LLM को फीड किया जाता है। यह ढीला जुड़ाव दो प्राथमिक समस्याओं की ओर ले जाता है:

1. सूचना की हानि (Information Loss): VLMs अक्सर कार्य-महत्वपूर्ण, सूक्ष्म विजुअल विवरणों को अनदेखा कर देते हैं क्योंकि उनमें एजेंट के वर्तमान लक्ष्य के विशिष्ट संदर्भ की कमी होती है।
2. भ्रम और शोर (Hallucination and Noise): केवल लक्ष्य पर VLM को कंडिशन करना भ्रम (गैर-मौजूद वस्तुओं का वर्णन करना) पैदा कर सकता है, जबकि प्रश्न-उत्तर (QA) जोड़ों को दृश्य विवरणों के साथ सहजता से जोड़ना लंबे, शोर वाले प्रॉम्प्ट्स बनाता है जो डाउनस्ट्रीम रीजनिंग में बाधा डालते हैं।

इसके अलावा, मौजूदा इंटरैक्टिव विधियां अक्सर पूर्व-निर्धारित प्रश्नों या ओरेकल एनोटेशन (oracle annotations) पर निर्भर करती हैं, जो उनकी स्वायत्तता और वास्तविक दुनिया की सेटिंग्स में उनकी प्रयोज्यता को सीमित करती हैं जहाँ ऐसे प्रायर्स (priors) उपलब्ध नहीं होते हैं।

2. कार्यप्रणाली: PRISM फ्रेमवर्क

PRISM (Perception Reasoning Interleaved for Sequential Decision Making) एक डायनेमिक क्वेश्चन-आंसरिंग (DQA) पाइपलाइन के माध्यम से धारणा और निर्णय-निर्माण के बीच एक घनिष्ठ, गतिशील जुड़ाव स्थापित करके इन चुनौतियों का समाधान करता है। यह फ्रेमवर्क एक लक्ष्य-कंडिशन्ड पार्शियलली ऑब्जर्वेबल मार्कोव डिसीजन प्रोसेस (POMDP) के भीतर दो इंटरलीव्ड चरणों में कार्य करता है:

A. इंटरैक्टिव गोल-ओरिएंटेड परसेप्शन (लक्ष्य-उन्मुख धारणा)

एक सिंगल-पास विवरण के बजाय, PRISM एक VLM (परसेप्शन मॉड्यूल, $V_p$) और एक LLM (रीजनिंग मॉड्यूल, $R$) के बीच एक पुनरावृत्ति संचार लूप का उपयोग करता है:

1. प्रारंभिक विवरण: VLM विजुअल ऑब्जर्वेशन ($o_t$) का एक प्रारंभिक, लक्ष्य-अज्ञेय (goal-agnostic) विवरण ($d^t_i$) उत्पन्न करता है।
2. अंतराल की पहचान और प्रश्न निर्माण: LLM कार्य लक्ष्य ($g$) के विरुद्ध $d^t_i$ का विश्लेषण करता है ताकि छूटी हुई जानकारी की पहचान की जा सके। यह VLM से पूछने के लिए विशिष्ट, लक्ष्य-प्रासंगिक प्रश्नों ($Q_t$) का एक सेट उत्पन्न करता है।
3. लक्षित पूछताछ: VLM वर्तमान विजुअल ऑब्जर्वेशन के आधार पर प्रत्येक प्रश्न $Q_t$ का उत्तर देता है, जिससे उत्तरों का एक सेट ($\Lambda_t$) प्राप्त होता है।
4. सिमेंटिक सिंथेसिस (अर्थपूर्ण संश्लेषण): महत्वपूर्ण रूप से, LLM केवल कच्चे QA जोड़ों को कॉन्कैटिनेट (concatenate) नहीं करता है। इसके बजाय, यह प्रारंभिक विवरण, प्रश्नों और उत्तरों को एक संक्षिप्त, परिष्कृत अंतिम विवरण ($d^t_f$) में संश्लेषित करता है। यह चरण अप्रासंगिक विवरणों और भ्रम (hallucinations) को फ़िल्टर करता है और कार्य-महत्वपूर्ण तत्वों पर जोर देता है।

B. अनुक्रमिक निर्णय-निर्माण (Sequential Decision-Making)

परिष्कृत विवरण ($d^t_f$), लक्ष्य और इंटरेक्शन हिस्ट्री के साथ, अगले एक्शन ($a_t$) को उत्पन्न करने के लिए LLM पॉलिसी ($\pi_\theta$) में भेजा जाता है। पॉलिसी को विशेष रूप से एक्शन जनरेशन के लिए प्रशिक्षित LoRA (लो-रैंक अडैप्टेशन) एडैप्टर के साथ संवर्धित किया गया है, जबकि बेस LLM अपनी प्री-ट्रेंड रीजनिंग क्षमताओं को बनाए रखता है।

C. प्रशिक्षण रणनीति

PRISM विशेष रूप से विजुअल एनवायरनमेंट के भीतर एक दो-चरणीय प्रशिक्षण पाइपलाइन का उपयोग करता है, जो विशेषाधिकार प्राप्त टेक्स्टुअल सुपरविजन पर निर्भरता से बचता है:

1. बिहेवियरल क्लोनिंग (BC): पॉलिसी को विशेषज्ञ प्रदर्शनों (जो PRISM परसेप्शन पाइपलाइन के माध्यम से टेक्स्ट में परिवर्तित किए गए हैं) की नकल करने के लिए प्री-ट्रेन किया जाता है।
2. ऑनलाइन रीइन्फोर्समेंट लर्निंग (RL): पॉलिसी को PPO का उपयोग करके आगे फाइन-ट्यून किया जाता है। उल्लेखनीय रूप से, DQA परसेप्शन लूप RL के दौरान भी सक्रिय रहता है, जिससे एजेंट को ऑनलाइन इंटरैक्शन से सीखने की अनुमति मिलती है।

3. मुख्य योगदान

• डायनेमिक क्वेश्चन-आंसरिंग (DQA): एक पूर्णतः स्वचालित तंत्र जो धारणा और निर्णय-निर्माण को मजबूती से जोड़ता है। पिछले कार्यों के विपरीत, इसमें किसी हस्तनिर्मित प्रश्नों या ओरेकल एनोटेशन की आवश्यकता नहीं है, क्योंकि LLM गतिशील रूप से लक्ष्य-उन्मुख क्वेरी उत्पन्न करता है।
• सिमेंटिक सिंथेसिस: एक नवीन विलय रणनीति जहाँ LLM QA इंटरैक्शन को एक संक्षिप्त, कार्य-संचालित विवरण में संश्लेषित करता है, जिससे नैव कॉन्कैटिनेशन (naive concatenation) के शोर और अत्यधिक विस्तार से बचा जा सकता है।
• कुशल आर्किटेक्चर: फ्रेमवर्क परसेप्शन (VLM) को निर्णय-निर्माण (LoRA के साथ LLM) से अलग करता है, जिससे स्थापित टेक्स्ट-आधारित RL रेसिपी का उपयोग करना सक्षम होता है, जबकि निर्णयों को विजुअल वातावरण में ग्राउंडेड रखा जाता है।
• स्वचालित पाइपलाइन: सिस्टम मानव-इन-द-लूप स्पष्टीकरण या पूर्व-निर्धारित प्रश्न सेटों की आवश्यकता को समाप्त करता है, जिससे स्वायत्तता बढ़ती है।

4. प्रयोगात्मक परिणाम

लेखकों ने दो बेंचमार्क पर PRISM का मूल्यांकन किया: ALFWorld (घरेलू कार्य) और Room-to-Room (R2R) (नेविगेशन)।

ALFWorld परिणाम

• प्रदर्शन: PRISM स्टेट-ऑफ-द-आर्ट इमेज-बेस्ड मॉडल्स को काफी बेहतर प्रदर्शन करता है। PRISM BC+RL वेरिएंट ने औसत सफलता दर (SR) 80% प्राप्त की, जो Idefics2 8B बेसलाइन से 12 अंक और VIPERBC+RL बेसलाइन से 5 अंक अधिक है।
• ओरेकल के साथ तुलना: PRISM ने विशेषाधिकार प्राप्त टेक्स्टुअल सुपरविजन (जैसे, EMMA, EMAC+) का उपयोग करने वाले तरीकों के साथ प्रदर्शन अंतर को नगण्य स्तर तक कम कर दिया, और ऑब्जेक्ट आईडी और ऑक्लूडेड स्टेट्स तक पहुंच के बिना भी तुलनीय प्रदर्शन हासिल किया।
• एब्लेशन स्टडीज (Ablation Studies):
  • आर्किटेक्चर: PRISM ने मोनोलिथिक VLMs और स्टैटिक मॉड्यूलर VLM-LLM आर्किटेक्चर ("Raw perception") को औसतन 6-8% से पछाड़ दिया।
  • विलय रणनीति (Merging Strategy): LLM सिंथेसिस दृष्टिकोण "QA-Only" और "CONCAT" (नैव कॉन्कैटिनेशन) दोनों रणनीतियों से बेहतर रहा, जिससे पुष्टि होती है कि ग्लोबल कॉन्टेक्स्ट को टास्क-स्पेसिफिक विवरणों के साथ संश्लेषित करना सरल एकत्रीकरण से बेहतर है।
  • प्रश्न की गुणवत्ता: PRISM द्वारा गतिशील रूप से उत्पन्न किए गए प्रश्नों ने मानव-एनोटेटेड ओरेकल प्रश्नों के प्रदर्शन के भीतर 2% की सीमा प्राप्त की, जो दर्शाता है कि LLM पूर्व-निर्धारित प्रायर्स के बिना सूचना संबंधी आवश्यकताओं को प्रभावी ढंग से पहचान सकता है।
  • परसेप्शन सटीकता: इंटरैक्टिव गोल-ओरिएंटेड परसेप्शन ने रॉ परसेप्शन और गोल-अवेयर परसेप्शन (जो भ्रम से ग्रस्त था) दोनों की तुलना में दृश्य विवरणों की सटीकता (RougeL, METEOR, BERTScore, और LLM-as-a-judge द्वारा मापा गया) में सुधार किया।

R2R परिणाम

• PRISM ने सभी परीक्षण किए गए तरीकों, जिनमें DiscussNav और LangNav के पुन: कार्यान्वयन शामिल हैं, में उच्चतम सफलता दर (46.08%) और सफलता भारित पाथ लेंथ (SPL 43.14) प्राप्त किया।
• फ्रेमवर्क ने बेहतर नेविगेशन दक्षता प्रदर्शित की, जिसने पुन: कार्यान्वित बेसलाइन्स की तुलना में नेविगेशन एरर (NE) को 1.4 अंक से अधिक कम कर दिया, जो स्थानिक तर्क के लिए शोर को फ़िल्टर करने और कार्य-प्रासंगिक संकेतों का लाभ उठाने की इसकी क्षमता को उजागर करता है।

5. महत्व और दावे

पेपर का दावा है कि PRISM धारणा और तर्क के बीच के अंतर को प्रभावी ढंग से पाटकर स्वायत्त एम्बोडीड एजेंटों की दिशा में एक महत्वपूर्ण कदम है। लेखक तर्क देते हैं कि:

• इंटरलीव्ड रीजनिंग आवश्यक है: DQA के माध्यम से धारणा और निर्णय-निर्माण का घनिष्ठ जुड़ाव स्टैंडअलोन VLMs की धारणात्मक सीमाओं की भरपाई करता है।
• प्रायर्स पर स्वायत्तता: फ्रेमवर्क यह सिद्ध करता है कि उच्च-प्रदर्शन वाले एम्बोडीड एजेंट बिना अवास्तविक, हस्तनिर्मित प्रश्नों या विशेषाधिकार प्राप्त टेक्स्टुअल वातावरण पर निर्भर हुए बनाए जा सकते हैं।
• मजबूती (Robustness): विधि विभिन्न VLM बैकबोन (Idefics2, Qwen3-VL) और कार्य डोमेन (मैनिपुलेशन और नेविगेशन) में मजबूत है।

लेखक निष्कर्ष निकालते हैं कि हालांकि उनका दृष्टिकोण व्याख्यात्मकता और स्वायत्तता में सुधार करता है, यह बड़े पैमाने के प्री-ट्रेंड मॉडल्स से विरासत में मिले पूर्वाग्रहों को भी प्राप्त करता है। भविष्य के कार्य को निर्णय लेने और भौतिक क्रिया के बीच के अंतर को पाटने के लिए इस इंटरलीव्ड क्षमताओं को लो-लेवल कंट्रोल सिस्टम, जैसे कि रोबोटिक्स के साथ एकीकृत करने के रूप में पहचाना गया है।