ENCP: Episode-Normalized Conformal Prediction for Vision-and-Language Navigation

तकनीकी सारांश: विजन-एंड-लैंग्वेज नेविगेशन के लिए एपिसोड-नॉर्मलाइज्ड कॉन्फॉर्मल प्रेडिक्शन (ENCP)

1. समस्या विवरण (Problem Statement)

विजन-एंड-लैंग्वेज नेविगेशन (VLN) एम्बॉडीड एजेंटों को प्राकृतिक भाषा निर्देशों का उपयोग करके भौतिक वातावरण में नेविगेट करने में सक्षम बनाता है। इन एजेंटों को सुरक्षित रूप से तैनात करने में एक महत्वपूर्ण चुनौती अनिश्चितता अनुमान (uncertainty estimation) है। अनुक्रमिक नेविगेशन (sequential navigation) संचयी त्रुटियों (compounding errors) के प्रति संवेदनशील है; एक गलत क्रिया एजेंट की स्थिति और उसके बाद के अवलोकनों को बदल देती है, जिससे संभावित रूप से कार्य विफल हो सकता है या भौतिक टकराव हो सकता है।

जबकि आधुनिक VLN नीतियां उच्च सफलता दर प्राप्त करती हैं, मानक विश्वास मेट्रिक्स (जैसे, सॉफ्टमैक्स प्रोबेबिलिटी) अक्सर अनकैलिब्रेटेड और अत्यधिक आत्मविश्वासी (overconfident) होते हैं, विशेष रूप से जब तैनाती के वातावरण प्रशिक्षण डेटा से भिन्न होते हैं। मौजूदा स्व-निगरानी तंत्र औपचारिक गारंटी के बजाय अनुभवजन्य ह्यूरिस्टिक्स (empirical heuristics) पर निर्भर करते हैं।

कॉन्फॉर्मल प्रेडिक्शन (CP) एक सांख्यिकीय ढांचा प्रदान करता है जो गारंटीकृत कवरेज के साथ प्रेडिक्शन सेट उत्पन्न करता है (अर्थात, सेट में संभाव्यता $1-\alpha$ के साथ ग्राउंड-ट्रुथ एक्शन शामिल होता है)। हालाँकि, मानक CP विनिमय योग्य (exchangeable) डेटा बिंदुओं की धारणा रखता है। VLN में, यह धारणा विफल हो जाती है क्योंकि:

1. स्टेप डिपेंडेंस (Step Dependence): साझा इतिहास और भविष्य के अवलोकनों पर कारण प्रभाव के कारण एक ही एपिसोड के भीतर की क्रियाएं सांख्यिकीय रूप से निर्भर होती हैं।
2. परिवर्तनीय लंबाई (Variable Length): एपिसोड की लंबाई अलग-अलग होती है।
3. स्टेप-पूलड कैलिब्रेशन की विफलता (Failure of Step-Pooled Calibration): व्यक्तिगत स्टेप्स (जिन्हें एपिसोड्स में पूल किया गया है) पर मानक CP लागू करने से यह गारंटी नहीं मिलती कि रूट के प्रत्येक स्टेप पर सही क्रिया शामिल होगी। यह अक्सर अंडरकवर (undercover) होता है, जिसका अर्थ है कि वास्तविक त्रुटि दर लक्षित जोखिम स्तर $\alpha$ से अधिक हो जाती है।

2. कार्यप्रणाली: एपिसोड-नॉर्मलाइज्ड कॉन्फॉर्मल प्रेडिक्शन (ENCP)

लेखक ENCP प्रस्तावित करते हैं, जो एक पोस्ट-ट्रेनिंग फ्रेमवर्क है जो अंतर्निहित नेविगेशन पॉलिसी को अपरिवर्तित छोड़ देता है। ENCP निर्भरता और परिवर्तनशील लंबाई की समस्याओं को संबोधित करने के लिए कैलिब्रेशन यूनिट को व्यक्तिगत स्टेप से बदलकर पूर्ण एपिसोड में स्थानांतरित कर देता है।

मुख्य तंत्र (Core Mechanisms):

1. एपिसोड-स्तरीय कैलिब्रेशन (Episode-Level Calibration): व्यक्तिगत स्टेप्स के पूल पर कैलिब्रेट करने के बजाय, ENCP एक एकल एपिसोड के भीतर सभी स्टेप्स के नॉन-कन्फॉर्मिटी स्कोर को एक एकल स्केलर मान में एकत्रित करता है। विशेष रूप से, यह पूरे एपिसोड में अधिकतम (maximum) नॉर्मलाइज्ड नॉन-कन्फॉर्मिटी स्कोर की गणना करता है। यह एकल मान उस पूरे प्रक्षेपवक्र (trajectory) के लिए "सबसे खराब स्थिति" के विचलन का प्रतिनिधित्व करता है।
2. कॉन्फिडेंस-एडजस्टेड स्कोर नॉर्मलाइजेशन (Confidence-Adjusted Score Normalization): विभिन्न स्टेप्स में पॉलिसी कॉन्फिडेंस को संभालने के लिए, ENCP बेस नॉन-कन्फॉर्मिटी स्कोर ($s_{base}$) को पॉलिसी के रेसिडुअल कॉन्फिडेंस द्वारा पुनर्गठित (rescale) करता है।
   • पैरामीटर-फ्री वेरिएंट (Parameter-free variant): एक निश्चित भार $w(x_t) = 1 - p_{max}(x_t)$ का उपयोग करता है, जहाँ $p_{max}$ पॉलिसी द्वारा असाइन की गई उच्चतम प्रायिकता है। नॉर्मलाइज्ड स्कोर है:
     $$s_{norm}(x_t, a) = \frac{s_{base}(x_t, a)}{1 + (1 - p_{max}(x_t))} = \frac{s_{base}(x_t, a)}{2 - p_{max}(x_t)}$$
   • लर्निंग-आधारित वेरिएंट (Learning-based variant): एंट्रॉपी, प्रोबेबिलिटी गैप और स्टेप इंडेक्स जैसे फीचर्स के आधार पर वेट्स (weights) की भविष्यवाणी करने के लिए एक न्यूरल नेटवर्क का उपयोग करता है, जिसे उन स्टेप्स की पहचान करने के लिए प्रशिक्षित किया जाता है जहाँ पॉलिसी आत्मविश्वासी है लेकिन गलत है।
3. प्रेडिक्शन सेट जनरेशन (Prediction Set Generation):
   • एक कॉन्फॉर्मल थ्रेशोल्ड $\hat{q}(\alpha)$ को कैलिब्रेशन सेट पर एपिसोड-स्तरीय अधिकतम स्कोर के वितरण से निकाला जाता है।
   • टेस्ट टाइम पर, प्रत्येक स्टेप $t$ के लिए, प्रेडिक्शन सेट $C_\alpha(x_t)$ में वे सभी क्रियाएं शामिल होती हैं जहाँ $s_{norm}(x_t, a) \le \hat{q}(\alpha)$ है।
   • एक्ट-ऑर-आस्क नियम (Act-or-Ask Rule): यदि प्रेडिक्शन सेट का आकार $|C_\alpha(x_t)|$ उपयोगकर्ता-निर्धारित बजट $\tau$ से अधिक हो जाता है, तो एजेंट मानवीय सहायता मांगता है (या सिम्युलेटर को कार्य सौंप देता है)। अन्यथा, यह स्वायत्त रूप से आगे बढ़ता है।

सैद्धांतिक गारंटी (Theoretical Guarantee):
इस धारणा के तहत कि कैलिब्रेशन और टेस्ट एपिसोड विनिमय योग्य (exchangeable) हैं (उदाहरण के लिए, एक ही वितरण से खींचे गए), ENCP यह गारंटी देता है कि एक टेस्ट एपिसोड के प्रत्येक स्टेप में ग्राउंड-ट्रुथ एक्शन कम से कम $1-\alpha$ की संभाव्यता के साथ प्रेडिक्शन सेट में शामिल होगा। यह सिमल्टेनियस ट्रैजेक्टरी कवरेज (simultaneous trajectory coverage) प्रदान करता है, जो स्टेप-वाइज कवरेज की तुलना में एक मजबूत गारंटी है।

3. मुख्य योगदान (Key Contributions)

1. मानक CP की विफलता की पहचान: पेपर यह प्रदर्शित करता है कि इंट्रा-एपिसोड डिपेंडेंसी के कारण VLN में मानक स्टेप-पूलड कॉन्फॉर्मल प्रेडिक्शन कवरेज गारंटी को पूरा करने में विफल रहता है, जिससे अक्सर गंभीर अंडरकवरेज होता है।
2. ENCP का विकास: लेखक एक एपिसोड-स्तरीय कैलिब्रेशन विधि पेश करते हैं जो स्कोर को पॉलिसी कॉन्फिडेंस द्वारा रीस्केल करती है और उन्हें मैक्सिमम ऑपरेटर के माध्यम से एकत्रित करती है। यह निर्माण पूरे प्रक्षेपवक्र पर सिमल्टेनियस कवरेज सुनिश्चित करता है।
3. अनुभवजन्य सत्यापन (Empirical Validation): इसे दो डेटासेट्स (R2R और REVERIE) पर चार VLVL पॉलिसियों (DUET, HAMT, R-prev, R-osc) पर मूल्यांकित किया गया है। अध्ययन में शामिल हैं:
   • सीन-टू-अनसीन स्प्लिट्स पर स्टेप-कवरेज लक्ष्यों का सत्यापन।
   • पैरामीटर-फ्री और लर्निंग-आधारित वेटिंग स्कीम्स के बीच तुलना।
   • एक सिम्युलेटेड हेल्प-सीकिंग प्रयोग जो यह दर्शाता है कि कैसे प्रेडिक्शन सेट का आकार मानवीय हस्तक्षेप को ट्रिगर कर सकता है ताकि सफलता दर में सुधार हो सके।

4. परिणाम (Results)

• कवरेज लक्ष्य (Coverage Targets): R2R और REVERIE के val-unseen स्प्लिट्स पर सभी परीक्षण की गई पॉलिसियों और नॉन-कन्फॉर्मिटी स्कोर (THR, APS, RAPS) के लिए, ENCP ने विनिमय योग्य स्प्लिट्स के तहत सफलतापूर्वक अनुभवजन्य स्टेप-कवरेज लक्ष्यों को पूरा किया (उदाहरण के लिए, $\alpha=0.10$ के लिए $\ge 90\%$ कवरेज प्राप्त करना)। इसके विपरीत, मानक स्प्लिट CP लगातार अंडरकवर रहा।
• डिस्ट्रीब्यूशन शिफ्ट (Distribution Shift): पेपर स्पष्ट रूप से नोट करता है कि जबकि ENCP विनिमय योग्य स्प्लिट्स के तहत लक्ष्यों को पूरा करता है, "सीन-टू-अनसीन" सेटिंग में कवरेज गिर जाता है (जहाँ कैलिब्रेशन देखी गई इमारतों पर होता है और टेस्टिंग अनदेखी इमारतों पर होती है)। इस परिदृश्य में, एपिसोड विनिमयशीलता (exchangeability) का अनुमान नहीं लगाया जाता है, और औपचारिक कवरेज गारंटी सख्ती से लागू नहीं होती है, हालांकि ENCP मानक CP से बेहतर प्रदर्शन करता है।
• वेटिंग वेरिएंट्स (Weighting Variants): पैरामीटर-फ्री वेटिंग स्कीम ($1-p_{max}$ का उपयोग करके) ने लर्निंग-आधारित वेरिएंट के समान कवरेज प्राप्त किया लेकिन इसके परिणामस्वरूप छोटे प्रेडिक्शन सेट्स मिले और इसके लिए किसी अतिरिक्त मॉडल फिटिंग की आवश्यकता नहीं थी।
• हेल्प-सीकिंग यूटिलिटी (Help-Seeking Utility): एक सिमुलेशन में जहाँ एजेंट तब एक ग्राउंड-ट्रुथ "ओरेकल" को कार्य सौंप देता है जब प्रेडिक्शन सेट का आकार एक थ्रेशोल्ड $\tau$ से अधिक हो जाता है, सफलता दर में काफी सुधार हुआ। उदाहरण के लिए, DUET मॉडल पर, अधिक प्रश्नों को ट्रिगर करने के लिए थ्रेशोल्ड को कम करने से सफलता दर 71.2% (कोई सहायता नहीं) से बढ़कर 98.8% (प्रत्येक नॉन-सिंगलटन सेट पर क्वेरी करना) हो गई, हालांकि इसमें "आस्क रेट" अधिक था।

5. महत्व और दावे (Significance and Claims)

पेपर का दावा है कि ENCP, VLN में अनिश्चितता मात्रा निर्धारण (uncertainty quantification) के लिए एक मॉडल-अग्नोस्टिक (model-agnostic) विधि प्रदान करता है जो निर्भर, परिवर्तनशील-लंबाई वाले प्रक्षेपपथों (trajectories) पर औपचारिक, परिमित-नमूना (finite-sample) कवरेज गारंटी देता है।

• सुरक्षा और विश्वसनीयता: एक सांख्यिकीय रूप से वैध प्रेडिक्शन सेट प्रदान करके, ENCP एजेंटों को त्रुटियां बढ़ने से पहले अविश्वसनीय स्टेप्स की पहचान करने और मानवीय सहायता के लिए अनुरोध करने की अनुमति देता है, जो एक महत्वपूर्ण सुरक्षा अंतराल को संबोधित करता है।
• व्यावहारिक तैनाती: प्रेडिक्शन सेट का आकार हस्तक्षेप के लिए एक व्यावहारिक संकेत के रूप में कार्य करता है। लेखक तर्क देते हैं कि यह स्वायत्तता और सुरक्षा के बीच एक ट्यूनेबल ट्रेड-ऑफ की अनुमति देता है, जिससे एजेंटों को "यह जानने में सक्षम बनाया जाता है कि वे कब नहीं जानते।"
• सीमाएं (Limitations): लेखक विनम्रतापूर्वक नोट करते हैं कि क्लोज्ड-लूप मूल्यांकन मानव ऑपरेटरों के बजाय एक सिम्युलेटेड ओरेकल पर निर्भर करता है। इसके अलावा, विधि एक परिमित एक्शन स्पेस की धारणा लेती है, और कवरेज गारंटी एपिसोड वितरण पर मार्जिनल है, जिसका अर्थ है कि महत्वपूर्ण वितरण बदलावों (जैसे, अनदेखी इमारतें) के तहत बिना पुन: अंशांकन (recalibration) के यह पूरी तरह से लागू नहीं हो सकती है, जैसा कि सीन-टू-अनसीन सेटिंग में देखे गए कवरेज ड्रॉप से सिद्ध होता है।

संक्षेप में, ENCP, VLN की व्यावहारिक, अनुक्रमिक प्रकृति और सैद्धांतिक अनिश्चितता गारंटी के बीच के अंतर को पाटता है, जो सुरक्षित एजेंट तैनाती के लिए एक मजबूत तंत्र प्रदान करता है।