🤖 machine learning

When Does Reward Teach State? A Hidden-Automaton Instrument and the Group-Language Boundary

यह शोध पत्र सुदृढीकरण शिक्षण (रिनफोर्समेंट लर्निंग) में पुरस्कार अधिकतमकरण और वास्तविक गुप्त-अवस्था शिक्षण के बीच कड़ाई से अंतर करने के लिए एक व्हाइट-बॉक्स हिडन-ऑटोमेटन ढांचे को प्रस्तुत करता है, जो यह प्रकट करता है कि उच्च पुरस्कार कार्य की समझ की गारंटी नहीं देता है और अवस्था रिकवरी अंतराल कार्य संरचना, ऑप्टिमाइज़र की शक्ति और अवलोकन सूचनात्मकता के आधार पर पूर्वानुमेय होते हैं।

मूल लेखक: Jim Allchin

प्रकाशित 2026-07-15

📖 8 मिनट में पढ़ें🧠 गहराई से पढ़ें

CC BY 4.0

मूल लेखक: Jim Allchin

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

कल्पना कीजिए कि आप एक रोबोट को एक गुप्त भूलभुलैया (maze) में रास्ता खोजना सिखा रहे हैं। यदि वह निकास तक पहुँच जाता है, तो उसे अंत में एक छोटा सा सोने का सितारा मिलता है। यदि वह दीवार से टकराता है या गलत मोड़ लेता है, तो उसे कुछ नहीं मिलता।

अब, यहाँ बड़ा सवाल यह है: यदि रोबट को सोने का सितारा मिलता है, तो क्या वह वास्तव में भूलभुलैया के मानचित्र (map) को समझता है? या उसने बस एक भाग्यशाली शॉर्टकट को याद कर लिया है, जैसे "हमेशा लाल साइन पर बाएँ मुड़ें," बिना यह समझे कि इसके पीछे एक छिपा हुआ दरवाज़ा भी है?

लंबे समय तक, वैज्ञानिक इसका उत्तर नहीं दे सके। वे देख सकते थे कि रोबोट को सितारा मिला, लेकिन वे रोबोट के दिमाग के अंदर नहीं देख सकते थे कि वह मानचित्र के बारे में सोच रहा है या सिर्फ अनुमान लगा रहा है।

यह शोध पत्र इस रहस्य को सुलझाने के लिए एक विशेष, "व्हाइट-बॉक्स" भूलभुलैया बनाता है। शोधकर्ताओं ने एक छिपी हुई मशीन (जिसे DFA कहा जाता है) पर आधारित एक डिजिटल दुनिया बनाई जो वास्तविक पथ को जानती है। उन्होंने रोबोट को खेलने दिया, लेकिन उन्होंने एक गुप्त 'चीट शीट' भी रखी जो उन्हें बताती थी कि हर कदम पर रोबोट को वास्तव में कहाँ होना चाहिए। इसने उन्हें दो चीजों को अलग-अलग मापने की अनुमति दी:

क्या रोबोट को सितारा मिला? (पुरस्कार सफलता/Reward success)
क्या रोबोट वास्तव में जानता था कि वह कहाँ है? (लेटेंट स्टेट लर्निंग/Latent state learning)

बड़ी हैरानी: सितारा मिलने का मतलब यह नहीं कि आप मानचित्र जानते हैं

सबसे रोमांचक खोज यह है कि ये दोनों चीजें एक समान नहीं हैं। एक रोबोट उच्च स्कोर (बहुत सारे सोने के सितारे) प्राप्त कर सकता है जबकि उसे बिल्कुल भी अंदाजा नहीं होता कि वह भूलभुलैया में कहाँ है। यह उस छात्र की तरह है जो उत्तर कुंजी (answer key) को रटकर परीक्षा में 'A' ग्रेड प्राप्त करता है लेकिन गणित को समझने में विफल रहता है।

यह शोध पत्र सिद्ध करता है कि केवल इसलिए कि कोई एजेंट पुरस्कार पाने में "अच्छा" है, इसका मतलब यह नहीं है कि उसने कार्य को सीख लिया है। वह केवल एक भाग्यशाली लहर की सवारी कर रहा हो सकता है।

तीन बटन जो रोबोट के मस्तिष्क को नियंत्रित करते हैं

शोधकर्ताओं ने पाया कि रोबोट मानचित्र सीखता है या केवल शॉर्टकट, यह तीन विशिष्ट "बटन" (knobs) पर निर्भर करता है जिन्हें वे घुमा सकते हैं:

1. "मस्तिष्क शक्ति" बटन (ऑप्टिमाइज़र स्ट्रेंथ)
यदि आप एक कमजोर प्रशिक्षण पद्धति का उपयोग करते हैं (जैसे एक साधारण, अनाड़ी शिक्षक), तो रोबोट सितारा तो प्राप्त कर लेगा लेकिन मानचित्र नहीं सीख पाएगा। यह एक बच्चे को छड़ी के साथ रूबिक क्यूब हल करना सिखाने जैसा है; वे शायद भाग्यशाली हो सकते हैं, लेकिन वे पहेली को समझेंगे नहीं।
हालाँकि, यदि आप एक मजबूत, स्मार्ट प्रशिक्षण पद्धति (जैसे PPO) का उपयोग करते हैं, तो रोबोट वास्तव में मानचित्र सीखना शुरू कर देता है। लेकिन सबसे अच्छे शिक्षक के साथ भी, यह पूर्ण नहीं है। रोबोट मानचित्र का कुछ हिस्सा सीखता है, लेकिन फिर भी एक अंतर बना रहता है। शोध पत्र दिखाता है कि एक मजबूत शिक्षक के साथ, रोबोट का "मानचित्र ज्ञान" केवल आंशिक रूप से ही वापस आता है और विशिष्ट पहेली के आधार पर काफी भिन्न होता है, जो कि सैद्धांतिक अधिकतम (+0.48 या +0.60) की तुलना में अंतराल दिखाता है।

2. "पहेली का आकार" बटन (कार्य संरचना/Task Structure)
यह इस शोध पत्र की सबसे शानदार खोज है। कुछ भूलभुलैया इस तरह बनाई जाती हैं कि वे रोबोट के सीखने के लिए असंभव होती हैं, चाहे शिक्षक कितना भी स्मार्ट क्यों न हो।
शोधकर्ताओं ने पाया कि यदि भूलभुलैया एक विशिष्ट "ग्रुप" पैटर्न (गणितीय रूप से जिसे परम्यूटेशन ऑटोमेटन कहा जाता है) का पालन करती है, तो रोबोट एक दीवार से टकरा जाता है। यह एक ऐसी भूलभुलैया की तरह है जहाँ आपके द्वारा लिया गया हर मोड़ आपको बस गोल-गोल घुमाता है, जिससे आप कभी यह याद नहीं रख पाते कि आप कहाँ से शुरू हुए थे।

चेतावनी का संकेत: प्रशिक्षण शुरू करने से पहले ही, शोधकर्ता भूलभुलैया के ब्लूप्रिंट को देखकर कह सकते हैं, "चेतावनी! यह एक परम्यूटेशन भूलभुलैया है। रोबोट संभवतः मानचित्र के प्रति अंधा रहेगा।"
प्रमाण: उन्होंने इसका परीक्षण 153 बिल्कुल नई, रैंडम भूलभुलैया पर किया। जब भूलभुलैया का आकार इस "परम्यूटेशन" जैसा था, तो रोबोट मानचित्र सीखने में विफल रहा—86% बार (103 में से 89 मामले)। यह एक उच्च-सटीक चेतावनी लाइट है।
यह क्या नहीं है: यदि भूलभुलैया का यह आकार नहीं है, तो रोबोट अन्य कारणों से भी विफल हो सकता है, लेकिन यह अंधे होने की गारंटी नहीं है। यह आकार एक चेतावनी है, अन्य आकारों के लिए सुरक्षा की गारंटी नहीं।

3. "सुराग" बटन (अवलोकन सूचनात्मकता/Observation Informativeness)
कभी-कभी रोबोट इसलिए विफल होता है क्योंकि वह अंधे होकर उड़ रहा होता है। यदि रोबोट के पास इस बारे में कोई सुराग नहीं है कि वह कहाँ है, तो वह सीख नहीं सकता।
शोधकर्ताओं ने रोबोट को एक छोटा सा संकेत देकर (जैसे एक रंगीन बिंदु जो केवल 10% समय दिखाई देता है) इसका परीक्षण किया।

परिणाम: यदि रोबोट को कोई भी संकेत मिलता है (भले ही वह 0.10 की बहुत कम संभावना हो), तो सहायक कार्य अचानक पूरी तरह से प्रभावी हो जाता है, और रोबोट मानचित्र को पुनः प्राप्त कर लेता है।
कैच (Catch): यदि रोबोट को कोई संकेत नहीं मिलता (0% संभावना), तो एक सहायक कार्य जो अगले कदम का अनुमान लगाने की कोशिश करता है, वह बेकार है। यह किसी को यह पूछकर गाड़ी चलाना सिखाने जैसा है कि आगे वाली कार का रंग क्या है, जबकि वे सड़क देख ही नहीं सकते। रोबेक्ट उन अवलोकनों के अनुपात में स्थिति को पुनः प्राप्त करता है जो वास्तव में जानकारी प्रकट करते हैं।

विफलता के दो प्रकार: "अंधा" बनाम "अनजान"

यह शोध पत्र एक महत्वपूर्ण अंतर पेश करता है जिसे केवल यह विशेष परीक्षण वातावरण ही प्रकट कर सका:

धारणा का अंतर (The Perception Gap): रोबोट मानचित्र सीख सकता था (उसके पास मस्तिष्क शक्ति है), लेकिन वह नहीं सीखता। यह उस छात्र की तरह है जिसके पास पाठ्यपुस्तक है लेकिन वह उसे पढ़ने से इनकार कर देता है। यह उन ट्रिकी "परम्यूटेशन" भूलभुलैया के साथ होता है।
योजना का अंतर (The Planning Gap): रोबोट मानचित्र को पूरी तरह से जानता है लेकिन वह इसका उपयोग करके सितारा पाने का तरीका नहीं निकाल पाता। यह उस छात्र की तरह है जो गणित जानता है लेकिन उत्तर लिखने की कोशिश करते समय जम जाता है।

अधिकांश लोग केवल सोने के सितारे (पुरस्कार) को देखते हैं। वे सोचते हैं, "ओह, रोबोट विफल रहा, इसलिए उसने नहीं सीखा।" लेकिन यह शोध पत्र दिखाता है कि कभी-कभी रोबोट ने मानचित्र सीख लिया था, बस वह उसका उपयोग नहीं कर सका। इस विशेष परीक्षण के बिना, आप अंतर कभी नहीं जान पाते।

वास्तविक दुनिया की जाँच

शोधकर्ताओं ने केवल काल्पनिक भूलभुलैया नहीं बनाईं। उन्होंने वास्तविक कंप्यूटर कोड (जैसे चेकसम का उपयोग डेटा की जांच के लिए किया जाता है) और वास्तविक व्यावसायिक वर्कफ़्लो (जैसे ऋण आवेदन) को देखा।

वास्तविक कोड: उन्होंने पाया कि संख्याओं की जांच करने वाला कोड (जैसे "क्या यह 7 से विभाज्य है?") अक्सर उस ट्रिकी "परम्यूटेशन" आकार को रखता है। इसका अर्थ है कि वास्तविक दुनिया के AI एजेंट इन कार्यों के प्रति अंधे हो सकते हैं, ठीक हमारे रोबोट की तरह।
वास्तविक वर्कफ़्लो: उन्होंने 7 वास्तविक दुनिया के व्यावसायिक प्रक्रियाओं (जैसे बिलिंग या परमिट) को देखा। उनमें से किसी में भी वह ट्रिकी आकार नहीं था। वे सभी सीखने योग्य थे। यह सुझाव देता है कि हालांकि "अंधापन" की समस्या वास्तविक है, लेकिन यह रोज़मर्रा के व्यावसायिक लॉग में सबसे आम समस्या नहीं हो सकती है।

निष्कर्ष (The Takeaway)

शोध पत्र निष्कर्ष निकालता है कि हम केवल इसलिए AI पर भरोसा नहीं कर सकते क्योंकि वह अच्छे स्कोर प्राप्त करता है। हमें यह जांचना होगा कि क्या वह वास्तव में कार्य को समझता है।

अच्छी खबर: अब हमारे पास इसे जांचने के लिए एक उपकरण है। यदि हम किसी कार्य में "परम्यूटेशन" आकार देखते हैं, तो हमें सावधान रहना चाहिए।
समाधान: यदि कोई AI अंधा है, तो हम कार्य को अधिक दृश्यमान बनाकर (सुराग जोड़कर) या कार्य को बदलकर ताकि रोबोट अपनी प्रगति को "लॉक इन" कर सके (एक "होल्ड" बटन जोड़कर) इसे ठीक कर सकते हैं।
सीमा: शोध पत्र स्वीकार करता है कि हालांकि उन्होंने इन 153 नई भूलभुलैया और कुछ वास्तविक कोड में यह पैटर्न पाया है, लेकिन उन्होंने अभी तक बड़े, जटिल AI सिस्टम पर इनका परीक्षण नहीं किया है। वे अभी बड़े सिस्टमों का परीक्षण करने के लिए उपकरण बनाना शुरू कर रहे हैं।

संक्षेप में: उच्च पुरस्कार समझ को सिद्ध नहीं करते। कभी-कभी, AI केवल भाग्यशाली होता है। लेकिन सही उपकरणों के साथ, हम अंततः उसके इंजन के नीचे झाँक सकते हैं और देख सकते हैं कि वह वास्तव में गाड़ी चला रहा है या बस साथ में सवारी कर रहा है।

तकनीकी सारांश: रिवॉर्ड कब स्टेट सिखाता है? एक हिडन-ऑटोमेटन इंस्ट्रूमेंट और ग्रुप-लैंग्वेज बाउंड्री

1. समस्या विवरण (Problem Statement)

रीइन्फोर्समेंट लर्निंग (RL) एजेंट अक्सर उच्च रिवॉर्ड स्कोर प्राप्त कर लेते हैं, लेकिन इसका मतलब यह नहीं है कि उन्होंने कार्य के अंतर्निहित लेटेंट स्टेट (latent state) को सीखा है। इसके बजाय, वे "रिवॉर्ड-कोरिलेटेड शॉर्टकट्स" या ह्यूरिस्टिक्स सीख सकते हैं जो विशिष्ट ट्रेनिंग डिस्ट्रीबशन्स के तहत सफल होते हैं, लेकिन जब कार्य की संरचना बदलती है (जैसे कि लंबा होराइजन, शोर, या डिस्ट्रीब्यूशन शिफ्ट), तो वे विफल हो जाते हैं। इस घटना को गोल मिसजनरलाइजेशन (goal misgeneralization) कहा जाता है, जिसे डायग्नोज करना कठिन है क्योंकि मानक बेंचमार्क में कार्य का "वास्तविक स्टेट" आमतौर पर परिभाषित या अवलोकनीय नहीं होता है।

मुख्य प्रश्न जिसका समाधान किया गया है वह यह है: क्या एक उच्च-रिवॉर्ड वाला एजेंट कार्य के लेटेंट स्टेट का प्रतिनिधित्व करता है, या यह केवल एक शॉर्टकट का फायदा उठा रहा है? इसका उत्तर देने के लिए, यह शोध पत्र एक ऐसा ढांचा प्रस्तावित करता है जहाँ लेटेंट स्टेट एक सटीक रूप से ज्ञात, मापने योग्य वस्तु है, जो शोधकर्ताओं को "रिवॉर्ड सफलता" को "स्टेट लर्निंग" से अलग करने की अनुमति देता है।

2. कार्यप्रणाली: हिडन-ऑटोमेटन इंस्ट्रूमेंट (Methodology: The Hidden-Automaton Instrument)

लेखक पार्शियल कंट्रोल (Partial Control) के तहत हिडन डिटरमिनिस्टिक फाइनाइट ऑटोमेटा (DFAs) पर आधारित एक व्हाइट-बॉक्स प्रयोगात्मक उपकरण पेश करते हैं।

द एनवायरनमेंट (PartialControlDFAEnv)

कार्य की परिभाषा: कार्य को एक DFA $M = (Q, \Sigma, \delta, q_0, F)$ के रूप में परिभाषित किया गया है।
पार्शियल कंट्रोल: $T$ लंबाई के एक एपिसोड में, प्रत्येक स्टेप पर, एजेंट $p_{control}$ प्रायिकता के साथ अगला सिंबल चुनता है; अन्यथा, वातावरण सिंबल को यूनिफॉर्मली सैंपल करता है।
अवलोकन (Observations): एजेंट उत्सर्जित सिंबल स्ट्रीम, यह कि स्टेप कंट्रोलेबल था या नहीं, और शेष समय को देखता है। महत्वपूर्ण बात यह है कि एजेंट कभी भी छिपे हुए स्टेट $q_t$ को नहीं देखता है।
रिवॉर्ड: स्पार्स (sparse) और टर्मिनल। यदि अंतिम स्टेट $q_T \in F$ (एक्सेप्टिंग स्टेट) है, तो एजेंट को $r=1$ मिलता है, अन्यथा $0$ मिलता है।

द ओरैकल और प्रोब्स (The Oracle and Probes)

चूंकि ऑटोमेटन प्रयोगकर्ता के लिए ज्ञात है, इसलिए दो महत्वपूर्ण क्षमताएं मुफ्त में उपलब्ध हैं:

एक्ज़ैक्ट ओरैकल (Exact Oracle): अनुकूलतम प्राप्त रिटर्न $V(q, r)$ को बैकवर्ड इंडक्शन के माध्यम से कंप्यूट किया जाता है। यह कच्चे रिवॉर्ड को एक व्याख्या योग्य स्कोर (0.0 से 1.0) में सामान्य करने की अनुमति देता है जो विभिन्न कार्यों के बीच तुलनीय है।
एक्ज़ैक्ट लेटेंट स्टेट प्रोब (Exact Latent State Probe): प्रत्येक स्टेप पर वास्तविक स्टेट $q_t$ ज्ञात है। शोधकर्ता एजेंट के आंतरिक फीचर्स पर एक लीनियर क्लासिफायर फिट कर सकते हैं ताकि यह मापा जा सके कि एजेंट वास्तविक स्टेट को कितनी अच्छी तरह प्रदर्शित करता है (जिसे "प्रोब गैप" कहा जाता है)।

डायग्नोस्टिक एक्सिस (Diagnostic Axes)

यह इंस्ट्रूमेंट तीन नियंत्रणीय एक्सिस के साथ रिवॉर्ड सफलता और स्टेट लर्निंग के बीच के जुड़ाव को मापता है:

ऑप्टिमाइज़र स्ट्रेंथ (Optimizer Strength): कमजोर ऑप्टिमाइज़र (A2C) बनाम मजबूत ऑप्टिमाइज़र (PPO+GAE) की तुलना करना।
टास्क स्ट्रक्चर (Task Structure): विशेष रूप रूप से, क्या ऑटोमेटन में ग्रुप-लैंग्वेज (परम्यूटेशन) संरचना है, जहाँ प्रत्येक सिंबल सुलभ स्टेट्स पर एक बायजेक्शन (bijection) प्रेरित करता है (कोई स्टेट मर्जिंग नहीं)।
ऑब्जर्वेशन इन्फॉर्मेटिवनेस (Observation Informativeness): अवलोकन किस हद तक लेटेंट स्टेट को प्रकट करते हैं, जिसे $\beta$ (स्टेट कलरिंग) के माध्यम से नियंत्रित किया जाता है।

3. मुख्य योगदान (Key Contributions)

मापन पद्धति (Measurement Methodology): किसी भी FSM-एप्रोक्सिमेबल कार्य को हिडन पार्शियल-कंट्रोल DFA के रूप में व्यक्त करने की एक विधि। यह नॉर्मलाइजेशन के लिए एक सटीक ओरैकल, स्टेट प्रोबिंग के लिए एक सटीक लेटेंट स्टेट, और एक ऑफ-पॉलिसी सुपरवाइज्ड कैपेसिटी बाउंड प्रदान करता है।
बेंचमार्क इंस्टेंस (PartialControlDFAEnv): डायग्नोस्टिक ऑटोमेटा (जहाँ स्टेट ट्रैकिंग आवश्यक है) को साधारण ऑटोमेटा से अलग करने वाला एक वर्गीकरण।
ऑप्टिमाइज़र-डिपेंडेंट कपलिंग (Optimizer-Dependent Coupling): प्रमाण कि रिवॉर्ड और स्टेट लर्निंग के बीच का लिंक ऑप्टिमाइज़र की स्ट्रेंथ द्वारा नियंत्रित होता है। कमजोर ऑप्टिमाइज़र (A2C) अक्सर रिवॉर्ड प्राप्त करने के बावजूद लेटेंट स्टेट रिप्रेजेंटेशन स्थापित करने में विफल रहते हैं, जबकि मजबूत ऑप्टिमाइज़र (PPO) इस कपलिंग में सुधार करते हैं, हालांकि रिकवरी अक्सर आंशिक और हाई-वेरिएंस वाली होती है।
विफलता मोडों का अंतर (Distinction of Failure Modes): यह इंस्ट्रूमेंट निम्नलिखित के बीच अंतर करता है:
- परसेप्शन गैप (Perception Gap): एजेंट लेटेंट स्टेट को रिकवर नहीं कर सकता (प्रोब चांस लेवल पर है), भले ही वह रिप्रेजेंट करने योग्य हो।
- प्लानिंग गैप (Planning Gap): एजेंट स्टेट को प्रदर्शित करता है (हाई प्रोब स्कोर) लेकिन रिवॉर्ड मैक्सिमाइज करने में विफल रहता है।
स्ट्रक्चरल वार्निंग सिग्नल (Structural Warning Signal): परम्यूटेशन (ग्रुप-लैंग्वेज) संरचना को एक हाई-प्रिसिजन, प्री-ट्रेनिंग वार्निंग सिग्नल के रूप में पहचानना जो परसेप्शन गैप को दर्शाता है। यह ट्रांजिशन फंक्शन $\delta$ से ही कंप्यूट किया जा सकता है, जो किसी भी ट्रेनिंग से पहले संभव है।

4. मुख्य परिणाम (Key Results)

ऑप्टिमाइज़र स्ट्रेंथ और स्टेट रिकवरी

कमजोर ऑन-पॉलिसी RL (A2C) के तहत, सभी आर्किटेक्चर के लिए स्टेट प्रोब चांस लेवल पर रहता है, भले ही वे (जैसे GRUs) कार्य को हल करने की रिप्रेजेंटेशनल क्षमता रखते हों।
PPO+GAE में स्विच करने से रिवॉर्ड और स्टेट रिकवरी दोनों में काफी सुधार होता है। हालाँकि, रिकवरी अक्सर आंशिक होती है (जैसे, सुपरवाइज्ड कैपेसिटी सीलिंग ~0.48–0.60 के मुकाबले ~0.20 का प्रोब गैप) और इसमें सीड वेरिएंस अधिक होता है।
निष्कर्ष: स्पार्स रिवॉर्ड अकेले स्टेट लर्निंग की गारंटी देने के लिए पर्याप्त नहीं है; ऑप्टिमाइज़र स्ट्रेंथ रिवॉर्ड-स्टेट कपलिंग का प्रमुख चालक है।

द परसेप्शन गैप और ग्रुप लैंग्वेजेस

परम्यूटेशन ऑटोमेटा: ऐसे कार्य जहाँ ऑटोमेटन एक परम्यूटेशन (ग्रुप लैंग्वेज) है, एजेंट को बिना भूले स्टेट को "एकत्रित" करने की आवश्यकता होती है (नो स्टेट मर्जिंग)। ये कार्य स्पार्स-रिवॉर्ड RL के लिए काफी कठिन होते हैं।
प्रेडिक्टिव पावर: एक प्रेडिक्टर जो परम्यूटेशन स्ट्रक्चर और लो कंट्रोल लेवरेज (एजेंट स्टेट को कितना प्रभावित कर सकता है) के संयोजन पर आधारित है, इन-सैंपल कठिनाई को पूरी तरह से रैंक करता है।
हेल्ड-आउट वैलिडेशन: 153 नए रैंडम DFAs के हेल्ड-आउट सेट पर, परम्यूटेशन स्ट्रक्चर 0.86 प्रिसिजन के साथ परसेप्शन गैप की भविष्यवाणी करता है (103 में से 89 परम्यूटेशन ऑटोमेटा में यह गैप देखा गया)।
रियल-वर्ल्ड माइनिंग: लेखकों ने वास्तविक दुनिया के लॉजिक (चेकसम) और प्रोसेस लॉग्स से हिडन DFAs निकाले।
- वास्तविक चेकसम (जैसे 7 से विभाज्यता) ने परम्यूटेशन स्ट्रक्चर और परसेप्शन गैप प्रदर्शित किया।
- वास्तविक प्रोसेस लॉग्स (जैसे खरीद, क्लिनिकल वर्कफ़्लो) नॉन-परम्यूटेशन और लर्न करने योग्य थे, जो सुझाव देते हैं कि परसेप्शन गैप वास्तविक लॉजिक में मौजूद है लेकिन वर्कफ़्लो के लिए सार्वभौमिक मामला नहीं है।

ऑक्सिलरी सिग्नल्स और ऑब्जर्वेशन इन्फॉर्मेटिवनेस

लेबल-फ्री ऑक्सिलरीज (Label-Free Auxiliaries): यदि ऑब्जर्वेशन में स्टेट की कोई जानकारी नहीं है ( $\beta=0$ ), तो अगले उत्सर्जित सिंबल की भविष्यवाणी करना निरर्थक है। हालाँकि, जैसे ही ऑब्जर्वेशन में कोई भी स्टेट जानकारी मिलती है ( $\beta \ge 0.10$ ), एक लेबल-फ्री ऑक्सिलरी लेटेंट स्टेट को रिकवर करती है और रिवॉर्ड परफॉरमेंस को बचा लेती है।
प्रिविलेज्ड ऑक्सिलरीज (Privileged Auxiliaries): बेस लर्नर (PPO) के रूप में वास्तविक स्टेट को ऑक्सिलरी के रूप में प्रदान करना तब लगभग निष्प्रभावी होता है जब बेस लर्नर पहले से ही स्टेट रिकवर कर लेता है, लेकिन यह तब महत्वपूर्ण लाभ प्रदान करता है जब बेस लर्नर विफल हो जाता है (कमजोर ऑप्टिमाइज़र या उच्च जटिलता)।

प्लानिंग बनाम परसेप्शन गैप

अध्ययन एक महत्वपूर्ण अंतर की पहचान करता है जो रिवॉर्ड-ओनली इवैल्यूएशन में अदृश्य है:

प्लानिंग गैप: एक एजेंट (जैसे, ends_with_1000 पर) का हाई स्टेट प्रोब स्कोर है लेकिन लो रिवॉर्ड है, जो दर्शाता है कि वह स्टेट को जानता है लेकिन उस पर कार्य नहीं कर पा रहा है।
परसेप्शन गैप: एक एजेंट (जैसे, mined_ean पर) का लो रिवॉर्ड और चांस-लेवल प्रोब है, जो दर्शाता है कि उसने कभी स्टेट को सीखा ही नहीं।
व्यवहार संबंधी मेट्रिक्स (रिवॉर्ड गैप्स) रिकवरेबल स्टेट के साथ लगभग uncorrelated हैं, जो यह सिद्ध करता है कि उच्च रिवॉर्ड कार्य की समझ का संकेत नहीं है।

5. महत्व और दावे (Significance and Claims)

शोध पत्र का दावा है कि रिवॉर्ड सफलता कार्य की समझ का प्रमाण नहीं है। एक एजेंट (या एक सस्ते ऑक्सिलरी) की लेटेंट स्टेट को रिकवर करने की क्षमता, ऑटोमेटन की संरचना के आधार पर पहले से अनुमानित की जा सकती है।

"परसेप्शन गैप": पेपर स्थापित करता है कि परम्यूटेशन (ग्रुप-लैंग्वेज) ऑटोमेटा के लिए, स्पार्स-रिवॉर्ड RL अक्सर लेटेंट स्टेट रिप्रेजेंटेशन को स्थापित करने में विफल रहता है, भले ही आर्किटेक्चर में इसकी क्षमता हो। यह एक "परसेप्शन गैप" है जो नॉन-मर्जिंग स्टेट स्पेस में क्रेडिट-असाइनमेंट की कठिनाइयों से प्रेरित है।
"प्लानिंग गैप": इसके विपरीत, एजेंट स्टेट सीख सकते हैं लेकिन उसका उपयोग करने में विफल हो सकते हैं, जो एक अलग विफलता मोड है।
एक्शनबल ऑडिट (Actionable Audit): मुख्य योगदान स्वयं इंस्ट्रूमेंट है। यह शोधकर्ताओं को किसी भी एजेंट कार्य को हिडन FSM में बदलकर ऑडिट करने की अनुमति देता है, जो एक सटीक ओरैकल और स्टेट प्रोब प्रदान करता है। यह एक "व्हाइट-बॉक्स" ऑडिट को सक्षम बनाता है कि क्या एजेंट ने कार्य सीखा है या केवल एक शॉर्टकट का उपयोग किया है।
कॉज़ल फिक्सेस (Causal Fixes): पेपर दिखाता है कि लेटेंट स्टेट को ऑब्जर्वेबल बनाकर (स्टेट-रिवीलिंग एमिशन जोड़कर) या लैचबल बनाकर (कंट्रोलेबल होल्ड एक्शन जोड़कर) परसेप्शन गैप को कॉज़ली क्लोज किया जा सकता है, बिना किसी परफेक्ट अ-प्रायोरी प्रेडिक्टर की आवश्यकता के।

लेखक नोट करते हैं कि हालांकि स्ट्रक्चरल प्रेडिक्टर परसेप्शन गैप के लिए हाई-प्रिसिजन है, लेकिन यह नॉन-ग्रुप कार्यों के लिए सुरक्षा की गारंटी नहीं है (जो विषम/heterogeneous हैं)। इसके अलावा, वर्तमान निष्कर्ष छोटे सिंथेटिक ऑटोमेटा और LLM एजेंट्स के प्रारंभिक पोर्ट तक सीमित हैं, जिन्होंने एक्सिस को तो दोहराया लेकिन अभी तक बड़े पैमाने पर क्लीन परसेप्शन गैप उत्पन्न नहीं किया है। यह इंस्ट्रूमेंट स्टेटफुल एजेंट विश्वसनीयता की आगे की जांच को सुगम बनाने के लिए जारी किया गया है।