🤖 machine learning

Operator-on-F complements value-equivalence: a planning-time diagnostic for latent world models

यह शोध पत्र "ऑपरेटर-ऑन-एफ" (operator-on-F) को प्रस्तुत करता है, जो एक प्लानिंग-टाइम डायग्नोस्टिक है जो पारंपरिक वैल्यू-इक्विवेलेंस चेक्स के पूरक के रूप में कार्य करता है, जो प्रभावी ढंग से लेटेंट वर्ल्ड मॉडल त्रुटियों की पहचान करता है और प्लानिंग परफॉरमेंस डिग्रेडेशन की भविष्यवाणी करता है, जिसे मानक रिवॉर्ड-प्रेडिक्शन मेट्रिक्स अक्सर पहचानने में विफल रहते हैं।

मूल लेखक: Donna Vakalis

प्रकाशित 2026-07-16

📖 8 मिनट में पढ़ें🧠 गहराई से पढ़ें

CC BY 4.0

मूल लेखक: Donna Vakalis

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

कल्पना कीजिए कि आप एक रोबोट को वीडियो गेम खेलना सिखा रहे हैं। आप नहीं चाहते कि रोबोट केवल स्कोर को याद कर ले; आप चाहते हैं कि वह वास्तव में खेल की दुनिया कैसे काम करती है, इसे समझे। आर्टिफिशियल इंटेलिजेंस के क्षेत्र में, इसे "मॉडल-बेस्ड रिइन्फोर्समेंट लर्निंग" कहा जाता है। रोबट एक "वर्ल्ड मॉडल" बनाता है—उसके मस्तिष्क के भीतर एक मानसिक सिमुलेशन जहाँ वह वास्तविक गेम को छुए बिना इधर-उधर घूमने, कूदने और बाधाओं से बचने का अभ्यास कर सकता है।

लंबे समय तक, वैज्ञानिकों के पास यह जाँचने का एक सरल तरीका था कि यह मानसिक सिमुलेशन कितना अच्छा है: वे पूछते हैं, "क्या रोबोट स्कोर (रिवॉर्ड) की सही भविष्यवाणी करता है?" यदि रोबोट सोचता है कि कूदने पर उसे एक अंक मिलेगा, और उसे मिल जाता है, तो हम मान लेते हैं कि रोबोट खेल को समझ गया है। इस विचार को "वैल्यू इक्विवेलेंस" कहा जाता है। यह एक मौसम भविष्यवक्ता को केवल यह पूछकर जाँचने जैसा है कि, "क्या आपने तापमान का सही अनुमान लगाया?" यदि तापमान सही था, तो हम मान लेते हैं कि भविष्यवक्ता हवा, बादलों और दबाव प्रणालियों को भी समझ गया है। लेकिन क्या होगा यदि भविष्यवक्ता ने भाग्य से तापमान का सही अनुमान लगा लिया हो, जबकि हवा की दिशा का अनुमान पूरी तरह से गलत रहा हो? रोबोट को लग सकता है कि वह जीत जाएगा, लेकिन जब वह कूदने की कोशिश करेगा, तो वह नक्शे से नीचे गिर सकता है क्योंकि उसके फिजिक्स (भौतिकी) का मानसिक मॉडल टूटा हुआ है, भले ही उसका स्कोर का अनुमान ठीक दिख रहा हो।

यह शोध पत्र रोबोट के मस्तिष्क की जाँच करने का एक नया, अधिक सावधानीपूर्ण तरीका पेश करता है। लेखक, डोना वैकालिस और उनके सहयोगियों ने "ऑपरेटर-ऑन-एफ" (operator-on-F) नामक एक डायग्नोस्टिक टूल प्रस्तावित किया है। केवल अंतिम स्कोर की जाँच करने के बजाय, यह टूल यह देखता है कि रोबोट का अगले कदम का मानसिक सिमुलेशन वास्तविकता से मेल खाता है या नहीं। कल्पना कीजिए कि आपके पास एक जादुई क्रिस्टल बॉल है जो दिखाती है कि पाँच सेकंड में दुनिया कैसी दिखेगी। पुराना तरीका यह देखता है कि क्या क्रिस्टल बॉल उन पाँच सेकंड के अंत में सही स्कोर की भविष्यवाणी करती है। नया तरीका यह देखता है कि क्रिस्टल बॉल की दुनिया की तस्वीर हर क्षण वास्तविक दुनिया जैसी दिखती है या नहीं। उन्होंने इसे एक प्रसिद्ध एआई मॉडल TD-MPC2 पर परीक्षण किया, जिसे एक आभासी चीता (virtual cheetah) चलाने के लिए प्रशिक्षित किया गया था। उन्होंने पाया कि जबकि पुराना तरीका कहता था कि मॉडल ठीक काम कर रहा है, नए तरीके ने एक बड़ी समस्या को पकड़ लिया, जिससे पता चला कि इसके सबसे बड़े संस्करण में मानसिक सिमुलेशन ढह गया था, भले ही वह अभी भी स्कोर का सही अनुमान लगा रहा था।

धोखेबाज चीते की कहानी

आइए प्रयोग में उतरते हैं। शोधकर्ताओं ने एक शक्तिशाली एआई मॉडल लिया जिसे एक आभासी चीते को यथासंभव तेज़ चलाने के लिए प्रशिक्षित किया गया था। उन्होंने इस मॉडल के पाँच अलग-अलग संस्करणों का परीक्षण किया, जो 1 मिलियन "न्यूरॉन्स" (पैरामीटर्स) वाले एक छोटे मॉडल से लेकर 317 मिलियन वाले एक विशाल मॉडल तक थे।

उन्होंने पहले एक मानक जाँच चलाई: "मॉडल रिवॉर्ड की कितनी अच्छी भविष्यवाणी करता है?" परिणाम आश्चर्यजनक रूप से उबाऊ थे। हर एक मॉडल, छोटे से लेकर विशाल तक, रिवॉर्ड की भविष्यवाणी लगभग समान मामूली त्रुटि के साथ करता था। त्रुटि 0.028 और 0.091 के एक बहुत ही संकीर्ण दायरे में रही। यह पाँच छात्रों द्वारा गणित की परीक्षा देने जैसा था, और उन सभी का स्कोर 97% और 99% के बीच था। इसके आधार पर, आप सोच सकते थे कि वे सभी समान रूप से प्रतिभाशाली हैं।

लेकिन फिर, शोधकर्ताओं ने अपना नया "ऑपरेटर-ऑन-एफ" टेस्ट लागू किया। इस टेस्ट ने केवल अंतिम स्कोर को नहीं देखा; इसने चलते समय रोबोट के दुनिया के आंतरिक मानचित्र को देखा। उन्होंने पूछा: "यदि रोबोट सोचता है कि वह 5 कदमों के बाद स्थिति X में होगा, तो क्या वह वास्तव में स्थिति X में है?"

परिणाम चौंकाने वाले थे। जबकि रिवॉर्ड भविष्यवाणियाँ सभी समान थीं, "ऑपरेटर एरर" (मानसिक मानचित्र कितना गलत था) बहुत अधिक भिन्न था।

छोटे मॉडल्स में कम त्रुटि थी, जो 0.28 से 0.36 के बीच थी। उनके मानसिक मानचित्र काफी हद तक ठीक थे।
लेकिन विशाल 317M मॉडल? इसकी त्रुटि आसमान छूकर 2.62 तक पहुँच गई। यह अन्य मॉडल्स की तुलना में एक ऑर्डर ऑफ मैग्नीट्यूड (दशगुणा) बदतर था।

यहाँ मोड़ यह है: टूटा हुआ मानसिक मानचित्र (त्रुटि 2.62) वाला विशाल मॉडल वास्तव में गेम में क्रैश हो गया। इसका प्रदर्शन (रिटर्न) गिरकर एक भयानक 0.9 पर आ गया। वहीं दूसरी ओर, बेहतर मानसिक मानचित्र वाले छोटे मॉडल्स बहुत तेज़ी से दौड़ रहे थे। फिर भी, यदि आपने केवल रिवॉर्ड भविष्यवाणी को देखा होता, तो आप इस आपदा को पूरी तरह से मिस कर देते। विशाल मॉडल के लिए रिवॉर्ड एरर अभी भी केवल 0.091 था, जो उस छोटे, भ्रामक दायरे में ही बैठा था जिसमें अन्य मॉडल्स थे।

शोधकर्ताओं ने इस नए एरर मेट्रिक और रोबोट के खेलने की क्षमता के बीच एक बहुत मजबूत संबंध पाया। ऑपरेटर एरर और रोबलेट की विफलता के बीच सहसंबंध (correlation) -0.90 था। इसका मतलब है कि जैसे-जैसे मानसिक मानचित्र खराब होता गया, रोबोट का प्रदर्शन भी लगभग उसी तालमेल के साथ खराब होता गया। इसके विपरीत, पुराने रिवॉर्ड-प्रेडिक्शन चेक का रोबोट की वास्तविक सफलता के साथ लगभग कोई संबंध नहीं था (सहसंबंध केवल -0.30 था)।

पुराना चेक क्यों विफल हुआ

पेपर का तर्क है कि जाँच करने का पुराना तरीका (वैल्यू इक्क्विवेलेंस) चीजों के गलत होने पर "मौन" रह सकता है। यह एक कार मैकेनिक की तरह है जो केवल यह जाँचता है कि रेडियो काम कर रहा है या नहीं। यदि इंजन फटने वाला है, तो भी रेडियो शायद बिल्कुल ठीक चल रहा होगा। मैकेनिक कहता है, "सब कुछ बढ़िया है!" जबकि कार में आग लगी हुई है।

इस अध्ययन में, "रेडियो" रिवॉर्ड भविष्यवाणी थी। "इंजन" दुनिया के भौतिकी (physics) को सिम्युलेट करने की मॉडल की क्षमता थी। 317M मॉडल का रेडियो तो काम कर रहा था लेकिन इंजन टूटा हुआ था। नया "ऑपरेटर-ऑन-एफ" टेस्ट एक ऐसे मैकेनिक की तरह था जिसने बोनट खोला और सीधे इंजन की जाँच की।

शोधकर्ताओं ने इस नए टेस्ट की तुलना "बेलमैन रेसिडुअल" (Bellman residual) नामक एक अन्य सामान्य मेट्रिक से भी की। उन्होंने पाया कि नया टेस्ट बेलमैन रेसिडुअल से असहमत था। वास्तव में, बेलमैन रेसिडुअल अननॉर्मलाइज्ड रिवॉर्ड एरर के इतना समान था कि वह मॉडल्स के बीच अंतर करने में भी मदद नहीं कर सका। केवल नया टेस्ट ही यह बता सका कि कौन सा मॉडल वास्तव में अच्छा था और कौन सा केवल अपने स्कोर अनुमानों के साथ भाग्यशाली था।

विभिन्न आर्किटेक्चर पर परीक्षण

यह सुनिश्चित करने के लिए कि यह केवल एक विशिष्ट प्रकार के एआई के साथ कोई इत्तेफाक नहीं है, शोधकर्ताओं ने LeWM नामक एक पूरी तरह से अलग प्रकार के मॉडल पर इस पद्धति का परीक्षण किया, जो बिना यह बताए सीखता है कि स्कोर क्या है (एक "प्योर-SSL" मॉडल)। उन्होंने इसकी तुलना एक मानक सिंगल-टास्क TD-MPC2 मॉडल से की।

परिणाम स्पष्ट और अलग थे। नए LeWM मॉडल का ऑपरेटर एरर 0.384 ± 0.009 था, जबकि मानक मॉडल का एरर 0.840 था। अंतर इतना बड़ा था कि उनके कॉन्फिडेंस इंटरवल (वह सीमा जहाँ वास्तविक मान होने की संभावना है) आपस में मिलते तक नहीं। यह सुझाव देता है कि नया डायग्नोस्टिक टूल अलग-अलग प्रकार के एआई दिमागों पर भी काम करता है, न कि केवल उसी पर जिससे उन्होंने शुरुआत की थी।

मुख्य निष्कर्ष

यह पेपर यह दावा नहीं करता कि पुराने तरीके बेकार हैं या नया तरीका सब कुछ हल कर देने वाला कोई जादुई हथियार है। इसके बजाय, यह सुझाव देता है कि केवल रिवॉर्ड भविष्यवाणी पर निर्भर रहना खतरनाक है। यह एक शेफ को केवल मिठाई के स्वाद से आंकने जैसा है, यह नजरअंदाज करते हुए कि उसने मुख्य व्यंजन जला दिया होगा।

लेखक निष्कर्ष निकालते हैं कि हमें दोनों जाँचों का उपयोग करना चाहिए: पुराना रिवॉर्ड चेक और नया "ऑपरेटर-ऑन-एफ" चेक। नया चेक एक सुरक्षा जाल (safety net) के रूप में कार्य करता है, जो मॉडल की दुनिया की समझ में आने वाली उन विफलताओं को पकड़ लेता है जिन्हें पुराना चेक मिस कर देता है। विशाल 317M चीता मॉडल के मामले में, नया चेक ही एकमात्र चीज़ थी जो यह समझा सकती थी कि रोबोट क्यों विफल हो रहा था, भले ही वह स्कोर की सटीक भविष्यवाणी करता हुआ प्रतीत हो रहा था। वास्तव में, आप भविष्य के स्कोर का अनुमान लगाने में महान हो सकते हैं, लेकिन भविष्य की दुनिया को समझने में बहुत खराब हो सकते हैं।

तकनीकी सारांश: वर्ल्ड मॉडल्स के लिए एक पूरक डायग्नोस्टिक के रूप में ऑपरेटर-ऑन-एफ (Operator-on-F)

समस्या विवरण (Problem Statement)
मॉडल-आधारित सुदृढीकरण शिक्षण (Model-based Reinforcement Learning - MBRL) में, सीखे गए वर्ल्ड मॉडल्स का मूल्यांकन पारंपरिक रूप से वैल्यू-इक्विवेलेंस (value-equivalence) पर निर्भर करता है। यह सिद्धांत यह मानता है कि योजना बनाने (planning) के उद्देश्य के लिए, एक मॉडल तब पर्याप्त है जब वह रिवॉर्ड और वैल्यू की सटीक भविष्यवाणी करता है, भले ही उसके लेटेंट डायनेमिक्स (latent dynamics) अपूर्ण हों। हालांकि, लेखक तर्क देते हैं कि यह दृष्टिकोण उन विफलता मोड (failure modes) पर "मौन" हो सकता है जो प्लानिंग के लिए महत्वपूर्ण हैं। विशेष रूप से, एक मॉडल में रिवॉर्ड-प्रेडिक्शन एरर और लो बेलमैन रेसिडुअल (low Bellman residual) होने के बावजूद उसके लेटेंट स्टेट रोलआउट्स (pushforwards) में महत्वपूर्ण त्रुटियां हो सकती हैं। ये लेटेंट त्रुटियां प्लानिंग के दौरान संचित (accumulate) हो सकती हैं, जिससे पॉलिसी का प्रदर्शन खराब हो जाता है, फिर भी ये मानक रिवॉर्ड या वैल्यू-हेड मेट्रिक्स द्वारा अनमैच (undetected) रह जाती हैं। यह शोध पत्र एक ऐसे डायग्नोस्टिक की पहचान करता है जो रिवॉर्ड हेड से स्वतंत्र होकर, एक चुने हुए ऑब्जर्वेबल सबसेट (observable subset) पर पर्यावरण के वास्तविक डायनेमिक्स के विरुद्ध मॉडल के लेटेंट डायनेमिक्स की शुद्धता (fidelity) को सीधे मापता है।

कार्यप्रणाली: ऑपरेटर-ऑन-एफ (Methodology: Operator-on-F)
यह शोध पत्र ऑपरेटर-ऑन-एफ पेश करता है, जो एक मॉडल के $k$ -स्टेप लेटेंट रोलआउट की पर्यावरण के एनकोडेड नेक्स्ट-स्टेट (encoded next-state) के साथ तुलना करता है, जो एक चुने हुए ऑब्जर्वेबल सबसेट $F$ पर आधारित है।

परिभाषा: मान लीजिए $z_t = \text{enc}(s_t)$ मॉडल का लेटेंट एनकोडिंग है। मॉडल का $k$ -स्टेप रोलआउट $\hat{z}_{t+k} = O_k(z_t, a_{t:t+k-1})$ है, जहाँ $O_k$ मॉडल का अपना सीखा हुआ लेटेंट डायनेमिक्स मैप (नॉन-लीनियर) है। पर्यावरण का ग्राउंड ट्रुथ (ground truth) $z'_{t+k} = \text{enc}(s_{t+k})$ है।
द प्रोब (The Probe): एक लीनियर प्रोब $\phi_F: Z \to F$ लेटेंट्स को एक ऑब्जर्वेबल सबसेट $F$ में मैप करता है। विभिन्न एनकोडर्स के बीच निष्पक्ष क्रॉस-मॉडल तुलना सुनिश्चित करने के लिए, $F$ को एक साझा सतह (surface) के रूप में चुना गया है।
एरर मेट्रिक (Error Metric): प्रत्येक फंक्शनल $\phi \in F$ और प्रत्येक एंकर (state-action-next state टुपल) के लिए, त्रुटि को सामान्यीकृत अंतर (normalized difference) के रूप में गणना किया जाता है:
$e_\phi(t) = \frac{|\phi(\hat{z}_{t+k}) - \phi(z'_{t+k})|}{\sigma_\phi}$
जहाँ $\sigma_\phi$ एंकर पूल में वास्तविक पुशफोरवर्ड का स्टैंडर्ड डेविएशन (standard deviation) है। अंतिम मेट्रिक इन एरर्स का RMS है जिसे फंक्शन्स और एंकर्स पर एकत्रित किया गया है।
F के घटक (Components of F):
- वैल्यू स्लाइस (Value Slice): $F = \{r, V\}$ , जो मॉडल के अपने रिवॉर्ड और वैल्यू हेड्स का उपयोग करता है।
- फुल-एफ (Full-F): वैल्यू स्लाइस और एनकोडेड नेक्स्ट-स्टेट ज्योमेट्री पर एक होल्ड-आउट PCA बेसिस (top-16 दिशाएं, व्हिटनड/whitened)। यह केवल रिवॉर्ड और वैल्यू से परे डायनेमिक्स स्ट्रक्चर को कैप्चर करता है।
कार्यान्वयन (Implementation): मेट्रिक की गणना मॉडल के अपने प्रेडिक्टर पर प्लानिंग होराइजन (जैसे, $k=5$ स्टेप्स) पर नेटिवली की जाती है। रिवॉर्ड/वैल्यू हेड्स के बिना वाले मॉडल्स (जैसे शुद्ध SSL मॉडल्स) के लिए, तुलना ऑब्जर्वेशन-लेवल $F$ तक सीमित है। प्रोब्स रिज रिग्रेशन (ridge regressions) हैं जिनमें क्षमता-बनाम-सूचना (capacity-vs-information) के भ्रम से बचने के लिए ग्रिड सर्च के माध्यम से रेगुलराइजेशन चुना गया है।

प्रमुख योगदान (Key Contributions)

परिभाषा और एस्टिमेटर: ऑपरेटर-ऑन-एफ की औपचारिकता और एक प्रोब-आधारित एस्टिमेटर जो मॉडल के अपने तैनात होराइजन (deployment horizon) पर नेटिवली काम करता है।
साइज़-स्वीप विश्लेषण (Size-Sweep Analysis): cheetah-run टास्क पर पांच पैरामीटर साइज़ (1M से 317M) पर जारी TD-MPC2 (mt80) चेकपॉइंट्स का मूल्यांकन।
क्रॉस-आर्किटेक्चर तुलना: शून्य से प्रशिक्षित एक शुद्ध सेल्फ-सुपरवाइज्ड लर्निंग (SSL) लेटेंट वर्ल्ड मॉडल (LeWM) के साथ TD-MPC2 की तुलना करके एक सैनिटी चेक।
डायग्नोस्टिक असहमति (Diagnostic Disagreement): यह प्रदर्शन करना कि ऑपरेटर-ऑन-एफ मॉडल की गुणवत्ता की एक ऐसी रैंकिंग प्रदान करता है जो पारंपरिक वैल्यू-इक्विवेलेंस प्रॉक्सी (बेलमैन रेसिड्यूल, रिवॉर्ड एरर) से असहमत है और रिटर्न के साथ मजबूती से सह-संबंधित (correlates) है।

प्रायोगिक परिणाम (Experimental Results)

TD-MPC2 साइज़ स्वीप:
- रिवॉर्ड एरर: सभी मॉडल साइज़ के लिए एक संकीर्ण बैंड $[0.028, 0.091]$ के भीतर रहा (लगभग $3\times$ भिन्नता)।
- ऑपरेटर एरर: एक विस्तृत रेंज को कवर करता है, $0.28 $से$ 2.62$ तक।
- 317M फेलियर केस: सबसे बड़ा मॉडल (317M पैरामीटर्स) उच्चतम ऑपरेटर एरर ($2.62 $, अगले उच्चतम से एक ऑर्डर ऑफ मैग्नीट्यूड ऊपर) प्रदर्शित करता है और प्लानिंग रिटर्न में एक विनाशकारी गिरावट ($ 0.9 $) दिखाता है। इसके बावजूद, इसका रिवॉर्ड-प्रेडिक्शन एरर ($ 0.091$) छोटे मॉडल्स की तुलना में केवल मामूली रूप से अधिक था और उसी संकीर्ण रेंज में बना रहा।
- सहसंबंध (Correlations): ऑपरेटर एरर और रिटर्न लॉस के बीच रैंक सहसंबंध $-0.90$ (95% CI $[-0.90, -0.70]$ ) था। इसके विपरीत, बेलमैन रेसिड्यूल और रिवॉर्ड एरर ने रिटर्न के साथ कमजोर सहसंबंध (क्रमशः $-0.10 $और$ -0.30$) दिखाया।
- वैल्यू-इक्विवेलेंस के साथ असहमति: ऑपरेटर-ऑन-एफ मेट्रिक बेलमैन रेसिड्यूल (Spearman $+0.30$ ) के साथ असहमति व्यक्त करता है। विशेष रूप से, अन-नॉर्मलाइज्ड वैल्यू-ओनली एरर बेलमैन रेसिड्यूल के लगभग समान था (Spearman $+1.00$ ), जो पुष्टि करता है कि मानक "वैल्यू-इक्विवेलेंस" चेक 317M मॉडल की प्लानिंग विफलता को पहचानने में विफल रहता है।
क्रॉस-आर्किटेक्चर चेक (TD-MPC2 बनाम LeWM):
- एक साझा ऑब्जर्वेशन-लेवल $F$ पर, LeWM (शुद्ध SSL) ने $0.384 \pm 0.009$ का ऑपरेटर एरर प्राप्त किया, जबकि सिंगल-टास्क TD-MPC2 चेकपॉइंट ने $0.840 $($ 95%$ CI $[0.79, 0.89]$ ) स्कोर किया।
- उनके 95% कॉन्फिडेंस इंटरवल विलग (disjoint) थे, और ऑर्डरिंग सुरक्षित रही भले ही प्रोब आर्किटेक्चर को रिज रिग्रेशन से बदलकर 1-हिडन-लेयर MLP में बदल दिया गया हो, जो यह सुझाव देता है कि यह अंतर प्रोब कैपेसिटी का आर्टिफैक्ट नहीं है।

महत्व और दावे (Significance and Claims)
शोध पत्र का दावा है कि ऑपरेटर-ऑन-F वैल्यू-इक्विवेलेंस को बदलने के बजाय उसे पूरक (complement) बनाता है। लेखक यह तर्क नहीं दे रहे हैं कि वैल्यू-इक्विवेलेंस गलत है, बल्कि वे कहते हैं कि पारंपरिक, अन-नॉर्मलाइज्ड रिवॉर्ड और वैल्यू प्रेडिक्शन चेक उन विशिष्ट विफलता मोड पर "मौन" हो सकते हैं जो प्लानिंग प्रदर्शन को कम करते हैं।

डायग्नोस्टिक वैल्यू: ऑपरेटर मेट्रिक उन मॉडल्स की पहचान करने में सफल रहा जिनमें खराब लेटेंट डायनेमिक्स हैं जिन्हें मानक मेट्रिक्स मिस कर देते हैं। TD-MPC2 स्वीप में, यह एकमात्र मेट्रिक था जिसने 317M मॉडल को उसके प्लानिंग कोलैप्स के कारण सबसे खराब परफॉर्मर के रूप में सही ढंग से रैंक किया।
नॉर्मलाइजेशन प्रभाव: पेपर सुझाव देता है कि ऑपरेटर-ऑन-एफ और वैल्यू-इक्विवेलेंस प्रॉक्सी के बीच रेजोल्यूशन गैप काफी हद तक एक नॉर्मलाइजेशन प्रभाव है; जब वैल्यू स्लाइस को उनके टारगेट स्प्रेड द्वारा नॉर्मलाइज किया जाता है, तो वे रिटर्न को बेहतर ट्रैक करते हैं, लेकिन ऑपरेटर-ऑन-एफ इस नॉर्मलाइज्ड पुशफोरवर्ड तुलना को रिवॉर्ड/वैल以上に हेड्स के बिना भी लागू होने योग्य एक साझा ऑब्जर्वेबल बेसिस तक विस्तारित करता है।
सीमाएँ (Limitations): लेखक स्पष्ट रूप से कहते हैं कि क्रॉस-आर्किटेक्चर तुलना एक एकल वातावरण (cheetah-run) और दो मॉडल परिवारों तक सीमित है। साइज़-स्वीप सहसंबंध $n=5$ पर आधारित है और सहसंबंध के रूप में रिपोर्ट किया गया है। 317M का रिटर्न कोलैप्स cheetah-run के लिए विशिष्ट है, जो यह दर्शाता है कि मेट्रिक एक विशिष्ट ऑपरेटिंग पॉइंट एसोसिएशन को कैप्चर करता है न कि वैश्विक रूप से डिजेनरेट चेकपॉइंट को।

संक्षेप में, यह शोध पत्र ऑपरेटर-ऑन-एफ को उन लेटेंट वर्ल्ड मॉडल त्रुटियों का पता लगाने के लिए एक आवश्यक अतिरिक्त डायग्नोस्टिक टूल के रूप में प्रस्तावित करता है जिन्हें रिवॉर्ड-प्रेडिक्शन और बेलमैन-रिसिडुअल चेक प्रकट करने में विफल रहते हैं, विशेष रूप से प्लानिंग प्रदर्शन के संदर्भ में।

धोखेबाज चीते की कहानी

पुराना चेक क्यों विफल हुआ

विभिन्न आर्किटेक्चर पर परीक्षण

मुख्य निष्कर्ष

इसी तरह के और पेपर