🤖 machine learning

Robometer: Scaling General-Purpose Robotic Reward Models via Trajectory Comparisons

यह शोध पत्र रोबोटमीटर (Robometer) को प्रस्तुत करता है, जो एक स्केलेबल रिवॉर्ड मॉडलिंग फ्रेमवर्क है जो विविध विशेषज्ञ और उप-इष्टतम प्रक्षेप पथों (trajectories) से प्रभावी ढंग से सामान्यीकरण योग्य रिवॉर्ड फंक्शन सीखने के लिए बड़े पैमाने के RBM-1M डेटासेट पर प्रशिक्षित, फ्रेम-स्तरीय प्रगति पर्यवेक्षण (frame-level progress supervision) को प्रक्षेप पथ-तुलना प्राथमिकता शिक्षण (trajectory-comparison preference learning) के साथ जोड़ता है।

मूल लेखक: Anthony Liang, Yigit Korkmaz, Jiahui Zhang, Minyoung Hwang, Abrar Anwar, Sidhant Kaushik, Aditya Shah, Alex S. Huang, Luke Zettlemoyer, Dieter Fox, Yu Xiang, Anqi Li, Andreea Bobu, Abhishek Gupta, Ste

प्रकाशित 2026-05-15

📖 5 मिनट में पढ़ें🧠 गहराई से पढ़ें

CC BY 4.0

मूल लेखक: Anthony Liang, Yigit Korkmaz, Jiahui Zhang, Minyoung Hwang, Abrar Anwar, Sidhant Kaushik, Aditya Shah, Alex S. Huang, Luke Zettlemoyer, Dieter Fox, Yu Xiang, Anqi Li, Andreea Bobu, Abhishek Gupta, Stephen Tu, Erdem Biyik, Jesse Zhang

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

कल्पना कीजिए कि आप एक रोबोट को रात का खाना बनाना सिखा रहे हैं। अतीत में, रोबोट को सिखाने के लिए, आपको एक सख्त जज की तरह काम करना पड़ता था, जो उसके हर एक मूवमेंट को बारीकी से देखता और उसे एक सटीक स्कोर देता (जैसे कि प्याज काटने के तरीके के लिए "10 में से 7.5")। यदि रोबोट चाकू गिरा देता, तो आपको यह पता लगाना पड़ता कि स्कोर ठीक कब और कितना कम हुआ। यह करना अविश्वसनीय रूप से कठिन है, खासकर जब रोबोट विफल हो जाता है, और इसका मतलब है कि आप वास्तविक दुनिया में रोबोट द्वारा किए गए हजारों "विफल" प्रयासों का उपयोग नहीं कर सकते क्योंकि उन्हें ग्रेड देना बहुत जटिल होता है।

ROBOMETER एक नया सिस्टम है जो हमें रोबोट को सिखाने के तरीके को बदलकर एक अधिक स्मार्ट और मानवीय दृष्टिकोण प्रदान करता है।

मुख्य विचार: ग्रेडिंग के बजाय तुलना करना

हर एक क्षण के लिए एक परफेक्ट स्कोर देने की कोशिश करने के बजाय, ROBOMETER एक ही कार्य के दो अलग-अलग प्रयासों की तुलना करके सीखता है।

इसे एक टैलेंट शो जज की तरह समझें। किसी प्रतियोगी को 10 में से 8.2 का स्कोर देने के बजाय, जज बस दो प्रदर्शनों को देखता है और कहता है, "प्रदर्शन A, प्रदर्शन B से स्पष्ट रूप से बेहतर था।"

पुराना तरीका: आपको एक कप को मेज पर रखने में विफल होते हुए रोबोट को देखना पड़ता है और यह गणना करने की कोशिश करनी पड़ती कि वह विफलता कितनी "खराब" थी।
ROBOMETER का तरीका: आप रोबोट को एक इंसान द्वारा इसे पूरी तरह से करने का वीडियो दिखाते हैं और रोबोट द्वारा कप गिराने का एक वीडियो दिखाते हैं। सिस्टम सीखता है: "इंसान वाला वीडियो बेहतर है।" इसे यह जानने की आवश्यकता नहीं है कि क्यों या एक विशिष्ट संख्या देने की आवश्यकता नहीं है; यह बस "अच्छे" बनाम "बुरे" के क्रम को सीखता है।

गलतियों की "विशाल लाइब्रेरी" (RBM-1M)

इस सिस्टम को सिखाने के लिए, शोधकर्ताओं ने RBM-1M नामक एक विशाल लाइब्रेरी बनाई है।

पुरानी समस्या: अधिकांश रोबोट ट्रेनिंग लाइब्रेरी में केवल "परफेक्ट" वीडियो होते हैं। यदि कोई रोबोट कप गिरा देता है, तो उस वीडियो को कचरे में फेंक दिया जाता है क्योंकि उसे ग्रेड देना कठिन होता है।
नया समाधान: इस लाइब्रेरी में 21 अलग-अलग प्रकार के रोबोटों (सिंगल आर्म से लेकर मानव जैसे हाथों तक) के 10 लाख वीडियो हैं। महत्वपूर्ण बात यह है कि यह गलतियों, विफलताओं और अनाड़ी प्रयासों से भरी हुई है। क्योंकि ROBOMETER तुलना करके सीखता है (जैसे, "यह असफल प्रयास उस सफल प्रयास से बदतर है"), यह वास्तव में विफल वीडियो के ढेर से भी सीख सकता है। यह विफलताओं को एक मूल्यवान सबक के रूप में देखता है कि क्या नहीं करना है।

यह कैसे काम करता है (दो-चरणीय प्रक्रिया)

ROBOMETER दो विशिष्ट ट्रिक्स का एक साथ उपयोग करके सीखता है:

"प्रोग्रेस" चेक: यह एक सिंगल वीडियो देखता है और अनुमान लगाने की कोशिश करता है, "यह कार्य कितना आगे बढ़ चुका है?" (0% से 100%)। यह रोबोट की समय और प्रगति की समझ को आधार देता है।
"प्रेफरेंस" चेक: यह अगल-बगल दो वीडियो देखता है और निर्णय लेता है, "किसने काम को बेहतर ढंग से किया?" यह रोबोट को क्रिया की गुणवत्ता को समझने में मदद करता है, भले ही वह पूरी तरह से विफल क्यों न हो।

इन दोनों को मिलाकर, रोबोट सफलता की एक ऐसी "समझ" विकसित करता है जो तब भी काम करती है जब वह किसी ऐसे रोबोट को देख रहा हो जिसे उसने पहले कभी नहीं देखा, या किसी ऐसे कमरे में हो जहाँ वह पहले कभी नहीं गया।

यह वास्तव में क्या करता है (सिद्ध परिणाम)

पेपर दिखाता है कि यह सिस्टम चार विशिष्ट, वास्तविक दुनिया के परिदृश्यों में पिछले तरीकों से बेहतर काम करता है:

स्वचालित ऑनलाइन लर्निंग: जब एक रोबोट वास्तविक समय में कोई कार्य सीख रहा होता है (जैसे मेज पर एक कटोरा रखना), तो ROBOMETER एक कोच की तरह काम करता है जो तुरंत रोबोट को बताता है, "तुम गलत कर रहे हो," और गलती सुधारने के लिए उसका मार्गदर्शन करता है। इसने एक अव्यवठित किचन में रोबोट की सफलता दर को 20% से बढ़ाकर 85% कर दिया, जबकि पुराने तरीके 55% पर अटक जाते थे।
मेसी डेटा से सीखना (Offline RL): यदि आपके पास परफेक्ट वीडियो और मेसी, विफल वीडियो का मिश्रण है, तो ROBOMETER एक नए रोबोट को सिखाने के लिए उनमें से छांट सकता है। इसने पिछले सर्वोत्तम उपकरणों की तुलना में सफलता दर में 2.4 गुना सुधार किया।
अच्छी चीज़ों को खोजना (Data Filtering): कल्पना कीजिए कि आपके पास वीडियो क्लिप्स का एक बड़ा ढेर है और आपको रोबोट को "बर्तन चलाने" के बारे में सिखाने के लिए 10 सबसे अच्छे क्लिप खोजने की जरूरत है। ROBOMETER अन्य सर्च टूल्स की तुलना में प्रासंगिक, सफल क्लिप्स को खोजने और विफलताओं को अनदेखा करने में बहुत बेहतर है। इससे रोबोट की कार्य सीखने की क्षमता में 4.5 गुना सुधार हुआ।
विफलताओं को पहचानना: यदि कोई रोबोट अटक गया है, डगमगा रहा है (बिना हिले-डुले इधर-उधर हिल रहा है), या कोई वस्तु गिरा रहा है, तो ROBOMETER बिना यह बताए कि विफलता कैसी दिखती है, तुरंत इस विफलता का पता लगा सकता है। इसने 81% मामलों में विफलताओं को सही ढंग से पहचाना, जो अन्य सिस्टमों से बेहतर है।

निचोड़

ROBOMETER एक "यूनिवर्सल रिवॉर्ड मॉडल" है जो रोबोट को उनके काम के हर सेकंड को ग्रेड करने के लिए इंसान की आवश्यकता को समाप्त करता है। सफलताओं और विफलताओं दोनों की एक विशाल लाइब्रेरी का उपयोग करके "बेहतर" बनाम "बदतर" की तुलना करना सीखकर, यह रोबोट को तेजी से सीखने, गलतियों को बेहतर ढंग से संभालने और बिना दोबारा प्रशिक्षित किए नए कार्यों और नए रोबोट बॉडीज के अनुकूल होने में मदद करता है।

तकनीकी सारांश: ROBOMETER

समस्या विवरण

वर्तमान सामान्य-उद्देश्य वाले रोबोटिक रिवॉर्ड मॉडल (reward models) महत्वपूर्ण स्केलेबिलिटी और जनरलाइजेशन चुनौतियों का सामना कर रहे हैं। मौजूदा दृष्टिकोण विशेष रूप से विशेषज्ञ प्रदर्शनों (expert demonstrations) से प्राप्त पूर्ण प्रगति लेबल (absolute progress labels) पर निर्भर करते हैं (जैसे, 0 से 1 तक रैखिक रूप से प्रगति का इंटरपोलेशन करना)। हालांकि सफल प्रक्षेप पथों (trajectories) के लिए यह प्रभावी है, लेकिन यह प्रतिमान बड़े, विषम डेटासेट तक स्केल करने में विफल रहता है, जिसके दो प्राथमिक कारण हैं:

विफल प्रक्षेप पथों में अस्पष्टता (Ambiguity in Failed Trajectories): उप-इष्टतम या विफल प्रयास, जो वास्तविक दुनिया के डेटा संग्रह में प्रचुर मात्रा में होते हैं, उनमें स्पष्ट पूर्ण प्रगति लेबल का अभाव होता है। इन मामलों में प्रगति अक्सर उतार-चढ़ाव वाली या घटती हुई होती है, जिससे पॉइंटवाइज सुपरविजन (pointwise supervision) महंगा और अपरिभाषित हो जाता है।
सीमित जनरलाइजेशन (Limited Generalization): केवल प्रक्षेप पथ-स्थानीय प्रगति सुपरविजन पर प्रशिक्षित मॉडल विभिन्न रोबोटिक स्वरूपों (embodiments), दृश्यों और विविध प्रक्षेप पथों की गुणवत्ता के बीच सामान्यीकरण करने में संघर्ष करते हैं। वे अक्सर उन स्थितियों में सफल और उप-इष्टतम व्यवहारों के बीच अंतर करने में विफल रहते हैं जहाँ पूर्ण स्कोर अस्पष्ट होते हैं।

यह शोध पत्र तर्क देता है कि मानव संज्ञान (human cognition) कैलिब्रेटेड प्रगति को आंतरिक रूप से समझने के लिए अलग-थलग पूर्ण पैमानों के बजाय तुलनात्मक निर्णयों (comparative judgments) पर निर्भर करता है। फलस्वरूप, रोबोटिक रिवॉर्ड मॉडलों को एक ऐसे सुपरविजन सिग्नल की आवश्यकता है जो मजबूत, सामान्यीकरण योग्य रिवॉर्ड फंक्शन सीखने के लिए विविध प्रक्षेप पथों के बीच सापेक्ष क्रम (relative ordering) का लाभ उठा सके।

कार्यप्रणाली (Methodology)

1. ROBOMETER फ्रेमवर्क

ROBOMETER एक स्केलेबल रिवॉर्ड मॉडलिंग फ्रेमवर्क है जो इंट्रा-ट्रैजेक्टरी प्रोग्रेस सुपरविजन को इंटर-ट्रैजेक्टरी प्रेफरेंस सुपरविजन के साथ जोड़ता है। यह एक दोहरे-उद्देश्य वाले प्रशिक्षण नुस्खे (dual-objective training recipe) का उपयोग करता है:

फ्रेम-लेवल प्रोग्रेस लॉस (Frame-Level Progress Loss): यह विशेषज्ञ डेटा के माध्यम से रिवॉर्ड परिमाण को एंकर करता है, जो घने, प्रति-फ्रेम प्रगति (0 और 1 के बीच 10 बिन में विभाजित) और बाइनरी सफलता लेबल की भविष्यवाणी करता है। यह सुनिश्चित करता है कि मॉडल कार्य पूरा होने की अस्थायी संरचना (temporal structure) को सीखे।
ट्रैजेक्टरी-कंपेरिजन प्रेफरेंस लॉस (Trajectory-Comparison Preference Loss): यह दो प्रक्षेप पथों के बीच वैश्विक क्रम संबंधी बाधाएं लागू करता है कि कौन सा प्रक्षेप पथ भाषा निर्देश को बेहतर ढंग से संतुष्ट करता है। यह मॉडल को विफल प्रक्षेप पथों के लिए पूर्ण स्कोर की आवश्यकता के बिना, सापेक्ष तुलनाओं से सीखने की अनुमति देता है।

2. आर्किटेक्चर

ROBOMETER एक पूर्व-प्रशिक्षित विजन-लैंग्वेज मॉडल (VLM) बैकबोन, विशेष रूप से Qwen3-VL-4B-Instruct पर आधारित है।

टोकेनाइजेशन (Tokenization): मॉडल इंटरलीव्ड टेक्स्ट और विजुअल टोकन को प्रोसेस करता है। पूर्व-प्रशिक्षित रिप्रजेंटेशन को बाधित किए बिना घने रिवॉर्ड एस्टीमेशन को सक्षम करने के लिए, यह पहले प्रक्षेप पथ के प्रत्येक फ्रेम के बाद लर्नबल प्रोग्रेस टोकन (<|prog token|>) और प्रॉम्प्ट के अंत में एक एकल प्रेफरेंस टोकन (<|pref token|>) सम्मिलित करता है।
कॉज़ल मास्किंग (Causal Masking): आर्किटेक्चर कॉज़ल मास्किंग का उपयोग करता है ताकि प्रोग्रेस टोकन केवल पहले प्रक्षेप पथ के वर्तमान और पिछले फ्रेम पर ध्यान केंद्रित कर सकें (ऑनलाइन इन्फरेंस को सक्षम करने के लिए), जबकि प्रेफरेंस टोकन सापेक्ष निर्णय लेने के लिए दोनों प्रक्षेप पथों पर ध्यान केंद्रित करता है।
हेड्स (Heads): प्रोग्रेस टोकन (प्रगति और सफलता की भविष्यवाणी के लिए) और प्रेफरेंस टोकन (बाइनरी प्रेफरेंस क्लासिफिकेशन के लिए) के हिडन स्टेट्स से हल्के वजन वाले MLP हेड्स जुड़े हुए हैं।

3. RBM-1M डेटासेट

इस दोहरे-उद्देश्य वाले प्रशिक्षण को बड़े पैमाने पर समर्थन देने के लिए, लेखकों ने 21 रोबोटिक स्वरूपों (सिंगल-आर्म, बाइमैनुअल और मोबाइल मैनिपुलेटर्स सहित) और विविध दृश्यों में 1 मिलियन से अधिक प्रक्षेप पथों का एक डेटासेट, RBM-1M तैयार किया है।

संरचना (Composition): यह डेटासेट विशेषज्ञ प्रदर्शनों (जैसे, Open-X, AGIBotWorld), मानव वीडियो (Epic-Kitchens), सिमुलेशन डेटा (LIBERO) और महत्वपूर्ण रूप से, ऑटोमेटेड रोलआउट और विफलता पहचान डेटासेट से अनलेबल विफल और उप-इष्टतम प्रक्षेप पथों को एकत्रित करता है।
ऑग्मेंटेशन रणनीतियाँ (Augmentation Strategies): अतिरिक्त मानव एनोटेशन के बिना प्रेफरेंस पेयर्स बनाने के लिए, लेखक तीन रणनीतियों का उपयोग करते हैं:
1. प्रोग्रेस-आधारित तुलना (Progress-Based Comparisons): विशेषज्ञ प्रदर्शनों की तुलना अनलेबल विफलताओं या उप-इष्टतम प्रक्षेप पथों से करना।
2. इंस्ट्रक्शन नेगेटिव्स (Instruction Negatives): यह सुनिश्चित करने के लिए कि रिवॉर्ड कमांड में निहित हो, अलग-अलग भाषा निर्देशों के साथ प्रक्षेप पथों को जोड़ना।
3. वीडियो रिवाइंड (Video Rewind): सफल प्रक्षेप पथों के खंडों को रिवर्स करके सिंथेटिक विफलताओं को उत्पन्न करना ताकि "प्रगति को उलटने" (undoing progress) को मॉडल किया जा सके।

मुख्य योगदान

दोहरे-उद्देश्य वाला प्रशिक्षण नुस्खा (Dual-Objective Training Recipe): यह पेपर पूर्ण प्रगति लेबल (सफल डेटा के लिए) और पेयरवाइज प्रेफरेंस लेबल (सभी डेटा, विफलताओं सहित) का उपयोग करके रिवॉर्ड मॉडल को प्रशिक्षित करने की एक विधि पेश करता है। यह पहले से अनुपयोगी उप-इष्टतम डेटा के प्रभावी उपयोग को सक्षम बनाता है।
RBM-1M डेटासेट: व्यापक विफलता डेटा वाला एक बड़े पैमाने का, मल्टी-एम्बोडिमेंट डेटासेट जारी करना, जिसे विशेष रूप रूप से वैश्विक रूप से सुसंगत प्रेफरेंस संबंधों को प्रशिक्षित करने के लिए डिज़ाइन किया गया है।
स्केलेबल जनरलाइजेशन (Scalable Generalization): फ्रेमवर्क यह प्रदर्शित करता है कि प्रेफरेंस सुपरविजन एक रेगुलराइज़र के रूप में कार्य करता है, जो एक अधिक संरचित आंतरिक रिवॉर्ड रिप्रजेंटेशन को प्रेरित करता है, जिससे सीमित विशेषज्ञ डेटा पर प्रशिक्षित होने के बावजूद सफल और उप-इष्टतम प्रक्षेप पथों के बीच अंतर करने की मॉडल की क्षमता में सुधार होता है।

प्रयोगात्मक परिणाम

रिवॉर्ड मूल्यांकन

ROBOMETER का मूल्यांकन RBM-EVAL-OOD पर किया गया, जो 3 संस्थानों और 6 रोबोटिक स्वरूपों (जिनमें से 3 प्रशिक्षण के दौरान अनदेखे थे) से प्राप्त 976 प्रक्षेप पथों का एक सेट है।

रिवॉर्ड अलाइनमेंट (Reward Alignment): ROBOMETER ने OOD डेटा पर 0.94 का वैल्यू ऑर्डर कोरिलेशन (VOC) प्राप्त किया, जो अत्याधुनिक बेसलाइनों (जैसे, RoboReward-8B का 0.88, VLAC-8B का 0.38) से बेहतर है।
ट्रैजेक्टरी रैंकिंग (Trajectory Ranking): सफल और विफल प्रक्षेप पथों के बीच अंतर करने में, ROBOMETER ने OOD डेटा पर 0.64 का Kendall- $\tau_a$ प्राप्त किया, जो RoboReward-8B (0.47) और ReWiND (0.01) से काफी बेहतर है।
विफलता पहचान (Failure Detection): ज़ीरो-शॉट विफलता पहचान कार्यों में, ROBOMת ने उच्चतम औसत F1 स्कोर (0.81) प्राप्त किया, जो सफलतापूर्वक ट्रू पॉजिटिव और ट्रू नेगेटिव दरों को संतुलित करता है, जबकि VLAC जैसे बेसलाइन उच्च फाल्स पॉजिटिव से और टोकन-अनिश्चितता बेसलाइन उच्च फाल्स नेगेटिव से ग्रस्त थे।

डाउनस्ट्रीम पॉलिसी लर्निंग

पेपर यह प्रदर्शित करता है कि ROBOMETER के घने, अच्छी तरह से कैलिब्रेटेड रिवॉर्ड चार सेटिंग्स में डाउनस्ट्रीम रोबोट लर्निंग में सुधार करते हैं:

ऑटोमैटिक ऑनलाइन RL: DSRL के साथ ROBOMETER का उपयोग करने से सिंगल-स्टेज टास्क में सफलता दर 20% से 85% और मल्टी-स्टेज टास्क में 20% से 70% हो गई, जो RoboReward से 2.5 $\times$ बेहतर है।
ऑफलाइन RL: मिश्रित-विशेषज्ञता (एक्सपर्ट + नॉइजी डेटा) सेटिंग्स में, ROBOMETER ने IQL पॉलिसियों को सर्वश्रेष्ठ बेसलाइन की तुलना में सफलता दर में 2.4 $\times$ सुधार करने में सक्षम बनाया।
डेटा फ़िल्टरिंग और रिट्रीवल: इमिटेशन लर्निंग के लिए कार्य-प्रासंगिक सब-ट्रैजेक्टरीज को रिट्रीव करने के लिए उपयोग किए जाने पर, ROBOMETER-फ़िल्टर्ड डेटा ने STRAP और SigLIP जैसे बेसलाइनों की तुलना में 4.5 $\times$ अधिक सफलता दर दी।
मॉडल-बेस्ड RL: क्लटर्ड एनवायरनमेंट में DreamZero में ROBOMETER को एकीकृत करने से सफलता दर 20% से बढ़कर 70% हो गई।

एब्लेशन स्टडीज (Ablation Studies)

प्रेफरेंस सुपरविजन: प्रोग्रेस-ओनली ट्रेनिंग में प्रेफरेंस लॉस जोड़ने से रैंकिंग मेट्रिक्स (Kendall- $\tau$ ) और सफलता-विफलता पृथक्करण में लगातार सुधार हुआ।
विफलता डेटा (Failure Data): प्रेफरेंस ट्रेनिंग के लिए अनलेबल विफलता प्रक्षेप पथों को शामिल करने से रिवॉर्ड भेदभाव में सबसे अधिक लाभ हुआ।
बैकबोन: पूर्व-प्रशिक्षित VLM बैकबोन को एक छोटे, गैर-प्रशिक्षित आर्किटेक्चर (ReWiND वेरिएंट) से बदलने के परिणामस्वरूप गंभीर प्रदर्शन गिरावट हुई, जो बड़े पैमाने के मल्टीमॉडल प्री-ट्रेनिंग की आवश्यकता की पुष्टि करती है।

महत्व और दावे

यह पेपर दावा करता है कि ROBOMETER रिवॉर्ड लर्निंग को स्केल करने के तंत्र के रूप में पूर्ण प्रगति सुपरविजन से तुलनात्मक प्रेफरेंस सुपरविजन की ओर एक बदलाव का प्रतिनिधित्व करता है। सापेक्ष तुलनाओं का लाभ उठाकर, फ्रेमवर्क प्रभावी रूप से उन उप-इष्टतम और विफल डेटा का उपयोग कर सकता है जो वास्तविक दुनिया की रोबोटिक्स में सर्वव्यापी हैं लेकिन पहले त्याग दिए जाते थे।

लेखक इस बात पर जोर देते हैं कि यह दृष्टिकोण निम्नलिखित को सक्षम बनाता है:

स्केलेबिलिटी: प्रत्येक फ्रेम पर घने, पूर्ण एनोटेशन की आवश्यकता के बिना लाखों प्रक्षेप पथों वाले डेटासेट से सीखना।
जनरलाइजेशन: अनदेखे रोबोटिक स्वरूपों, दृश्यों और कैमरा व्यू पॉइंट्स के बीच मजबूत प्रदर्शन।
व्यावहारिक उपयोगिता: ऑनलाइन RL, ऑफलाइन RL, इमिटेशन लर्निंग डेटा क्यूरेशन और स्वचालित विफलता पहचान में तत्काल अनुप्रयोग।

कार्य यह निष्कर्ष निकालता है कि जबकि वर्तमान मॉडल विफलता की अस्पष्टता से जूझते हैं, विशेषज्ञ प्रगति द्वारा एंकर किया गया और वैश्विक प्राथमिकताओं द्वारा निर्देशित एक दोहरा-उद्देश्य वाला दृष्टिकोण रिवॉर्ड मॉडलों को कार्य की प्रगति के कैलिब्रेटेड स्केल को आंतरिक रूप से समझने की अनुमति देता है, जिससे जटिल, वास्तविक दुनिया के वातावरण में रोबोट लर्निंग तेज होती है।