💻 computer science

Goal Sets, Not Goal States: Queryable Robot Goals through Goal-Set Hindsight Relabeling

यह शोध पत्र गोल-सेट हाइंडसाइट रीलेबलिंग (GS-HER) को प्रस्तुत करता है, जो पारंपरिक हाइंडसाइट रीलेबलिंग का सामान्यीकरण करता है, जिससे प्राप्त अवस्थाओं (achieved states) को सटीक सिंगलटन अवस्थाओं के बजाय क्वेरी-परिभाषित लक्ष्य सेटों (query-defined goal sets) को संतुष्ट करने की अनुमति मिलती है, जिससे अप्रासंगिक आयामों द्वारा पूर्ण-अवस्था लक्ष्यों के बाधित होने पर ऑफलाइन रोबोट लर्निंग प्रदर्शन में सुधार होता है और एक ही मॉडल को बिना पुन: प्रशिक्षण के विविध लक्ष्य विधेयकों (goal predicates) का उत्तर देने में सक्षम बनाया जाता है।

मूल लेखक: Carlos Vélez García, Miguel Cazorla, Jorge Pomares

प्रकाशित 2026-06-09

📖 4 मिनट में पढ़ें☕ कॉफ़ी ब्रेक में पढ़ें

CC BY 4.0

मूल लेखक: Carlos Vélez García, Miguel Cazorla, Jorge Pomares

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

कल्पना कीजिए कि आप एक रोबोट को एक क्यूब के साथ "फेच" (fetch) का खेल खेलना सिखा रहे हैं। आप रोबोट को एक वीडियो दिखाते हैं जिसमें एक इंसान सफलतापूर्वक क्यूब को मेज पर रख रहा है।

पुराना तरीका (Standard HER): "परफेक्ट कॉपी" की समस्या
पारंपरिक रोबोट लर्निंग में, कंप्यूटर वीडियो को देखता है और कहता है, "ठीक है, सफल होने के लिए, रोबोट को ठीक उसी स्थिति (state) में होना चाहिए जैसा कि इंसान था।"

इसका मतलब है कि रोबोट को इन चीजों से मेल खाना होगा:

क्यूब कहाँ है (महत्वपूर्ण!)।
रोबोट की कोहनी का कोण क्या है (शायद महत्वपूर्ण?)।
रोबोट की उंगलियां कितनी तेजी से चल रही हैं (महत्वपूर्ण नहीं!)।
रोबोट का बेस किस सटीक स्थिति में है (महत्वपूर्ण नहीं!)।

समस्या यह है कि रोबोट भ्रमित हो जाता है। वह उंगलियों की सटीक गति या कोहनी के सटीक कोण से मेल खाने की इतनी कोशिश करता है कि वह वास्तव में क्यूब को मेज पर रखने के बारे में भूल जाता है। यह एक ऐसे छात्र की तरह है जो गणित की परीक्षा पास करने की कोशिश कर रहा है, लेकिन वह शिक्षक की लिखावट की हूबहू नकल करने के चक्कर में इतना डूब जाता है कि वह समीकरण हल करना ही भूल जाता है। वे "अतिरिक्त" विवरण (जैसे उंगलियों की गति) शोर (noise) के रूप में कार्य करते हैं जो रोबोट को वास्तविक कार्य सीखने से रोक देते हैं।

नया तरीका (GS-HER): "हाइलाइटर" दृष्टिकोण
लेखक एक नई विधि प्रस्तावित करते हैं जिसे Goal-Set Hindsight Relabeling (GS-HER) कहा जाता है। पूरे वीडियो की एक परफेक्ट कॉपी मांगने के बजाय, यह विधि एक क्वेरी (query) (एक हाइलाइटर या फिल्टर की तरह सोचें) का उपयोग करती है ताकि यह तय किया जा सके कि वास्तव में क्या मायने रखता है।

यह इस प्रकार काम करता है:

क्वेरी (The Query): रोबोट को सिखाने से पहले, आप उसे बताते हैं, "इस विशिष्ट पाठ के लिए, केवल क्यूब की स्थिति पर ध्यान दें। बाकी सब कुछ अनदेखा करें।"
सीखना (The Learning): जब रोबोट वीडियो देखता है, तो वह इंसान को सफल होते हुए देखता है। यह कहने के बजाय कि, "आप विफल रहे क्योंकि कोहनी 45 डिग्री के बजाय 46 डिग्री पर थी," रोबोट कहता है, "बहुत बढ़िया! क्यूब मेज पर है। यह सफलता मानी जाएगी, भले ही कोहनी 45 डिग्री पर थी।"
परिणाम (The Result): रोबोट सफलता की अवधारणा (concept) सीखता है (मेज पर क्यूब होना) बिना अप्रासंगिक विवरणों (जैसे कोहनी का कोण) में उलझे।

सुपरपावर: एक रोबोट, कई काम
इस पेपर का सबसे रचनात्मक हिस्सा यह है कि रोबोट को नया काम सीखने के लिए फिर से प्रशिक्षित (retrain) करने की आवश्यकता नहीं है।

एक अकेले "मास्टर शेफ" रोबोट की कल्पना करें।

परिदृश्य A: आप चाहते हैं कि वह सूप पकाए। आप उसे एक "क्वेरी कार्ड" देते हैं जिसमें लिखा है, "केवल बर्तन और चूल्हे पर ध्यान केंद्रित करें।" रोबमान सूप बनाना सीख जाता है।
परिदृश्य B: बाद में, आप चाहते हैं कि वह केक बेक करे। आपको नया शेफ रखने या पुराने को फिर से प्रशिक्षित करने की आवश्यकता नहीं है। आप बस अपना "क्वेरी कार्ड" बदलकर कहें, "केवल ओवन और मिक्सर पर ध्यान दें।"
परिदृश्य C: आप चाहते हैं कि वह मेज साफ करे। आप फिर से कार्ड बदलते हैं: "केवल मेज की सतह और नैपकिन पर ध्यान दें।"

क्योंकि रोबोट ने लक्ष्य तक पहुँचने के सामान्य विचार को सीखा है (न कि किसी विशिष्ट, कठोर गति को), वह केवल "क्वेरी कार्ड" बदलकर तुरंत अलग-अलग "सफलता की परिभाषाओं" के बीच स्विच कर सकता है।

यह क्यों महत्वपूर्ण है
पेपर ने मानक रोबोट बेंचमार्क (जैसे क्यूब हिलाना या भूलभुलैया में नेविगेट करना) पर इसका परीक्षण किया। उन्होंने पाया कि:

यह बेहतर काम करता है: जब "शोर" (अप्रासंगिक विवरण) अधिक होता है, तो यह नई विधि पुराने "परफेक्ट कॉपी" तरीके की तुलना में रोबोट को बहुत अधिक बार सफल होने में मदद करती है।
यह लचीला है: एक एकल प्रशिक्षित रोबोट मॉडल कई अलग-अलग सवालों के जवाब दे सकता है ("क्यूब को यहाँ रखें," "हाथ को वहाँ ले जाएं," "ग्रिपर को खोलें") बिना प्रत्येक के लिए फिर से प्रशिक्षित हुए।

सारांश में
यह पेपर तर्क देता है कि हमें रोबोट की सफलता को दुनिया के एक एकल, कठोर स्नैपशॉट के रूप में नहीं देखना चाहिए। इसके बजाय, हमें सफलता को संभावनाओं के एक लचीले सेट के रूप में देखना चाहिए जिसे वर्तमान में वह परिभाषित करता है जिसकी हमें आवश्यकता है। एक साधारण "क्वेरी" का उपयोग करके शोर को फ़िल्टर करने से, हम रोबोट को तेज़ी से सिखा सकते हैं, उन्हें स्मार्ट बना सकते हैं, और एक ही रोबोट को शून्य से शुरू किए बिना कई अलग-अलग काम करने की अनुमति दे सकते हैं।

तकनीकी सारांश: लक्ष्य अवस्थाएँ नहीं, लक्ष्य समुच्चय: गोल-सेट हिंडसाइट रीलेबलिंग के माध्यम से क्वेयरेबल रोबोट लक्ष्य

समस्या विवरण
ऑफलाइन गोल-कंडीशन्ड रिइन्फोर्समेंट लर्निंग (GCRL) का लक्ष्य पूर्व-संग्रहित, रिवॉर्ड-फ्री डेटासेट्स (जैसे, प्रदर्शन या टेलीऑपरेशन लॉग्स) से बिना महंगे ऑनलाइन ट्रायल-एंड-एरर के कंट्रोल पॉलिसियों को प्राप्त करना है। इस क्षेत्र में एक केंद्रीय तंत्र 'हिंडसाइट एक्सपीरियंस रीप्ले' (HER) है, जो एक ट्राजेक्टरी में पिछले ट्रांजिशन के लिए प्राप्त भविष्य की अवस्थाओं (states) को लक्ष्यों के रूप में रीलेबल करता है।

मानक ऑफलाइन GCRL बेंचमार्क, जैसे कि OGBench, आमतौर पर लक्ष्य स्थान (goal space) के रूप में पूर्ण अवस्था स्थान (full state space) का उपयोग करके HER को लागू करते हैं। यह दृष्टिकोण यह मानता है कि सफलता के लिए पूरे भविष्य के स्टेट वेक्टर को पुनरुत्पादित करना आवश्यक है। हालाँकि, कई रोबोटिक मैनिपुलेशन कार्यों में, सफलता केवल अवस्था के विशिष्ट उपसमुच्चय (subset) पर निर्भर करती है (जैसे, ऑब्जेक्ट पोजीशन), जबकि अन्य चर (जैसे, रोबोट जॉइंट कॉन्फ़िगरेशन, ग्रिपर स्टेट, वेलोसिटी) 'न्यूसेंस डायमेंशन' (nuisance dimensions) होते हैं। पूर्ण-अवस्था मिलान को लागू करके, मानक HER कृत्रिम बाधाएं उत्पन्न करता है जो लर्निंग ऑब्जेक्टिव को अत्यधिक बाधित (overconstrain) करती हैं, जिससे प्रदर्शन उप-इष्टतम (suboptimal) हो जाता है जब कार्य की सफलता मानदंड पूर्ण अवस्था का एक प्रोजेक्शन होती है।

कार्यप्रणाली: गोल-सेट हिंडसाइट रीलेबलिंग (GS-HER)
लेखक गोल-सेट हिंडसाइट रीलेबलिंग (GS-HER) का प्रस्ताव करते हैं, जो HER का एक प्रेडिकेट-लेवल सामान्यीकरण (generalization) है। एक प्राप्त अवस्था $s_{t+k}$ को सिंगलेट लक्ष्य $g = s_{t+k}$ के रूप में मानने के बजाय, GS-HER इसे एक क्वेरी द्वारा परिभाषित लक्ष्य समुच्चय (goal set) के प्रमाण (certificate) के रूप में मानता है।

क्वेरी-परिभाषित तुल्यता वर्ग (Equivalence Classes):
एक बाइनरी क्वेरी वेक्टर $q \in \{0, 1\}^D$ यह निर्दिष्ट करता है कि कौन से अवस्था चर एक विशिष्ट कार्य के लिए सफलता को परिभाषित करते हैं।

$q_i = 1$ : $i$ -वाँ कोऑर्डिनेट सक्रिय है और लक्ष्य को परिभाषित करता है।
$q_i = 0$ : $i$ -वाँ कोऑर्डिनेट उस क्वेरी के लिए एक न्यूसेंस वेरिएबल है।

एक संदर्भ अवस्था $g$ और एक क्वेरी $q$ को देखते हुए, लक्ष्य समुच्चय को निम्नलिखित तुल्यता वर्ग के रूप में परिभाषित किया जाता है: $G(g, q) = \{s' \in \mathcal{S} : q \odot s' = q \odot g\}$ । सफलता का निर्धारण केवल सक्रिय कोऑर्डिनेट्स को मिलाने से होता है, जिसे आमतौर पर एक टॉलरेंस $\epsilon$ के साथ नॉर्मलाइज्ड स्क्वेर्ड डिस्टेंस के माध्यम से मापा जाता है।

क्वेरी-कंडीशन्ड इंटरफेस:
GS-HER अंतर्निहित ऑफलाइन GCRL एल्गोरिदम के कोर लर्निंग ऑब्जेक्टिव (जैसे, बेलमैन अपडेट्स, कॉन्ट्रास्टिव लॉस, या बिहेवियल क्लोनिंग) को बदले बिना, उसके कंडीशनिंग इनपुट को संशोधित करता है। कंडीशनिंग इनपुट $\psi_{GS}$ को इस प्रकार बनाया जाता है:
$\psi_{GS}(s, g, q) = [\bar{s}_q, \bar{g}_q, q]$
जहाँ $\bar{s}_q = q \odot s + (1-q) \odot e_s$ और $\bar{g}_q = q \odot g + (1-q) \odot e_g$ है। यहाँ $e_s$ और $e_g$ न्यूसेंस-कोऑर्डिनेट एम्बेडिंग्स (सीखे गए या फिक्स्ड) हैं जो अप्रासंगिक चरों को मास्क करते हैं। क्वेरी $q$ को नेटवर्क को स्पष्ट रूप से प्रदान किया जाता है, जिससे मॉडल को एक एकीकृत नीति (unified policy) सीखने में मदद मिलती है जो क्वेरी के आधार पर अपने "सफलता" के बोध को अनुकूलित करती है।
रीलेबलिंग रैपर (Relabeling Wrapper):
GS-HER मौजूदा ऑफलाइन GCRL एल्गोरिदम के लिए एक रैपर के रूप में कार्य करता है। प्रशिक्षण के दौरान, प्रत्येक ट्रांजिशन के लिए, एक संदर्भ अवस्था $g$ को सैंपल किया जाता है (मूल एल्गोरिदम के अनुसार), और एक क्वेरी $q$ को वितरण $p_Q$ से सैंपल किया जाता है। इसके बाद ट्रांजिशन को क्वेरी-कंडीशन्ड गोल सेट और संबंधित सफलता प्रेडिकेट के साथ रीलेबल किया जाता है। यह एक एकल मॉडल को विभिन्न लक्ष्य अर्थों (जैसे, फुल-स्टेट, ऑब्जेक्ट-पोजीशन, एंड-इफेक्टर पोज़) से एक साथ सीखने की अनुमति देता है।

प्रमुख योगदान

ऑब्जेक्टिव मिसमैच की पहचान: पेपर यह पहचानता है कि सटीक-अवस्था हिंडसाइट रीलेबलिंग उन रोबोटिक कार्यों में ऑब्जेक्टिव मिसमैच पैदा करती है जहाँ सफलता कार्य-प्रासंगिक प्रोजेक्शन पर निर्भर करती है।
GS-HER का औपचारिककरण: लेखक GS-HER को एक प्रेडिकेट-लेवल सामान्यीकरण के रूप में औपचारिक रूप देते हैं जहाँ प्राप्त अवस्थाएँ सिंगलेट अवस्थाओं के बजाय लक्ष्य समुच्चयों (तुल्यता वर्गों) की पहुँच (reachability) को प्रमाणित करती हैं।
इम्प्लीमेंटेशन-एग्नोस्टिक रैपर: GS-HER को वेक्टर-स्टेट एनवायरनमेंट्स के लिए एक क्वेरी-कंडीशन्ड रीलेबलिंग रैपर के रूप में स्थापित किया गया है। यह मौजूदा ऑफलाइन GCRL एल्गोरिदम (जिसमें बिहेवियल क्लोनिंग, कॉन्ट्रास्टिव आरएल, और इम्पलिसिट क्यू-लर्निंग शामिल हैं) को उनके अंतर्निहित ऑप्टिमाइजेशन ऑब्जेक्टिव को बदले बिना क्वेयरेबल गोल सिमेंटिक्स सीखने में सक्षम बनाता है।
पुन: प्रयोज्य लक्ष्य इंटरफेस: यह विधि हिंडसाइट रीलेबलिंग को एक पुन: प्रयोज्य इंटरफेस में बदल देती है, जिससे एक ही प्रशिक्षित चेकपॉइंट को इन्फरेंस के समय कई लक्ष्य प्रेडिकेट्स के लिए उपयोग किया जा सकता है, जिसके लिए पुनः प्रशिक्षण की आवश्यकता नहीं होती है।

प्रायोगिक परिणाम
लेखकों ने पांच अलग-अलग ऑफलाइन GCRL बैकबोन (GCBC, CRL, GCIVL, GCIQL, GCDL) पर OGBench सूट को कवर करते हुए मैनिपुलेशन कार्यों (जैसे, क्यूब प्लेसमेंट) और नेविगेशन कार्यों (जैसे, PointMaze, AntMaze) के लिए GS-HER का मूल्यांकन किया।

प्रदर्शन में सुधार: GS-HER (विशेष रूप से "ब्लॉकवाइज" वेरिएंट जो रैंडम कोऑर्डिनेट ब्लॉक्स का उपयोग करता है) मैनिपुलेशन कार्यों पर मानक फुल-स्टेट HER (HER-Full) से लगातार बेहतर रहा। उदाहरण के लिए, मैनिपुलेशन कार्यों पर औसत रूप से, GS-HRE ने आधिकारिक सफलता दर को 24.5% (HER-Full) से बढ़ाकर 55.0% कर दिया, जो एक ओरकल "टास्क-फोकस्ड" बेसलाइन (HER-Task) के प्रदर्शन के करीब पहुँच गया जो एक निश्चित, पूर्व-निर्धारित प्रोजेक्शन का उपयोग करता है।
न्यूसेंस डायमेंशन बॉटलनेक: प्रदर्शन में लाभ सीधे तौर पर इस बात से सह-संबंधित था कि फुल-स्टेट HER किस हद तक न्यूसेंस डायमेंशन द्वारा बाधित था। लो-न्यूसेंस वातावरण (जैसे, PointMaze) में, GS-HER ने HER-Full के समान प्रदर्शन किया, जो पुष्टि करता है कि यह विधि विशेष रूप से ओवरकन्स्ट्रेंट समस्या को संबोधित करती है।
एक मॉडल, कई प्रेडिकेट्स: "वन-मॉडल-मेनी-प्रेडिकेट्स" प्रयोग में, एक सिंगल GS-HER चेकपॉइंट को इन्फरेंस के समय विभिन्न प्रेडिकेट्स (जैसे, क्यूब पोजीशन, क्यूब या (yaw), एंड-इफेक्टर पोज़, एयरबोर्न ऑब्जेक्ट पोजीशन) के साथ क्वेरी किया गया। मॉडल ने बिना पुनः प्रशिक्षण के इन विभिन्न सफलता मानदंडों के अनुकूल होने में सफलता प्राप्त की। इसके विपरीत, HER-Task को प्रत्येक नए प्रेडिकेट के लिए पुनः प्रशिक्षण की आवश्यकता थी, और HER-Full उन प्रेडिकेट्स के लिए विफल रहा जो विशिष्ट अवस्था चरों को अनदेखा करते थे।

महत्व और दावे
पेपर का दावा है कि GS-HER ऑफलाइन GCRL के रीलेबलिंग सिमेंटिक्स को अलग करता है। सफलता की परिभाषा (क्वेरी) को लर्निंग एल्गोरिदम से अलग करके, GS-HER एक ऐसा प्रिमिटिव प्रदान करता है जो ऑफलाइन डेटासेट्स को लचीले, क्वेयरेबल लक्ष्य विनिर्देशों (specifications) का समर्थन करने की अनुमति देता है।

लेखक इस बात पर जोर देते हैं कि यह कार्य ओपन-एंडेड गोल स्पेसिफिकेशन (जैसे, भाषा या दृष्टि के माध्यम से) को हल नहीं करता है, बल्कि यह प्रदर्शित करता है कि लक्ष्य प्रेडिकेट को इन्फरेंस-टाइम इनपुट बनाना ऑफलाइन रोबोट लर्निंग के लिए एक उपयोगी और आवश्यक कदम है। यह एक एकल मॉडल को कई कार्य परिभाषाओं को सेवा देने की अनुमति देता है, जिससे विभिन्न कार्य प्रोजेक्शन के लिए अलग-अलग ट्रेनिंग रन की आवश्यकता कम हो जाती है और सटीक-अवस्था मिलान पर निर्भरता कम होती है जो अक्सर रोबोटिक मैनिपुलेशन के लिए अर्थपूर्ण रूप से गलत होता है। इस पद्धति को एक पूरक परत (complementary layer) के रूप में प्रस्तुत किया गया है, जो इसके मूल गणितीय उद्देश्यों को बदले बिना मौजूदा एल्गोरिदम की लचीलेपन को बढ़ाती है।

इसी तरह के और पेपर