← नवीनतम पेपर
🤖 machine learning

Consistent Zero-Shot Imitation with Contrastive Goal Inference

यह शोध पत्र कॉन्ट्रास्टिव इनवर्स रीइन्फोर्समेंट लर्निंग (CIRL) को प्रस्तुत करता है, जो एक सेल्फ-सुपरवाइज्ड प्री-ट्रेनिंग फ्रेमवर्क है जो मल्टी-टास्क इनवर्स रीइन्फोर्समेंट लर्निंग को एक सुलभ लक्ष्य-अनुमान (गोल-इन्फरेंस) समस्या में परिवर्तित करता है ताकि एजेंट बिना किसी रिवॉर्ड या टेस्ट-टाइम अपडेट के, जीरो-शॉट इमिटेशन परिदृश्यों में विशेषज्ञ व्यवहार को निरंतर रूप से पुनरुत्पादित करने में सक्षम हो सकें।

मूल लेखक: Kathryn Wantlin, Chongyi Zheng, Benjamin Eysenbach

प्रकाशित 2026-06-25
📖 7 मिनट में पढ़ें🧠 गहराई से पढ़ें

मूल लेखक: Kathryn Wantlin, Chongyi Zheng, Benjamin Eysenbach

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

कल्पना कीजिए कि आप एक रोबोट को कोई नया काम सिखाने की कोशिश कर रहे हैं, जैसे ब्लॉक्स को एक के ऊपर एक रखना या कमरे में चलना। आमतौर पर, आपको रोबोट को यह दिखाना पड़ता है कि उसे क्या करना है (अनुकरण/इमिटेशन) या फिर उसे सही काम करने के लिए सख्त नियम और अंक (रिवॉर्ड्स) देने पड़ते हैं। लेकिन क्या होगा अगर आप चाहते हैं कि रोबोट बिना किसी मानवीय सहायता या स्कोरकार्ड के खुद से सीखे, और फिर, केवल एक इंसान द्वारा किया गया एक वीडियो देखकर, वह उस काम को पूरी तरह से समझ ले?

यही वह चुनौती है जिसे यह शोध पत्र (पेपर) हल करता है। प्रिंसटन यूनिवर्सिटी के लेखकों ने एक नई विधि पेश की है जिसे CIRL (कॉन्ट्रास्टिव इनवर्स रीइन्फोर्समेंट लर्निंग) कहा जाता है। यह कैसे काम करता है, यहाँ सरल अवधारणाओं और उपमाओं के माध्यम प्रकार दिया गया है।

मुख्य विचार: "लक्ष्य" (Goals) ही गुप्त भाषा है

इस पेपर का मुख्य निष्कर्ष यह है कि लगभग किसी भी जटिल कार्य को एक एकल लक्ष्य अवस्था (goal state) द्वारा संक्षेपित किया जा सकता है।

  • उपमा: एक कुकिंग शो के बारे में सोचें। आपको शेफ द्वारा किए जाने वाले हर एक कट, स्टिर या फ्लिप को याद करने की ज़रूरत नहीं है। आपको बस अंतिम व्यंजन (लक्ष्य) जानने की आवश्यकता है। यदि आप जानते हैं कि लक्ष्य "एक बेहतरीन ऑमलेट" बनाना है, तो आप वहां तक पहुँचने के चरणों को समझ सकते हैं।
  • समस्या: अधिकांश AI सीधे "रेसिपी" (रिवॉर्ड फंक्शन) का अनुमान लगाने की कोशिश करते हैं, जो शेफ के सटीक विचारों का अनुमान लगाने जैसा है। यह अव्यवस्थित है और अक्सर गलत होता है।
  • CIRL का समाधान: रेसिपी का अनुमान लगाने के बजाय, CIRL अंतिम व्यंजन (लक्ष्य) का अनुमान लगाता है। एक बार जब रोबोट को लक्ष्य पता चल जाता है, तो वह उस लक्ष्य तक पहुँचने के लिए एक पूर्व-प्रशिक्षित कौशल (skill) का उपयोग करता है।

CIRL कैसे सीखता है ("प्लेग्राउंड" चरण)

इससे पहले कि रोबोट कभी किसी इंसान को देखे, वह एक "प्री-ट्रेनिंग" चरण से गुजरता है जहाँ वह पूरी तरह से अपने आप सीखता है, बिना किसी मानवीय मदद, बिना किसी रिवॉर्ड और बिना किसी प्रदर्शन के।

  1. जिज्ञासु खोजकर्ता (GoalKDE):
    एक विशाल खेल के मैदान (प्लेग्राउंड) में एक बच्चे की कल्पना करें। चलने के तरीके को सीखने के लिए, बच्चा केवल बेतरतीब ढंग से नहीं घूमता; वह विशेष रूप से उन जगहों की तलाश करता है जहाँ उसने अभी तक यात्रा नहीं की है। CIRL में GoalKDE नामक एक तंत्र है जो इस बच्चे की तरह काम करता है। यह उन सभी स्थानों को देखता है जहाँ रोबोट गया है और कहता है, "तुम यहाँ लाखों बार आए हो, लेकिन तुम वहाँ कभी नहीं गए।" यह एक नए, अनछुए स्थान को "लक्ष्य" के रूप में चुनता है और रोबोट को वहां पहुँचने की कोशिश करने के लिए कहता है। यह रोबोट को पूरे वातावरण की खोज करने और सभी दिशाओं में कैसे चलना है, यह सीखने के लिए मजबूर करता है।

  2. "क्या-होगा" ट्रेनर (Contrastive RL):
    जब रोबोट खोजबीन कर रहा होता है, तो वह एक विशेष प्रकार का मानचित्र सीखता है। यह सीखने के बजाय कि "यह क्रिया मुझे 10 अंक देती है," यह दूरी का बोध सीखता है। यह सीखता है: "यदि मैं यहाँ हूँ और मुझे उस लक्ष्य तक पहुँचना है, तो यह कितना कठिन है?" यह 'आसान पहुँचने योग्य' अवस्थाओं और 'कठिन पहुँचने योग्य' अवस्थाओं के बीच अंतर करना सीखता है। यह महत्वपूर्ण है क्योंकि यह रोबोट को यह समझने में मदद करता है कि कुछ लक्ष्य स्वाभाविक रूप से दूसरों की तुलना में कठिन होते हैं।

  3. मेमोरी बैंक:
    रोबोट इन विभिन्न लक्ष्यों की अपनी "यात्राओं" को एक मेमोरी बैंक में सहेज लेता है। वह एक सामान्य नीति (policy) सीखता है: "यहाँ बताया गया है कि मुझे किसी भी दिए गए लक्ष्य तक पहुँचने के लिए कैसे आगे बढ़ना है।"

परीक्षण: "वन-शॉट" इमिटेशन

अब, असली परीक्षण शुरू होता है। आप रोबोट को किसी विशेषज्ञ द्वारा किया गया एक एकल वीडियो दिखाते हैं (जैसे, एक इंसान एक विशिष्ट कुर्सी तक चलते हुए)। रोबोट ने पहले कभी यह कार्य नहीं देखा है और वह मदद के लिए पूछ नहीं सकता।

  1. जासूस (Goal Inference):
    रोबोट वीडियो देखता है और पूछता है, "विशेषज्ञ किस चीज़ तक पहुँचने की कोशिश कर रहा था?" वह लक्ष्य का अनुमान लगाने के लिए एक सांख्यिकीय मॉडल (एक "मीन-फील्ड" मॉडल, जो एक स्मार्ट शॉर्टकट की तरह है) का उपयोग करता है।

    • स्मार्ट ट्रिक: पेपर यह सिद्ध करता है कि केवल यह देखना कि विशेषज्ञ कहाँ पहुँचा, पर्याप्त नहीं है। रोबोट को यह भी विचार करना चाहिए कि वहाँ पहुँचना कितना कठिन था। यदि विशेषज्ञ ने उस स्थान तक पहुँचने के लिए एक बहुत कठिन रास्ता लिया, तो यह एक मजबूत संकेत है कि वह स्थान ही इच्छित लक्ष्य था। यदि उन्होंने एक आसान रास्ता लिया, तो शायद वे बस घूम रहे थे। CIRL इस कठिनाई को ध्यान में रखता है, जो इसे पिछले तरीकों की तुलना में बहुत बेहतर जासूस बनाता है।
  2. निष्पादन (Execution):
    एक बार जब रोबोट लक्ष्य का अनुमान लगा लेता है (जैसे, "विशेषज्ञ उस कुर्सी तक पहुँचना चाहता था"), तो वह अपने पूर्व-प्रशिक्षित "प्लेग्राउंड स्किल्स" को सक्रिय करता है ताकि उस विशिष्ट स्थान तक पहुँचा जा सके। उसे चलने का तरीका फिर से सीखने की आवश्यकता नहीं है; वह बस अपने मौजूदा कौशल को नए लक्ष्य पर लागू करता है।

यह पुराने तरीकों से बेहतर क्यों है?

यह पेपर CIRL की तुलना अन्य तरीकों (जैसे "फॉरवर्ड-बैकवर्ड" या FB रिप्रजेंटेशन) से करता है।

  • पुराने तरीकों की खामी: एक ऐसे मानचित्र की कल्पना करें जो कहता है, "लोग जिस स्थान पर सबसे अधिक जाते हैं, वही सबसे महत्वपूर्ण है।" यदि एक रोबोट एक कमरे में चला जाता है और दरवाजा जाम होने के कारण फंस जाता है, तो वह उस कमरे में बहुत समय बिताता है। पुराने तरीके सोच सकते हैं, "ओह, वे निश्चित रूप से वहीं रुकना चाहते थे!"
  • CIRL का लाभ: CIRL जानता है कि वह जाम वाला कमरा वहाँ पहुँचना कठिन था और वहाँ रहना भी कठिन था। वह समझ जाता है, "वे वहाँ रहना नहीं चाहते थे; वे बस फंस गए थे।" उस अवस्था तक पहुँचने की कठिनाई को ध्यान में रखकर, CIRL सही लक्ष्य का अनुमान लगाता है, भले ही विशेषज्ञ को वहाँ पहुँचने में कठिनाई हुई हो।

परिणाम

लेखकों ने रोबोटिक हाथ चलाने से लेकर वस्तुओं को धकेलने और चलने तक, विभिन्न रोबोट कार्यों पर इसका परीक्षण किया।

  • परिणाम: CIRL ने लगातार अन्य "जीरो-शॉट" तरीकों (वे तरीके जो बिना पुन: प्रशिक्षण के एकल उदाहरण से सीखने की कोशिश करते हैं) को पीछे छोड़ दिया।
  • प्रमाण: उन्होंने गणितीय रूप से सिद्ध किया कि उनका तरीका "संगत" (consistent) है, जिसका अर्थ है कि यह विश्वसनीय रूप से सही लक्ष्य खोज लेगा, जबकि अन्य समान तरीके कार्य की कठिनाई से धोखा खा सकते हैं।

सारांश

संक्षेप में, CIRL एक तरीका है जिससे आप एक रोबोट को एक आत्मनिर्भर खोजकर्ता बनने के लिए प्रशिक्षित कर सकते हैं। वह एक सैंडबॉक्स (रेत के डिब्बे) में खेलकर समय बिताता है, और खुद से कमरे के किसी भी कोने तक पहुँचने का तरीका सीखता है। फिर, जब वह किसी इंसान को एक बार कुछ करते हुए देखता है, तो वह इंसान की सटीक गतिविधियों की नकल करने की कोशिश नहीं करता। इसके बजाय, वह यह पता लगाता है कि इंसान कहाँ पहुँचने की कोशिश कर रहा था, और उस लक्ष्य तक पहुँचने के लिए अपने सैंडबॉक्स कौशल का उपयोग करता है। यह इसलिए काम करता है क्योंकि यह समझता है कि केवल इसलिए कि किसी स्थान पर बार-बार जाया जाता है, इसका मतलब यह नहीं है कि वह लक्ष्य था—कभी-कभी, लक्ष्य वह स्थान होता है जहाँ पहुँचना सबसे कठिन था।

अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?

आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।

Digest आज़माएँ →