💬 NLP

Agent Learning via Early Experience

यह शोध पत्र "अर्ली एक्सपीरियंस" (early experience) को प्रस्तुत करता है, जो एक ऐसा प्रतिमान (paradigm) है जहाँ भाषा एजेंट निहित विश्व मॉडलिंग (implicit world modeling) और आत्म-चिंतन (self-reflection) के माध्यम से स्पष्ट पुरस्कार संकेतों के बिना अपने स्वयं के इंटरेक्शन डेटा से सीखते हैं, जो सुपरवाइज्ड फाइन-ट्यूनिंग और रीइन्फोर्समेंट लर्निंग के बीच के अंतर को पाटते हुए बेहतर प्रभावशीलता और सामान्यीकरण का प्रदर्शन करता है।

मूल लेखक: Kai Zhang, Xiangchao Chen, Bo Liu, Tianci Xue, Zeyi Liao, Zhihan Liu, Xiyao Wang, Yuting Ning, Zhaorun Chen, Xiaohan Fu, Jian Xie, Yuxuan Sun, Boyu Gou, Qi Qi, Zihang Meng, Jianwei Yang, Ning Zhang, X

प्रकाशित 2026-05-26

📖 5 मिनट में पढ़ें🧠 गहराई से पढ़ें

CC BY 4.0

मूल लेखक: Kai Zhang, Xiangchao Chen, Bo Liu, Tianci Xue, Zeyi Liao, Zhihan Liu, Xiyao Wang, Yuting Ning, Zhaorun Chen, Xiaohan Fu, Jian Xie, Yuxuan Sun, Boyu Gou, Qi Qi, Zihang Meng, Jianwei Yang, Ning Zhang, Xian Li, Ashish Shah, Dat Huynh, Hengduo Li, Zi Yang, Sara Cao, Lawrence Jang, Shuyan Zhou, Jiacheng Zhu, Huan Sun, Jason Weston, Yu Su, Yifan Wu

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

कल्पना कीजिए कि आप एक रोबोट को एक विशाल, जटिल भूलभुलैया (maze) में रास्ता खोजने के लिए सिखा रहे हैं। अतीत में, इस रोबोट को सिखाने के दो मुख्य तरीके थे:

"शैडोइंग" विधि (इमिटेशन लर्निंग - नकल सीखना): आप एक मानव विशेषज्ञ को काम पर रखते हैं जिसने पहले ही भूलभुलैया को पूरी तरह से हल कर लिया है। आप रोबोट को बार-बार विशेषज्ञ के रास्ते पर चलते हुए देखता है। रोबोट कदमों को याद कर लेता है: "लाल दरवाजे पर बाएं मुड़ें, फिर सीधे जाएं।"
- समस्या: रोबोट केवल वही एक रास्ता जानता है जो विशेषज्ञ ने लिया था। यदि विशेषज्ञ ने एक छोटी सी गलती की, या यदि रोबोट थोड़ा सा अपने रास्ते से भटक गया, तो वह घबरा जाता है क्योंकि उसे यह नहीं पता कि अगर उसने बाएं के बजाय दाएं मुड़ा तो क्या होगा। यह बिल्कुल वैसा ही है जैसे कोई छात्र जिसने अभ्यास परीक्षा के उत्तर रट लिए हों, लेकिन वास्तविक परीक्षा में फेल हो जाता है क्योंकि प्रश्न थोड़े अलग होते हैं।
"ट्रायल एंड एरर" विधि (रीइन्फोर्समेंट लर्निंग - प्रयास और त्रुटि): आप रोबोट को अपने आप भूलभुलैया में दौड़ने देते हैं। हर बार जब वह किसी दीवार से टकराता है, तो उसे एक "झटका" (नकारात्मक इनाम) मिलता है। हर बार जब वह बाहर निकलने का रास्ता ढूंढ लेता है, तो उसे एक "कुकी" (सकारात्मक इनाम) मिलती है।
- समस्या: वास्तविक दुनिया में (जैसे वेबसाइट ब्राउज़ करना या किसी टूल का उपयोग करना), हर कदम पर "झटके" या "कुकीज़" इंतज़ार नहीं करतीं। आप एक बटन क्लिक कर सकते हैं और कुछ नहीं होता, या आप एक फॉर्म भर सकते हैं और आपको दिनों बाद तक पता नहीं चलेगा कि आपने इसे सही किया या नहीं। स्पष्ट फीडबैक के बिना, रोबोट अपने पहिए घुमाता रहेगा, लाखों चीज़ें बेतरतीब ढंग से आज़माता रहेगा, जो बहुत धीमा और अक्षम है।

नया विचार: "अर्ली एक्सपीरियंस" (प्रारंभिक अनुभव)

यह पेपर "अर्ली एक्सपीरियंस" नामक एक चतुर मध्य मार्ग प्रस्तावित करता है।

इसे इस तरह सोचें: केवल विशेषज्ञ को देखने के बजाय, रोबलेट को वास्तविक प्रशिक्षण शुरू करने से पहले अपने आप कुछ "अभ्यास स्विंग" करने की अनुमति दी जाती है।

यह कैसे काम करता है, यहाँ दो विशिष्ट रणनीतियों का उपयोग किया गया है जिन्हें लेखकों ने विकसित किया है:

1. "क्या होगा अगर" सिम्युलेटर (इम्प्लिसिट वर्ल्ड मॉडलिंग)

कल्पना कीजिए कि रोबोट सड़क के एक मोड़ पर खड़ा है।

विशेषज्ञ कहता है: "बाएं जाओ।"
रोबोट पूछता है: "अगर मैं दाएं गया तो क्या होगा?" या "अगर मैं कूदा तो क्या होगा?"

"अर्ली एक्सपीरियंस" पद्धति में, रोबोट वास्तव में एक सुरक्षित सिमुलेशन में इन "क्या होगा अगर" वाले कदमों को आज़माता है। वह परिणाम देखता है: "ओह, अगर मैं दाएं गया, तो मैं गड्ढे में गिर जाऊंगा," या "अगर मैं कूदा, तो मैं छत से टकरा जाऊंगा।"

रोबोट को यह सीखने के लिए "कुकी" या "झटके" की आवश्यकता नहीं है। वह बस दुनिया के नियमों को सीखता है। वह कारण-और-प्रभाव का एक आंतरिक मानचित्र बनाता है: क्रिया A से परिणाम X होता है। अगले क्या होने वाला है, इसकी भविष्यवाणी करके, रोबोट वातावरण को विशेषज्ञ के पथ को केवल याद करने वाले रोबोट की तुलना में बहुत बेहतर समझता है।

2. "आत्म-चिंतन" जर्नल (सेल्फ-रिफ्लेक्शन)

कल्पना कीजिए कि रोबोट भाषण का अभ्यास कर रहा है।

विशेषज्ञ कहता है: "'नमस्ते' कहें।"
रोबोट आज़माता है: "'अलविदा' कहें।"
परिणाम: दर्शक भ्रमित दिखते हैं।

इस रणनीति में, रोबोट अपनी "गलतियों" और विशेषज्ञ के "सही" चुनाव को अगल-बगल देखता है। फिर वह अपने स्वयं के मस्तिष्क (एक लार्ज लैंग्वेज मॉडल) का उपयोग करके अपने लिए एक छोटा सा नोट लिखता है: "मैंने 'अलविदा' कहा, लेकिन विशेषज्ञ ने 'नमस्ते' कहा। जब मैंने 'अलविदा' कहा तो दर्शक भ्रमित दिखे, लेकिन जब विशेषज्ञ ने 'नमस्ते' कहा तो वे मुस्कुराए। इसलिए, 'नमस्ते' बेहतर है क्योंकि यह स्थिति के अनुकूल है।"

रोबोट केवल "नमस्ते" शब्द को याद नहीं कर रहा है; वह उस तर्क को सीख रहा है कि क्यों वह विकल्प बेहतर था। वह अपनी विफलताओं को एक पाठ योजना में बदल देता है।

यह क्यों मायने रखता है (परिणाम)

शोधकर्ताओं ने आठ अलग-अलग "भूलभुलैयाओं" पर इस विचार का परीक्षण किया, जिनमें शामिल हैं:

वेबसाइटों का उपयोग करना (जैसे किसी विशिष्ट शर्ट की खरीदारी करना)।
विज्ञान प्रयोगों को हल करना।
जटिल यात्रा कार्यक्रम की योजना बनाना।
कंप्यूटर टूल्स का उपयोग करना।

निष्कर्ष स्पष्ट थे:

सिर्फ देखने से बेहतर: "अर्ली एक्सपीरियंस" के साथ प्रशिक्षित रोबोट उन रोबोटों की तुलना में समस्याओं को हल करने में बहुत बेहतर थे जिन्होंने केवल विशेषज्ञों को देखा था।
आश्चर्यों को संभालने में बेहतर: जब रोबोटों को ऐसी नई स्थितियों का सामना करना पड़ा जो उन्होंने पहले नहीं देखी थीं (आउट-ऑफ-डोमेन), तो वे उतनी बार क्रैश नहीं हुए। वे खेल के नियमों को समझते थे, न कि केवल चालों को।
कम डेटा की आवश्यकता: उन्होंने विशेषज्ञ डेटा के आवश्यक हिस्से के केवल एक अंश का उपयोग करके उच्च प्रदर्शन प्राप्त किया।
भविष्य के लिए एक सेतु: भले ही बाद में स्पष्ट पुरस्कार (जैसे वीडियो गेम में) उपलब्ध हों, "अर्ली एक्सपीरियंस" के साथ शुरू करने से रोबोट और भी तेज़ी से सीख पाए।

बड़ी तस्वीर

यह पेपर तर्क देता है कि हमें हर वास्तविक कार्य के लिए पूर्ण "रिवॉर्ड सिस्टम" (जैसे कुकीज़ और झटके) के आविष्कार का इंतज़ार करने की ज़रूरत नहीं है। हम एजेंटों को अपने "क्या होगा अगर" वाले परिदृश्यों और अपनी गलतियों पर अपने चिंतन से सीखने के लिए अभी सिखा सकते हैं। यह एक रोबोट को केवल उत्तर याद करने वाले निष्क्रिय छात्र से बदलकर एक सक्रिय शिक्षार्थी बनाने का तरीका है जो समझता है कि दुनिया कैसे काम करती है।

तकनीकी सारांश: प्रारंभिक अनुभव के माध्यम से एजेंट लर्निंग (Agent Learning via Early Experience)

1. समस्या विवरण (Problem Statement)

भाषा एजेंटों (language agents) का दीर्घकालिक लक्ष्य जटिल, वास्तविक दुनिया के कार्यों में अपने स्वयं के अनुभव के माध्यम से सीखना और सुधार करना है। हालाँकि, वर्तमान प्रशिक्षण प्रतिमान (training paradigms) महत्वपूर्ण सीमाओं का सामना कर रहे हैं:

सुदृढीकरण शिक्षण (Reinforcement Learning - RL): जबकि सत्यापन योग्य पुरस्कारों (verifiable rewards) वाले डोमेन (जैसे कि गेम्स) में यह सफल है, वास्तविक दुनिया के भाषा एजेंटों पर RL को लागू करना कठिन है। कई वातावरण (जैसे वेबसाइट, मल्टी-टर्न टूल उपयोग) या तो सत्यापन योग्य या सघन (dense) पुरस्कार संकेतों की कमी रखते हैं, या उनके लिए अक्षम लॉन्ग-हॉरिजन रोलआउट की आवश्यकता होती है जो क्रेडिट असाइनमेंट को अस्थिर बना देते हैं।
सुपरवाइज्ड फाइन-ट्यूनिंग (SFT/इमिटेशन लर्निंग): अधिकांश वर्तमान एजेंट विशेषज्ञ-क्यूरेटेड डेटा का उपयोग करके SFT पर निर्भर करते हैं। हालांकि यह कुशल है, इस दृष्टिकोण की अंतर्निहित सीमाएँ हैं:
- डिस्ट्रीब्यूशन शिफ्ट (Distribution Shift): एजेंट प्रशिक्षण के दौरान वातावरण के साथ इंटरैक्ट नहीं करते हैं, इसलिए वे गैर-विशेषज्ञ कार्यों के परिणामों को कभी नहीं देख पाते। इससे एजेंट के प्रशिक्षण वितरण से विचलित होने पर त्रुटियाँ संचयी (compounding) हो जाती हैं।
- सीमित सामान्यीकरण (Limited Generalization): विशेषज्ञ प्रदर्शन (expert demonstrations) केवल परिदृश्यों की एक संकीर्ण श्रेणी को कैप्चर करते हैं, जिससे एजेंट की अनदेखी स्थितियों में सामान्यीकरण करने या विफलताओं से उबरने की क्षमता सीमित हो जाती है।
- स्केलेबिलिटी (Scalability): उच्च गुणवत्ता वाले विशेषज्ञ प्रदर्शनों को स्केल करना महंगा है।

मुख्य चुनौती यह है कि एजेंटों को बाहरी पुरस्कार संकेतों पर निर्भर रहे बिना या मानव प्रदर्शनों की कवरेज से सख्ती से बंधे बिना, अपने स्वयं के अनुभव से बढ़ने के लिए कैसे प्रशिक्षित किया जाए।

2. कार्यप्रणाली: प्रारंभिक अनुभव प्रतिमान (Methodology: The Early Experience Paradigm)

लेखक प्रारंभिक अनुभव (Early Experience) का प्रस्ताव करते हैं, जो इमिटेशन लर्निंग और सुदृढीकरण शिक्षण (RL) के बीच का एक मध्यवर्ती मार्ग है। इस सेटिंग में, एजेंट न केवल मानव-क्यूरेटेड डेटा से सीखते हैं, बल्कि वातावरण में अपने द्वारा प्रस्तावित कार्यों से संचालित भविष्य की अवस्थाओं (future states) से भी सीखते हैं। ये भविष्य की अवस्थाएं बिना किसी बाहरी पुरस्कार के पर्यवेक्षण संकेत (supervision signals) के रूप में कार्य करती हैं।

यह प्रतिमान विशेषज्ञ प्रक्षेपवक्र (expert trajectories) $D_{expert} = \{(s_i, a_i)\}$ के डेटासेट का लाभ उठाता है और इसे एक रोलआउट डेटासेट $D_{rollout} = \{(s_i, a^j_i, s^j_i)\}$ के साथ बढ़ाता है, जहाँ $a^j_i$ एजेंट की पॉलिसी से लिए गए वैकल्पिक कार्य हैं, और $s^j_i$ वातावरण में देखे गए परिणामी अगले राज्य (next states) हैं।

इस प्रतिमान के तहत दो विशिष्ट प्रशिक्षण रणनीतियों का अध्ययन किया गया है:

A. इम्प्लिसिट वर्ल्ड मॉडलिंग (Implicit World Modeling - IWM)

अवधारणा: एजेंट देखे गए भविष्य के राज्यों के संग्रह को वातावरण की गतिशीलता (dynamics) को आंतरिक बनाने के लिए एक सहायक भविष्यवाणी कार्य के रूप में मानता है।
तंत्र: रोलआउट डेटासेट में प्रत्येक स्टेट-एक्शन पेयर $(s_i, a^j_i)$ के लिए, मॉडल को परिणामी अगले राज्य $s^j_i$ की भविष्यवाणी करने के लिए प्रशिक्षित किया जाता है।
उद्देश्य: प्रशिक्षण उद्देश्य एक नेक्स्ट-टोकन प्रेडिक्शन लॉस है: $L_{IWM} = -\sum \log p_\theta(s^j_i | s_i, a^j_i)$ ।
लाभ: यह पॉलिसी को वातावरण के व्यवहार (ट्रांजिशन, साइड इफेक्ट्स, अमान्य परिणाम) में नियमितताओं को सीधे सीखने की अनुमति देता है, जिससे एजेंट बिना किसी अलग सिम्युलेटर मॉड्यूल के अपने ऑपरेटिंग कॉन्टेक्स्ट में स्थापित (grounded) हो जाता है।

B. आत्म-चिंतन (Self-Reflection - SR)

अवधारणा: एजेंट अपने उप-इष्टतम (suboptimal) कार्यों से यह तुलना करके सीखता है कि विशेषज्ञ का चुनाव क्यों बेहतर है और इसके लिए प्राकृतिक भाषा में स्पष्टीकरण उत्पन्न करता है।
तंत्र: प्रत्येक विशेषज्ञ स्थिति $s_i$ के लिए, एजेंट विशेषज्ञ कार्य $a_i$ को निष्पादित करता है ताकि $s_{i+1}$ प्राप्त हो सके और वैकल्पिक कार्य $a^j_i$ को निष्पादित करता है ताकि $s^j_i$ प्राप्त हो सके। फिर मॉडल को एक चेन-ऑफ-थॉट (CoT) स्पष्टीकरण $c^j_i$ उत्पन्न करने के लिए प्रॉम्प्ट किया जाता है जो परिणामों में अंतर के आधार पर यह औचित्य सिद्ध करे कि $a_i$ , $a^j_i$ की तुलना में क्यों बेहतर है।
उद्देश्य: मॉडल को स्थिति $s_i$ दिए जाने पर तर्क $c^j_i$ और विशेषज्ञ कार्य $a_i$ को संयुक्त रूप से प्रेडिक्ट करने के लिए प्रशिक्षित किया जाता है: $L_{SR} = -\sum \log p_\theta(c^j_i, a_i | s_i)$ ।
लाभ: यह एजेंट की अपनी खोजपूर्ण विफलताओं (exploratory failures) से सूक्ष्म, हस्तांतरणीय निर्णय सिद्धांतों (जैसे बाधा संतुष्टि/constraint satisfaction) को निकालता है, जो केवल रटने वाली नकल (rote imitation) से आगे बढ़ता है।

3. मुख्य योगदान (Key Contributions)

प्रारंभिक अनुभव का औपचारिक रूप देना: पेपर इमिटेशन लर्निंग और RL के बीच एक स्केलेबल, रिवॉर्ड-फ्री ब्रिज के रूप में 'प्रारंभिक अनुभव' का समर्थन और उसे औपचारिक रूप देता है। यह एजेंटों को बाहरी पुरस्कारों के बिना अपने स्वयं के इंटरैक्शन को लर्निंग सिग्नल में बदलने के लिए सशक्त बनाता है।
दो प्रशिक्षण रणनीतियाँ: लेखक इम्प्लिसिट वर्ल्ड मॉडलिंग (स्टेट प्रेडिक्शन के माध्यम से डायनेमिक्स को आंतरिक बनाना) और सेल्फ-रिफ्लेक्शन (उप-इष्टतम कार्यों के बारे में तर्क के माध्यम से निर्णय सिद्धांतों को डिस्टिल करना) का प्रस्ताव करते हैं और व्यवस्थित रूप से अध्ययन करते हैं।
व्यापक मूल्यांकन: इन विधियों का मूल्यांकन आठ विविध वातावरणों (एम्बोडीड नेविगेशन, वेब नेविगेशन, मल्टी-टर्न टूल उपयोग, वैज्ञानिक सिमुलेशन, और प्लानिंग) और कई मॉडल परिवारों (Llama-3.2-3B, Qwen-2.5-7B, Llama-3.1-8B) में किया गया है।

4. प्रयोगात्मक परिणाम (Experimental Results)

मूल्यांकन शुद्ध इमिटेशन लर्निंग बेसलाइन की तुलना में निरंतर सुधार प्रदर्शित करता है:

प्रभावशीलता: सभी आठ बेंचमार्क और मॉडल साइजों में, IWM और SR दोनों मानक SFT से बेहतर प्रदर्शन करते हैं।
- IWM अनुमानित डायनेमिक्स वाले संरचित वातावरण (जैसे ALFWorld, ScienceWorld, WebShop) में निरंतर लाभ दिखाता है।
- SR उन कार्यों में महत्वपूर्ण सुधार प्रदान करता है जिनमें मल्टी-स्टेप रीजनिंग और कंस्ट्रेंट सेटिस्फैक्शन की आवश्यकता होती है (जैसे TravelPlanner, BFCLv3)।
- विशेष रूप से, WebShop पर, IWM ने इमिटेशन लर्निंग की तुलना में सफलता दर में 18.4% तक सुधार किया।
आउट-ऑफ-डोमेन (OOD) सामान्यीकरण: प्रारंभिक अनुभव विधियां OOD स्प्लिट्स में प्रदर्शन के अंतर को लगातार काफी हद तक कम करती हैं। कुछ मामलों में (जैसे SearchQA), इन-डोमेन सेटिंग्स की तुलना में OOD सेटिंग्स में सापेक्ष लाभ अधिक है, जो इंगित करता है कि अपने स्वयं के रोलआउट से सीखना एजेंट को उन स्थितियों के लिए तैयार करता है जो प्रदर्शनों (demonstrations) में कवर नहीं की गई हैं।
डेटा दक्षता: प्रारंभिक अनुभव इमिटेशन लर्निंग के मुकाबले बहुत कम विशेषज्ञ प्रदर्शनों (जैसे WebShop पर 1/8 डेटा) का उपयोग करने पर भी बढ़त बनाए रखता है।
मॉडल स्केलिंग: जैसे-जैसे मॉडल का आकार 70B पैरामीटर्स (Llama-3.3-70B) तक बढ़ता है, लाभ बने रहते हैं, और प्रारंभिक अनुभव चेकपॉइंट्स लगातार शीर्ष प्रदर्शन वक्र (performance curve) पर रहते हैं।
RL के लिए आधार: जब शुद्ध इमिटेशन लर्निंग चेकपॉइंट्स के बजाय प्रारंभिक अनुभव से प्रशिक्षित चेकपॉइंट्स पर बाद में RL (GRPO का उपयोग करके) लागू किया जाता है, तो अंतिम प्रदर्शन की सीमा (ceiling) काफी अधिक होती है। यह सुझाव देता है कि प्रारंभिक अनुभव "अनुभव के युग" (era of experience) के लिए एक मजबूत इनिशियलाइजेशन प्रदान करता है।

5. महत्व और दावे (Significance and Claims)

यह पेपर प्रारंभिक अनुभव को स्वायत्त भाषा एजेंटों के विकास के लिए एक आवश्यक कदम के रूप में प्रस्तुत करता है। इसका महत्व निम्नलिखित में निहित है:

अंतराल को पाटना: यह उन वातावरणों के लिए एक व्यावहारिक समाधान प्रदान करता है जहाँ पुरस्कार उपलब्ध या विश्वसनीय नहीं हैं, जिससे एजेंटों को केवल स्थिर प्रदर्शनों के बजाय परिणामों से सीखने की अनुमति मिलती है।
स्केलेबिलिटी: एजेंट के अपने कार्यों का उपयोग करके पर्यवेक्षण (supervision) उत्पन्न करके, यह लागतपूर्ण, उच्च-गुणवत्ता वाले मानव प्रदर्शनों पर निर्भरता को कम करता है।
भविष्य के लिए तैयारी: यह एक "मिड-ट्रेनिंग" ब्रिज के रूप में कार्य करता है जो एजेंटों को पूर्ण अनुभव-संचालित लर्निंग (RL) के लिए तैयार करता है, जब नए वातावरणों में सत्यापन योग्य पुरस्कार उपलब्ध हो जाते हैं, जिससे शून्य से पुन: प्रशिक्षण के बिना और अधिक लाभ प्राप्त किया जा सकता है।

लेखक निष्कर्ष निकालते हैं कि प्रारंभिक अनुभव एजेंटों को उनके अपने इंटरैक्शन से बढ़ने में सक्षम बनाता है, जो वर्तमान इमिटेशन-आधारित दृष्टिकोणों की सीमाओं को संबोधित करता है और अनुभव-संचालित एजेंटों के भविष्य के युग के लिए आधार तैयार करता है।