Training Language Agents to Learn from Experience
यह शोध पत्र इन-कॉन्टेक्स्ट ट्रेनिंग (ICT) फ्रेमवर्क और एक सुदृढीकरण लर्निंग-आधारित पाइपलाइन पेश करता है जो भाषा एजेंटों को पिछले इंटरैक्शन से अनुभव को पुन: प्रयोज्य सिस्टम प्रॉम्प्ट्स में संकुचित करने में सक्षम बनाता है, जिससे वे मानवीय पर्यवेक्षण के बिना क्रॉस-टास्क आत्म-सुधार और अनदेखे वातावरणों में सामान्यीकरण प्राप्त करते हैं।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
कल्पना कीजिए कि आप एक बहुत ही बुद्धिमान, लेकिन थोड़े भोले (naive) रोबोट को वीडियो गेम खेलना सिखा रहे हैं।
समस्या: "एक-बार-और-खत्म" वाली भूलने की बीमारी (The "One-and-Done" Amnesia)
वर्तमान में, ये AI रोबोट (जिन्हें "लैंग्वेज एजेंट" कहा जाता है) अपनी गलतियों से सीखने में अच्छे हैं, लेकिन केवल एक बहुत ही विशिष्ट तरीके से। यदि वे किसी गेम का एक लेवल हार जाते हैं, तो वे पीछे मुड़कर देख सकते हैं, कह सकते हैं, "ओह, मैं गलत दीवार से टकरा गया था," और तुरंत फिर से कोशिश कर सकते हैं। वे उस विशेष लेवल में बेहतर हो जाते हैं।
हालाँकि, जैसे ही वे उस लेवल को जीत लेते हैं, वे सब कुछ भूल जाते हैं। यदि आप उन्हें एक नया लेवल देते हैं जो थोड़ा अलग है, तो वे ऐसे व्यवहार करते हैं जैसे उन्होंने पहले कभी गेम खेला ही न हो। उन्हें सबक को फिर से शून्य से सीखना पड़ता है। यह एक ऐसे छात्र की तरह है जिसने गणित की परीक्षा के लिए कड़ी मेहनत की, उसमें 'A' ग्रेड प्राप्त किया, और फिर अगले दिन भौतिक विज्ञान (physics) की कक्षा में इस तरह जाता है जैसे उसने पहले कभी संख्या देखी ही न हो। वे सामान्य सबक (जैसे "हमेशा अपने आस-पास की चीजों की जांच करें") को एक पुन: उपयोग योग्य नियम पुस्तिका (rulebook) में बदलने में असमर्थ हैं।
समाधान: "कोच" और "प्लेयर" (The "Coach" and the "Player")
लेखकों ने इन-कॉन्टेक्स्ट ट्रेनिंग (ICT) नामक एक नया फ्रेमवर्क पेश किया है। इसे एक दो-सदस्यीय टीम के रूप में सोचें:
- द प्लेयर (द एक्टर): यह वह रोबोट है जो कार्यों को हल करने की कोशिश कर रहा है। यह गेम खेलता है, गलतियाँ करता है, और जो हुआ उसका एक "रीप्ले" (replay) इकट्ठा करता है।
- द कोच (द रिफ्लेक्टर): यह एक दूसरा AI है जो प्लेयर के रीप्ले को देखता है। कोच का काम गेम खेलना नहीं है; बल्कि प्लेयर के लिए एक नई निर्देश पुस्तिका (सिस्टम प्रॉम्प्ट) लिखना है।
यहाँ जादू है: कोच केवल यह नहीं कहता, "उस दीवार से मत टकराओ।" बल्कि, वह प्लेयर द्वारा अभी-अभी खेले गए अलग-अलग लेवल्स के एक समूह (batch) को देखता है, सामान्य पैटर्न ढूंढता है, और प्लेयर के लिए एक सामान्य नियम लिखता है जिसे वह भविष्य के, अनदेखे लेवल्स पर उपयोग कर सके।
प्रशिक्षण: कोचिंग सीखना (The Training: Learning to Coach)
बड़ा सवाल यह था: क्या हम कोच को बेहतर मैनुअल लिखना कैसे सिखा सकते हैं?
शोधकर्ताओं ने मानव शिक्षकों या पहले से लिखे गए उदाहरणों का उपयोग नहीं किया। इसके बजाय, उन्होंने एक "गलती और सुधार" (trial and error) लूप (रिनफोर्समेंट लर्निंग) का उपयोग किया:
- कोच एक मैनुअल लिखता है।
- प्लेयर उस मैनुअल का उपयोग करके नए, अनदेखे पहेलियों के एक बैच को हल करने की कोशिश करता है।
- यदि प्लेयर अच्छा प्रदर्शन करता है, तो कोच को "अच्छा काम किया" का संकेत मिलता है। यदि प्लेयर विफल होता है, तो कोच को "फिर से प्रयास करें" का संकेत मिलता है।
- कोच इस फीडबैक से सीखता है ताकि अगली बार और भी बेहतर मैनुअल लिख सके।
परिणाम: शतरंज से लेकर कुकिंग तक (The Results: From Chess to Cooking)
टीम ने इसे दो बहुत ही अलग "वीडियो गेम्स" (सिम्युलेटेड वातावरण) पर परखा:
- ALFWorld: एक टेक्स्ट-आधारित घर जहाँ रोबोट को वस्तुएं ढूंढनी होती हैं, उन्हें साफ करना होता है, और उन्हें विशिष्ट स्थानों पर रखना होता है (जैसे "आलू को ठंडा करो और फ्रिज में रखो")।
- MiniHack: एक ग्रिड-वर्ल्ड गेम जहाँ रोबोट को भूलभुलैया से गुजरना होता है, भोजन खाना होता है, या जादू की छड़ी (magic wands) का उपयोग करना होता है।
उन्होंने क्या पाया:
- कोच स्मार्ट होता गया: प्रशिक्षित कोच, बिना प्रशिक्षित कोचों की तुलना में बेहतर मैनुअल लिखने में बहुत बेहतर थे। वे प्लेयर को पहले कभी देखे गए अलग प्रकार के पहेलियों के माध्यम से नए प्रकार के पहेलियों को हल करने के लिए सफलतापूर्वक सिखाने में सक्षम रहे।
- क्रॉस-गेम जादू (Cross-Game Magic): एक आश्चर्यजनक मोड़ में, उन्होंने एक कोच जिसे केवल ग्रिड-वर्ल्ड गेम (MiniHack) पर प्रशिक्षित किया गया था, उसे घर वाले गेम (ALFWorld) पर प्लेयर को कोच करने के लिए कहा। भले ही दोनों गेम पूरी तरह से अलग थे, कोच फिर भी एक ऐसा मैनुअल लिखने में सफल रहा जिसने प्लेयर को बिना किसी कोचिंग के काम करने वाले रोबोट की तुलना में बेहतर प्रदर्शन करने में मदद की। इसने केवल गेम के नियमों को नहीं, बल्कि सीखने के कौशल को सीखा।
- अधिक टर्न, बेहतर परिणाम: कोच ने मैनुअल लिखने का जितना अधिक अभ्यास किया (अधिक "मेटा-टर्न्स" के माध्यम से), प्लेयर उतना ही बेहतर होता गया, यहाँ तक कि प्रशिक्षण के दौरान कोच द्वारा देखे गए अभ्यास दौरों की संख्या से भी आगे निकल गया।
टूलकिट: मेटा जिम (The Toolkit: MetaGym)
अंत में, लेखकों ने एक मुफ्त सॉफ्टवेयर टूल MetaGym जारी किया है। इसे एक "लेगो किट" (Lego kit) के रूप में समझें। यह शोधकर्ताओं को आसानी से अपना स्वयं का "कोच बनाम प्लेयर" प्रशिक्षण वातावरण बनाने की अनुमति देता है ताकि वे परीक्षण कर सकें कि क्या उनका AI अनुभव से सीख सकता है।
संक्षेप में
यह पेपर यह सिद्ध करता है कि AI एजेंटों को "भूलने की बीमारी" (amnesiacs) से उबरने के लिए प्रशिक्षित किया जा सकता है। एक ऐसे कोच का उपयोग करके जो प्लेयर के अनुभवों को देखता है और भविष्य के लिए बेहतर नियम लिखता है, AI सामान्य सबक सीख सकता है जो नए, अनदेखे चुनौतियों पर लागू होते हैं। यह एक ऐसे रोबोट के बीच का अंतर है जो एक नक्शा रट लेता है और एक ऐसे रोबोट के बीच जो कोई भी नक्शा पढ़ने का तरीका सीख लेता है।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।