← नवीनतम पेपर
💬 NLP

ProPlay: Procedural World Models for Self-Evolving LLM Agents

ProPlay एक प्रक्रियात्मक विश्व मॉडल (procedural world model) पेश करता है जो स्वयं-विकसित होने वाले LLM एजेंटों को आंशिक रूप से दृश्यमान वातावरण में सुधार करने में सक्षम बनाता है, जो सफल प्रक्षेप पथों (trajectories) को एपिसोड-पूर्व सिमुलेशन और एपिसोड-पश्चात परिशोधन के लिए एक कारण प्रक्रिया ग्राफ (causal procedure graph) में सार संक्षेपित करता है, जिससे बाहरी पर्यवेक्षण के बिना पर्यावरण की समझ और स्वायत्त शिक्षण को बढ़ाया जा सकता है।

मूल लेखक: Yijun Ma, Zehong Wang, Yiyang Li, Ziming Li, Xiaoguang Guo, Weixiang Sun, Chuxu Zhang, Yanfang Ye

प्रकाशित 2026-06-12
📖 6 मिनट में पढ़ें🧠 गहराई से पढ़ें
CC BY 4.0

मूल लेखक: Yijun Ma, Zehong Wang, Yiyang Li, Ziming Li, Xiaoguang Guo, Weixiang Sun, Chuxu Zhang, Yanfang Ye

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

यहाँ ProPlay पेपर का सरल भाषा में अनुवाद दिया गया है, जिसमें रोज़मर्रा के उदाहरणों का उपयोग किया गया है।

मुख्य विचार: "मानसिक पूर्वाभ्यास" (Mental Rehearsal) एजेंट

कल्पना कीजिए कि आप एक ऐसे रसोईघर में एक जटिल नया व्यंजन बनाना सीख रहे हैं जिसे आपने पहले कभी नहीं देखा है। आप एक बार में पूरे कमरे को नहीं देख सकते (यह "आंशिक रूप से दृश्यमान" या partially observable है), और आपको फीडबैक तभी मिलता है जब आप भोजन चखते हैं या जब कुछ जल जाता है।

वर्तमान के अधिकांश AI एजेंट उन शेफ की तरह हैं जो या तो:

  1. रेसिपी याद करते हैं (स्मृति/Memory): वे हर उस कदम को याद रखते हैं जो उन्होंने पहले किया था, लेकिन वे वास्तव में यह नहीं समझते कि वे कदम एक साथ क्यों काम करते हैं।
  2. अनुमान और जाँच करते हैं (योजना/Planning): वे कोई भी कदम उठाने से पहले हर संभव चाल के बारे में सोचने की कोशिश करते हैं, लेकिन वे अक्सर अटक जाते हैं क्योंकि उनके पास रसोई का अच्छा नक्शा नहीं होता।

ProPlay एक नए प्रकार का AI एजेंट है जो वही करने की कोशिश करता है जो इंसान करते हैं: मानसिक पूर्वाभ्यास (Preplay)।

इससे पहले कि एजेंट किसी उपकरण को छुए, वह अपनी आँखें बंद कर लेता है (रूपक के तौर पर) और पूरी प्रक्रिया की कल्पना करता है। वह पूछता है, "यदि मैं X करता हूँ, तो आमतौर पर Y होता है, और फिर मैं Z कर सकता हूँ।" यह कार्यों के प्रवाह (flow) का एक मानसिक मानचित्र बनाता है, न कि केवल नियमों की एक सूची।

ProPlay कैसे काम करता है: तीन-चरणीय चक्र (Three-Step Loop)

पेपर एक ऐसे चक्र का वर्णन करता है जो हर बार तब होता है जब एजेंट एक नया कार्य करने की कोशिश करता है। इसे एक छात्र की तरह समझें जो परीक्षा के लिए पढ़ाई करता है, परीक्षा देता है, और फिर अपने नोट्स की समीक्षा करता है।

1. "मानसिक मानचित्र" (प्रक्रियात्मक विश्व मॉडल - The Procedural World Model)

हर एक छोटे से सूक्ष्म कार्य (जैसे "चम्मच उठाएं," "चम्मच को 2 इंच हिलाएं") को याद रखने के बजाय, ProPlay कार्यों को प्रक्रियाओं (Procedures) में समूहित करता है।

  • उपमा: एक प्रक्रिया को एक पुस्तक के "अध्याय" की तरह समझें। पेज 10 के हर शब्द को याद रखने के बजाय, आप अध्याय का शीर्षक याद रखते हैं: "नायक तलवार पाता है।"
  • ग्राफ (The Graph): ProPlay इन अध्यायों को एक मानचित्र (ग्राफ) में जोड़ता है। यह तीर (arrows) खींचकर दिखाता है कि "तलवार पाना" आमतौर पर "ड्रैगन से लड़ने" की ओर ले जाता है।
  • विश्वसनीयता स्कोर (The Reliability Score): महत्वपूर्ण बात यह है कि ProPlay हर तीर पर एक "विश्वास स्कोर" रखता है। यदि "नायक तलवार पाता है" वाले चरण ने 10 में से 9 बार जीत दिलाई, तो उस तीर को उच्च स्कोर मिलता है। यदि वह किसी जाल की ओर ले गया, तो स्कोर गिर जाता है। यह एजेंट को यह जानने में मदद करता है कि किन रास्तों पर भरोसा करना सुरक्षित है।

2. "पूर्वाभ्यास" (Preplay/Rehearsal)

वास्तविक कार्य शुरू करने से पहले, एजेंट अपने मानचित्र को देखता है और अपने दिमाग में एक सिमुलेशन चलाता है।

  • कोमल मार्गदर्शन (Soft Guidance): यह एजेंट को एक रोबोट की तरह मानचित्र का पालन करने के लिए मजबूर नहीं करता है। इसके बजाय, यह कहता है, "हे, जो मैंने सीखा है उसके आधार पर, यह रास्ता आमतौर पर अच्छा काम करता है। इसे आजमाएं, लेकिन यदि आप कुछ अजीब देखते हैं, तो बेझिझक रास्ता बदलने के लिए स्वतंत्र हैं।"
  • यह क्यों मायने रखता है: यह एजेंट को एक शुरुआती बढ़त (exploitation) देता है, लेकिन फिर भी इसे नई चीजों को खोजने (exploration) की अनुमति देता है यदि मानचित्र गलत हो।

3. "समीक्षा" (Review/Refinement)

कार्य पूरा करने के बाद, एजेंट देखता है कि वास्तव में क्या हुआ।

  • मानचित्र को अपडेट करना: यदि एजेंट सफल रहा, तो ProPlay उस पथ के "विश्वास स्कोर" को मजबूत करता है जिसका उसने पालन किया। यदि वह विफल रहा, तो वह उस पथ को जोखिम भरा चिह्नित करता है।
  • नए अध्याय सीखना: यदि एजेंट ने कुछ नया किया जो काम आया, तो ProPlay एक बिल्कुल नया "अध्याय" (प्रक्रिया) बनाता है और उसे अगली बार के लिए मानचित्र में जोड़ देता है।

यह बेहतर क्यों है? (परिणाम)

शोधकर्ताओं ने ProPlay का परीक्षण तीन अलग-अलग "खेलों" (benchmarks) पर किया:

  1. ScienceWorld: एक टेक्स्ट-आधारित खेल जहाँ आपको विज्ञान संबंधी समस्याओं को हल करना होता है।
  2. τ-Bench: खुदरा (retail) या एयरलाइन संबंधी समस्या के साथ ग्राहक की मदद करने का एक सिमुलेशन।
  3. PlanCraft: एक Minecraft जैसा खेल जहाँ आपको रेसिपी का उपयोग करके आइटम बनाना होता है।

निष्कर्ष:

  • जटिल कार्यों में बेहतर: ProPlay अन्य शीर्ष AI एजेंटों से बेहतर रहा, विशेष रूप से उन कार्यों में जिनमें चरणों की लंबी श्रृंखला की आवश्यकता होती है (जैसे रसायनों को मिलाना या जटिल वस्तुओं का निर्माण करना)।
  • तेजी से सीखना: शुरुआत में ("कोल्ड स्टार्ट" के दौरान), ProPlay तेजी से सीखता है क्योंकि यह अपनी मानसिक रणनीति का अनुमान लगाने के लिए अपने मानसिक मानचित्र का उपयोग कर सकता है, भले ही उसके पास बहुत कम अनुभव हो।
  • "स्वीट स्पॉट" (The Sweet Spot): पेपर में पाया गया कि ProPlay उन कार्यों के लिए बेहतरीन है जिनमें स्पष्ट चरण होते हैं (जैसे रेसिपी), लेकिन यह उन कार्यों के लिए संघर्ष करता है जिनमें सटीक गणित या शून्य से ऐसे उपकरण बनाने की आवश्यकता होती है जो किसी पैटर्न में फिट नहीं बैठते।

सीमाएँ (जो पेपर में बताई गई हैं)

लेखक इस बारे में ईमानदार हैं कि ProPlay कहाँ लड़खड़ा सकता है:

  • बहुत अमूर्त (Too Abstract): यदि किसी कार्य के लिए बहुत विशिष्ट संख्याओं की आवश्यकता होती है (जैसे "ठीक 3.4 ग्राम मापें"), तो ProPlay के उच्च-स्तरीय "अध्याय" बहुत अस्पष्ट हो सकते हैं। यह "नमक डालें" के बजाय "3.4 ग्राम नमक डालें" के लिए बेहतर है।
  • एक बार का पूर्वाभ्यास (One-Time Rehearsal): एजेंट केवल शुरुआत में एक बार "मानसिक पूर्वाभ्यास" करता है। यदि स्थिति बीच में बदल जाती है, तो यह रुककर फिर से पूर्वाभ्यास नहीं कर सकता; इसे योजना को ठीक करने के लिए अपनी बुद्धि पर निर्भर रहना पड़ता है।
  • नए वातावरण: पेपर में इसका परीक्षण इंटरनेट ब्राउज़ करने जैसी खुली चीज़ों पर नहीं किया गया है, जहाँ नियम लगातार बदलते रहते हैं और शायद एक स्पष्ट "मानचित्र" नहीं बना पाते।

सारांश

ProPlay एक ऐसा AI है जो एक मानसिक मानचित्र बनाकर सीखता है कि "चीजें आमतौर पर कैसे होती हैं।" यह कार्य करने से पहले इन रास्तों का पूर्वाभ्यास करता है, उन रास्तों पर भरोसा करता है जो पहले काम कर चुके हैं, और हर प्रयास के बाद अपने मानचित्र को अपडेट करता है। यह एक ऐसे शेफ की तरह है जो केवल रेसिपी को याद नहीं करता बल्कि खाना पकाने के 'प्रवाह' (flow) को समझता है, जिससे वह रसोई के अस्त-व्यस्त होने या सामग्री के थोड़ा अलग होने पर भी अनुकूलित हो पाता है।

अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?

आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।

Digest आज़माएँ →

इसी तरह के और पेपर

इस विषय के सभी पेपर देखें 💬 cs.CL →