EvoClawBench: Can Agents Learn Reusable Skills from Their Own Runs?
EvoClawBench एक नया बेंचमार्क है जो यह मूल्यांकन करता है कि क्या AI एजेंट अपने स्वयं के निष्पादन (executions) से साक्ष्य को पुन: प्रयोज्य कौशल (reusable skills) में प्रभावी ढंग से परिवर्तित कर सकते हैं, जो यह प्रकट करता है कि ऐसा स्व-शिक्षण स्वचालित प्रदर्शन सुधारों के बजाय अत्यधिक चयनात्मक और रनटाइम-निर्भर परिणाम देता है।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
कल्पना कीजिए कि आपके पास एक सुपर-स्मार्ट रोबोट सहायक है जिसका नाम "एजेंट" (Agent) है। आप उसे एक अस्त-व्यस्त काम देते हैं, जैसे कि एक बिखरे हुए गैरेज को व्यवस्थित करना या किसी टूटे हुए वीडियो गेम कोड को ठीक करना। रोबोट इसे करने की कोशिश करता है, अपना प्रयास पूरा करता है (जो कि एकदम सही हो सकता है, या उसमें गलतियाँ भी हो सकती हैं), और फिर आप उससे पूछते हैं: "हे, क्या रोबोट अपने खुद के काम को देख सकता है, उससे कोई तरकीब सीख सकता है, उस तरकीब को एक 'चीट शीट' (cheat sheet) के रूप में लिख सकता है, और उस चीट शीट का उपयोग करके अगले काम को और तेज़ी से और बेहतर तरीके से कर सकता है?"
यह वह बड़ा सवाल है जो EvoClawBench पेपर पूछता है। यह ऐसा है जैसे यह परीक्षण करना कि क्या एक छात्र एक परीक्षा दे सकता है, अपने ही उत्तर की कुंजी (answer key) को ग्रेड दे सकता है, अपने प्रदर्शन के आधार पर एक स्टडी गाइड लिख सकता है, और फिर केवल उस गाइड का उपयोग करके अगले टेस्ट में अव्वल आ सकता है।
बड़ा प्रयोग: खेलने के तीन तरीके
शोधकर्ताओं ने 100 अलग-अलग "मिशन" (जैसे कोडिंग, स्प्रेडशीट ठीक करना, या सुरक्षा लॉग का विश्लेषण करना) सेट किए और रोबोट का तीन अलग-अलग तरीकों से परीक्षण किया:
- "गो-गो-गो" मोड (बेसलाइन - Baseline): रोबोट को काम मिलता है और वह बस उसे शुरू से करता है। कोई नोट्स नहीं, कोई चीट शीट्स नहीं। बस शुद्ध प्रयास।
- "प्री-गेम हडल" (Preskill): काम शुरू करने से पहले ही, रोबोट अनुमान लगाने की कोशिश करता है कि काम को क्या चाहिए और पहले एक चीट शीट लिख लेता है। फिर, वह उस शीट का उपयोग काम करने के लिए करता है।
- "पोस्ट-गेम रिव्यू" (Postskill): रोबोट पहले शुरू से काम करता है। फिर, सिस्टम उस पहले प्रयास को ग्रेड देता है और रोबोट को एक सारांश (summary) देता है कि क्या हुआ (भले ही वह विफल रहा हो या उसमें त्रुटियां रही हों)। रोबोट उस सारांश का उपयोग चीट शीट लिखने के लिए करता है, और फिर उसी काम को नई शीट का उपयोग करके फिर से करने की कोशिश करता है।
चौंकाने वाले परिणाम: यह कोई जादुई छड़ी नहीं है
आप सोच सकते हैं, "बेशक! अगर आप कुछ करने का तरीका लिख लेते हैं, तो आप बेहतर हो जाएंगे!" लेकिन पेपर सुझाव देता है कि यह बहुत अधिक जटिल है। अपने स्वयं के रन से सीखना अपने आप में एक सुपरपावर नहीं है। यह एक जुए की तरह है।
यहाँ आंकड़े (और पेपर के सावधानीपूर्वक माप) हमें क्या बताते हैं:
रोबोट का "दिमाग" नोट्स से अधिक मायने रखता है:
परिणाम इस बात पर बहुत निर्भर थे कि किस रोबोट मॉडल का उपयोग किया गया था।- एक रोबोट (जिसे nanobot कहा जाता है और जिसका मॉडल GPT-5.4 है) पहले से ही काम में इतना अच्छा था कि बिना किसी चीट शीट के भी उसका स्कोर 96% से अधिक था। चीट शीट जोड़ने से ज्यादा मदद नहीं मिली; यह 96% के आसपास ही रहा।
- लेकिन दूसरा रोबोट (nanobot, DeepSeek-V4-Pro के साथ) शुरुआत में ठीक था, जिसका स्कोर 77.77% था। जब इसने काम शुरू करने से पहले एक चीट शीट लिखने की कोशिश की (Preskill), तो इसका स्कोर गिरकर 4.80% हो गया। जब इसने पहले प्रयास को पूरा करने के बाद एक चीट शीट लिखने की कोशिश की (Postskill), तो यह गिरकर 0.99% रह गया।
- अनुवाद: कभी-कभी, "कैसे करें" का गाइड लिखना वास्तव में रोबोट को भ्रमित कर देता है और उसे और खराब प्रदर्शन करने पर मजबूर कर देता है!
"चीट शीट" एक जाल भी हो सकती है:
पेपर ने पाया कि ये स्वयं-लिखित कौशल चयनात्मक और लागत-संवेदनशील (cost-sensitive) होते हैं।- लागत (Cost): चीट शीट लिखने में समय और कंप्यूटर की "ब्रेन पावर" (टोकन) लगती है। कुछ रोबोटों के लिए, गाइड लिखने में लगा समय इतना लंबा था कि भले ही गाइड से थोड़ी मदद मिली हो, पूरी प्रक्रिया बिना नोट्स के दो बार काम करने की तुलना में धीमी और महंगी थी।
- "ओवरफिटिंग" (Overfitting) की समस्या: पेपर सुझाव देता है कि जब एक रोबोट एक विशिष्ट प्रयास के आधार पर गाइड लिखता है, तो वह बहुत अधिक विशिष्ट हो सकता है। वह लिख सकता है, "बाईं ओर के लाल बटन को क्लिक करें," जबकि अगले काम में बटन दाईं ओर हो सकता है। गाइड एक मददगार टिप के बजाय एक बुरी आदत बन जाता है।
अधिक नोट्स का मतलब बेहतर स्कोर नहीं है:
शोधकर्ताओं ने गिना कि रोबोटों ने कितनी चीट शीट्स लिखीं। कुछ रोबोटों ने 20 या 30 शीट्स लिखीं! लेकिन 30 शीट्स होने से बेहतर स्कोर की गारंटी नहीं मिली। वास्तव में, कुछ रोबोट जिन्होंने अधिक शीट्स लिखीं, वे उन रोबोटों की तुलना में बुरे प्रदर्शन करते हैं जिन्होंने कम शीट्स लिखी थीं। नोट की गुणवत्ता (quality) मायने रखती थी, न कि मात्रा (quantity)।
यह पेपर क्या खारिज करता है
पेपर बहुत स्पष्ट है कि यह क्या सिद्ध नहीं करता है:
- यह यह सिद्ध नहीं करता कि एजेंट पुराने कामों से सीखकर स्वतः ही नए, अलग कामों में बेहतर हो सकते हैं। परीक्षण उसी काम पर बार-बार किए गए थे। हमें अभी तक यह नहीं पता कि क्या चीट शीट्स बिल्कुल नए पहेलियों के लिए काम करती हैं।
- यह यह भी सुझाव नहीं देता कि हर रोबोट में "स्किल-राइटिंग" (कौशल लिखने) का चरण जोड़ना एक गारंटीड जीत है। कई मामलों में, यह समय और पैसे की बर्बादी थी।
निष्कर्ष
पेपर सुझाव देता है कि एजेंट को उसके अपने रन से सीखने के लिए सिखाना मुश्किल है। यह कोई जादुई बटन नहीं है जो रोबोट को स्मार्ट बना देता है। कभी-कभी, "चीट शीट" जो रोबोट लिखता है, वास्तव में एक बुरा नक्शा होता है जो उसे गड्ढे में ले जाता है।
फिलहाल, सबसे अच्छा दृष्टिकोण चयनित (picky) होना लगता है: रोबोट को चीट शीट लिखने की अनुमति तभी दें जब उसे यकीन हो कि गाइड उपयोगी होगी और यदि इसे लिखने की लागत बहुत अधिक नहीं है। यह एक उपकरण है जो काम कर सकता है, लेकिन यह मुफ्त का भोजन (free lunch) नहीं है। रोबोट को अपनी गलतियों पर बहुत अधिक सोचने से बचना होगा!
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।