💬 NLP

CurateEvo: Data-Curation Evolving for Agentic Post-Training

CurateEvo एक विफलता-संचालित गतिशील विकास ढांचा (failure-driven dynamic evolution framework) है जो डेटा क्यूरेशन को निष्पादन योग्य कोड के रूप में प्रस्तुत करता है और बड़े भाषा मॉडल एजेंटों के लिए पोस्ट-ट्रेनिंग डेटा की प्रभावशीलता और दक्षता दोनों को अनुकूलित करने के लिए एजेंट विफलता प्रक्षेप पथों (agent failure trajectories) का उपयोग करके इसे पुनरावर्ती रूप से फिर से लिखता है।

मूल लेखक: Dingzirui Wang, Xuanliang Zhang, Keyan Xu, Qingfu Zhu, Wanxiang Che

प्रकाशित 2026-07-08

📖 5 मिनट में पढ़ें🧠 गहराई से पढ़ें

CC0 1.0

मूल लेखक: Dingzirui Wang, Xuanliang Zhang, Keyan Xu, Qingfu Zhu, Wanxiang Che

मूल पेपर CC0 1.0 (http://creativecommons.org/publicdomain/zero/1.0/) के तहत सार्वजनिक डोमेन को समर्पित है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

कल्पना कीजिए कि आप एक बहुत ही बुद्धिमान लेकिन अनुभवहीन रोबोट सहायक को जटिल वास्तविक दुनिया की समस्याओं को हल करना सिखाने की कोशिश कर रहे हैं, जैसे कि बजट का प्रबंधन करते हुए उड़ान बुक करना या कोड के किसी हिस्से को डीबग करना। आपके पास पुराने लॉग्स का एक विशाल पुस्तकालय है जो दिखाते हैं कि मनुष्यों (और अन्य रोबोटों) ने इन कार्यों को कैसे करने का प्रयास किया। कुछ लॉग्स पूर्ण सफलता दिखाते हैं, लेकिन कई में रोबोट अटक जाता है, गलत कदम उठाता है, या क्रैश हो जाता है।

यह शोध पत्र एक नए सिस्टम जिसे CURATEEVO कहा जाता है, को इस समस्या को हल करने के लिए पेश करता है: हम इस अस्त-व्यस्त लॉग्स के पुस्तकालय को हमारे रोबोट के लिए एक आदर्श प्रशिक्षण नियमावली (training manual) में कैसे बदल सकते हैं?

समस्या: "स्थिर शेफ" बनाम "स्मार्ट संपादक"

वर्तमान में, इन रोबोट सहायकों को प्रशिक्षित करने के अधिकांश तरीके एक स्थिर शेफ (static chef) की तरह कार्य करते हैं। वे लॉग्स के कच्चे पुस्तकालय को लेते हैं और नियमों का एक निश्चित सेट लागू करते हैं: "अधिक उदाहरण जोड़ें," "बुरे उदाहरणों को बाहर फेंक दें," या "सब कुछ रखें।"

दोष: एक बार जब रोबलेट सीखने की कोशिश करता है और एक नए परीक्षण पर विफल हो जाता है, तो शेफ रेसिपी नहीं बदलता है। वे बस उसी पुराने, संभावित रूप से त्रुटिपूर्ण निर्देशों के साथ खाना बनाना जारी रखते हैं। वे इस तथ्य को अनदेखा कर देते हैं कि रोबोट एक विशिष्ट कमजोरी (जैसे मौसम की जांच करना भूल जाना) के कारण विफल हुआ था और उस विशिष्ट कमी को दूर करने के लिए प्रशिक्षण डेटा को ठीक नहीं करते हैं।

CURATEEVO अलग है। यह एक स्मार्ट, विकसित होने वाले संपादक (evolving editor) की तरह कार्य करता है। केवल डेटा चुनने के बजाय, यह डेटा चुनने के नियमों को लिखता है और उन्हें फिर से लिखता है।

CURATEEVO कैसे काम करता है: "अभ्यास चक्र" (The Practice Loop)

CURATEEVO को एक कोच के रूप में सोचें जो एक निरंतर फीडबैक लूप चलाता है:

ट्रायल रन (परीक्षण दौड़): कोच वर्तमान "प्रशिक्षण नियमावली" (डेटा क्यूरेशन नियम) लेता है और रोबोट को परीक्षण प्रश्नों (एक "होल्ड-आउट" डेवलपमेंट सेट) पर अभ्यास करने के लिए देता है।
विफलता रिपोर्ट: जब रोबोट विफल होता है, तो कोच केवल स्कोर नोट नहीं करता है। वे विश्लेषण करते हैं कि क्यों वह विफल हुआ। क्या उसने गलत उपकरण चुना? क्या वह एक चरण भूल गया? क्या वह लंबी बातचीत से भ्रमित हो गया?
नियमों को फिर से लिखना (विकास/Evolution): कोच फिर उस कंप्यूटर कोड के पास जाता है जो यह तय करता है कि किस डेटा का उपयोग किया जाए। वे उस विशिष्ट समस्या को ठीक करने के लिए जो चरण 2 में पाई गई थी, उस कोड को फिर से लिखते हैं।
- यदि रोबलेट एक विशिष्ट उपकरण का उपयोग करना सीखने में विफल रहा, तो कोड को प्रशिक्षण डेटा में उस उपकरण के अधिक उदाहरण जोड़ने के लिए अपडेट किया जाता है।
- यदि रोबोट बहुत अधिक शोर (noise) के कारण भ्रमित हुआ, तो कोड को उन अस्त-व्यस्त उदाहरणों को बाहर निकालने के लिए अपडेट किया जाता है।
- यदि रोबोट लंबे, बेकार चरणों में समय बर्बाद कर रहा था, तो कोड को प्रशिक्षण को तेज़ बनाने के लिए उन चरणों को काटने के लिए अपडेट किया जाता है।
दोहराना: यह बार-बार होता है। हर दौर के साथ, "प्रशिक्षण नियमावली" रोबोट की विशिष्ट कमजोरियों के लिए अधिक अनुकूलित होती जाती है।

दो मुख्य लक्ष्य: प्रभावशीलता और दक्षता

पेपर कहता है कि CURATEEVO दो चीजों को संतुलित करता है, जैसे एक शेफ एक ऐसे व्यंजन को बनाने की कोशिश करता है जो स्वादिष्ट भी हो और जल्दी भी बने:

प्रभावशीलता (इसे स्वादिष्ट बनाना): सिस्टम देखता है कि रोबोट कहाँ विफल होता है और उन विशिष्ट कमियों को भरने के लिए डेटा जोड़ता है या उसे परिष्कृत करता है। यह सुनिश्चित करता है कि रोबलेट वही सीखे जो उसे जानने की आवश्यकता है।
दक्षता (इसे त्वरित बनाना): सिस्टम प्रशिक्षण डेटा को देखता है और पूछता है, "क्या यह आवश्यक है?" यदि रोबोट पहले ही एक अवधारणा सीख चुका है, या यदि कोई प्रशिक्षण उदाहरण बहुत लंबा और दोहराव वाला है, तो CURATEEVO उसे काट देता है। यह रोबोट के प्रदर्शन को नुकसान पहुँचाए बिना समय और कंप्यूटिंग शक्ति बचाता है।

परिणाम: बेहतर रोबोट, कम बर्बादी

शोधकर्ताओं ने तीन अलग-अलग प्रकार की रोबोट चुनौतियों (benchmarks) पर दो प्रकार के डेटा का उपयोग करके इस प्रणाली का परीक्षण किया:

लेबल वाला डेटा (Labeled Data): स्वच्छ, मानव-एनोटेटेड लॉग्स (जैसे एक पाठ्यपुस्तक)।
वाइल्ड डेटा (Wild Data): वास्तविक उपयोगकर्ता इंटरैक्शन से प्राप्त अस्त-व्यस्त, वास्तविक दुनिया के लॉग्स (जैसे एक अराजक डायरी)।

निष्कर्ष स्पष्ट थे:

बेहतर स्कोर: CURATEEVO के साथ प्रशिक्षित रोबोटों ने पुराने, स्थिर तरीकों की तुलना में काफी उच्च स्कोर (औसतन लगभग 3 से 4 अंक बेहतर) प्राप्त किया।
अस्त-व्यस्त डेटा पर काम करता है: भले ही इनपुट डेटा "वाइल्ड" और शोर वाला था, CURATEEVO इसे उच्च-गुणवत्ता वाली प्रशिक्षण सामग्री में फिल्टर और परिष्कृत करने में सक्षम था।
तेज़ प्रशिक्षण: अनावश्यक चरणों को काटकर, CURATEEVO ने अन्य तरीकों की तुलना में रोबोट को प्रशिक्षित करने के लिए आवश्यक समय और कंप्यूटिंग शक्ति को लगभग 50% कम कर दिया।
सार्वभौमिक (Universal): यह इस बात पर निर्भर नहीं था कि रोबोट के लिए कौन सा विशिष्ट प्रशिक्षण नुस्खा (एल्गोरिदम) उपयोग किया जा रहा है; यह हर जगह अच्छी तरह से काम करता है।

मुख्य निष्कर्ष

यह शोध पत्र तर्क देता है कि डेटा तैयारी को एक बार के, निश्चित चरण के रूप में देखने के बजाय, हमें इसे एक गतिशील, विकसित होने वाली प्रक्रिया के रूप में देखना चाहिए। डेटा क्यूरेशन रणनीति को रोबोट की विफलताओं से सीखने और अपने स्वयं के नियमों को फिर से लिखने की अनुमति देकर, हम स्मार्ट, अधिक कुशल AI एजेंट बना सकते हैं जो जटिल, वास्तविक दुनिया की समस्याओं को हल करने में बेहतर होते हैं।

तकनीकी सारांश: CURATEEVO

समस्या विवरण (Problem Statement)

लार्ज लैंग्वेज मॉडल (LLM) एजेंटों को ऐसे पोस्ट-ट्रेनिंग तरीकों की आवश्यकता है जो पर्यावरण फीडबैक का उपयोग करके दीर्घकालिक निर्णय लेने (long-horizon decision-making) में सुधार कर सकें। जबकि एजेंटिक पोस्ट-ट्रेनिंग में प्रदर्शन का एक ज्ञात निर्धारक डेटा गुणवत्ता है, मौजूदा डेटा क्यूरेशन पाइपलाइन दो प्राथमिक सीमाओं से ग्रस्त हैं:

क्यूरेशन उपेक्षा (Curation Neglect): अधिकांश विधियाँ मुख्य रूप से डेटा ऑग्मेंटेशन (विफल ट्राजेक्टरीज को एकत्र करने) पर ध्यान केंद्रित करती हैं, जबकि डेटा के फ़िल्टरिंग और रिफाइनमेंट (परिष्करण) जैसे महत्वपूर्ण कार्यों की उपेक्षा करती हैं। यह अक्सर निम्न-गुणवत्ता या अनावश्यक डेटा के शामिल होने का कारण बनता है, जिससे आनुपातिक प्रदर्शन लाभ के बिना प्रशिक्षण लागत बढ़ जाती है।
अनुकूलन जड़ता (Adaptation Rigidity): मौजूदा पाइपलाइनें निश्चित डेटा प्रोसेसिंग नियमों पर निर्भर करती हैं। ये स्थिर रणनीतियाँ आउट-ऑफ-डिस्ट्रीब्यूशन डाउनस्ट्रीम अनुप्रयोगों या विकसित होते विफलता मोड (failure modes) के अनुकूल होने में संघर्ष करती हैं, क्योंकि वे वर्तमान एजेंट पॉलिसी की विशिष्ट कमजोरियों के अनुसार गतिशील रूप से समायोजित नहीं हो सकतीं।

कार्यप्रणाली: CURATEEVO

लेखक एजेंटिक पोस्ट-ट्रेनिंग डेटा क्यूरेशन के लिए एक विफलता-संचालित गतिशील विकास ढांचे (failure-driven dynamic evolution framework) के रूप में CURATEEVO का प्रस्ताव करते हैं। पारंपरिक दृष्टिकोणों के विपरीत, जो क्यूरेशन को एक स्थिर प्रीप्रोसेसिंग स्टेप के रूप में देखते हैं, CURATEEVO क्यूरेशन रणनीति को एग्जीक्यूटेबल कोड (executable code) के रूप में मानता है जिसे पर्यावरण फीडबैक के आधार पर पुन: लिखा जाता है।

मुख्य ढांचा (Core Framework)

यह ढांचा मल्टी-एपॉक इवोल्यूशन चक्रों में कार्य करता है:

प्रतिनिधित्व (Representation): क्यूरेशन रणनीति $\rho$ $ρ$ को एक एग्जीक्यूटेबल कोड के रूप में दर्शाया गया है जो एक निश्चित रॉ कॉर्पस ( $D_{raw}$ $D_{r a w}$ ) को तीन संसाधनों में बदल देता है:
- सुपरवाइज्ड फाइन-ट्यूनिंग डेटा ( $D_{SFT}$ )।
- रीइन्फोर्समेंट लर्निंग डेटा ( $D_{RL}$ )।
- एक इन्फरेंस-टाइम मेमोरी बैंक ( $M_{mem}$ )।
प्रशिक्षण और मूल्यांकन (Training & Evaluation): एक एजेंट पॉलिसी को क्यूरेटेड डेटा पर एक निश्चित रेसिपी (SFT + GRPO) का उपयोग करके एक फिक्स्ड बेस मॉडल से प्रशिक्षित किया जाता है। पॉलिसी का मूल्यांकन एक होल्ड-आउट डेवलपमेंट सेट ( $Q_{dev}$ ) पर किया जाता है।
फीडबैक संग्रह (Feedback Collection): डेवलपमेंट सेट से विफल ट्राजेक्टरीज को एकत्र किया जाता है, साथ ही वर्तमान क्यूरेटेड डेटा के आंकड़े (स्केल, टर्न डिस्ट्रीब्यूशन, रेडंडेंसी) भी लिए जाते हैं।
कोड इवोल्यूशन (Code Evolution): एक LLM-आधारित कोड-इवोल्यूशन एजेंट विफल ट्राजेक्टरीज का विश्लेषण करता है ताकि बार-बार होने वाले विफलता मोड (जैसे, गलत टूल चयन, कमजोर योजना, मेमोरी मिसमैच) का निदान किया जा सके। इसके बाद, यह इन मुद्दों को संबोधित करने के लिए क्यूरेशन कोड ( $\rho$ ) को फिर से लिखता है।

अनुकूलन उद्देश्य (Optimization Objective)

इवोल्यूशन प्रक्रिया एक लागत-जागरूक उद्देश्य फलन $J(\rho) = P(\rho) - \lambda C(\rho)$ को अनुकूलित करती है, जहाँ:

प्रभावशीलता (Effectiveness - $P(\rho)$ ): इसे एजेंट के प्रशिक्षित होने के बाद के डाउनस्ट्रीम प्रदर्शन द्वारा मापा जाता है। इवोल्यूशन एजेंट पहले इस लक्ष्य को लक्षित करता है, जिसमें लापता क्षमताओं को कवर करने के लिए डेटा को बढ़ाना, भ्रामक उदाहरणों को फ़िल्टर करना और कमजोर ट्राजेक्टरीज को परिष्कृत करना शामिल है।
दक्षता (Efficiency - $C(\rho)$ ): इसे नॉर्मलाइज्ड ट्रेनिंग-टर्न लागत द्वारा मापा जाता है। प्रभावशीलता को संबोधित करने के बाद, एजेंट अनावश्यक टर्न को हटा देता है, कम उपयोगिता वाले नमूनों को निकाल देता है, और महत्वपूर्ण सुपरविजन सिग्नल को बनाए रखते हुए अत्यधिक लंबी ट्राजेक्टरीज को छोटा कर देता है ताकि प्रशिक्षण स्केल को कम किया जा सके।

यदि कोई विकसित रणनीति उद्देश्य में सुधार करने में विफल रहती है, तो यह एरर कैस्केडिंग (error cascading) को रोकने के लिए प्रक्रिया को रोल बैक कर देती है।

मुख्य योगदान (Key Contributions)

डायनेमिक इवोल्यूशन फ्रेमवर्क: CURATEEVO का प्रस्ताव, जो डेटा क्यूरेशन को एक स्थिर पाइपलाइन से एक गतिशील, कोड-आधारित विकास प्रक्रिया में बदल देता है जो एजेंट की विफलताओं से प्रेरित है।
संयुक्त अनुकूलन (Joint Optimization): यह ढांचा डेटा ऑग्मेंटेशन, फ़िल्टरिंग और रिफाइनमेंट को संयुक्त रूप से विचार में लेता है, जिससे प्रदर्शन में सुधार के साथ-साथ प्रशिक्षण लागत को भी कम किया जा सकता है।
अनुकूलन क्षमता (Adaptability): मूल्यांकन फीडबैक के आधार पर क्यूरेशन कोड को गतिशील रूप से संशोधित करके, यह विधि फिक्स्ड पाइपलाइनों के विपरीत, आउट-ऑफ-डिस्ट्रीब्यूशन अनुप्रयोगों और विशिष्ट विफलता मोड के अनुकूल हो जाती है।
संसाधन निर्माण (Resource Construction): यह विधि न केवल प्रशिक्षण डेटा (SFT/RL) बल्कि एक इन्फरेंस-टाइम मेमोरी बैंक का भी स्पष्ट रूप से निर्माण करती है, जिससे एजेंट प्रशिक्षण के लिए एक समग्र संसाधन सेट तैयार होता है।

प्रयोगात्मक परिणाम (Experimental Results)

लेखकों ने ACEBench-Agent, BFCL-V4, और $\tau^2$ -Bench पर दो सेटिंग्स के तहत CURATEEVO का मूल्यांकन किया: लेबल वाला डेटा (Labeled Data) (मानव-एनोटेटेड ट्राजेक्टरीज) और वाइल्ड डेटा (Wild Data) (वास्तविक उपयोगकर्ता इंटरैक्शन लॉग)।

प्रदर्शन लाभ (Performance Gains):
- Labeled Data सेटिंग में, CURATEEVO ने सबसे मजबूत पूर्व बेसलाइन की तुलना में औसत स्कोर में 3.2 अंक का सुधार किया।
- Wild Data सेटिंग में, इसने औसत स्कोर में 2.7 अंक का सुधार किया।
- विशेष रूप से, CURATEEVO द्वारा उपयोग किया गया 4B पैरामीटर मॉडल (QWEN3-4B) कई पूर्व विधियों से बेहतर प्रदर्शन करता है जो 8B मॉडल का उपयोग करती हैं, जो यह सुझाव देता है कि अनुकूलित क्यूरेशन मॉडल के आकार को बढ़ाने जितना ही प्रभावशाली हो सकता है।
दक्षता (Efficiency): CURATEEVм ने पूर्व बेसलाइनों की तुलना में प्रति 1,000 रिटेंड ट्रेनिंग टर्न के लिए टोकन ओवरहेड को लगभग 48% और वॉल-क्लॉक ओवरहेड को 50% कम कर दिया। यह दक्षता महंगे एनवायरनमेंट इंटरैक्शन या सिम्युलेटेड यूजर्स पर निर्भर रहने के बजाय एक फिक्स्ड कॉर्पस पर कोड को विकसित करने से आती है।
अनुकूलता (Compatibility): CURATEEVO द्वारा निर्मित क्यूरेटेड संसाधन विभिन्न पोस्ट-ट्रेनिंग रेसिपी (जैसे, AgentGym-RL, ProRL-Agent) के साथ संगत हैं, जो इन विधियों के साथ संयोजन में अतिरिक्त औसत 21.3 अंक का सुधार प्रदान करते हैं।
एब्लेशन स्टडीज (Ablation Studies):
- प्रभावशीलता-उन्मुख संशोधन (effectiveness-oriented revision) को हटाने से सबसे बड़ा प्रदर्शन ड्रॉप (~7 अंक) हुआ, जिससे पुष्टि होती है कि विफलता मोड का निदान करना सफलता का प्राथमिक चालक है।
- दक्षता-उन्मुख संशोधन को हटाने से भी निरंतर गिरावट आई, जो इंगित करता है कि रेडंडेंसी को हटाना केवल स्केल को कम नहीं करता, बल्कि डेटा की गुणवत्ता में भी सुधार करता है।
- तीनों संसाधन (SFT, RL, Memory) पूरक पाए गए।

महत्व और दावे (Significance and Claims)

पेपर का दावा है कि अनुकूली, फीडबैक-संचालित डेटा क्यूरेशन LLM एजेंटों में सुधार के लिए एक व्यावहारिक और प्रभावी दिशा है। CURATEEVO का महत्व इसकी क्षमता में निहित है:

क्यूरेशन प्रक्रिया को एक "निश्चित प्री-प्रोसेसिंग स्टेप" से एक पुनरावृत्ति, विफलता-जागरूक अनुकूलन लूप में बदलने में।
यह प्रदर्शित करने में कि एजेंटिक पोस्ट-ट्रेनिंग के लिए फ़िल्टरिंग और रिफाइनमेंट ऑग्मेंटेशन जितने ही महत्वपूर्ण हैं।
यह दिखाने में कि लागत-जागरूक क्यूरेशन प्रशिक्षण ओवरहेड को कम करते हुए डाउनस्ट्रीम प्रदर्शन में सुधार कर सकता है, जो इसे वास्तविक दुनिया के एजेंट अनुप्रयोगों के लिए उपयुक्त बनाता है जहाँ डेटा शोरपूर्ण या अपूर्ण हो सकता है।

लेखक CURATEEVO को किसी विशिष्ट पॉलिसी ऑप्टिमाइज़ेशन एल्गोरिदम के विकल्प के रूप में नहीं, बल्कि एक मॉड्यूलर डेटा-साइड एन्हांसमेंट के रूप में प्रस्तुत करते हैं जो किसी भी एजेंटिक पोस्ट-ट्रेनिंग पाइपलाइन में दिए जाने वाले प्रशिक्षण संसाधनों ( $D_{SFT}$ , $D_{RL}$ , $M_{mem}$ ) की गुणवत्ता और दक्षता में सुधार करता है।