🤖 AI

Can Generalist Agents Automate Data Curation?

यह शोध पत्र Curation-Bench को प्रस्तुत करता है यह प्रदर्शित करने के लिए कि जबकि सामान्यवादी कोडिंग एजेंट डेटा क्यूरेशन लूप को स्वचालित कर सकते हैं और मौजूदा बेसलाइन से मेल खा सकते हैं, उच्च-स्तरीय, अनुसंधान-स्तर की डेटा नीतियों को प्राप्त करने के लिए ऐसे स्कैफोल्डिंग (scaffolding) की आवश्यकता होती है जो एजेंटों को ओपन-एंडेड प्रॉम्प्टिंग पर निर्भर रहने के बजाय पूर्व विधियों को उद्धृत करने और उन्हें अनुकूलित करने के लिए बाध्य करे।

मूल लेखक: Feiyang Kang, Hanze Li, Adam Nguyen, Mahavir Dabas, Jiaqi W. Ma, Frederic Sala, Dawn Song, Ruoxi Jia

प्रकाशित 2026-06-04

📖 6 मिनट में पढ़ें🧠 गहराई से पढ़ें

CC BY 4.0

मूल लेखक: Feiyang Kang, Hanze Li, Adam Nguyen, Mahavir Dabas, Jiaqi W. Ma, Frederic Sala, Dawn Song, Ruoxi Jia

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

कल्पना कीजिए कि आप एक बुद्धिमान लेकिन अनुभवहीन छात्र (एक AI मॉडल) को जटिल पहेलियाँ सुलझाना सिखाने की कोशिश कर रहे हैं। आपके पास 665,000 अभ्यास समस्याओं की एक विशाल लाइब्रेरी है, लेकिन आपके पास केवल 10,000 देने का समय है। सवाल यह है: आप बेहतरीन 10,000 कैसे चुनेंगे?

अतीत में, इंसानों को यह काम मैन्युअल रूप से करना पड़ता था। वे अनुमान लगाते थे कि कौन सी समस्याएँ अच्छी हैं, छात्र का परीक्षण करते थे, देखते थे कि वह कहाँ विफल हुआ, और फिर अपनी सूची में बदलाव करते थे। यह धीमा, महंगा और थका देने वाला था।

यह शोध पत्र पूछता है: क्या एक स्मार्ट कंप्यूटर एजेंट (एक "जनरलिस्ट एजेंट") हमारे लिए यह काम कर सकता है? क्या वह एक रिसर्च असिस्टेंट की तरह काम कर सकता है जो डेटा चुनता है, मॉडल को प्रशिक्षित करता है, परिणामों की जाँच करता है, और स्वचालित रूप से फिर से प्रयास करता है?

यहाँ उनके द्वारा खोजे गए निष्कर्षों की कहानी है, कुछ सरल उपमाओं (analogies) का उपयोग करते हुए।

1. सेटअप: "कुकिंग कॉन्टेस्ट" (खाना पकाने की प्रतियोगिता)

शोधकर्ताओं ने एक विशेष रसोई बनाई जिसे CURATION-BENCH कहा गया।

शेफ (एजेंट): एक स्मार्ट AI जो फाइलें पढ़ सकता है, कोड लिख सकता है और कमांड चला सकता है।
सामग्री (डेटा): मिश्रित रेसिपीज़ (चित्र और टेक्स्ट) का एक बड़ा ढेर।
नियम: एजेंट ओवन का तापमान (ट्रेनिंग कोड) या जजिंग पैनल (टेस्ट) को नहीं बदल सकता। एजेंट केवल यह बदल सकता है कि वह बर्तन में कौन सी सामग्री डाल रहा है।
लक्ष्य: 10,000 सामग्रियों का एक छोटा बैच बनाना जो 665,000 सामग्रियों से बने व्यंजन के समान ही स्वादिष्ट हो।

2. पहला प्रयास: "सहज बुद्धि वाला रसोइया" (The Intuitive Cook)

शोधकर्ताओं ने एजेंटों को ओपन-एंडेड प्रॉम्प्ट्स के साथ खाना पकाने दिया। उन्होंने मूल रूप से कहा, "जाओ और जितनी भी बेहतरीन 10,000 रेसिपी मिल सकें, उन्हें चुनो।"

परिणाम: एजेंट बुनियादी चीजों में आश्चर्यजनक रूप से अच्छे थे।

उन्होंने जल्दी ही समझ लिया कि केवल रैंडम रेसिपी लेना बुरा है।
उन्होंने मिश्रण को ट्यून करना शुरू किया: "आइए कुछ कुकिंग रेसिपी जोड़ते हैं और गणित की समस्याओं को कम करते हैं," या "आइए सुनिश्चित करें कि हमारे पास पर्याप्त विस्तृत निर्देश हों।"
उपमा: इसे एक घरेलू रसोइये के रूप में सोचें जो बुनियादी बातें जानता है। उसे यह जानने के लिए किसी पाठ्यपुस्तक की आवश्यकता नहीं है कि यदि सूप बहुत नमकीन है, तो उसे अधिक पानी डालना चाहिए। एजेंट साधारण 'नॉब्स' (जैसे विभिन्न डेटा स्रोतों का अनुपात) को समायोजित करके रेसिपी को "ट्यून" कर सके।
सीमा: वे एक ही ढर्रे में फंस गए। वे बार-बार एक ही रेसिपी को ट्यून करते रहे (जैसे, "शायद 60% कुकिंग, 40% गणित? नहीं, शायद 55/45?")। उन्होंने पूरी तरह से अलग कुकिंग स्टाइल आज़माने के बारे में शायद ही सोचा होगा, जैसे "क्या होगा अगर हम केवल उन्हें चुनने के बजाय रेसिपी को फिर से लिखें?"

3. समस्या: "एग्जीक्यूशन गैप" (Execution Gap)

एजेंट बेहतरीन एग्जीक्यूटर्स (वे लूप चला सकते थे और निर्देशों का पालन कर सकते थे) थे लेकिन खराब रिसर्चर्स (उन्हें नए विचारों को खोजने का तरीका नहीं पता था) थे।

यहाँ तक कि जब शोधकर्ताओं ने उन्हें "कूल कुकिंग तकनीक" की सूची या "प्रसिद्ध कुकबुक्स" (वैज्ञानिक शोध पत्र) का ढेर दिया, तो एजेंटों ने उन्हें ज्यादातर अनदेखा कर दिया। वे अपने नोट्स में कहेंगे, "मैं डाइवर्सिटी सैंपलिंग आज़माऊँगा!" लेकिन वास्तव में वे फिर से केवल सामग्री का अनुपात ही बदल रहे थे। वे "लोकल ऑप्टिमाइजेशन" में फंसे हुए थे—पूरे किचन को खोजने के बजाय एक ही छोटे क्षेत्र को ट्यून करने में लगे हुए थे।

4. समाधान: "स्ट्रिक्ट सू-शेफ" (The Strict Sous-Chef - स्कैफोल्डिंग)

इसे ठीक करने के लिए, शोधकर्ताओं ने स्कैफोल्ड्स (Scaffolds) पेश किए। इन्हें सख्त नियमों या ट्रेनिंग व्हील्स के रूप में सोचें जो एजेंट को एक वास्तविक वैज्ञानिक की तरह सोचने के लिए मजबूर करते हैं।

उन्होंने दो प्रकार के स्कैफोल्ड्स आजमाए:

लाइट स्कैफोल्ड्स: "हे, यहाँ कुछ शानदार तकनीकें हैं जिन्हें आप आज़मा सकते हैं।" (इससे एजेंटों ने अधिक विचारों के बारे में बात तो की, लेकिन वे खाना उसी तरह ही पकाते रहे)।
हैवी स्कैफोल्ड्स: "रेसिपी बदलने से पहले, आपको एक विशिष्ट कुकबुक का हवाला देना अनिवार्य है, स्पष्ट रूप से समझाना होगा कि आप उस तकनीक का उपयोग क्यों कर रहे हैं, और यह दिखाना होगा कि आपने इसे अपनी सामग्रियों के अनुसार कैसे अनुकूलित किया है।"

बड़ी सफलता:
हैवी स्कैफोल्ड्स जादू की तरह काम कर गए।

एजेंटों ने केवल अनुपात को ट्यून करना बंद कर दिया। उन्होंने "कुकबुक्स" (वैज्ञानिक शोध पत्रों) को पढ़ना और वास्तव में जटिल, नई रणनीतियों को लागू करना शुरू कर दिया।
एक एजेंट ने EL2N नामक एक विधि की खोज की (जो कि उन रेसिपीज़ को चुनने जैसा है जिनमें छात्र को सबसे अधिक कठिनाई हुई थी, लेकिन फिर उन रेसिपीज़ को फ़िल्टर कर दिया जो केवल टूटी हुई या भ्रमित करने वाली थीं)।
परिणाम: इस "स्कैफोल्डेड" एजेंट ने 10,000 उदाहरणों का एक ऐसा डेटासेट बनाया जिसने उन मानव-डिज़ाइन किए गए बेसलाइन्स से बेहतर प्रदर्शन किया जो 100,000 उदाहरणों का उपयोग करते थे। उन्होंने डेटा के दसवें हिस्से के साथ समान (या बेहतर) परिणाम प्राप्त किए।

5. मुख्य निष्कर्ष (The Big Takeaway)

शोध पत्र निष्कर्ष निकालता है कि:

एजेंट लूप चला सकते हैं: वे परीक्षण करने और ट्यून करने के दोहराव वाले काम को करने में बहुत अच्छे हैं।
लेकिन उन्हें एक मार्गदर्शक की आवश्यकता है: बिना सख्त नियमों के जो उन्हें साक्ष्य प्रस्तुत करने और विशिष्ट तरीकों को अपनाने के लिए मजबूर करते हैं, वे "वाइब चेक" मोड में फंस जाते हैं, जिससे वे बड़े शोध के बजाय छोटे, सुरक्षित बदलाव करते हैं।
कंप्यूट ही नया डेटा है: यदि आप अधिक डेटा प्राप्त नहीं कर सकते, तो आप अपने पास मौजूद डेटा का उपयोग करने के सही तरीके को खोजने के लिए अधिक "कंप्यूटर समय" (इटरेशन) खर्च कर सकते हैं।

संक्षेप में: आप एक स्मार्ट AI को डेटा क्यूरेट करने का काम दे सकते हैं, लेकिन यदि आप चाहते हैं कि वह एक वास्तविक रिसर्चर बने न कि केवल एक ट्वीकर, तो आपको उसे एक सख्त चेकलिस्ट देनी होगी जो उसे केवल अनुमान लगाने के बजाय पिछले निष्कर्षों से सीखने के लिए मजबूर करे।

तकनीकी सारांश: क्या सामान्यवादी एजेंट डेटा क्यूरेशन को स्वचालित कर सकते हैं?

समस्या विवरण

आधुनिक AI विकास काफी हद तक प्रशिक्षण डेटा क्यूरेशन (training data curation) पर निर्भर है, जो एक ऐसी प्रक्रिया है जो अत्यंत महत्वपूर्ण और श्रमसाध्य दोनों है। अभ्यासकर्ता आमतौर पर शोर वाले बेंचमार्क फीडबैक के आधार पर प्रस्तावित करने, कार्यान्वित करने, मूल्यांकन करने और डेटा नीतियों को संशोधित करने के एक पुनरावृत्ति लूप (iterative loop) में संलग्न होते हैं। हालांकि पिछले कार्यों ने व्यक्तिगत डेटा ऑपरेशन्स (जैसे प्रूनिंग, डीडुप्लिकेशन, रीराइटिंग) को स्वचालित किया है, लेकिन उच्च-स्तरीय निर्णय लेने की प्रक्रिया—कि किस तकनीक का उपयोग कैसे किया जाए, उसे कैसे अनुकूलित किया जाए, और कब संशोधन किया जाए—काफी हदली से मैनुअल बनी हुई है। मौजूदा बेंचमार्क या तो डेटा को स्थिर रखते हैं और प्रशिक्षण रेसिपी को अनुकूलित करते हैं (जैसे ML-रिसर्च एजेंट) या डेटा को विश्लेषण के लिए एक स्थिर इनपुट के रूप में देखते हैं (जैसे डेटा-साइंस एजेंट), जिससे स्वायत्त एजेंटों द्वारा पुनरावृत्ति डेटा-नीति खोज (iterative data-policy discovery) के मूल्यांकन में एक अंतर रह जाता है।

कार्यप्रणाली: CURATION-BENCH

इस अंतर को दूर करने के लिए, लेखक CURATION-BENCH पेश करते हैं, जो एक एजेंट-केंद्रित बेंचमार्क है जिसे यह मूल्यांकन करने के लिए डिज़ाइन किया गया है कि क्या सामान्यवादी कोडिंग एजेंट डेटा-क्यूरेशन लूप को स्वचालित कर सकते हैं।

बेंचमार्क डिजाइन सिद्धांत

डेटा अलगाव (Data Isolation): मॉडल आर्किटेक्चर, ट्रेनिंग रेसिपी, और इवैल्यूएशन सुइट फिक्स्ड (fixed) हैं। एजेंट का एकमात्र चर (variable) क्यूरेटेड डेटा पॉलिसी है।
टर्मिनल यथार्थवाद (Terminal Realism): एजेंट एक मानक टर्मिनल वर्कस्पेस में काम करते हैं, फाइलों के साथ इंटरैक्ट करते हैं, स्क्रिप्ट लिखते हैं, कमांड चलाते हैं और डिबगिंग करते हैं, जो वास्तविक इंजीनियरिंग वर्कफ़्लो को दर्शाता है।
संदूषण नियंत्रण (Contamination Control): एक स्वचालित ऑडिट सबमिट किए गए डेटासेट की मूल्यांकन बेंचमार्क के साथ सटीक मिलान या उच्च-ओवरलैप टेक्स्ट स्पैन की जांच करता है ताकि डेटा लीकेज को रोका जा सके।
ट्रैजेक्टरी स्पष्टता (Trajectory Legibility): सिस्टम पूर्ण क्यूरेशन ट्रैजेक्टरी (स्क्रिप्ट, मैनिफेस्ट, लॉग्स, स्कोर) को रिकॉर्ड करता है ताकि न केवल अंतिम परिणाम, बल्कि खोज प्रक्रिया की गुणवत्ता का भी मूल्यांकन किया जा सके।

कार्य औपचारिकीकरण (Task Formalization)

एक कार्य को टुपल $\tau = (M_0, D_{pool}, B, T, E, C)$ द्वारा परिभाषित किया जाता है, जहाँ $M_0$ प्रारंभिक मॉडल है, $D_{pool}$ कैंडिडेट पूल है, $B$ डेटा बजट है, $T$ फिक्स्ड ट्रेनिंग प्रोसीजर है, $E$ इवैल्यूएशन सुइट है, और $C$ बाधाओं (constraints) का प्रतिनिधित्व करता है। एजेंट को एक नीति $\pi$ तैयार करनी होती है जो $D_{pool}$ को एक क्यूरेटेड डेटासेट $D_\pi$ ( $|D_\pi| \le B$ ) में मैप करती है। नीति को $S(\pi) = E(T(M_0, D_\pi))$ द्वारा स्कोर किया जाता है।

प्रयोगात्मक सेटअप

प्राथमिक इंस्टेंशिएशन मल्टीमॉडल इंस्ट्रक्शन ट्यूनिंग पर केंद्रित है:

डेटा: LLaVA-1.5-7B मॉडल को फाइन-ट्यून करने के लिए LLaVA-665K डेटासेट (कुल 665k) में से 10k सैंपल्स का चयन करना।
एजेंट: OpenHands हार्नेस के माध्यम से संचालित होने वाले जनरलिस्ट कोडिंग एजेंट (Claude Code, Codex, Kimi, Qwen)।
स्कैफोल्ड्स (Scaffolds): अध्ययन ओपन-प्रॉम्ट (open-prompt) एजेंटों की तुलना लाइट स्कैफोल्ड्स (रणनीतियों या शोध पत्रों पर वैकल्पिक मार्गदर्शन) और हेवी स्कैफोल्ड्स (बाइंडिंग प्रोटोकॉल जो साक्ष्य-आधारित परिकल्पनाओं या पूर्व विधियों के अनिवार्य अनुकूलन की मांग करते हैं) से करता है।

मुख्य योगदान

1. पुनरावृत्ति डेटा क्यूरेशन के लिए बेंचमार्क

CURATION-BENCH पहला बेंचमार्क है जो स्वायत्त एजेंटों के लिए डेटा क्यूरेशन को अनुकूलन के केंद्रीय ऑब्जेक्ट के रूप में अलग करता है, जो प्रभावी अन्वेषण (exploration) और स्थानीय ट्यूनिंग (local tuning) के बीच अंतर करने के लिए पूर्ण खोज पथ (search trajectory) को रिकॉर्ड करता है।

2. निष्पादन-अनुसंधान अंतराल (The Execution–Research Gap)

अध्ययन एक निरंतर अंतराल की पहचान करता है जहाँ एजेंट सक्षम निष्पादक (executors) तो हैं लेकिन सीमित शोधकर्ता (researchers) हैं।

निष्पादन (Execution): ओपन-प्रॉम्ट एजेंट विश्वसनीय रूप से क्यूरेशन लूप चला सकते हैं, वैध डेटासेट बना सकते हैं और रैंडम सिलेक्शन की तुलना में प्रशिक्षण परिणामों में सुधार कर सकते हैं।
अनुसंधान सीमा (Research Limitation): एजेंट विशिष्ट नीति परिवारों (जैसे स्रोत अनुपात, लंबाई थ्रेशोल्ड, या रैंडम सीड को समायोजित करना) को खोजने के बजाय स्थानीय नीति परिवारों का "अत्यधिक दोहन" (over-exploit) करने की प्रवृत्ति रखते हैं। रणनीति गाइड और पेपर संदर्भों तक पहुंच होने के बावजूद, एजेंट अक्सर संरचनात्मक बाधाओं के बिना अमूर्त अनुसंधान विचारों को निष्पादन योग्य नीतियों में बदलने में विफल रहते हैं।

3. स्कैफोल्डिंग की भूमिका

पेपर यह प्रदर्शित करता है कि स्कैफोल्डिंग एजेंट के निष्पादन को वास्तविक अनुसंधान अन्वेषण में बदलने के लिए महत्वपूर्ण लीवर है।

लाइट स्कैफोल्ड्स: रणनीतियों या पेपर संदर्भों की सूची प्रदान करने से एजेंट के घोषित विकल्पों का विस्तार होता है लेकिन यह शायद ही कभी निष्पादित नीति को बदलता है, क्योंकि एजेंट कम लागत वाले स्थानीय ह्यूरिस्टिक्स (heuristics) पर वापस आ जाते हैं।
हेवी स्कैफोल्ड्स: बाइंडिंग प्रोटोकॉल (जैसे "Adapt Papers") लागू करना जो एजेंटों को एक विशिष्ट पूर्व विधि का हवाला देने, उसकी प्रयोज्यता समझाने और वर्तमान बजट के लिए उसे अनुकूलित करने की आवश्यकता होती है, विधि-निर्देशित अन्वेषण की ओर बदलाव लाता है। यह दृष्टिकोण एजेंटों को उन नवीन, उच्च-प्रदर्शन वाली नीतियों को खोजने में सक्षम बनाता है जिन्हें ओपन-प्रॉम्ट एजेंट मिस कर देते हैं।

परिणाम

ओपन-प्रॉम्ट एजेंटों का प्रदर्शन

बेसलाइन उपलब्धि: ओपन-प्रॉम्ट एजेंट दस इटरेशन के भीतर मजबूत प्रकाशित डेटा-सिलेक्शन बेसलाइन्स (जैसे ICONS, ARDS) तक पहुँच जाते हैं।
दक्षता: वे मूल डेटा पूल के केवल 1.5% (10k बनाम 665k) का उपयोग करके फुल-डेटा फाइन-ट्यूनिंग लाभ का लगभग 59% प्राप्त कर लेते हैं।
सीमा: उनकी सफलता स्थानीय ह्यूरिस्टिक ट्यूनिंग द्वारा संचालित है न कि नए नीति परिवारों की खोज द्वारा।

हेवी स्कैफोल्डिंग का प्रभाव

ब्रेकथ्रू प्रदर्शन: "Adapt Papers" स्कैफोल्ड के तहत, एक एजेंट ने EL2N-स्टाइल टॉप-लॉस सिलेक्शन को एक असिस्टेंट-लॉस नॉइज़ फ़िल्टर के साथ संयोजित करने वाली एक हाइब्रिड नीति को स्वायत्त रूप से बनाया।
श्रेष्ठता: इस स्कैफोल्ड वाले एजेंट ने औसत स्कोर 34.9 प्राप्त किया, जो उन बेसलाइन्स (ICONS, ARDS) द्वारा आवश्यक 100k डेटा बजट के केवल दसवें हिस्से (10k) का उपयोग करते हुए, ओपन-प्रॉम्ट एजेंट और मजबूत गैर-एजेंट बेसलाइन्स दोनों से बेहतर प्रदर्शन करता है।
ट्रैजेक्टरी गुणवत्ता: हेवी स्कैफोल्ड्स ने "उथले" (shallow) ऑपरेशन्स को समाप्त कर दिया (सर्वश्रेष्ठ मामले में 47% से गिरकर 0% हो गया) और "ग्राउंडेड" इटरेशन को 100% तक बढ़ा दिया।

कंप्यूट बजट को स्केल करना

एजेंट के इटरेशन बजट को 10 से बढ़ाकर 50 करने पर प्रदर्शन में सुधार जारी रहता है और कोई स्पष्ट ठहराव (plateau) नहीं दिखता है, जो सुझाव देता है कि सीमित-डेटा व्यवस्था में, अतिरिक्त कंप्यूट को केवल अधिक डेटा पर प्रशिक्षण देने के बजाय डेटा नीतियों की खोज पर प्रभावी ढंग से खर्च किया जा सकता है।

महत्व और दावे

पेपर दावा करता है कि वर्तमान सामान्यवादी एजेंट क्यूरेशन लूप चला सकते हैं लेकिन स्कैफोल्ड की गई मेथड अडैप्टेशन के बिना विश्वसनीय रूप से डेटा अनुसंधान नहीं कर सकते।

स्वायत्त बनाम सहायता प्राप्त (Autonomous vs. Assisted): अंतर स्वायत्त निष्पादन (स्पष्ट स्थानीय सत्यापन के साथ एक लूप चलाना) और एजेंट-सहायता प्राप्त अनुसंधान (स्पार्स फीडबैक के साथ विच्छिन्न (discontinuous) पॉलिसी स्पेस में नेविगेट करना) के बीच खींचा गया है। डेटा क्यूरेशन इन दोनों में से दूसरे श्रेणी में आता है।
स्कैफोल्ड्स एक आर्टिफैक्ट के रूप में: लेखक तर्क देते हैं कि स्कैफोल्ड्स केवल प्रॉम्ट नहीं हैं बल्कि प्रयोगात्मक डिजाइन ऑब्जेक्ट हैं जो एजेंट की तर्क क्षमता को निर्धारित करते हैं। भविष्य के स्वायत्त डेटा अनुसंधान मूल्यांकन को केवल अंतिम स्कोर नहीं, बल्कि स्कैफोल्ड स्ट्रेंथ और ट्रैजेक्टरी डायग्नोस्टिक्स को रिपोर्ट करना चाहिए।
डेटा-कुशल कंप्यूट: यह कार्य सीमित-डेटा व्यवस्था में मॉडल प्रदर्शन में सुधार के लिए एक नया प्रतिमान सुझाता है: डेटा के पुन: उपयोग या सिंथेटिक विस्तार के बजाय डेटा नीतियों की खोज (चयन, अनुकूलन, सत्यापन) पर अतिरिक्त कंप्यूट खर्च करना।

लेखक निष्कर्ष निकालते हैं कि जबकि ओपन-एंडेड प्रॉम्टिंग उपयोगी निष्पादक प्रदान करती है, विश्वसनीय डेटा अनुसंधान के लिए स्कैफोल्ड की गई मेथड अडैप्टेशन की आवश्यकता होती है ताकि अमूर्त पद्धतिगत ज्ञान और निष्पादन योग्य डेटा नीतियों के बीच के अंतर को पाटा जा सके।